@modusensus/dsh-mneme 0.13.0 → 0.14.0-beta.2

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (543) hide show
  1. package/LICENSE +21 -21
  2. package/README.md +830 -828
  3. package/assets/icon.svg +3 -3
  4. package/bin/cli.mjs +964 -964
  5. package/bin/dsh-mneme-choro.mjs +262 -254
  6. package/bin/dsh-mneme-mcp.mjs +510 -510
  7. package/bin/dsh-mneme-serve.mjs +151 -151
  8. package/cordis.patch.yml +21 -21
  9. package/docs/CONFIGURATION.md +407 -402
  10. package/docs/CONTINUITY.md +139 -139
  11. package/docs/DAEMON.md +57 -57
  12. package/docs/DIRECTORIES.md +114 -114
  13. package/docs/DISTILL.md +397 -371
  14. package/docs/DSH-GO.md +97 -97
  15. package/docs/ENTITIES.md +247 -247
  16. package/docs/FORGET.md +77 -77
  17. package/docs/KB.md +110 -110
  18. package/docs/LOCAL_MODEL.md +222 -222
  19. package/docs/SEMANTIC.md +256 -256
  20. package/docs/SHARE.md +552 -552
  21. package/docs/SLEEP.md +202 -202
  22. package/docs/STORAGE.md +122 -122
  23. package/docs/WORKFLOWS.md +366 -366
  24. package/lib/api-standalone.js +1007 -1007
  25. package/lib/api.js +3600 -3394
  26. package/lib/attachment-text.js +122 -122
  27. package/lib/bootstrap-http.js +105 -105
  28. package/lib/bootstrap.js +215 -215
  29. package/lib/candidates.js +454 -454
  30. package/lib/capabilities.js +819 -819
  31. package/lib/choro-command.js +111 -111
  32. package/lib/client.js +14420 -13436
  33. package/lib/commands.js +95 -95
  34. package/lib/config-keys.js +144 -144
  35. package/lib/config.js +1361 -1317
  36. package/lib/content-hash.js +54 -54
  37. package/lib/continuity.js +258 -258
  38. package/lib/date-hint.js +32 -0
  39. package/lib/diary/auto.js +190 -190
  40. package/lib/diary/compose.js +440 -440
  41. package/lib/diary/dir.js +59 -59
  42. package/lib/diary/export.js +97 -97
  43. package/lib/diary/index.js +26 -26
  44. package/lib/diary/library.js +189 -189
  45. package/lib/diary/qq-inbox.js +142 -142
  46. package/lib/diary/rollover.js +61 -61
  47. package/lib/diary/session-provider.js +122 -122
  48. package/lib/document-index.js +94 -94
  49. package/lib/document.js +322 -322
  50. package/lib/dream/clustering.js +123 -123
  51. package/lib/dream/decisions.js +945 -907
  52. package/lib/dream/narratives.js +44 -44
  53. package/lib/dream/sleep.js +2027 -1887
  54. package/lib/dream/triage.js +139 -0
  55. package/lib/dream.js +1879 -1764
  56. package/lib/dsh-go/host.js +162 -162
  57. package/lib/dsh-go/panel.js +2091 -2091
  58. package/lib/dsh-go/text.js +342 -342
  59. package/lib/dsh-go/views/common.js +68 -68
  60. package/lib/dsh-go/views/entity.js +48 -48
  61. package/lib/dsh-go/views/memory.js +198 -198
  62. package/lib/dsh-go/views/root.js +30 -30
  63. package/lib/dsh-go/views/settings.js +398 -398
  64. package/lib/dsh-go/views/status.js +51 -51
  65. package/lib/embedding.js +342 -342
  66. package/lib/entities/extractor.js +285 -285
  67. package/lib/fence.js +24 -24
  68. package/lib/graph/anchoring.js +184 -184
  69. package/lib/guide.js +74 -74
  70. package/lib/heat.js +144 -144
  71. package/lib/hot-memory.js +119 -107
  72. package/lib/image-describe.js +158 -0
  73. package/lib/index.js +852 -822
  74. package/lib/inject.js +656 -639
  75. package/lib/kb/index.js +309 -309
  76. package/lib/kb/routes.js +219 -219
  77. package/lib/kb/tools.js +148 -148
  78. package/lib/lang.js +607 -584
  79. package/lib/local-embedder.js +358 -358
  80. package/lib/maintenance.js +162 -162
  81. package/lib/memory-source.js +9 -9
  82. package/lib/mirror.js +330 -330
  83. package/lib/organize.js +456 -456
  84. package/lib/peak-hours.js +172 -172
  85. package/lib/pipeline-activities.js +178 -178
  86. package/lib/pipeline-attribution.js +165 -165
  87. package/lib/pipeline-command.js +279 -279
  88. package/lib/pipeline-confirm.js +142 -142
  89. package/lib/pipeline-exec.js +174 -174
  90. package/lib/pipeline-nudge-auto.js +129 -129
  91. package/lib/pipeline-nudge.js +1623 -1623
  92. package/lib/pipeline-observations.js +181 -181
  93. package/lib/pipeline-observe.js +133 -133
  94. package/lib/pipeline-runner.js +361 -361
  95. package/lib/pipeline-runs.js +442 -442
  96. package/lib/pipeline.js +716 -716
  97. package/lib/placement.js +13 -13
  98. package/lib/pre-inject-gate.js +354 -354
  99. package/lib/profile-extract.js +164 -164
  100. package/lib/profile-facts.js +356 -356
  101. package/lib/provenance-http.js +251 -251
  102. package/lib/quality-filter.js +162 -162
  103. package/lib/recall-stats.js +190 -190
  104. package/lib/reclaim-http.js +150 -150
  105. package/lib/reranker.js +269 -269
  106. package/lib/runtime/adopt.js +176 -176
  107. package/lib/runtime/closure.js +172 -172
  108. package/lib/runtime/download.js +247 -247
  109. package/lib/runtime/layout.js +265 -265
  110. package/lib/runtime/loader.js +252 -252
  111. package/lib/runtime/model-fetch.js +361 -361
  112. package/lib/runtime/provision.js +237 -237
  113. package/lib/runtime/tarball.js +130 -130
  114. package/lib/runtime/verify.js +223 -223
  115. package/lib/safe-slice.js +18 -18
  116. package/lib/scope-state.js +277 -277
  117. package/lib/scope.js +187 -187
  118. package/lib/search/adaptive.js +60 -60
  119. package/lib/search/bm25.js +96 -96
  120. package/lib/semantic.js +572 -572
  121. package/lib/sensitive-scan.js +209 -209
  122. package/lib/serve.js +228 -228
  123. package/lib/service.js +3268 -3196
  124. package/lib/session-gate.js +91 -91
  125. package/lib/session-usage.js +350 -350
  126. package/lib/settings.js +827 -802
  127. package/lib/share-http.js +281 -281
  128. package/lib/share-import.js +234 -234
  129. package/lib/share.js +335 -335
  130. package/lib/store.js +5895 -5662
  131. package/lib/summarize.js +1388 -1343
  132. package/lib/tools.js +1370 -1356
  133. package/lib/user-settings.js +230 -230
  134. package/lib/vector-index.js +180 -180
  135. package/lib/version-check.js +122 -122
  136. package/lib/wiki/claims.js +267 -0
  137. package/lib/wiki/cli-hint.js +90 -90
  138. package/lib/wiki/inject.js +164 -164
  139. package/lib/wiki/partition.js +200 -200
  140. package/lib/wiki/plan.js +214 -214
  141. package/lib/wiki/queries.js +640 -474
  142. package/lib/wiki/render.js +261 -187
  143. package/lib/wiki/scan.js +371 -371
  144. package/lib/wiki/t0.js +500 -463
  145. package/lib/wiki/t1-jobs.js +232 -232
  146. package/lib/wiki/t1.js +609 -502
  147. package/lib/write-admission.js +404 -404
  148. package/locale/en.json +6 -6
  149. package/locale/zh.json +6 -6
  150. package/package.json +15 -1
  151. package/runtime-manifest.json +526 -526
  152. package/scripts/benchmark-embed.js +201 -201
  153. package/scripts/benchmark-recall.js +249 -249
  154. package/scripts/benchmark-rerank.js +166 -166
  155. package/scripts/build-runtime-manifest.mjs +224 -224
  156. package/scripts/changelog-prep.mjs +91 -91
  157. package/scripts/check-sync.js +44 -44
  158. package/scripts/e2e-dsh.js +220 -220
  159. package/scripts/mneme-runtime.mjs +277 -277
  160. package/scripts/publish-gate.mjs +197 -197
  161. package/scripts/release-docs.mjs +210 -204
  162. package/scripts/release-notes.mjs +164 -161
  163. package/scripts/stress-dsh.js +255 -255
  164. package/scripts/sync-lib.js +47 -47
  165. package/scripts/sync-test-badge.mjs +69 -69
  166. package/scripts/test-count-sync.mjs +48 -48
  167. package/src/api-standalone.js +1007 -1007
  168. package/src/api.js +3600 -3394
  169. package/src/attachment-text.js +122 -122
  170. package/src/bootstrap-http.js +105 -105
  171. package/src/bootstrap.js +215 -215
  172. package/src/candidates.js +454 -454
  173. package/src/capabilities.js +819 -819
  174. package/src/choro-command.js +111 -111
  175. package/src/commands.js +95 -95
  176. package/src/config-keys.js +144 -144
  177. package/src/config.js +1361 -1317
  178. package/src/content-hash.js +54 -54
  179. package/src/continuity.js +258 -258
  180. package/src/date-hint.js +32 -0
  181. package/src/diary/auto.js +190 -190
  182. package/src/diary/compose.js +440 -440
  183. package/src/diary/dir.js +59 -59
  184. package/src/diary/export.js +97 -97
  185. package/src/diary/index.js +26 -26
  186. package/src/diary/library.js +189 -189
  187. package/src/diary/qq-inbox.js +142 -142
  188. package/src/diary/rollover.js +61 -61
  189. package/src/diary/session-provider.js +122 -122
  190. package/src/document-index.js +94 -94
  191. package/src/document.js +322 -322
  192. package/src/dream/clustering.js +123 -123
  193. package/src/dream/decisions.js +945 -907
  194. package/src/dream/narratives.js +44 -44
  195. package/src/dream/sleep.js +2027 -1887
  196. package/src/dream/triage.js +139 -0
  197. package/src/dream.js +1879 -1764
  198. package/src/dsh-go/host.js +162 -162
  199. package/src/dsh-go/panel.js +2091 -2091
  200. package/src/dsh-go/text.js +342 -342
  201. package/src/dsh-go/views/common.js +68 -68
  202. package/src/dsh-go/views/entity.js +48 -48
  203. package/src/dsh-go/views/memory.js +198 -198
  204. package/src/dsh-go/views/root.js +30 -30
  205. package/src/dsh-go/views/settings.js +398 -398
  206. package/src/dsh-go/views/status.js +51 -51
  207. package/src/embedding.js +342 -342
  208. package/src/entities/extractor.js +285 -285
  209. package/src/fence.js +24 -24
  210. package/src/graph/anchoring.js +184 -184
  211. package/src/guide.js +74 -74
  212. package/src/heat.js +144 -144
  213. package/src/hot-memory.js +119 -107
  214. package/src/image-describe.js +158 -0
  215. package/src/index.js +852 -822
  216. package/src/inject.js +656 -639
  217. package/src/kb/index.js +309 -309
  218. package/src/kb/routes.js +219 -219
  219. package/src/kb/tools.js +148 -148
  220. package/src/lang.js +607 -584
  221. package/src/local-embedder.js +358 -358
  222. package/src/maintenance.js +162 -162
  223. package/src/memory-source.js +9 -9
  224. package/src/mirror.js +330 -330
  225. package/src/organize.js +456 -456
  226. package/src/peak-hours.js +172 -172
  227. package/src/pipeline-activities.js +178 -178
  228. package/src/pipeline-attribution.js +165 -165
  229. package/src/pipeline-command.js +279 -279
  230. package/src/pipeline-confirm.js +142 -142
  231. package/src/pipeline-exec.js +174 -174
  232. package/src/pipeline-nudge-auto.js +129 -129
  233. package/src/pipeline-nudge.js +1623 -1623
  234. package/src/pipeline-observations.js +181 -181
  235. package/src/pipeline-observe.js +133 -133
  236. package/src/pipeline-runner.js +361 -361
  237. package/src/pipeline-runs.js +442 -442
  238. package/src/pipeline.js +716 -716
  239. package/src/placement.js +13 -13
  240. package/src/pre-inject-gate.js +354 -354
  241. package/src/profile-extract.js +164 -164
  242. package/src/profile-facts.js +356 -356
  243. package/src/provenance-http.js +251 -251
  244. package/src/quality-filter.js +162 -162
  245. package/src/recall-stats.js +190 -190
  246. package/src/reclaim-http.js +150 -150
  247. package/src/reranker.js +269 -269
  248. package/src/runtime/adopt.js +176 -176
  249. package/src/runtime/closure.js +172 -172
  250. package/src/runtime/download.js +247 -247
  251. package/src/runtime/layout.js +265 -265
  252. package/src/runtime/loader.js +252 -252
  253. package/src/runtime/model-fetch.js +361 -361
  254. package/src/runtime/provision.js +237 -237
  255. package/src/runtime/tarball.js +130 -130
  256. package/src/runtime/verify.js +223 -223
  257. package/src/safe-slice.js +18 -18
  258. package/src/scope-state.js +277 -277
  259. package/src/scope.js +187 -187
  260. package/src/search/adaptive.js +60 -60
  261. package/src/search/bm25.js +96 -96
  262. package/src/semantic.js +572 -572
  263. package/src/sensitive-scan.js +209 -209
  264. package/src/serve.js +228 -228
  265. package/src/service.js +3268 -3196
  266. package/src/session-gate.js +91 -91
  267. package/src/session-usage.js +350 -350
  268. package/src/settings.js +827 -802
  269. package/src/share-http.js +281 -281
  270. package/src/share-import.js +234 -234
  271. package/src/share.js +335 -335
  272. package/src/store.js +5895 -5662
  273. package/src/summarize.js +1388 -1343
  274. package/src/tools.js +1370 -1356
  275. package/src/user-settings.js +230 -230
  276. package/src/vector-index.js +180 -180
  277. package/src/version-check.js +122 -122
  278. package/src/wiki/claims.js +267 -0
  279. package/src/wiki/cli-hint.js +90 -90
  280. package/src/wiki/inject.js +164 -164
  281. package/src/wiki/partition.js +200 -200
  282. package/src/wiki/plan.js +214 -214
  283. package/src/wiki/queries.js +640 -474
  284. package/src/wiki/render.js +261 -187
  285. package/src/wiki/scan.js +371 -371
  286. package/src/wiki/t0.js +500 -463
  287. package/src/wiki/t1-jobs.js +232 -232
  288. package/src/wiki/t1.js +609 -502
  289. package/src/write-admission.js +404 -404
  290. package/test/adaptive-inject-budget.test.js +85 -85
  291. package/test/api-hardening.test.js +173 -173
  292. package/test/api-nudge-route.test.js +259 -259
  293. package/test/api-routes-gaps.test.js +1092 -1092
  294. package/test/api.test.js +3007 -2988
  295. package/test/attachment-text.test.js +139 -139
  296. package/test/audit.test.js +448 -448
  297. package/test/baseline-persist.test.js +248 -248
  298. package/test/benchmark.test.js +94 -94
  299. package/test/bm25-corpus-cache.test.js +145 -145
  300. package/test/bootstrap.test.js +228 -228
  301. package/test/candidates.test.js +345 -345
  302. package/test/capabilities.test.js +577 -577
  303. package/test/capacity-warning.test.js +262 -262
  304. package/test/changelog-prep.test.js +125 -125
  305. package/test/choro-command.test.js +218 -218
  306. package/test/cli-enums.test.js +37 -37
  307. package/test/cli-flag-value.test.js +86 -86
  308. package/test/cli-receive.test.js +390 -390
  309. package/test/cli-share.test.js +437 -437
  310. package/test/client-share.test.js +225 -225
  311. package/test/client.test.js +4595 -4184
  312. package/test/clustering.test.js +100 -100
  313. package/test/commands.test.js +106 -106
  314. package/test/config-keys-routes.test.js +233 -233
  315. package/test/config.test.js +153 -153
  316. package/test/conflict-freeze.test.js +344 -344
  317. package/test/conflict-ledger-enforce.test.js +452 -0
  318. package/test/conflict-ledger.test.js +242 -0
  319. package/test/conflict-reviewed.test.js +79 -79
  320. package/test/content-hash.test.js +204 -204
  321. package/test/continuity.test.js +452 -452
  322. package/test/contrast.test.js +432 -320
  323. package/test/date-hint.test.js +156 -0
  324. package/test/dedupe-candidate-window.test.js +180 -180
  325. package/test/dependency-overrides.test.js +78 -78
  326. package/test/diary-library.test.js +187 -187
  327. package/test/diary.test.js +576 -576
  328. package/test/differentiate-feedback.test.js +248 -248
  329. package/test/distill-tx-embed-gap.test.js +110 -110
  330. package/test/docs-config-keys.test.js +65 -65
  331. package/test/document-dir.test.js +233 -233
  332. package/test/document.test.js +703 -703
  333. package/test/dream-archive-guardrail.test.js +116 -116
  334. package/test/dream-baseline-clamp.test.js +174 -0
  335. package/test/dream-candidate-hybrid.test.js +281 -281
  336. package/test/dream-coverage-degrade.test.js +86 -86
  337. package/test/dream-decision-evidence.test.js +314 -314
  338. package/test/dream-failure-backoff.test.js +173 -173
  339. package/test/dream-fence.test.js +207 -207
  340. package/test/dream-maxtokens-fallback.test.js +132 -132
  341. package/test/dream-merge-guardrail.test.js +219 -219
  342. package/test/dream-peak-hours.test.js +194 -194
  343. package/test/dream.test.js +1528 -1528
  344. package/test/dsh-go-host.test.js +134 -134
  345. package/test/dsh-go-panel-actions.test.js +854 -854
  346. package/test/dsh-go-panel.test.js +251 -251
  347. package/test/embed-ready-poll.test.js +94 -94
  348. package/test/embed-text-reasons.test.js +112 -112
  349. package/test/embedding-cache-f32.test.js +276 -276
  350. package/test/embedding-ready.test.js +226 -226
  351. package/test/entities.test.js +711 -711
  352. package/test/entity-recall.test.js +179 -179
  353. package/test/epistemic.test.js +325 -325
  354. package/test/failure-query.test.js +147 -147
  355. package/test/failure-retention.test.js +105 -105
  356. package/test/fnew-0112.test.js +311 -311
  357. package/test/fnew-03.test.js +422 -422
  358. package/test/forget-corrections.test.js +70 -70
  359. package/test/graph-anchoring.test.js +184 -184
  360. package/test/graph-api.test.js +333 -209
  361. package/test/graph-boosted-relations.test.js +189 -189
  362. package/test/graph-inject-budget.test.js +103 -103
  363. package/test/graph-multipath.test.js +269 -269
  364. package/test/graph-passive-confirm.test.js +91 -91
  365. package/test/graph-weight-evolution.test.js +104 -104
  366. package/test/heat.test.js +175 -175
  367. package/test/helpers/dream-mock.js +86 -86
  368. package/test/helpers/peer-worker.mjs +25 -25
  369. package/test/helpers/runtime-source.js +60 -60
  370. package/test/helpers/tar-builder.js +80 -80
  371. package/test/helpers/write-admission-samples.js +312 -312
  372. package/test/hot-memory.test.js +259 -211
  373. package/test/image-description.test.js +271 -0
  374. package/test/image-memory.test.js +170 -170
  375. package/test/inject-content-cap.test.js +91 -91
  376. package/test/inject-first-round-bm25.test.js +89 -89
  377. package/test/inject-heat.test.js +77 -77
  378. package/test/inject-parent-gate.test.js +134 -106
  379. package/test/inject-pin-explicit.test.js +300 -300
  380. package/test/inject-pin-vector-crowd.test.js +225 -225
  381. package/test/inject-pools.test.js +195 -195
  382. package/test/inject-recall.test.js +172 -172
  383. package/test/inject-rotation.test.js +161 -161
  384. package/test/inject.test.js +553 -494
  385. package/test/issue-617-step1-query-and-fusion.test.js +361 -361
  386. package/test/kb-api-wiring.test.js +128 -128
  387. package/test/kb-collections.test.js +272 -272
  388. package/test/kb-routes.test.js +379 -379
  389. package/test/lang.test.js +98 -98
  390. package/test/lastrunat-persist.test.js +101 -101
  391. package/test/lib-smoke.test.js +116 -116
  392. package/test/llm-audit.test.js +815 -815
  393. package/test/llm-message-source.test.js +207 -207
  394. package/test/local-embedder.test.js +292 -292
  395. package/test/maintenance.test.js +501 -501
  396. package/test/mcp-stdio.test.js +385 -385
  397. package/test/mint-source.test.js +311 -311
  398. package/test/mirror-dirty.test.js +424 -424
  399. package/test/mirror-edit-digest.test.js +187 -187
  400. package/test/mirror-generation.test.js +499 -499
  401. package/test/mirror-types.test.js +208 -208
  402. package/test/mirror.test.js +249 -249
  403. package/test/narrative-bars.test.js +162 -162
  404. package/test/organize-tool.test.js +232 -232
  405. package/test/organize.test.js +418 -418
  406. package/test/panel-chart-scale.test.js +90 -0
  407. package/test/panel-tokens.test.js +245 -0
  408. package/test/peak-hours-observability.test.js +70 -70
  409. package/test/peer-blockers.test.js +193 -193
  410. package/test/persona-addressing.test.js +83 -83
  411. package/test/persona-api.test.js +172 -172
  412. package/test/persona-by-session.test.js +568 -568
  413. package/test/persona-flag.test.js +36 -36
  414. package/test/persona-inject.test.js +145 -145
  415. package/test/persona-settings.test.js +198 -198
  416. package/test/pipeline-activities.test.js +155 -155
  417. package/test/pipeline-attribution.test.js +175 -175
  418. package/test/pipeline-command.test.js +243 -243
  419. package/test/pipeline-confirm.test.js +148 -148
  420. package/test/pipeline-exec.test.js +172 -172
  421. package/test/pipeline-nudge-auto.test.js +248 -248
  422. package/test/pipeline-nudge.test.js +1278 -1278
  423. package/test/pipeline-observations.test.js +157 -157
  424. package/test/pipeline-observe.test.js +127 -127
  425. package/test/pipeline-r1r2.test.js +278 -278
  426. package/test/pipeline-runner.test.js +468 -468
  427. package/test/pipeline-runs.test.js +767 -767
  428. package/test/pipeline.test.js +636 -636
  429. package/test/placement.test.js +36 -36
  430. package/test/policy-epoch.test.js +259 -259
  431. package/test/pre-inject-gate.test.js +444 -444
  432. package/test/profile-extract.test.js +269 -269
  433. package/test/profile-facts.test.js +492 -492
  434. package/test/prompt-stance.test.js +128 -128
  435. package/test/provenance-http.test.js +367 -367
  436. package/test/publish-gate.test.js +272 -272
  437. package/test/quality-backfill.test.js +290 -290
  438. package/test/quality-filter.test.js +295 -295
  439. package/test/readme-claims.test.js +113 -113
  440. package/test/reasoning-effort.test.js +752 -752
  441. package/test/recall-anti-update.test.js +82 -82
  442. package/test/recall-evals.test.js +253 -253
  443. package/test/recall-layer.test.js +326 -326
  444. package/test/recall-retention.test.js +128 -128
  445. package/test/recall-stats.test.js +274 -274
  446. package/test/receipt-chain.test.js +451 -451
  447. package/test/reclaim-http.test.js +209 -209
  448. package/test/reflection-update-gate.test.js +129 -129
  449. package/test/reflection.test.js +226 -226
  450. package/test/reindex-backfill.test.js +475 -475
  451. package/test/reindex-scheduler.test.js +369 -369
  452. package/test/release-docs.test.js +156 -136
  453. package/test/release-notes.test.js +265 -240
  454. package/test/release-workflow.test.js +93 -93
  455. package/test/reranker-single-logit.test.js +73 -73
  456. package/test/reranker.test.js +197 -197
  457. package/test/resident-status.test.js +83 -83
  458. package/test/route-policy.test.js +113 -113
  459. package/test/runtime-adopt.test.js +206 -206
  460. package/test/runtime-cli.test.js +89 -89
  461. package/test/runtime-closure.test.js +193 -193
  462. package/test/runtime-download.test.js +302 -302
  463. package/test/runtime-layout.test.js +163 -163
  464. package/test/runtime-loader.test.js +255 -255
  465. package/test/runtime-manifest.test.js +159 -159
  466. package/test/runtime-model-fetch.test.js +348 -348
  467. package/test/runtime-provision.test.js +101 -101
  468. package/test/runtime-tarball.test.js +81 -81
  469. package/test/runtime-verify.test.js +319 -319
  470. package/test/scope-candidates.test.js +491 -491
  471. package/test/scope-distill-stamp.test.js +134 -134
  472. package/test/scope-explicit.test.js +452 -452
  473. package/test/scope-inject-soft.test.js +106 -106
  474. package/test/scope-optional-service.test.js +110 -110
  475. package/test/scope-retrieval.test.js +197 -197
  476. package/test/scope-state.test.js +610 -610
  477. package/test/scope-storage.test.js +255 -255
  478. package/test/scope-strict.test.js +367 -367
  479. package/test/search-fusion.test.js +90 -90
  480. package/test/security-doc.test.js +188 -178
  481. package/test/semantic.test.js +124 -124
  482. package/test/sensitive-scan.test.js +251 -251
  483. package/test/serve-bin.test.js +121 -121
  484. package/test/serve.test.js +258 -258
  485. package/test/service-search.test.js +174 -174
  486. package/test/service.test.js +410 -410
  487. package/test/session-gate.test.js +264 -264
  488. package/test/session-usage.test.js +317 -317
  489. package/test/settings.test.js +273 -273
  490. package/test/share-foreign-rows.test.js +144 -144
  491. package/test/share-http.test.js +144 -144
  492. package/test/share-import.test.js +577 -577
  493. package/test/share-imported-guard.test.js +311 -311
  494. package/test/share-imported-identity.test.js +111 -111
  495. package/test/share-pack.test.js +511 -511
  496. package/test/share-receive-http.test.js +756 -756
  497. package/test/share-routes.test.js +337 -337
  498. package/test/share-store.test.js +133 -133
  499. package/test/share-validate.test.js +101 -101
  500. package/test/skip-invalid-restore.test.js +262 -262
  501. package/test/sleep-action-set.test.js +441 -441
  502. package/test/sleep-catchup.test.js +315 -315
  503. package/test/sleep-failure-backoff.test.js +156 -156
  504. package/test/sleep-heat.test.js +174 -174
  505. package/test/sleep-scheduler-rearm.test.js +89 -89
  506. package/test/sleep.test.js +1455 -1418
  507. package/test/standalone-api.test.js +1344 -1344
  508. package/test/store-vector-cache.test.js +98 -98
  509. package/test/store-write-path-columns.test.js +191 -191
  510. package/test/store.test.js +744 -744
  511. package/test/stress.test.js +209 -209
  512. package/test/summarize-occurred-at.test.js +127 -127
  513. package/test/summarize-parse-diagnostics.test.js +75 -75
  514. package/test/summarize-reasoning-effort.test.js +189 -189
  515. package/test/summarize.test.js +2251 -2251
  516. package/test/supersede-state-tracking.test.js +394 -394
  517. package/test/test-count-sync.test.js +71 -71
  518. package/test/tool-state-ignore.test.js +65 -65
  519. package/test/tools-dto-schema-matrix.test.js +398 -398
  520. package/test/tools-memory-get-schema.test.js +65 -65
  521. package/test/tools.test.js +585 -585
  522. package/test/updated-at-semantics.test.js +113 -113
  523. package/test/user-settings-preview.test.js +127 -127
  524. package/test/user-settings-segments.test.js +527 -527
  525. package/test/vector-index.test.js +334 -334
  526. package/test/version-check.test.js +152 -152
  527. package/test/webServer-optional.test.js +82 -82
  528. package/test/wiki-api.test.js +734 -627
  529. package/test/wiki-claims.test.js +194 -0
  530. package/test/wiki-cli-hint.test.js +118 -118
  531. package/test/wiki-inject.test.js +265 -265
  532. package/test/wiki-partition.test.js +112 -112
  533. package/test/wiki-plan.test.js +80 -80
  534. package/test/wiki-provenance.test.js +202 -0
  535. package/test/wiki-queries.test.js +398 -277
  536. package/test/wiki-scan.test.js +208 -208
  537. package/test/wiki-store.test.js +190 -190
  538. package/test/wiki-t0.test.js +456 -380
  539. package/test/wiki-t1-jobs.test.js +125 -125
  540. package/test/wiki-t1.test.js +460 -235
  541. package/test/wiki-tools.test.js +176 -176
  542. package/test/workflow-guards.test.js +155 -155
  543. package/test/write-admission.test.js +668 -668
@@ -1,209 +1,209 @@
1
- // #164 A2:写入边界的密钥 / PII 判据。判据来源是 #164 A2(维护者 09-28 把认领转给
2
- // 本侧),消费方是 #254 的写入准入——`write-admission.js` 从 #332 起就留了
3
- // `sensitiveScan` 注入点,本模块是那个占位的实现。
4
- //
5
- // 为什么判据独立成文件、不写进 write-admission.js:判据的归属是 #164 A2,闸门的归属
6
- // 是 #254。闸门只消费 `{kind, label}`(deny 面已在 #332 定死),判据自己既不认识
7
- // 「会话预算」也不认识 `llm_audit_logs`——换一个判据(比如将来接更重的 PII 分类器)
8
- // 只换注入的那一行。写入边界的另外两个出口(autoSummarize / dream 输出)要复用同一份
9
- // 判据时也直接 import 本模块的 `scanSensitive`,不必各写一套形状。
10
- //
11
- // 三条判据口径(前两条是 #254 已定的硬约束,第三条是本模块自己的):
12
- //
13
- // 1. 零 LLM、纯确定性。写入路径在最上游,这里多花的时间会乘上每一次写入;EdgeMem
14
- // (2609.05553)那句「能不用模型判定就不用」说的就是这一层。
15
- //
16
- // 2. 假阳率由负样本定。`test/helpers/write-admission-samples.js` 的 12 条负样本是
17
- // #332 就配好的验收面,维护者把话说死了:「同一套负样本原样跑,抓错任何一条就不
18
- // 算落地」。所以本模块的形状是**先认形状再认关键词**——纯关键词匹配在那组负样本
19
- // 上全军覆没(「把 API key 放进环境变量」这类讨论句里一个凭据值都没有)。
20
- //
21
- // 3. 报最严重的那一类(`kind` 落审计)。同一个字符串可能同时像两类(`sk_live_` 前缀
22
- // 既是 Stripe 的形状、也能被通用的 `sk-` 规则吃下),所以规则表按「越具体越靠前」
23
- // 排,命中即返回。密钥在前、PII 在后:两者误杀面差一个量级(密钥串出现在正常项目
24
- // 记忆里就是事故,邮箱 / 手机号完全可能是正当内容),同时命中时报更严重的那一类。
25
- // `kind` 是稳定判据键(不是展示文案),enforce 打开前先按它看分布,将来要按类放行
26
- // 也只改策略、不动判据。
27
- //
28
- // 已知边界(都是「宁漏不误杀」的取舍,不是遗漏):
29
- // - 只扫文本(title / content / tags)。不扫路径、id、时间戳这类元数据字段——它们
30
- // 由系统生成,不是用户写进来的内容,扫它们只会引入假阳。
31
- // - 中文关键词(密码 / 令牌)不认。补进去会让「密码必须脱敏后再入库」这类讨论句
32
- // 命中,而那正是负样本 group 的形状。要覆盖中文赋值得先设计「关键词语种 × 值形状」
33
- // 的两维判据,不在本批。
34
- // - 手机号只认大陆移动号段(1[3-9] + 9 位),固定电话与带国家码的写法不认。宽一位
35
- // 就会把长度相近的订单号 / 内部编号吃进来,而 PII 这一档的误杀面已经比密钥大一档。
36
- // - 银行卡号加 Luhn 校验:`0000000000000000`、`4111111111111112` 这类形状对但校验
37
- // 不过的串不报。少了这道校验,任何 16 位数字串(订单号、时间戳拼接)都会命中。
38
- // - 身份证同样加校验位(GB 11643 / ISO 7064 MOD 11-2):位数对但校验不过的 18 位
39
- // 数字串不报。原先只有银行卡有校验、身份证没有,结果是 18 位纯数字先被身份证规则
40
- // 命中,反倒绕过银行卡那条的 Luhn。
41
- //
42
- // 归一化:这里**不**用 content-hash.js 的 normalizeForHash。那套口径(NFKC → 小写 →
43
- // 去标点)是为「只差格式的两条写入是否同一件事」定的,判据要的是原串的形状——大小写
44
- // 是密钥 alphabet 的一部分(`AKIA` 与 `akia` 不是同一个值),去掉 `-` / `_` 会把 JWT
45
- // 与 Slack token 的分段结构一起折没。两个口径别互换。
46
-
47
- /** 判据命中的返回形状(与 `createWriteAdmission` 的 sensitiveScan 契约一致)。 */
48
- // kind 是稳定键、label 是给人看的一行说明;两者都落 llm_audit_logs 的
49
- // metadata.deny,所以别在其中塞运行时的值(命中的凭据本身绝不落盘 / 不回显)。
50
- const SECRET_RULES = [
51
- { kind: "aws_access_key", label: "AWS access key id", re: /\b(?:AKIA|ASIA)[0-9A-Z]{16}\b/ },
52
- // AWS 的 secret access key 没有前缀,只能靠赋值键认:`AWS_SECRET_ACCESS_KEY` /
53
- // `aws_secret_access_key` 这个键名是它的形状。最早的一批 `secret` 关键词规则被
54
- // 「必须在赋值号前」的位置要求挡在外面(多词键里 `secret` 后面跟的是 `_`,不是
55
- // `:`/`=`),所以它得单独一条。40 位下限取 AWS 官方密钥的固定长度。
56
- {
57
- kind: "aws_secret_key",
58
- label: "AWS secret access key",
59
- // 键名不分大小写,所以挂 `/i` 而不是行内修饰符组 `(?i:...)`:后者是 ES2025 语法,
60
- // CI 矩阵里的 Node 22 直接抛 SyntaxError(本文件其余规则也没有用它的)。
61
- // 值那一半本来就是 `[A-Za-z0-9/+=]`,带上 `/i` 不改变大小写敏感度。
62
- re: /(?:aws[_-]?secret[_-]?access[_-]?key)\s*[:=]\s*["']?([A-Za-z0-9/+=]{40})(?![A-Za-z0-9/+=])/i
63
- },
64
- { kind: "github_token", label: "GitHub token", re: /\b(?:ghp|gho|ghu|ghs|ghr)_[A-Za-z0-9]{36}\b/ },
65
- { kind: "slack_token", label: "Slack token", re: /\bxox[abprs]-[A-Za-z0-9-]{10,}\b/ },
66
- // PEM 头是明文私钥的确定标志,带不带正文都一样判——`BEGIN` 与 `PRIVATE KEY` 之间
67
- // 可能有 `RSA` / `EC` / `OPENSSH`,所以中间那段是 [A-Z ]*。
68
- { kind: "private_key", label: "PEM private key", re: /-----BEGIN [A-Z ]*PRIVATE KEY-----/ },
69
- { kind: "jwt", label: "JSON Web Token", re: /\beyJ[A-Za-z0-9_-]{8,}\.[A-Za-z0-9_-]{8,}\.[A-Za-z0-9_-]{8,}/ },
70
- // scheme 与 userinfo 两段都加上界。scheme 那段的 `*` 作用在含 `.` 的字符类上,
71
- // 一条长点分串(包名 / 路径 / 版本链)里每个起点都要一路回溯到结尾才发现没有
72
- // `://` → 与 email 同源的 O(n²)(实测 120KB 对抗串里这条占 4.1 秒)。
73
- // URL scheme 名本就短、`user:password` 也不会长到 64,上界只钉住回溯面,
74
- // 真实连接串一条不少。
75
- { kind: "connection_string", label: "credentials in URL", re: /\b[a-z][a-z0-9+.-]{0,31}:\/\/[^\s/:@]{1,64}:[^\s/:@]{6,}@/ },
76
- // Stripe 排在通用 `sk-` 之前:`sk_live_…` 两条规则都吃,先到的那条决定 kind。
77
- // 只认 sk_live_(生产密钥):sk_test_ 是公开测试密钥,报它是纯误杀。
78
- { kind: "stripe_key", label: "Stripe secret key", re: /\bsk_live_[A-Za-z0-9]{16,}\b/ },
79
- { kind: "npm_token", label: "npm auth token", re: /_authToken\s*=\s*[A-Za-z0-9_-]{20,}/ },
80
- // 下限 24 而不是 20:这是一条纯收紧、不动语料读数的加固——OpenAI 的 key 没有校验
81
- // 位,前缀 + 长度是唯一形状,20 位会把更长的假阳性面留在表里。`sk-` 后面跟短串的
82
- // 赋值句仍会被赋值型那条认下(那是**对的**:值长了 8 位以上就该报)。
83
- { kind: "openai_key", label: "OpenAI API key", re: /\bsk-(?:proj-)?[A-Za-z0-9_-]{24,}\b/ },
84
- {
85
- // 赋值型:最常见的一类,也是负样本组(占位符 / 环境变量 / 模板变量 / 只提关键词)
86
- // 的主要靶子。判据是「关键词 + 赋值号 + 右边真的是个值的形状」,值本身不校验
87
- // alphabet——凭据值没有通用形状,能通用的只有「它不像占位符」。
88
- kind: "assigned_secret",
89
- label: "assigned credential literal",
90
- // 左边界不能把 `_` 排除在外:环境变量名正是拿 `_` 当分隔符,排除它会让
91
- // `DB_PASSWORD=` / `MY_API_KEY=` / `MYSQL_PASSWORD=` 整类漏放(只有恰好落在
92
- // 行首的 `API_KEY=` 能中)。放宽后 #332 那套 26 条语料(含 12 条负样本)全绿,
93
- // 说明原写法不是语料换来的取舍。挡误杀的是下面那道占位符守卫,不是这个边界。
94
- re: /(?:^|[^A-Za-z0-9])(?:password|passwd|pwd|secret|api[_-]?key|token)\b\s*[:=]\s*["']?([^\s"']{8,})/i,
95
- // 占位符守卫:右边是尖括号占位、shell / 模板变量、环境变量读取、或一串 x / * / …
96
- // 时不算命中。少这道守卫,`password: <redacted>` 与 `token: ${TOKEN}` 都会被报,
97
- // 而它们正是「配置里该怎么写」的示例文本。
98
- guard: (value) => !/^(?:<[^>]*>|\$\{|\$[A-Z_]+$|process\.env|redacted|xx+|\*+|\u2026)/i.test(value)
99
- }
100
- ];
101
-
102
- const PII_RULES = [
103
- {
104
- kind: "email",
105
- label: "email address",
106
- // 先看 TLD 再看 `@`:反过来的 `(?:[A-Za-z]{2,}\.)+[A-Za-z]{2,}` 对
107
- // `a@b.c.d.e` 这类可以回溯出指数条路径。
108
- // local part 的 `+` 必须加上界。该字符类含 `.`,所以一条长点分串(包名 / 路径 /
109
- // 版本链)后跟一个 `@` 时,每个起点都要重扫到那个 `@` 才失败 → 整体 O(n²)。
110
- // 实测 120KB 对抗串 23.5 秒里这条占 18.6 秒,34KB 点分链要 0.6 秒;本判据在写入
111
- // 路径上同步跑,等于把写入阻塞住。64 是 RFC 5321 给 local part 的上限,加上界
112
- // 不缩检测面——放弃的只是长于 64 的非法形状。
113
- re: /\b[A-Za-z0-9._%+-]{1,64}@(?:[A-Za-z0-9-]+\.)+[A-Za-z]{2,}\b/
114
- },
115
- { kind: "cn_mobile", label: "mainland mobile number", re: /(?<!\d)1[3-9]\d{9}(?!\d)/ },
116
- { kind: "cn_id_card", label: "mainland ID number", re: /(?<![0-9A-Za-z])\d{17}[\dXx](?![0-9A-Za-z])/, cnId: true },
117
- { kind: "bank_card", label: "payment card number", re: /(?<!\d)(?:\d{13,19})(?!\d)/, luhn: true }
118
- ];
119
-
120
- /**
121
- * Luhn(模 10)校验。银行卡号这一档只靠位数与首字符形状会把所有 13–19 位数字串
122
- * 都吃进来,而项目记忆里长度差不多的数字串(订单号、拼接的时间戳)很常见;校验位
123
- * 是卡号自带的、零成本的第二道形状。负样本里没有卡号形状的串,这道校验是防未列举
124
- * 的那一类(同时它也不影响正样本:4111111111111111 是 Luhn 通过的公开测试卡号)。
125
- * @param {string} value 归一后的数字串(可能含分隔符)
126
- */
127
- function passesLuhn(value) {
128
- const digits = value.replace(/\D/g, "");
129
- if (digits.length < 13 || digits.length > 19) return false;
130
- let sum = 0;
131
- let double = false;
132
- for (let i = digits.length - 1; i >= 0; i--) {
133
- let d = digits.charCodeAt(i) - 48;
134
- if (double) {
135
- d *= 2;
136
- if (d > 9) d -= 9;
137
- }
138
- sum += d;
139
- double = !double;
140
- }
141
- return sum % 10 === 0;
142
- }
143
-
144
- // 大陆身份证校验位(GB 11643 / ISO 7064 MOD 11-2)。与银行卡的 Luhn 同理:18 位
145
- // 数字串在项目记忆里很常见(订单号、内部编号、拼接时间戳),位数这个形状拦不住它们,
146
- // 而校验位是身份证自带的、零成本的第二道形状。权重序列与余数映射都是标准值,别改。
147
- const CN_ID_WEIGHTS = [7, 9, 10, 5, 8, 4, 2, 1, 6, 3, 7, 9, 10, 5, 8, 4, 2];
148
- const CN_ID_CODES = "10X98765432";
149
- /** @param {string} value 命中串(17 位数字 + 校验位,校验位可为 X) */
150
- function passesCnId(value) {
151
- if (!/^\d{17}[\dXx]$/.test(value)) return false;
152
- let sum = 0;
153
- for (let i = 0; i < 17; i++) sum += Number(value[i]) * CN_ID_WEIGHTS[i];
154
- return CN_ID_CODES[sum % 11] === value[17].toUpperCase();
155
- }
156
-
157
- /**
158
- * 扫一段文本里的密钥 / PII。命中返回 `{kind, label}`、未命中返回 null,不抛。
159
- *
160
- * 只认第一处命中(按规则表顺序 = 严重度顺序)。一次写入里出现第二条凭据时不再报——
161
- * deny 面只记判据类别,报多条只是把同一件事写几遍。
162
- * @param {unknown} value
163
- * @returns {{kind: string, label: string}|null}
164
- */
165
- export function scanSensitive(value) {
166
- const text = typeof value === "string" ? value : String(value ?? "");
167
- if (!text) return null;
168
- for (const rule of [...SECRET_RULES, ...PII_RULES]) {
169
- const match = text.match(rule.re);
170
- if (!match) continue;
171
- // 守卫只看捕获组:没有捕获组的规则天然没有守卫。
172
- if (rule.guard && !rule.guard(match[1] ?? "")) continue;
173
- if (rule.luhn && !passesLuhn(match[0])) continue;
174
- if (rule.cnId && !passesCnId(match[0])) continue;
175
- return { kind: rule.kind, label: rule.label };
176
- }
177
- return null;
178
- }
179
-
180
- /**
181
- * 判据的两种调用面,共用同一份规则表:
182
- * `scanSensitive(text)` — 任意文本,给写入边界之外的消费方(autoSummarize /
183
- * dream 输出)直接调;它们手里是文本,不是记忆行。
184
- * `createSensitiveScan({config})` — `write-admission.js` 的 `sensitiveScan` 契约,
185
- * 入参是记忆对象、返回 `{kind, label}` 或 null。
186
- *
187
- * 开关在工厂里判一次:`sensitiveScanEnabled` 关时返回 null,闸门侧连函数都拿不到,
188
- * 于是「第 1 级只跑空白 / 噪声」这条路与 #332 合并时**逐字段一致**(那一版根本没有
189
- * 这个函数)。反过来,本键开着也不会自己去扫:唯一的调用点是闸门的 firstLevelHit,
190
- * 而闸门要 `writeAdmission.enabled` 打开才走第 1 级判据。所以两个键是「闸门」与
191
- * 「闸门内这一批判据」的关系,不是互为子开关——任一个关着,A2 都不产生任何判定。
192
- * 分成两个键是为了能单独观察 A2 的命中分布(空白 / 噪声与密钥 / PII 的误杀面差一个
193
- * 量级),不是为了让它能脱离闸门独立生效。
194
- *
195
- * @param {{config?: object}} [deps]
196
- * @returns {((memory: object) => ({kind: string, label: string}|null))|null}
197
- */
198
- export function createSensitiveScan({ config } = {}) {
199
- if (config?.sensitiveScanEnabled !== true) return null;
200
- const scan = (memory) => {
201
- const text = [memory?.title, memory?.content, ...(Array.isArray(memory?.tags) ? memory.tags : [])]
202
- .filter((s) => typeof s === "string")
203
- .join("\n");
204
- return scanSensitive(text);
205
- };
206
- // 工厂只认「开 / 关」;enforce 由 write-admission 决定(命中即 deny 还是仅告警),
207
- // 判据自己不碰决策——那一步在闸门里。两层分开就能先开检测看分布、再开拦截。
208
- return scan;
209
- }
1
+ // #164 A2:写入边界的密钥 / PII 判据。判据来源是 #164 A2(维护者 09-28 把认领转给
2
+ // 本侧),消费方是 #254 的写入准入——`write-admission.js` 从 #332 起就留了
3
+ // `sensitiveScan` 注入点,本模块是那个占位的实现。
4
+ //
5
+ // 为什么判据独立成文件、不写进 write-admission.js:判据的归属是 #164 A2,闸门的归属
6
+ // 是 #254。闸门只消费 `{kind, label}`(deny 面已在 #332 定死),判据自己既不认识
7
+ // 「会话预算」也不认识 `llm_audit_logs`——换一个判据(比如将来接更重的 PII 分类器)
8
+ // 只换注入的那一行。写入边界的另外两个出口(autoSummarize / dream 输出)要复用同一份
9
+ // 判据时也直接 import 本模块的 `scanSensitive`,不必各写一套形状。
10
+ //
11
+ // 三条判据口径(前两条是 #254 已定的硬约束,第三条是本模块自己的):
12
+ //
13
+ // 1. 零 LLM、纯确定性。写入路径在最上游,这里多花的时间会乘上每一次写入;EdgeMem
14
+ // (2609.05553)那句「能不用模型判定就不用」说的就是这一层。
15
+ //
16
+ // 2. 假阳率由负样本定。`test/helpers/write-admission-samples.js` 的 12 条负样本是
17
+ // #332 就配好的验收面,维护者把话说死了:「同一套负样本原样跑,抓错任何一条就不
18
+ // 算落地」。所以本模块的形状是**先认形状再认关键词**——纯关键词匹配在那组负样本
19
+ // 上全军覆没(「把 API key 放进环境变量」这类讨论句里一个凭据值都没有)。
20
+ //
21
+ // 3. 报最严重的那一类(`kind` 落审计)。同一个字符串可能同时像两类(`sk_live_` 前缀
22
+ // 既是 Stripe 的形状、也能被通用的 `sk-` 规则吃下),所以规则表按「越具体越靠前」
23
+ // 排,命中即返回。密钥在前、PII 在后:两者误杀面差一个量级(密钥串出现在正常项目
24
+ // 记忆里就是事故,邮箱 / 手机号完全可能是正当内容),同时命中时报更严重的那一类。
25
+ // `kind` 是稳定判据键(不是展示文案),enforce 打开前先按它看分布,将来要按类放行
26
+ // 也只改策略、不动判据。
27
+ //
28
+ // 已知边界(都是「宁漏不误杀」的取舍,不是遗漏):
29
+ // - 只扫文本(title / content / tags)。不扫路径、id、时间戳这类元数据字段——它们
30
+ // 由系统生成,不是用户写进来的内容,扫它们只会引入假阳。
31
+ // - 中文关键词(密码 / 令牌)不认。补进去会让「密码必须脱敏后再入库」这类讨论句
32
+ // 命中,而那正是负样本 group 的形状。要覆盖中文赋值得先设计「关键词语种 × 值形状」
33
+ // 的两维判据,不在本批。
34
+ // - 手机号只认大陆移动号段(1[3-9] + 9 位),固定电话与带国家码的写法不认。宽一位
35
+ // 就会把长度相近的订单号 / 内部编号吃进来,而 PII 这一档的误杀面已经比密钥大一档。
36
+ // - 银行卡号加 Luhn 校验:`0000000000000000`、`4111111111111112` 这类形状对但校验
37
+ // 不过的串不报。少了这道校验,任何 16 位数字串(订单号、时间戳拼接)都会命中。
38
+ // - 身份证同样加校验位(GB 11643 / ISO 7064 MOD 11-2):位数对但校验不过的 18 位
39
+ // 数字串不报。原先只有银行卡有校验、身份证没有,结果是 18 位纯数字先被身份证规则
40
+ // 命中,反倒绕过银行卡那条的 Luhn。
41
+ //
42
+ // 归一化:这里**不**用 content-hash.js 的 normalizeForHash。那套口径(NFKC → 小写 →
43
+ // 去标点)是为「只差格式的两条写入是否同一件事」定的,判据要的是原串的形状——大小写
44
+ // 是密钥 alphabet 的一部分(`AKIA` 与 `akia` 不是同一个值),去掉 `-` / `_` 会把 JWT
45
+ // 与 Slack token 的分段结构一起折没。两个口径别互换。
46
+
47
+ /** 判据命中的返回形状(与 `createWriteAdmission` 的 sensitiveScan 契约一致)。 */
48
+ // kind 是稳定键、label 是给人看的一行说明;两者都落 llm_audit_logs 的
49
+ // metadata.deny,所以别在其中塞运行时的值(命中的凭据本身绝不落盘 / 不回显)。
50
+ const SECRET_RULES = [
51
+ { kind: "aws_access_key", label: "AWS access key id", re: /\b(?:AKIA|ASIA)[0-9A-Z]{16}\b/ },
52
+ // AWS 的 secret access key 没有前缀,只能靠赋值键认:`AWS_SECRET_ACCESS_KEY` /
53
+ // `aws_secret_access_key` 这个键名是它的形状。最早的一批 `secret` 关键词规则被
54
+ // 「必须在赋值号前」的位置要求挡在外面(多词键里 `secret` 后面跟的是 `_`,不是
55
+ // `:`/`=`),所以它得单独一条。40 位下限取 AWS 官方密钥的固定长度。
56
+ {
57
+ kind: "aws_secret_key",
58
+ label: "AWS secret access key",
59
+ // 键名不分大小写,所以挂 `/i` 而不是行内修饰符组 `(?i:...)`:后者是 ES2025 语法,
60
+ // CI 矩阵里的 Node 22 直接抛 SyntaxError(本文件其余规则也没有用它的)。
61
+ // 值那一半本来就是 `[A-Za-z0-9/+=]`,带上 `/i` 不改变大小写敏感度。
62
+ re: /(?:aws[_-]?secret[_-]?access[_-]?key)\s*[:=]\s*["']?([A-Za-z0-9/+=]{40})(?![A-Za-z0-9/+=])/i
63
+ },
64
+ { kind: "github_token", label: "GitHub token", re: /\b(?:ghp|gho|ghu|ghs|ghr)_[A-Za-z0-9]{36}\b/ },
65
+ { kind: "slack_token", label: "Slack token", re: /\bxox[abprs]-[A-Za-z0-9-]{10,}\b/ },
66
+ // PEM 头是明文私钥的确定标志,带不带正文都一样判——`BEGIN` 与 `PRIVATE KEY` 之间
67
+ // 可能有 `RSA` / `EC` / `OPENSSH`,所以中间那段是 [A-Z ]*。
68
+ { kind: "private_key", label: "PEM private key", re: /-----BEGIN [A-Z ]*PRIVATE KEY-----/ },
69
+ { kind: "jwt", label: "JSON Web Token", re: /\beyJ[A-Za-z0-9_-]{8,}\.[A-Za-z0-9_-]{8,}\.[A-Za-z0-9_-]{8,}/ },
70
+ // scheme 与 userinfo 两段都加上界。scheme 那段的 `*` 作用在含 `.` 的字符类上,
71
+ // 一条长点分串(包名 / 路径 / 版本链)里每个起点都要一路回溯到结尾才发现没有
72
+ // `://` → 与 email 同源的 O(n²)(实测 120KB 对抗串里这条占 4.1 秒)。
73
+ // URL scheme 名本就短、`user:password` 也不会长到 64,上界只钉住回溯面,
74
+ // 真实连接串一条不少。
75
+ { kind: "connection_string", label: "credentials in URL", re: /\b[a-z][a-z0-9+.-]{0,31}:\/\/[^\s/:@]{1,64}:[^\s/:@]{6,}@/ },
76
+ // Stripe 排在通用 `sk-` 之前:`sk_live_…` 两条规则都吃,先到的那条决定 kind。
77
+ // 只认 sk_live_(生产密钥):sk_test_ 是公开测试密钥,报它是纯误杀。
78
+ { kind: "stripe_key", label: "Stripe secret key", re: /\bsk_live_[A-Za-z0-9]{16,}\b/ },
79
+ { kind: "npm_token", label: "npm auth token", re: /_authToken\s*=\s*[A-Za-z0-9_-]{20,}/ },
80
+ // 下限 24 而不是 20:这是一条纯收紧、不动语料读数的加固——OpenAI 的 key 没有校验
81
+ // 位,前缀 + 长度是唯一形状,20 位会把更长的假阳性面留在表里。`sk-` 后面跟短串的
82
+ // 赋值句仍会被赋值型那条认下(那是**对的**:值长了 8 位以上就该报)。
83
+ { kind: "openai_key", label: "OpenAI API key", re: /\bsk-(?:proj-)?[A-Za-z0-9_-]{24,}\b/ },
84
+ {
85
+ // 赋值型:最常见的一类,也是负样本组(占位符 / 环境变量 / 模板变量 / 只提关键词)
86
+ // 的主要靶子。判据是「关键词 + 赋值号 + 右边真的是个值的形状」,值本身不校验
87
+ // alphabet——凭据值没有通用形状,能通用的只有「它不像占位符」。
88
+ kind: "assigned_secret",
89
+ label: "assigned credential literal",
90
+ // 左边界不能把 `_` 排除在外:环境变量名正是拿 `_` 当分隔符,排除它会让
91
+ // `DB_PASSWORD=` / `MY_API_KEY=` / `MYSQL_PASSWORD=` 整类漏放(只有恰好落在
92
+ // 行首的 `API_KEY=` 能中)。放宽后 #332 那套 26 条语料(含 12 条负样本)全绿,
93
+ // 说明原写法不是语料换来的取舍。挡误杀的是下面那道占位符守卫,不是这个边界。
94
+ re: /(?:^|[^A-Za-z0-9])(?:password|passwd|pwd|secret|api[_-]?key|token)\b\s*[:=]\s*["']?([^\s"']{8,})/i,
95
+ // 占位符守卫:右边是尖括号占位、shell / 模板变量、环境变量读取、或一串 x / * / …
96
+ // 时不算命中。少这道守卫,`password: <redacted>` 与 `token: ${TOKEN}` 都会被报,
97
+ // 而它们正是「配置里该怎么写」的示例文本。
98
+ guard: (value) => !/^(?:<[^>]*>|\$\{|\$[A-Z_]+$|process\.env|redacted|xx+|\*+|\u2026)/i.test(value)
99
+ }
100
+ ];
101
+
102
+ const PII_RULES = [
103
+ {
104
+ kind: "email",
105
+ label: "email address",
106
+ // 先看 TLD 再看 `@`:反过来的 `(?:[A-Za-z]{2,}\.)+[A-Za-z]{2,}` 对
107
+ // `a@b.c.d.e` 这类可以回溯出指数条路径。
108
+ // local part 的 `+` 必须加上界。该字符类含 `.`,所以一条长点分串(包名 / 路径 /
109
+ // 版本链)后跟一个 `@` 时,每个起点都要重扫到那个 `@` 才失败 → 整体 O(n²)。
110
+ // 实测 120KB 对抗串 23.5 秒里这条占 18.6 秒,34KB 点分链要 0.6 秒;本判据在写入
111
+ // 路径上同步跑,等于把写入阻塞住。64 是 RFC 5321 给 local part 的上限,加上界
112
+ // 不缩检测面——放弃的只是长于 64 的非法形状。
113
+ re: /\b[A-Za-z0-9._%+-]{1,64}@(?:[A-Za-z0-9-]+\.)+[A-Za-z]{2,}\b/
114
+ },
115
+ { kind: "cn_mobile", label: "mainland mobile number", re: /(?<!\d)1[3-9]\d{9}(?!\d)/ },
116
+ { kind: "cn_id_card", label: "mainland ID number", re: /(?<![0-9A-Za-z])\d{17}[\dXx](?![0-9A-Za-z])/, cnId: true },
117
+ { kind: "bank_card", label: "payment card number", re: /(?<!\d)(?:\d{13,19})(?!\d)/, luhn: true }
118
+ ];
119
+
120
+ /**
121
+ * Luhn(模 10)校验。银行卡号这一档只靠位数与首字符形状会把所有 13–19 位数字串
122
+ * 都吃进来,而项目记忆里长度差不多的数字串(订单号、拼接的时间戳)很常见;校验位
123
+ * 是卡号自带的、零成本的第二道形状。负样本里没有卡号形状的串,这道校验是防未列举
124
+ * 的那一类(同时它也不影响正样本:4111111111111111 是 Luhn 通过的公开测试卡号)。
125
+ * @param {string} value 归一后的数字串(可能含分隔符)
126
+ */
127
+ function passesLuhn(value) {
128
+ const digits = value.replace(/\D/g, "");
129
+ if (digits.length < 13 || digits.length > 19) return false;
130
+ let sum = 0;
131
+ let double = false;
132
+ for (let i = digits.length - 1; i >= 0; i--) {
133
+ let d = digits.charCodeAt(i) - 48;
134
+ if (double) {
135
+ d *= 2;
136
+ if (d > 9) d -= 9;
137
+ }
138
+ sum += d;
139
+ double = !double;
140
+ }
141
+ return sum % 10 === 0;
142
+ }
143
+
144
+ // 大陆身份证校验位(GB 11643 / ISO 7064 MOD 11-2)。与银行卡的 Luhn 同理:18 位
145
+ // 数字串在项目记忆里很常见(订单号、内部编号、拼接时间戳),位数这个形状拦不住它们,
146
+ // 而校验位是身份证自带的、零成本的第二道形状。权重序列与余数映射都是标准值,别改。
147
+ const CN_ID_WEIGHTS = [7, 9, 10, 5, 8, 4, 2, 1, 6, 3, 7, 9, 10, 5, 8, 4, 2];
148
+ const CN_ID_CODES = "10X98765432";
149
+ /** @param {string} value 命中串(17 位数字 + 校验位,校验位可为 X) */
150
+ function passesCnId(value) {
151
+ if (!/^\d{17}[\dXx]$/.test(value)) return false;
152
+ let sum = 0;
153
+ for (let i = 0; i < 17; i++) sum += Number(value[i]) * CN_ID_WEIGHTS[i];
154
+ return CN_ID_CODES[sum % 11] === value[17].toUpperCase();
155
+ }
156
+
157
+ /**
158
+ * 扫一段文本里的密钥 / PII。命中返回 `{kind, label}`、未命中返回 null,不抛。
159
+ *
160
+ * 只认第一处命中(按规则表顺序 = 严重度顺序)。一次写入里出现第二条凭据时不再报——
161
+ * deny 面只记判据类别,报多条只是把同一件事写几遍。
162
+ * @param {unknown} value
163
+ * @returns {{kind: string, label: string}|null}
164
+ */
165
+ export function scanSensitive(value) {
166
+ const text = typeof value === "string" ? value : String(value ?? "");
167
+ if (!text) return null;
168
+ for (const rule of [...SECRET_RULES, ...PII_RULES]) {
169
+ const match = text.match(rule.re);
170
+ if (!match) continue;
171
+ // 守卫只看捕获组:没有捕获组的规则天然没有守卫。
172
+ if (rule.guard && !rule.guard(match[1] ?? "")) continue;
173
+ if (rule.luhn && !passesLuhn(match[0])) continue;
174
+ if (rule.cnId && !passesCnId(match[0])) continue;
175
+ return { kind: rule.kind, label: rule.label };
176
+ }
177
+ return null;
178
+ }
179
+
180
+ /**
181
+ * 判据的两种调用面,共用同一份规则表:
182
+ * `scanSensitive(text)` — 任意文本,给写入边界之外的消费方(autoSummarize /
183
+ * dream 输出)直接调;它们手里是文本,不是记忆行。
184
+ * `createSensitiveScan({config})` — `write-admission.js` 的 `sensitiveScan` 契约,
185
+ * 入参是记忆对象、返回 `{kind, label}` 或 null。
186
+ *
187
+ * 开关在工厂里判一次:`sensitiveScanEnabled` 关时返回 null,闸门侧连函数都拿不到,
188
+ * 于是「第 1 级只跑空白 / 噪声」这条路与 #332 合并时**逐字段一致**(那一版根本没有
189
+ * 这个函数)。反过来,本键开着也不会自己去扫:唯一的调用点是闸门的 firstLevelHit,
190
+ * 而闸门要 `writeAdmission.enabled` 打开才走第 1 级判据。所以两个键是「闸门」与
191
+ * 「闸门内这一批判据」的关系,不是互为子开关——任一个关着,A2 都不产生任何判定。
192
+ * 分成两个键是为了能单独观察 A2 的命中分布(空白 / 噪声与密钥 / PII 的误杀面差一个
193
+ * 量级),不是为了让它能脱离闸门独立生效。
194
+ *
195
+ * @param {{config?: object}} [deps]
196
+ * @returns {((memory: object) => ({kind: string, label: string}|null))|null}
197
+ */
198
+ export function createSensitiveScan({ config } = {}) {
199
+ if (config?.sensitiveScanEnabled !== true) return null;
200
+ const scan = (memory) => {
201
+ const text = [memory?.title, memory?.content, ...(Array.isArray(memory?.tags) ? memory.tags : [])]
202
+ .filter((s) => typeof s === "string")
203
+ .join("\n");
204
+ return scanSensitive(text);
205
+ };
206
+ // 工厂只认「开 / 关」;enforce 由 write-admission 决定(命中即 deny 还是仅告警),
207
+ // 判据自己不碰决策——那一步在闸门里。两层分开就能先开检测看分布、再开拦截。
208
+ return scan;
209
+ }