@modusensus/dsh-mneme 0.14.0-beta.1 → 0.14.0-beta.2

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (543) hide show
  1. package/LICENSE +21 -21
  2. package/README.md +830 -830
  3. package/assets/icon.svg +3 -3
  4. package/bin/cli.mjs +964 -964
  5. package/bin/dsh-mneme-choro.mjs +262 -262
  6. package/bin/dsh-mneme-mcp.mjs +510 -510
  7. package/bin/dsh-mneme-serve.mjs +151 -151
  8. package/cordis.patch.yml +21 -21
  9. package/docs/CONFIGURATION.md +407 -404
  10. package/docs/CONTINUITY.md +139 -139
  11. package/docs/DAEMON.md +57 -57
  12. package/docs/DIRECTORIES.md +114 -114
  13. package/docs/DISTILL.md +397 -371
  14. package/docs/DSH-GO.md +97 -97
  15. package/docs/ENTITIES.md +247 -247
  16. package/docs/FORGET.md +77 -77
  17. package/docs/KB.md +110 -110
  18. package/docs/LOCAL_MODEL.md +222 -222
  19. package/docs/SEMANTIC.md +256 -256
  20. package/docs/SHARE.md +552 -552
  21. package/docs/SLEEP.md +202 -202
  22. package/docs/STORAGE.md +122 -122
  23. package/docs/WORKFLOWS.md +366 -366
  24. package/lib/api-standalone.js +1007 -1007
  25. package/lib/api.js +3600 -3600
  26. package/lib/attachment-text.js +122 -122
  27. package/lib/bootstrap-http.js +105 -105
  28. package/lib/bootstrap.js +215 -215
  29. package/lib/candidates.js +454 -454
  30. package/lib/capabilities.js +819 -819
  31. package/lib/choro-command.js +111 -111
  32. package/lib/client.js +14420 -14322
  33. package/lib/commands.js +95 -95
  34. package/lib/config-keys.js +144 -144
  35. package/lib/config.js +1361 -1344
  36. package/lib/content-hash.js +54 -54
  37. package/lib/continuity.js +258 -258
  38. package/lib/date-hint.js +32 -0
  39. package/lib/diary/auto.js +190 -190
  40. package/lib/diary/compose.js +440 -440
  41. package/lib/diary/dir.js +59 -59
  42. package/lib/diary/export.js +97 -97
  43. package/lib/diary/index.js +26 -26
  44. package/lib/diary/library.js +189 -189
  45. package/lib/diary/qq-inbox.js +142 -142
  46. package/lib/diary/rollover.js +61 -61
  47. package/lib/diary/session-provider.js +122 -122
  48. package/lib/document-index.js +94 -94
  49. package/lib/document.js +322 -322
  50. package/lib/dream/clustering.js +123 -123
  51. package/lib/dream/decisions.js +945 -945
  52. package/lib/dream/narratives.js +44 -44
  53. package/lib/dream/sleep.js +2027 -2027
  54. package/lib/dream/triage.js +139 -139
  55. package/lib/dream.js +1879 -1879
  56. package/lib/dsh-go/host.js +162 -162
  57. package/lib/dsh-go/panel.js +2091 -2091
  58. package/lib/dsh-go/text.js +342 -342
  59. package/lib/dsh-go/views/common.js +68 -68
  60. package/lib/dsh-go/views/entity.js +48 -48
  61. package/lib/dsh-go/views/memory.js +198 -198
  62. package/lib/dsh-go/views/root.js +30 -30
  63. package/lib/dsh-go/views/settings.js +398 -398
  64. package/lib/dsh-go/views/status.js +51 -51
  65. package/lib/embedding.js +342 -342
  66. package/lib/entities/extractor.js +285 -285
  67. package/lib/fence.js +24 -24
  68. package/lib/graph/anchoring.js +184 -184
  69. package/lib/guide.js +74 -74
  70. package/lib/heat.js +144 -144
  71. package/lib/hot-memory.js +119 -119
  72. package/lib/image-describe.js +158 -0
  73. package/lib/index.js +852 -852
  74. package/lib/inject.js +656 -651
  75. package/lib/kb/index.js +309 -309
  76. package/lib/kb/routes.js +219 -219
  77. package/lib/kb/tools.js +148 -148
  78. package/lib/lang.js +607 -595
  79. package/lib/local-embedder.js +358 -358
  80. package/lib/maintenance.js +162 -162
  81. package/lib/memory-source.js +9 -9
  82. package/lib/mirror.js +330 -330
  83. package/lib/organize.js +456 -456
  84. package/lib/peak-hours.js +172 -172
  85. package/lib/pipeline-activities.js +178 -178
  86. package/lib/pipeline-attribution.js +165 -165
  87. package/lib/pipeline-command.js +279 -279
  88. package/lib/pipeline-confirm.js +142 -142
  89. package/lib/pipeline-exec.js +174 -174
  90. package/lib/pipeline-nudge-auto.js +129 -129
  91. package/lib/pipeline-nudge.js +1623 -1623
  92. package/lib/pipeline-observations.js +181 -181
  93. package/lib/pipeline-observe.js +133 -133
  94. package/lib/pipeline-runner.js +361 -361
  95. package/lib/pipeline-runs.js +442 -442
  96. package/lib/pipeline.js +716 -716
  97. package/lib/placement.js +13 -13
  98. package/lib/pre-inject-gate.js +354 -354
  99. package/lib/profile-extract.js +164 -164
  100. package/lib/profile-facts.js +356 -356
  101. package/lib/provenance-http.js +251 -251
  102. package/lib/quality-filter.js +162 -162
  103. package/lib/recall-stats.js +190 -190
  104. package/lib/reclaim-http.js +150 -150
  105. package/lib/reranker.js +269 -269
  106. package/lib/runtime/adopt.js +176 -176
  107. package/lib/runtime/closure.js +172 -172
  108. package/lib/runtime/download.js +247 -247
  109. package/lib/runtime/layout.js +265 -265
  110. package/lib/runtime/loader.js +252 -252
  111. package/lib/runtime/model-fetch.js +361 -361
  112. package/lib/runtime/provision.js +237 -237
  113. package/lib/runtime/tarball.js +130 -130
  114. package/lib/runtime/verify.js +223 -223
  115. package/lib/safe-slice.js +18 -18
  116. package/lib/scope-state.js +277 -277
  117. package/lib/scope.js +187 -187
  118. package/lib/search/adaptive.js +60 -60
  119. package/lib/search/bm25.js +96 -96
  120. package/lib/semantic.js +572 -572
  121. package/lib/sensitive-scan.js +209 -209
  122. package/lib/serve.js +228 -228
  123. package/lib/service.js +3268 -3268
  124. package/lib/session-gate.js +91 -91
  125. package/lib/session-usage.js +350 -350
  126. package/lib/settings.js +827 -817
  127. package/lib/share-http.js +281 -281
  128. package/lib/share-import.js +234 -234
  129. package/lib/share.js +335 -335
  130. package/lib/store.js +5895 -5895
  131. package/lib/summarize.js +1388 -1343
  132. package/lib/tools.js +1370 -1356
  133. package/lib/user-settings.js +230 -230
  134. package/lib/vector-index.js +180 -180
  135. package/lib/version-check.js +122 -122
  136. package/lib/wiki/claims.js +267 -267
  137. package/lib/wiki/cli-hint.js +90 -90
  138. package/lib/wiki/inject.js +164 -164
  139. package/lib/wiki/partition.js +200 -200
  140. package/lib/wiki/plan.js +214 -214
  141. package/lib/wiki/queries.js +640 -640
  142. package/lib/wiki/render.js +261 -261
  143. package/lib/wiki/scan.js +371 -371
  144. package/lib/wiki/t0.js +500 -500
  145. package/lib/wiki/t1-jobs.js +232 -232
  146. package/lib/wiki/t1.js +609 -609
  147. package/lib/write-admission.js +404 -404
  148. package/locale/en.json +6 -6
  149. package/locale/zh.json +6 -6
  150. package/package.json +1 -1
  151. package/runtime-manifest.json +526 -526
  152. package/scripts/benchmark-embed.js +201 -201
  153. package/scripts/benchmark-recall.js +249 -249
  154. package/scripts/benchmark-rerank.js +166 -166
  155. package/scripts/build-runtime-manifest.mjs +224 -224
  156. package/scripts/changelog-prep.mjs +91 -91
  157. package/scripts/check-sync.js +44 -44
  158. package/scripts/e2e-dsh.js +220 -220
  159. package/scripts/mneme-runtime.mjs +277 -277
  160. package/scripts/publish-gate.mjs +197 -197
  161. package/scripts/release-docs.mjs +210 -210
  162. package/scripts/release-notes.mjs +164 -164
  163. package/scripts/stress-dsh.js +255 -255
  164. package/scripts/sync-lib.js +47 -47
  165. package/scripts/sync-test-badge.mjs +69 -69
  166. package/scripts/test-count-sync.mjs +48 -48
  167. package/src/api-standalone.js +1007 -1007
  168. package/src/api.js +3600 -3600
  169. package/src/attachment-text.js +122 -122
  170. package/src/bootstrap-http.js +105 -105
  171. package/src/bootstrap.js +215 -215
  172. package/src/candidates.js +454 -454
  173. package/src/capabilities.js +819 -819
  174. package/src/choro-command.js +111 -111
  175. package/src/commands.js +95 -95
  176. package/src/config-keys.js +144 -144
  177. package/src/config.js +1361 -1344
  178. package/src/content-hash.js +54 -54
  179. package/src/continuity.js +258 -258
  180. package/src/date-hint.js +32 -0
  181. package/src/diary/auto.js +190 -190
  182. package/src/diary/compose.js +440 -440
  183. package/src/diary/dir.js +59 -59
  184. package/src/diary/export.js +97 -97
  185. package/src/diary/index.js +26 -26
  186. package/src/diary/library.js +189 -189
  187. package/src/diary/qq-inbox.js +142 -142
  188. package/src/diary/rollover.js +61 -61
  189. package/src/diary/session-provider.js +122 -122
  190. package/src/document-index.js +94 -94
  191. package/src/document.js +322 -322
  192. package/src/dream/clustering.js +123 -123
  193. package/src/dream/decisions.js +945 -945
  194. package/src/dream/narratives.js +44 -44
  195. package/src/dream/sleep.js +2027 -2027
  196. package/src/dream/triage.js +139 -139
  197. package/src/dream.js +1879 -1879
  198. package/src/dsh-go/host.js +162 -162
  199. package/src/dsh-go/panel.js +2091 -2091
  200. package/src/dsh-go/text.js +342 -342
  201. package/src/dsh-go/views/common.js +68 -68
  202. package/src/dsh-go/views/entity.js +48 -48
  203. package/src/dsh-go/views/memory.js +198 -198
  204. package/src/dsh-go/views/root.js +30 -30
  205. package/src/dsh-go/views/settings.js +398 -398
  206. package/src/dsh-go/views/status.js +51 -51
  207. package/src/embedding.js +342 -342
  208. package/src/entities/extractor.js +285 -285
  209. package/src/fence.js +24 -24
  210. package/src/graph/anchoring.js +184 -184
  211. package/src/guide.js +74 -74
  212. package/src/heat.js +144 -144
  213. package/src/hot-memory.js +119 -119
  214. package/src/image-describe.js +158 -0
  215. package/src/index.js +852 -852
  216. package/src/inject.js +656 -651
  217. package/src/kb/index.js +309 -309
  218. package/src/kb/routes.js +219 -219
  219. package/src/kb/tools.js +148 -148
  220. package/src/lang.js +607 -595
  221. package/src/local-embedder.js +358 -358
  222. package/src/maintenance.js +162 -162
  223. package/src/memory-source.js +9 -9
  224. package/src/mirror.js +330 -330
  225. package/src/organize.js +456 -456
  226. package/src/peak-hours.js +172 -172
  227. package/src/pipeline-activities.js +178 -178
  228. package/src/pipeline-attribution.js +165 -165
  229. package/src/pipeline-command.js +279 -279
  230. package/src/pipeline-confirm.js +142 -142
  231. package/src/pipeline-exec.js +174 -174
  232. package/src/pipeline-nudge-auto.js +129 -129
  233. package/src/pipeline-nudge.js +1623 -1623
  234. package/src/pipeline-observations.js +181 -181
  235. package/src/pipeline-observe.js +133 -133
  236. package/src/pipeline-runner.js +361 -361
  237. package/src/pipeline-runs.js +442 -442
  238. package/src/pipeline.js +716 -716
  239. package/src/placement.js +13 -13
  240. package/src/pre-inject-gate.js +354 -354
  241. package/src/profile-extract.js +164 -164
  242. package/src/profile-facts.js +356 -356
  243. package/src/provenance-http.js +251 -251
  244. package/src/quality-filter.js +162 -162
  245. package/src/recall-stats.js +190 -190
  246. package/src/reclaim-http.js +150 -150
  247. package/src/reranker.js +269 -269
  248. package/src/runtime/adopt.js +176 -176
  249. package/src/runtime/closure.js +172 -172
  250. package/src/runtime/download.js +247 -247
  251. package/src/runtime/layout.js +265 -265
  252. package/src/runtime/loader.js +252 -252
  253. package/src/runtime/model-fetch.js +361 -361
  254. package/src/runtime/provision.js +237 -237
  255. package/src/runtime/tarball.js +130 -130
  256. package/src/runtime/verify.js +223 -223
  257. package/src/safe-slice.js +18 -18
  258. package/src/scope-state.js +277 -277
  259. package/src/scope.js +187 -187
  260. package/src/search/adaptive.js +60 -60
  261. package/src/search/bm25.js +96 -96
  262. package/src/semantic.js +572 -572
  263. package/src/sensitive-scan.js +209 -209
  264. package/src/serve.js +228 -228
  265. package/src/service.js +3268 -3268
  266. package/src/session-gate.js +91 -91
  267. package/src/session-usage.js +350 -350
  268. package/src/settings.js +827 -817
  269. package/src/share-http.js +281 -281
  270. package/src/share-import.js +234 -234
  271. package/src/share.js +335 -335
  272. package/src/store.js +5895 -5895
  273. package/src/summarize.js +1388 -1343
  274. package/src/tools.js +1370 -1356
  275. package/src/user-settings.js +230 -230
  276. package/src/vector-index.js +180 -180
  277. package/src/version-check.js +122 -122
  278. package/src/wiki/claims.js +267 -267
  279. package/src/wiki/cli-hint.js +90 -90
  280. package/src/wiki/inject.js +164 -164
  281. package/src/wiki/partition.js +200 -200
  282. package/src/wiki/plan.js +214 -214
  283. package/src/wiki/queries.js +640 -640
  284. package/src/wiki/render.js +261 -261
  285. package/src/wiki/scan.js +371 -371
  286. package/src/wiki/t0.js +500 -500
  287. package/src/wiki/t1-jobs.js +232 -232
  288. package/src/wiki/t1.js +609 -609
  289. package/src/write-admission.js +404 -404
  290. package/test/adaptive-inject-budget.test.js +85 -85
  291. package/test/api-hardening.test.js +173 -173
  292. package/test/api-nudge-route.test.js +259 -259
  293. package/test/api-routes-gaps.test.js +1092 -1092
  294. package/test/api.test.js +3007 -2998
  295. package/test/attachment-text.test.js +139 -139
  296. package/test/audit.test.js +448 -448
  297. package/test/baseline-persist.test.js +248 -248
  298. package/test/benchmark.test.js +94 -94
  299. package/test/bm25-corpus-cache.test.js +145 -145
  300. package/test/bootstrap.test.js +228 -228
  301. package/test/candidates.test.js +345 -345
  302. package/test/capabilities.test.js +577 -577
  303. package/test/capacity-warning.test.js +262 -262
  304. package/test/changelog-prep.test.js +125 -125
  305. package/test/choro-command.test.js +218 -218
  306. package/test/cli-enums.test.js +37 -37
  307. package/test/cli-flag-value.test.js +86 -86
  308. package/test/cli-receive.test.js +390 -390
  309. package/test/cli-share.test.js +437 -437
  310. package/test/client-share.test.js +225 -225
  311. package/test/client.test.js +4595 -4425
  312. package/test/clustering.test.js +100 -100
  313. package/test/commands.test.js +106 -106
  314. package/test/config-keys-routes.test.js +233 -233
  315. package/test/config.test.js +153 -153
  316. package/test/conflict-freeze.test.js +344 -344
  317. package/test/conflict-ledger-enforce.test.js +452 -452
  318. package/test/conflict-ledger.test.js +242 -242
  319. package/test/conflict-reviewed.test.js +79 -79
  320. package/test/content-hash.test.js +204 -204
  321. package/test/continuity.test.js +452 -452
  322. package/test/contrast.test.js +432 -432
  323. package/test/date-hint.test.js +156 -0
  324. package/test/dedupe-candidate-window.test.js +180 -180
  325. package/test/dependency-overrides.test.js +78 -78
  326. package/test/diary-library.test.js +187 -187
  327. package/test/diary.test.js +576 -576
  328. package/test/differentiate-feedback.test.js +248 -248
  329. package/test/distill-tx-embed-gap.test.js +110 -110
  330. package/test/docs-config-keys.test.js +65 -65
  331. package/test/document-dir.test.js +233 -233
  332. package/test/document.test.js +703 -703
  333. package/test/dream-archive-guardrail.test.js +116 -116
  334. package/test/dream-baseline-clamp.test.js +174 -174
  335. package/test/dream-candidate-hybrid.test.js +281 -281
  336. package/test/dream-coverage-degrade.test.js +86 -86
  337. package/test/dream-decision-evidence.test.js +314 -314
  338. package/test/dream-failure-backoff.test.js +173 -173
  339. package/test/dream-fence.test.js +207 -207
  340. package/test/dream-maxtokens-fallback.test.js +132 -132
  341. package/test/dream-merge-guardrail.test.js +219 -219
  342. package/test/dream-peak-hours.test.js +194 -194
  343. package/test/dream.test.js +1528 -1528
  344. package/test/dsh-go-host.test.js +134 -134
  345. package/test/dsh-go-panel-actions.test.js +854 -854
  346. package/test/dsh-go-panel.test.js +251 -251
  347. package/test/embed-ready-poll.test.js +94 -94
  348. package/test/embed-text-reasons.test.js +112 -112
  349. package/test/embedding-cache-f32.test.js +276 -276
  350. package/test/embedding-ready.test.js +226 -226
  351. package/test/entities.test.js +711 -711
  352. package/test/entity-recall.test.js +179 -179
  353. package/test/epistemic.test.js +325 -325
  354. package/test/failure-query.test.js +147 -147
  355. package/test/failure-retention.test.js +105 -105
  356. package/test/fnew-0112.test.js +311 -311
  357. package/test/fnew-03.test.js +422 -422
  358. package/test/forget-corrections.test.js +70 -70
  359. package/test/graph-anchoring.test.js +184 -184
  360. package/test/graph-api.test.js +333 -333
  361. package/test/graph-boosted-relations.test.js +189 -189
  362. package/test/graph-inject-budget.test.js +103 -103
  363. package/test/graph-multipath.test.js +269 -269
  364. package/test/graph-passive-confirm.test.js +91 -91
  365. package/test/graph-weight-evolution.test.js +104 -104
  366. package/test/heat.test.js +175 -175
  367. package/test/helpers/dream-mock.js +86 -86
  368. package/test/helpers/peer-worker.mjs +25 -25
  369. package/test/helpers/runtime-source.js +60 -60
  370. package/test/helpers/tar-builder.js +80 -80
  371. package/test/helpers/write-admission-samples.js +312 -312
  372. package/test/hot-memory.test.js +259 -259
  373. package/test/image-description.test.js +271 -0
  374. package/test/image-memory.test.js +170 -170
  375. package/test/inject-content-cap.test.js +91 -91
  376. package/test/inject-first-round-bm25.test.js +89 -89
  377. package/test/inject-heat.test.js +77 -77
  378. package/test/inject-parent-gate.test.js +134 -109
  379. package/test/inject-pin-explicit.test.js +300 -300
  380. package/test/inject-pin-vector-crowd.test.js +225 -225
  381. package/test/inject-pools.test.js +195 -195
  382. package/test/inject-recall.test.js +172 -172
  383. package/test/inject-rotation.test.js +161 -161
  384. package/test/inject.test.js +553 -553
  385. package/test/issue-617-step1-query-and-fusion.test.js +361 -361
  386. package/test/kb-api-wiring.test.js +128 -128
  387. package/test/kb-collections.test.js +272 -272
  388. package/test/kb-routes.test.js +379 -379
  389. package/test/lang.test.js +98 -98
  390. package/test/lastrunat-persist.test.js +101 -101
  391. package/test/lib-smoke.test.js +116 -116
  392. package/test/llm-audit.test.js +815 -815
  393. package/test/llm-message-source.test.js +207 -207
  394. package/test/local-embedder.test.js +292 -292
  395. package/test/maintenance.test.js +501 -501
  396. package/test/mcp-stdio.test.js +385 -385
  397. package/test/mint-source.test.js +311 -311
  398. package/test/mirror-dirty.test.js +424 -424
  399. package/test/mirror-edit-digest.test.js +187 -187
  400. package/test/mirror-generation.test.js +499 -499
  401. package/test/mirror-types.test.js +208 -208
  402. package/test/mirror.test.js +249 -249
  403. package/test/narrative-bars.test.js +162 -162
  404. package/test/organize-tool.test.js +232 -232
  405. package/test/organize.test.js +418 -418
  406. package/test/panel-chart-scale.test.js +90 -90
  407. package/test/panel-tokens.test.js +245 -245
  408. package/test/peak-hours-observability.test.js +70 -70
  409. package/test/peer-blockers.test.js +193 -193
  410. package/test/persona-addressing.test.js +83 -83
  411. package/test/persona-api.test.js +172 -172
  412. package/test/persona-by-session.test.js +568 -568
  413. package/test/persona-flag.test.js +36 -36
  414. package/test/persona-inject.test.js +145 -145
  415. package/test/persona-settings.test.js +198 -198
  416. package/test/pipeline-activities.test.js +155 -155
  417. package/test/pipeline-attribution.test.js +175 -175
  418. package/test/pipeline-command.test.js +243 -243
  419. package/test/pipeline-confirm.test.js +148 -148
  420. package/test/pipeline-exec.test.js +172 -172
  421. package/test/pipeline-nudge-auto.test.js +248 -248
  422. package/test/pipeline-nudge.test.js +1278 -1278
  423. package/test/pipeline-observations.test.js +157 -157
  424. package/test/pipeline-observe.test.js +127 -127
  425. package/test/pipeline-r1r2.test.js +278 -278
  426. package/test/pipeline-runner.test.js +468 -468
  427. package/test/pipeline-runs.test.js +767 -767
  428. package/test/pipeline.test.js +636 -636
  429. package/test/placement.test.js +36 -36
  430. package/test/policy-epoch.test.js +259 -259
  431. package/test/pre-inject-gate.test.js +444 -444
  432. package/test/profile-extract.test.js +269 -269
  433. package/test/profile-facts.test.js +492 -492
  434. package/test/prompt-stance.test.js +128 -128
  435. package/test/provenance-http.test.js +367 -367
  436. package/test/publish-gate.test.js +272 -272
  437. package/test/quality-backfill.test.js +290 -290
  438. package/test/quality-filter.test.js +295 -295
  439. package/test/readme-claims.test.js +113 -113
  440. package/test/reasoning-effort.test.js +752 -752
  441. package/test/recall-anti-update.test.js +82 -82
  442. package/test/recall-evals.test.js +253 -253
  443. package/test/recall-layer.test.js +326 -326
  444. package/test/recall-retention.test.js +128 -128
  445. package/test/recall-stats.test.js +274 -274
  446. package/test/receipt-chain.test.js +451 -451
  447. package/test/reclaim-http.test.js +209 -209
  448. package/test/reflection-update-gate.test.js +129 -129
  449. package/test/reflection.test.js +226 -226
  450. package/test/reindex-backfill.test.js +475 -475
  451. package/test/reindex-scheduler.test.js +369 -369
  452. package/test/release-docs.test.js +156 -156
  453. package/test/release-notes.test.js +265 -265
  454. package/test/release-workflow.test.js +93 -93
  455. package/test/reranker-single-logit.test.js +73 -73
  456. package/test/reranker.test.js +197 -197
  457. package/test/resident-status.test.js +83 -83
  458. package/test/route-policy.test.js +113 -113
  459. package/test/runtime-adopt.test.js +206 -206
  460. package/test/runtime-cli.test.js +89 -89
  461. package/test/runtime-closure.test.js +193 -193
  462. package/test/runtime-download.test.js +302 -302
  463. package/test/runtime-layout.test.js +163 -163
  464. package/test/runtime-loader.test.js +255 -255
  465. package/test/runtime-manifest.test.js +159 -159
  466. package/test/runtime-model-fetch.test.js +348 -348
  467. package/test/runtime-provision.test.js +101 -101
  468. package/test/runtime-tarball.test.js +81 -81
  469. package/test/runtime-verify.test.js +319 -319
  470. package/test/scope-candidates.test.js +491 -491
  471. package/test/scope-distill-stamp.test.js +134 -134
  472. package/test/scope-explicit.test.js +452 -452
  473. package/test/scope-inject-soft.test.js +106 -106
  474. package/test/scope-optional-service.test.js +110 -110
  475. package/test/scope-retrieval.test.js +197 -197
  476. package/test/scope-state.test.js +610 -610
  477. package/test/scope-storage.test.js +255 -255
  478. package/test/scope-strict.test.js +367 -367
  479. package/test/search-fusion.test.js +90 -90
  480. package/test/security-doc.test.js +188 -188
  481. package/test/semantic.test.js +124 -124
  482. package/test/sensitive-scan.test.js +251 -251
  483. package/test/serve-bin.test.js +121 -121
  484. package/test/serve.test.js +258 -258
  485. package/test/service-search.test.js +174 -174
  486. package/test/service.test.js +410 -410
  487. package/test/session-gate.test.js +264 -264
  488. package/test/session-usage.test.js +317 -317
  489. package/test/settings.test.js +273 -273
  490. package/test/share-foreign-rows.test.js +144 -144
  491. package/test/share-http.test.js +144 -144
  492. package/test/share-import.test.js +577 -577
  493. package/test/share-imported-guard.test.js +311 -311
  494. package/test/share-imported-identity.test.js +111 -111
  495. package/test/share-pack.test.js +511 -511
  496. package/test/share-receive-http.test.js +756 -756
  497. package/test/share-routes.test.js +337 -337
  498. package/test/share-store.test.js +133 -133
  499. package/test/share-validate.test.js +101 -101
  500. package/test/skip-invalid-restore.test.js +262 -262
  501. package/test/sleep-action-set.test.js +441 -441
  502. package/test/sleep-catchup.test.js +315 -315
  503. package/test/sleep-failure-backoff.test.js +156 -156
  504. package/test/sleep-heat.test.js +174 -174
  505. package/test/sleep-scheduler-rearm.test.js +89 -89
  506. package/test/sleep.test.js +1455 -1455
  507. package/test/standalone-api.test.js +1344 -1344
  508. package/test/store-vector-cache.test.js +98 -98
  509. package/test/store-write-path-columns.test.js +191 -191
  510. package/test/store.test.js +744 -744
  511. package/test/stress.test.js +209 -209
  512. package/test/summarize-occurred-at.test.js +127 -127
  513. package/test/summarize-parse-diagnostics.test.js +75 -75
  514. package/test/summarize-reasoning-effort.test.js +189 -189
  515. package/test/summarize.test.js +2251 -2251
  516. package/test/supersede-state-tracking.test.js +394 -394
  517. package/test/test-count-sync.test.js +71 -71
  518. package/test/tool-state-ignore.test.js +65 -65
  519. package/test/tools-dto-schema-matrix.test.js +398 -398
  520. package/test/tools-memory-get-schema.test.js +65 -65
  521. package/test/tools.test.js +585 -585
  522. package/test/updated-at-semantics.test.js +113 -113
  523. package/test/user-settings-preview.test.js +127 -127
  524. package/test/user-settings-segments.test.js +527 -527
  525. package/test/vector-index.test.js +334 -334
  526. package/test/version-check.test.js +152 -152
  527. package/test/webServer-optional.test.js +82 -82
  528. package/test/wiki-api.test.js +734 -734
  529. package/test/wiki-claims.test.js +194 -194
  530. package/test/wiki-cli-hint.test.js +118 -118
  531. package/test/wiki-inject.test.js +265 -265
  532. package/test/wiki-partition.test.js +112 -112
  533. package/test/wiki-plan.test.js +80 -80
  534. package/test/wiki-provenance.test.js +202 -202
  535. package/test/wiki-queries.test.js +398 -398
  536. package/test/wiki-scan.test.js +208 -208
  537. package/test/wiki-store.test.js +190 -190
  538. package/test/wiki-t0.test.js +456 -456
  539. package/test/wiki-t1-jobs.test.js +125 -125
  540. package/test/wiki-t1.test.js +460 -460
  541. package/test/wiki-tools.test.js +176 -176
  542. package/test/workflow-guards.test.js +155 -155
  543. package/test/write-admission.test.js +668 -668
@@ -1,350 +1,350 @@
1
- /**
2
- * 能力使用证据的**读侧**:从 DSH 会话日志里解析「哪个能力在什么时候被调用过」。
3
- *
4
- * 为什么单独一个文件:这份解析有两个已经踩过的坑,都属「静默少一大截」型——
5
- * · **zstd 是多帧的**:`zlib.zstdDecompressSync(buf)` 只返回**第一帧**,不报错、不警告。
6
- * 实测一个 1.5 MB 的会话文件只解出 291 字节,99% 的内容没被扫到,于是得出
7
- * 「零命中」的假结论。必须自己按 magic `28 b5 2f fd` 切帧逐帧解。
8
- * · **tool-call 的参数在 `arguments`,值是 JSON 字符串**(不是对象,也不是
9
- * `parameters`):形如 `{"type":"tool-call","name":"skill","arguments":"{\"name\":\"agent-reach\"}"}`。
10
- * 取错字段会得到 null,看着像「调用了但没记参数」。
11
- * 把它们关在一个模块里,是为了让 `capabilities.js` 只负责「调用 + 投影」,不碰这些细节。
12
- *
13
- * **只读**:不解压到磁盘、不写任何文件、不改库。
14
- *
15
- * 与 `src/pipeline.js` 的 `deriveState` 同一套语汇:使用状态由**运行记录**推出来,
16
- * 不由人写死——没记录就是 `candidate`(实话:不知道用过没有),有记录是 `trusted`,
17
- * 久未用是 `stale`。
18
- */
19
- import { readFileSync, readdirSync, existsSync, statSync } from "node:fs";
20
- import { join } from "node:path";
21
- import { homedir } from "node:os";
22
- import zlib from "node:zlib";
23
-
24
- /** zstd 帧头 magic。多帧文件里每帧都以此开头,切帧就靠它。 */
25
- const ZSTD_MAGIC = Buffer.from([0x28, 0xb5, 0x2f, 0xfd]);
26
-
27
- /**
28
- * 会话日志文件名前缀。
29
- *
30
- * **不是只认 `session.v4`** —— 本机实测同一会话树下并存三种格式:
31
- * · `session.v4.jsonl.zstd`(219 个)
32
- * · `session.v3.jsonl.zstd`(218 个)
33
- * · `session.jsonl.zstd`(72 个,无版本号的最早期形态)
34
- * 只认 v4 会**静默漏掉一半以上的历史**(实测漏掉 50 次技能调用,其中 `euthyna` 44 次;
35
- * `brainstorming` / `writing-plans` / `subagent-driven-development` 三个技能明明用过
36
- * 却被报成 `candidate`)。所以这里只要求「文件名以 `session` 开头」——宁可多读几个
37
- * 非会话文件(解析时自然会被 `tool-call` 过滤掉),也不要漏掉真实记录。
38
- */
39
- const SESSION_FILE_PREFIX = "session";
40
-
41
- /** 单次扫描最多读多少个文件——目录膨胀时宁可报错,也不要把一次面板刷新变成全盘扫描。 */
42
- const MAX_SESSION_FILES = 2000;
43
-
44
- /** 判定 `stale` 的默认天数。与 pipeline.js 的 90 天同源:都是「久未使用」的经验阈值。 */
45
- export const STALE_AFTER_DAYS = 90;
46
-
47
- /**
48
- * 使用状态**三值**。
49
- *
50
- * **这是对 `pipeline.js` 四态(`candidate`/`trusted`/`stale`/`refuted`)的有意收敛,
51
- * 不是遗漏**:`refuted` 在工作流里的含义是「这一步被运行记录判定为不成立」,而能力
52
- * 的「被使用」记录**推不出**任何等价结论——一个能力被调用过,只能说「用过」,不能
53
- * 因此说它「已被推翻」。能力的弃用要另立判据(比如「用它之后任务失败了」),那是
54
- * 另一件事,**不能从调用次数硬凑**。所以这里只保留能从运行记录直接推出的三态;
55
- * 少了的那一态宁可不做,也不拿 `candidate` 或 `stale` 冒充。
56
- */
57
- export const USAGE_STATES = ["candidate", "trusted", "stale"];
58
-
59
- /**
60
- * 会话根目录。默认由 `DSH_HOME` 推导,**不写死本机路径**——仓库里出现盘符是红线。
61
- * 传 `dshHome` 可覆盖(测试用临时目录,生产用环境变量)。
62
- */
63
- export function resolveSessionDir({ dshHome = process.env.DSH_HOME || join(homedir(), ".dsh") } = {}) {
64
- return join(String(dshHome), "sessions");
65
- }
66
-
67
- /**
68
- * 逐帧解一个多帧 zstd buffer,**边解边回调**,不把全文拼成一个字符串。
69
- *
70
- * 用回调而不是返回字符串:实测一次读上百个会话文件会 OOM(`FATAL ERROR: Reached
71
- * heap limit`)。逐帧交给回调,内存只保留一帧。
72
- */
73
- /**
74
- * 多帧 zstd 逐帧解压,**边解边回调**。
75
- *
76
- * 返回 `{ frames, failed, bytes }`——`failed` 是**解不出来**的帧数。
77
- *
78
- * **关于「残缺帧」的一个实测结论**:zstd 是流式格式,**尾部被截断的帧会解出「部分
79
- * 文本」而不抛错**(实测截断到一半的帧解出 `"这一帧会被截"`)。我试过两种完整性判据
80
- * 都不可靠:①「截掉末字节再解、比对是否相同」——对短截断失效;②流式 API 的
81
- * `end` 事件——截断帧照样正常结束、不报错。Node 的 zstd 绑定没有暴露「还有多少输入
82
- * 未被消费」。
83
- *
84
- * 所以**不猜帧的完整性**,改在**行这一层**兜底:残缺帧解出来的尾部一定是半行,而
85
- * jsonl 的解析器本来就要求整行是合法 JSON —— 半行会 `JSON.parse` 失败被丢掉。
86
- * 代价是:**一条调用记录若正好被截在中间,会被丢弃**(而不是被当成完整记录误用)。
87
- * 这个取舍是明确的:**宁可少一条,不要错一条**。
88
- *
89
- * 另外,**只有最后一帧可能被截断**(中间帧的边界由下一个 magic 保证),所以
90
- * `failed` 只在真的解不出来时增长,不把「末帧可能是半行」计进去——那样会天天报警。
91
- */
92
- export function forEachFrame(buf, onText) {
93
- let offset = 0;
94
- let frames = 0;
95
- let failed = 0;
96
- while (offset < buf.length) {
97
- const start = buf.indexOf(ZSTD_MAGIC, offset);
98
- if (start === -1) break;
99
- let end = buf.indexOf(ZSTD_MAGIC, start + 4);
100
- if (end === -1) end = buf.length;
101
- try {
102
- onText(zlib.zstdDecompressSync(buf.subarray(start, end)).toString("utf8"));
103
- frames += 1;
104
- } catch {
105
- // 帧头都坏了:计入 failed,继续后面的帧。
106
- failed += 1;
107
- }
108
- offset = end;
109
- }
110
- return { frames, failed };
111
- }
112
-
113
- /**
114
- * 递归找出所有会话日志文件。
115
- *
116
- * 返回 `{ files, unreadable, truncated }`——**目录读不动时必须留痕**。
117
- *
118
- * 为什么这是关键:早期版本用 `existsSync` 定 `present`、`readdirSync` 失败直接 `return`,
119
- * 于是「目录存在但不可读(ACL 拒绝、权限不足)」与「目录存在且为空」产出**逐字段相同**
120
- * 的读数(`present=true, scannedFiles=0, unreadable=[]`),清单上 175 条技能全 `candidate`。
121
- * 那正是本仓库反复防的那类错:**读不到被显示成「读到但没有」**。所以 readdir 失败要
122
- * 记进 `unreadable`,让上层能把它与「空目录」分辨开。
123
- *
124
- * `limit` 可注入(默认 `MAX_SESSION_FILES`)。**早期版本把上限写死在遍历里**,于是
125
- * 调用方传 `maxFiles: 5000` 也只拿到 2000 个——上限在内层生效、外层无从知道,
126
- * 又是「静默截断」。现在上限只在这里生效,且**超限时 `truncated` 为 true**。
127
- */
128
- export function findSessionFiles(dir, { limit = MAX_SESSION_FILES } = {}) {
129
- const cap = Number.isFinite(limit) && limit > 0 ? Math.floor(limit) : MAX_SESSION_FILES;
130
- const result = { files: [], unreadable: [], present: false, truncated: false };
131
- if (!existsSync(dir)) return result;
132
- result.present = true;
133
- const walk = (current) => {
134
- if (result.files.length >= cap) {
135
- result.truncated = true;
136
- return;
137
- }
138
- let entries;
139
- try {
140
- entries = readdirSync(current, { withFileTypes: true });
141
- } catch (error) {
142
- // 读不动就说出来——不静默 return(那会与「空目录」同形)。
143
- result.unreadable.push({ dir: current, detail: `目录读失败:${error.message}` });
144
- return;
145
- }
146
- for (const entry of entries) {
147
- if (result.files.length >= cap) {
148
- result.truncated = true;
149
- return;
150
- }
151
- const full = join(current, entry.name);
152
- // 符号链接要单独认:Dirent 对 symlink 的 isDirectory() 返回 false(踩过一次)。
153
- let isDir = entry.isDirectory();
154
- if (entry.isSymbolicLink()) {
155
- try {
156
- isDir = statSync(full).isDirectory();
157
- } catch {
158
- // 悬空链接:计入 unreadable(目标不可达也是「读不到」的一种)。
159
- result.unreadable.push({ dir: full, detail: "符号链接目标不可达" });
160
- continue;
161
- }
162
- }
163
- if (isDir) walk(full);
164
- else if (entry.name.startsWith(SESSION_FILE_PREFIX)) result.files.push(full);
165
- }
166
- };
167
- walk(dir);
168
- result.files.sort();
169
- return result;
170
- }
171
-
172
- /**
173
- * 从一行 jsonl 里抽出所有 tool-call。
174
- *
175
- * 返回 `{ name, args, turn, time }`——`args` 是**二次解析后的对象**,取不到就是 null
176
- * (调用记录本身仍保留,只是参数缺失,这种要能看出来而不是丢掉整条)。
177
- */
178
- export function toolCallsInLine(line) {
179
- if (typeof line !== "string" || !line.includes('"tool-call"')) return [];
180
- let obj;
181
- try {
182
- obj = JSON.parse(line);
183
- } catch {
184
- return [];
185
- }
186
- const content = obj?.data?.message?.content;
187
- if (!Array.isArray(content)) return [];
188
- const out = [];
189
- for (const item of content) {
190
- if (item?.type !== "tool-call" || typeof item.name !== "string") continue;
191
- let args = null;
192
- if (typeof item.arguments === "string") {
193
- try {
194
- args = JSON.parse(item.arguments);
195
- } catch {
196
- args = null;
197
- }
198
- } else if (item.arguments && typeof item.arguments === "object") {
199
- args = item.arguments;
200
- }
201
- out.push({
202
- name: item.name,
203
- args,
204
- turn: obj?.data?.turn ?? null,
205
- time: Number.isFinite(obj?.time) ? obj.time : null
206
- });
207
- }
208
- return out;
209
- }
210
-
211
- /**
212
- * 一次调用对应哪个能力。三类能力的判定方式**故意不同**:
213
- * · `skill` 工具 → 参数里的 `name` 就是技能名(照宿主 `skill` 工具的契约);
214
- * · MCP 工具 → 公共名形如 `mcp__<serverName>__<rawName>`,取中间那段为 server;
215
- * · 其余内置工具(read / pwsh 等)**不是能力清单里的东西**,返回 null 丢掉。
216
- *
217
- * 拿不到名字时返回 `{ kind, name: null }`,让上层能统计「对不上的条数」——
218
- * 对不上是要报出来的事实,不是可以静默丢弃的噪音。
219
- */
220
- export function identifyCapability(call) {
221
- if (!call || typeof call.name !== "string") return null;
222
- if (call.name === "skill") {
223
- const name = call.args && typeof call.args.name === "string" ? call.args.name.trim() : "";
224
- return { kind: "skill", name: name === "" ? null : name };
225
- }
226
- if (call.name.startsWith("mcp__")) {
227
- const parts = call.name.split("__");
228
- // mcp__<server>__<tool>:server 为空也算 MCP 调用,只是名字不可用。
229
- const server = typeof parts[1] === "string" ? parts[1].trim() : "";
230
- return { kind: "mcp", name: server === "" ? null : server, tool: parts.slice(2).join("__") || null };
231
- }
232
- return null;
233
- }
234
-
235
- /**
236
- * 扫全部会话日志,产出「按能力聚合的使用记录」。
237
- *
238
- * 返回结构里的 `skills` / `mcp` 是 Map(能力名 → { uses, lastUsedAt, sessions }),
239
- * 由上层投影成清单字段。`unmatched` 记对不上名字的调用数——如实报,不硬凑。
240
- *
241
- * `maxFiles` 现在**真的管用**(透传给 `findSessionFiles` 的 `limit`):早期版本把上限
242
- * 写死在遍历里,传 5000 也只拿到 2000 个且不报截断——调用方以为扫全了。
243
- */
244
- export function collectUsage({ sessionDir = resolveSessionDir(), maxFiles = MAX_SESSION_FILES } = {}) {
245
- const found = findSessionFiles(sessionDir, { limit: maxFiles });
246
- // 透传后 found.files 已按上限截好,slice 只是防御(limit 非法时)。
247
- const files = found.files.slice(0, maxFiles);
248
- const result = {
249
- dir: sessionDir,
250
- // `present` = 目录在;`readable` = 目录真能列出来。**两者必须分开报**,
251
- // 否则「不可读」与「空目录」在读数上同形(那正是本仓库反复防的那类错)。
252
- present: found.present,
253
- readable: found.present && found.unreadable.length === 0,
254
- // 文件数被上限截断时要说出来,否则「只扫了一部分」看不出来。
255
- // 两个来源:内层遍历到上限(found.truncated),或调用方给的 maxFiles 更小。
256
- truncated: found.truncated === true || found.files.length > files.length,
257
- totalFiles: found.files.length,
258
- scannedFiles: 0,
259
- frames: 0,
260
- failedFrames: 0,
261
- skillCalls: 0,
262
- mcpCalls: 0,
263
- unmatched: 0,
264
- skills: new Map(),
265
- mcp: new Map(),
266
- // 目录读不动、悬空链接、单文件读失败都记在这里——**读不到要有痕**。
267
- unreadable: [...found.unreadable]
268
- };
269
-
270
- const record = (map, name, time, sessionId) => {
271
- const entry = map.get(name) || { uses: 0, lastUsedAt: null, sessions: new Set() };
272
- entry.uses += 1;
273
- if (Number.isFinite(time) && (entry.lastUsedAt === null || time > entry.lastUsedAt)) entry.lastUsedAt = time;
274
- if (sessionId) entry.sessions.add(sessionId);
275
- map.set(name, entry);
276
- };
277
-
278
- for (const file of files) {
279
- let buf;
280
- try {
281
- buf = readFileSync(file);
282
- } catch (error) {
283
- result.unreadable.push({ file, detail: `读失败:${error.message}` });
284
- continue;
285
- }
286
- result.scannedFiles += 1;
287
- const sessionId = file.split(/[\\/]/).slice(-2, -1)[0] || null;
288
- const stat = forEachFrame(buf, (text) => {
289
- for (const line of text.split("\n")) {
290
- if (!line.trim() || !line.includes('"tool-call"')) continue;
291
- // time 在行的外层,toolCallsInLine 已带上;这里从整行再取一次 session 级信息。
292
- for (const call of toolCallsInLine(line)) {
293
- const identified = identifyCapability(call);
294
- if (!identified) continue;
295
- if (identified.name === null) {
296
- result.unmatched += 1;
297
- continue;
298
- }
299
- if (identified.kind === "skill") {
300
- result.skillCalls += 1;
301
- record(result.skills, identified.name, call.time, sessionId);
302
- } else {
303
- result.mcpCalls += 1;
304
- // MCP 按 **server** 聚合(清单里的 MCP 条目是 server 粒度),不是按工具。
305
- record(result.mcp, identified.name, call.time, sessionId);
306
- }
307
- }
308
- }
309
- });
310
- result.frames += stat.frames;
311
- result.failedFrames += stat.failed;
312
- buf.fill(0);
313
- }
314
-
315
- return result;
316
- }
317
-
318
- /**
319
- * 由使用记录推使用状态。**照 `pipeline.js` 的 `deriveState` 写**:
320
- * · 没有记录 → `candidate`(不知道用过没有,这是实话);
321
- * · 有记录、最近一次在 `staleAfterDays` 天内 → `trusted`;
322
- * · 有记录但最近一次早于阈值 → `stale`。
323
- *
324
- * 保留期会限制这个判定的可靠度:会话日志被清理后,久未用的能力会**退化成 candidate**
325
- * (看起来像从没用过)。所以「candidate」的含义是「本机现存日志里没有记录」,
326
- * 而不是「从未使用」——这句话必须由上层写进输出,否则会被读错。
327
- */
328
- export function deriveUsageState(entry, { now = Date.now(), staleAfterDays = STALE_AFTER_DAYS } = {}) {
329
- if (!entry || !Number.isFinite(entry.uses) || entry.uses === 0) return "candidate";
330
- if (Number.isFinite(entry.lastUsedAt)) {
331
- const ageDays = (now - entry.lastUsedAt) / 86400000;
332
- if (Number.isFinite(ageDays) && ageDays > staleAfterDays) return "stale";
333
- }
334
- return "trusted";
335
- }
336
-
337
- /** 把 Map 里的聚合记录投影成清单友好的纯数组(含状态),按使用次数降序。 */
338
- export function summarizeUsage(collection, { now = Date.now(), staleAfterDays = STALE_AFTER_DAYS } = {}) {
339
- const toRows = (map) =>
340
- [...map.entries()]
341
- .map(([name, entry]) => ({
342
- name,
343
- uses: entry.uses,
344
- lastUsedAt: Number.isFinite(entry.lastUsedAt) ? new Date(entry.lastUsedAt).toISOString() : null,
345
- sessions: entry.sessions.size,
346
- state: deriveUsageState(entry, { now, staleAfterDays })
347
- }))
348
- .sort((a, b) => b.uses - a.uses || a.name.localeCompare(b.name));
349
- return { skills: toRows(collection.skills), mcp: toRows(collection.mcp) };
350
- }
1
+ /**
2
+ * 能力使用证据的**读侧**:从 DSH 会话日志里解析「哪个能力在什么时候被调用过」。
3
+ *
4
+ * 为什么单独一个文件:这份解析有两个已经踩过的坑,都属「静默少一大截」型——
5
+ * · **zstd 是多帧的**:`zlib.zstdDecompressSync(buf)` 只返回**第一帧**,不报错、不警告。
6
+ * 实测一个 1.5 MB 的会话文件只解出 291 字节,99% 的内容没被扫到,于是得出
7
+ * 「零命中」的假结论。必须自己按 magic `28 b5 2f fd` 切帧逐帧解。
8
+ * · **tool-call 的参数在 `arguments`,值是 JSON 字符串**(不是对象,也不是
9
+ * `parameters`):形如 `{"type":"tool-call","name":"skill","arguments":"{\"name\":\"agent-reach\"}"}`。
10
+ * 取错字段会得到 null,看着像「调用了但没记参数」。
11
+ * 把它们关在一个模块里,是为了让 `capabilities.js` 只负责「调用 + 投影」,不碰这些细节。
12
+ *
13
+ * **只读**:不解压到磁盘、不写任何文件、不改库。
14
+ *
15
+ * 与 `src/pipeline.js` 的 `deriveState` 同一套语汇:使用状态由**运行记录**推出来,
16
+ * 不由人写死——没记录就是 `candidate`(实话:不知道用过没有),有记录是 `trusted`,
17
+ * 久未用是 `stale`。
18
+ */
19
+ import { readFileSync, readdirSync, existsSync, statSync } from "node:fs";
20
+ import { join } from "node:path";
21
+ import { homedir } from "node:os";
22
+ import zlib from "node:zlib";
23
+
24
+ /** zstd 帧头 magic。多帧文件里每帧都以此开头,切帧就靠它。 */
25
+ const ZSTD_MAGIC = Buffer.from([0x28, 0xb5, 0x2f, 0xfd]);
26
+
27
+ /**
28
+ * 会话日志文件名前缀。
29
+ *
30
+ * **不是只认 `session.v4`** —— 本机实测同一会话树下并存三种格式:
31
+ * · `session.v4.jsonl.zstd`(219 个)
32
+ * · `session.v3.jsonl.zstd`(218 个)
33
+ * · `session.jsonl.zstd`(72 个,无版本号的最早期形态)
34
+ * 只认 v4 会**静默漏掉一半以上的历史**(实测漏掉 50 次技能调用,其中 `euthyna` 44 次;
35
+ * `brainstorming` / `writing-plans` / `subagent-driven-development` 三个技能明明用过
36
+ * 却被报成 `candidate`)。所以这里只要求「文件名以 `session` 开头」——宁可多读几个
37
+ * 非会话文件(解析时自然会被 `tool-call` 过滤掉),也不要漏掉真实记录。
38
+ */
39
+ const SESSION_FILE_PREFIX = "session";
40
+
41
+ /** 单次扫描最多读多少个文件——目录膨胀时宁可报错,也不要把一次面板刷新变成全盘扫描。 */
42
+ const MAX_SESSION_FILES = 2000;
43
+
44
+ /** 判定 `stale` 的默认天数。与 pipeline.js 的 90 天同源:都是「久未使用」的经验阈值。 */
45
+ export const STALE_AFTER_DAYS = 90;
46
+
47
+ /**
48
+ * 使用状态**三值**。
49
+ *
50
+ * **这是对 `pipeline.js` 四态(`candidate`/`trusted`/`stale`/`refuted`)的有意收敛,
51
+ * 不是遗漏**:`refuted` 在工作流里的含义是「这一步被运行记录判定为不成立」,而能力
52
+ * 的「被使用」记录**推不出**任何等价结论——一个能力被调用过,只能说「用过」,不能
53
+ * 因此说它「已被推翻」。能力的弃用要另立判据(比如「用它之后任务失败了」),那是
54
+ * 另一件事,**不能从调用次数硬凑**。所以这里只保留能从运行记录直接推出的三态;
55
+ * 少了的那一态宁可不做,也不拿 `candidate` 或 `stale` 冒充。
56
+ */
57
+ export const USAGE_STATES = ["candidate", "trusted", "stale"];
58
+
59
+ /**
60
+ * 会话根目录。默认由 `DSH_HOME` 推导,**不写死本机路径**——仓库里出现盘符是红线。
61
+ * 传 `dshHome` 可覆盖(测试用临时目录,生产用环境变量)。
62
+ */
63
+ export function resolveSessionDir({ dshHome = process.env.DSH_HOME || join(homedir(), ".dsh") } = {}) {
64
+ return join(String(dshHome), "sessions");
65
+ }
66
+
67
+ /**
68
+ * 逐帧解一个多帧 zstd buffer,**边解边回调**,不把全文拼成一个字符串。
69
+ *
70
+ * 用回调而不是返回字符串:实测一次读上百个会话文件会 OOM(`FATAL ERROR: Reached
71
+ * heap limit`)。逐帧交给回调,内存只保留一帧。
72
+ */
73
+ /**
74
+ * 多帧 zstd 逐帧解压,**边解边回调**。
75
+ *
76
+ * 返回 `{ frames, failed, bytes }`——`failed` 是**解不出来**的帧数。
77
+ *
78
+ * **关于「残缺帧」的一个实测结论**:zstd 是流式格式,**尾部被截断的帧会解出「部分
79
+ * 文本」而不抛错**(实测截断到一半的帧解出 `"这一帧会被截"`)。我试过两种完整性判据
80
+ * 都不可靠:①「截掉末字节再解、比对是否相同」——对短截断失效;②流式 API 的
81
+ * `end` 事件——截断帧照样正常结束、不报错。Node 的 zstd 绑定没有暴露「还有多少输入
82
+ * 未被消费」。
83
+ *
84
+ * 所以**不猜帧的完整性**,改在**行这一层**兜底:残缺帧解出来的尾部一定是半行,而
85
+ * jsonl 的解析器本来就要求整行是合法 JSON —— 半行会 `JSON.parse` 失败被丢掉。
86
+ * 代价是:**一条调用记录若正好被截在中间,会被丢弃**(而不是被当成完整记录误用)。
87
+ * 这个取舍是明确的:**宁可少一条,不要错一条**。
88
+ *
89
+ * 另外,**只有最后一帧可能被截断**(中间帧的边界由下一个 magic 保证),所以
90
+ * `failed` 只在真的解不出来时增长,不把「末帧可能是半行」计进去——那样会天天报警。
91
+ */
92
+ export function forEachFrame(buf, onText) {
93
+ let offset = 0;
94
+ let frames = 0;
95
+ let failed = 0;
96
+ while (offset < buf.length) {
97
+ const start = buf.indexOf(ZSTD_MAGIC, offset);
98
+ if (start === -1) break;
99
+ let end = buf.indexOf(ZSTD_MAGIC, start + 4);
100
+ if (end === -1) end = buf.length;
101
+ try {
102
+ onText(zlib.zstdDecompressSync(buf.subarray(start, end)).toString("utf8"));
103
+ frames += 1;
104
+ } catch {
105
+ // 帧头都坏了:计入 failed,继续后面的帧。
106
+ failed += 1;
107
+ }
108
+ offset = end;
109
+ }
110
+ return { frames, failed };
111
+ }
112
+
113
+ /**
114
+ * 递归找出所有会话日志文件。
115
+ *
116
+ * 返回 `{ files, unreadable, truncated }`——**目录读不动时必须留痕**。
117
+ *
118
+ * 为什么这是关键:早期版本用 `existsSync` 定 `present`、`readdirSync` 失败直接 `return`,
119
+ * 于是「目录存在但不可读(ACL 拒绝、权限不足)」与「目录存在且为空」产出**逐字段相同**
120
+ * 的读数(`present=true, scannedFiles=0, unreadable=[]`),清单上 175 条技能全 `candidate`。
121
+ * 那正是本仓库反复防的那类错:**读不到被显示成「读到但没有」**。所以 readdir 失败要
122
+ * 记进 `unreadable`,让上层能把它与「空目录」分辨开。
123
+ *
124
+ * `limit` 可注入(默认 `MAX_SESSION_FILES`)。**早期版本把上限写死在遍历里**,于是
125
+ * 调用方传 `maxFiles: 5000` 也只拿到 2000 个——上限在内层生效、外层无从知道,
126
+ * 又是「静默截断」。现在上限只在这里生效,且**超限时 `truncated` 为 true**。
127
+ */
128
+ export function findSessionFiles(dir, { limit = MAX_SESSION_FILES } = {}) {
129
+ const cap = Number.isFinite(limit) && limit > 0 ? Math.floor(limit) : MAX_SESSION_FILES;
130
+ const result = { files: [], unreadable: [], present: false, truncated: false };
131
+ if (!existsSync(dir)) return result;
132
+ result.present = true;
133
+ const walk = (current) => {
134
+ if (result.files.length >= cap) {
135
+ result.truncated = true;
136
+ return;
137
+ }
138
+ let entries;
139
+ try {
140
+ entries = readdirSync(current, { withFileTypes: true });
141
+ } catch (error) {
142
+ // 读不动就说出来——不静默 return(那会与「空目录」同形)。
143
+ result.unreadable.push({ dir: current, detail: `目录读失败:${error.message}` });
144
+ return;
145
+ }
146
+ for (const entry of entries) {
147
+ if (result.files.length >= cap) {
148
+ result.truncated = true;
149
+ return;
150
+ }
151
+ const full = join(current, entry.name);
152
+ // 符号链接要单独认:Dirent 对 symlink 的 isDirectory() 返回 false(踩过一次)。
153
+ let isDir = entry.isDirectory();
154
+ if (entry.isSymbolicLink()) {
155
+ try {
156
+ isDir = statSync(full).isDirectory();
157
+ } catch {
158
+ // 悬空链接:计入 unreadable(目标不可达也是「读不到」的一种)。
159
+ result.unreadable.push({ dir: full, detail: "符号链接目标不可达" });
160
+ continue;
161
+ }
162
+ }
163
+ if (isDir) walk(full);
164
+ else if (entry.name.startsWith(SESSION_FILE_PREFIX)) result.files.push(full);
165
+ }
166
+ };
167
+ walk(dir);
168
+ result.files.sort();
169
+ return result;
170
+ }
171
+
172
+ /**
173
+ * 从一行 jsonl 里抽出所有 tool-call。
174
+ *
175
+ * 返回 `{ name, args, turn, time }`——`args` 是**二次解析后的对象**,取不到就是 null
176
+ * (调用记录本身仍保留,只是参数缺失,这种要能看出来而不是丢掉整条)。
177
+ */
178
+ export function toolCallsInLine(line) {
179
+ if (typeof line !== "string" || !line.includes('"tool-call"')) return [];
180
+ let obj;
181
+ try {
182
+ obj = JSON.parse(line);
183
+ } catch {
184
+ return [];
185
+ }
186
+ const content = obj?.data?.message?.content;
187
+ if (!Array.isArray(content)) return [];
188
+ const out = [];
189
+ for (const item of content) {
190
+ if (item?.type !== "tool-call" || typeof item.name !== "string") continue;
191
+ let args = null;
192
+ if (typeof item.arguments === "string") {
193
+ try {
194
+ args = JSON.parse(item.arguments);
195
+ } catch {
196
+ args = null;
197
+ }
198
+ } else if (item.arguments && typeof item.arguments === "object") {
199
+ args = item.arguments;
200
+ }
201
+ out.push({
202
+ name: item.name,
203
+ args,
204
+ turn: obj?.data?.turn ?? null,
205
+ time: Number.isFinite(obj?.time) ? obj.time : null
206
+ });
207
+ }
208
+ return out;
209
+ }
210
+
211
+ /**
212
+ * 一次调用对应哪个能力。三类能力的判定方式**故意不同**:
213
+ * · `skill` 工具 → 参数里的 `name` 就是技能名(照宿主 `skill` 工具的契约);
214
+ * · MCP 工具 → 公共名形如 `mcp__<serverName>__<rawName>`,取中间那段为 server;
215
+ * · 其余内置工具(read / pwsh 等)**不是能力清单里的东西**,返回 null 丢掉。
216
+ *
217
+ * 拿不到名字时返回 `{ kind, name: null }`,让上层能统计「对不上的条数」——
218
+ * 对不上是要报出来的事实,不是可以静默丢弃的噪音。
219
+ */
220
+ export function identifyCapability(call) {
221
+ if (!call || typeof call.name !== "string") return null;
222
+ if (call.name === "skill") {
223
+ const name = call.args && typeof call.args.name === "string" ? call.args.name.trim() : "";
224
+ return { kind: "skill", name: name === "" ? null : name };
225
+ }
226
+ if (call.name.startsWith("mcp__")) {
227
+ const parts = call.name.split("__");
228
+ // mcp__<server>__<tool>:server 为空也算 MCP 调用,只是名字不可用。
229
+ const server = typeof parts[1] === "string" ? parts[1].trim() : "";
230
+ return { kind: "mcp", name: server === "" ? null : server, tool: parts.slice(2).join("__") || null };
231
+ }
232
+ return null;
233
+ }
234
+
235
+ /**
236
+ * 扫全部会话日志,产出「按能力聚合的使用记录」。
237
+ *
238
+ * 返回结构里的 `skills` / `mcp` 是 Map(能力名 → { uses, lastUsedAt, sessions }),
239
+ * 由上层投影成清单字段。`unmatched` 记对不上名字的调用数——如实报,不硬凑。
240
+ *
241
+ * `maxFiles` 现在**真的管用**(透传给 `findSessionFiles` 的 `limit`):早期版本把上限
242
+ * 写死在遍历里,传 5000 也只拿到 2000 个且不报截断——调用方以为扫全了。
243
+ */
244
+ export function collectUsage({ sessionDir = resolveSessionDir(), maxFiles = MAX_SESSION_FILES } = {}) {
245
+ const found = findSessionFiles(sessionDir, { limit: maxFiles });
246
+ // 透传后 found.files 已按上限截好,slice 只是防御(limit 非法时)。
247
+ const files = found.files.slice(0, maxFiles);
248
+ const result = {
249
+ dir: sessionDir,
250
+ // `present` = 目录在;`readable` = 目录真能列出来。**两者必须分开报**,
251
+ // 否则「不可读」与「空目录」在读数上同形(那正是本仓库反复防的那类错)。
252
+ present: found.present,
253
+ readable: found.present && found.unreadable.length === 0,
254
+ // 文件数被上限截断时要说出来,否则「只扫了一部分」看不出来。
255
+ // 两个来源:内层遍历到上限(found.truncated),或调用方给的 maxFiles 更小。
256
+ truncated: found.truncated === true || found.files.length > files.length,
257
+ totalFiles: found.files.length,
258
+ scannedFiles: 0,
259
+ frames: 0,
260
+ failedFrames: 0,
261
+ skillCalls: 0,
262
+ mcpCalls: 0,
263
+ unmatched: 0,
264
+ skills: new Map(),
265
+ mcp: new Map(),
266
+ // 目录读不动、悬空链接、单文件读失败都记在这里——**读不到要有痕**。
267
+ unreadable: [...found.unreadable]
268
+ };
269
+
270
+ const record = (map, name, time, sessionId) => {
271
+ const entry = map.get(name) || { uses: 0, lastUsedAt: null, sessions: new Set() };
272
+ entry.uses += 1;
273
+ if (Number.isFinite(time) && (entry.lastUsedAt === null || time > entry.lastUsedAt)) entry.lastUsedAt = time;
274
+ if (sessionId) entry.sessions.add(sessionId);
275
+ map.set(name, entry);
276
+ };
277
+
278
+ for (const file of files) {
279
+ let buf;
280
+ try {
281
+ buf = readFileSync(file);
282
+ } catch (error) {
283
+ result.unreadable.push({ file, detail: `读失败:${error.message}` });
284
+ continue;
285
+ }
286
+ result.scannedFiles += 1;
287
+ const sessionId = file.split(/[\\/]/).slice(-2, -1)[0] || null;
288
+ const stat = forEachFrame(buf, (text) => {
289
+ for (const line of text.split("\n")) {
290
+ if (!line.trim() || !line.includes('"tool-call"')) continue;
291
+ // time 在行的外层,toolCallsInLine 已带上;这里从整行再取一次 session 级信息。
292
+ for (const call of toolCallsInLine(line)) {
293
+ const identified = identifyCapability(call);
294
+ if (!identified) continue;
295
+ if (identified.name === null) {
296
+ result.unmatched += 1;
297
+ continue;
298
+ }
299
+ if (identified.kind === "skill") {
300
+ result.skillCalls += 1;
301
+ record(result.skills, identified.name, call.time, sessionId);
302
+ } else {
303
+ result.mcpCalls += 1;
304
+ // MCP 按 **server** 聚合(清单里的 MCP 条目是 server 粒度),不是按工具。
305
+ record(result.mcp, identified.name, call.time, sessionId);
306
+ }
307
+ }
308
+ }
309
+ });
310
+ result.frames += stat.frames;
311
+ result.failedFrames += stat.failed;
312
+ buf.fill(0);
313
+ }
314
+
315
+ return result;
316
+ }
317
+
318
+ /**
319
+ * 由使用记录推使用状态。**照 `pipeline.js` 的 `deriveState` 写**:
320
+ * · 没有记录 → `candidate`(不知道用过没有,这是实话);
321
+ * · 有记录、最近一次在 `staleAfterDays` 天内 → `trusted`;
322
+ * · 有记录但最近一次早于阈值 → `stale`。
323
+ *
324
+ * 保留期会限制这个判定的可靠度:会话日志被清理后,久未用的能力会**退化成 candidate**
325
+ * (看起来像从没用过)。所以「candidate」的含义是「本机现存日志里没有记录」,
326
+ * 而不是「从未使用」——这句话必须由上层写进输出,否则会被读错。
327
+ */
328
+ export function deriveUsageState(entry, { now = Date.now(), staleAfterDays = STALE_AFTER_DAYS } = {}) {
329
+ if (!entry || !Number.isFinite(entry.uses) || entry.uses === 0) return "candidate";
330
+ if (Number.isFinite(entry.lastUsedAt)) {
331
+ const ageDays = (now - entry.lastUsedAt) / 86400000;
332
+ if (Number.isFinite(ageDays) && ageDays > staleAfterDays) return "stale";
333
+ }
334
+ return "trusted";
335
+ }
336
+
337
+ /** 把 Map 里的聚合记录投影成清单友好的纯数组(含状态),按使用次数降序。 */
338
+ export function summarizeUsage(collection, { now = Date.now(), staleAfterDays = STALE_AFTER_DAYS } = {}) {
339
+ const toRows = (map) =>
340
+ [...map.entries()]
341
+ .map(([name, entry]) => ({
342
+ name,
343
+ uses: entry.uses,
344
+ lastUsedAt: Number.isFinite(entry.lastUsedAt) ? new Date(entry.lastUsedAt).toISOString() : null,
345
+ sessions: entry.sessions.size,
346
+ state: deriveUsageState(entry, { now, staleAfterDays })
347
+ }))
348
+ .sort((a, b) => b.uses - a.uses || a.name.localeCompare(b.name));
349
+ return { skills: toRows(collection.skills), mcp: toRows(collection.mcp) };
350
+ }