@modusensus/dsh-mneme 0.8.3 → 0.8.5

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (205) hide show
  1. package/LICENSE +21 -21
  2. package/README.md +727 -636
  3. package/bin/cli.mjs +0 -0
  4. package/bin/dsh-mneme-mcp.mjs +510 -0
  5. package/cordis.patch.yml +21 -21
  6. package/lib/api-standalone.js +506 -316
  7. package/lib/api.js +1403 -1316
  8. package/lib/bootstrap.js +211 -0
  9. package/lib/client.js +4657 -4366
  10. package/lib/commands.js +95 -95
  11. package/lib/config.js +615 -510
  12. package/lib/document.js +221 -0
  13. package/lib/dream/clustering.js +118 -118
  14. package/lib/dream/decisions.js +658 -658
  15. package/lib/dream/narratives.js +44 -0
  16. package/lib/dream/sleep.js +702 -700
  17. package/lib/dream.js +147 -16
  18. package/lib/embedding.js +177 -177
  19. package/lib/entities/extractor.js +249 -249
  20. package/lib/guide.js +44 -0
  21. package/lib/heat.js +144 -136
  22. package/lib/hot-memory.js +46 -46
  23. package/lib/index.js +515 -515
  24. package/lib/inject.js +375 -295
  25. package/lib/lang.js +208 -179
  26. package/lib/local-embedder.js +320 -320
  27. package/lib/mirror.js +198 -198
  28. package/lib/organize.js +450 -0
  29. package/lib/quality-filter.js +126 -126
  30. package/lib/recall-stats.js +125 -0
  31. package/lib/reranker.js +269 -269
  32. package/lib/runtime/adopt.js +176 -176
  33. package/lib/runtime/closure.js +172 -172
  34. package/lib/runtime/download.js +247 -247
  35. package/lib/runtime/layout.js +265 -235
  36. package/lib/runtime/loader.js +252 -249
  37. package/lib/runtime/model-fetch.js +361 -361
  38. package/lib/runtime/provision.js +237 -237
  39. package/lib/runtime/tarball.js +130 -130
  40. package/lib/runtime/verify.js +204 -191
  41. package/lib/scope.js +118 -118
  42. package/lib/search/adaptive.js +60 -22
  43. package/lib/search/bm25.js +96 -96
  44. package/lib/service.js +2324 -2087
  45. package/lib/settings.js +459 -420
  46. package/lib/store.js +2549 -2367
  47. package/lib/summarize.js +820 -449
  48. package/lib/tools.js +702 -574
  49. package/lib/vector-index.js +110 -110
  50. package/lib/version-check.js +122 -122
  51. package/package.json +109 -108
  52. package/runtime-manifest.json +526 -596
  53. package/scripts/benchmark-embed.js +201 -201
  54. package/scripts/benchmark-recall.js +199 -199
  55. package/scripts/benchmark-rerank.js +166 -166
  56. package/scripts/build-runtime-manifest.mjs +224 -217
  57. package/scripts/check-sync.js +42 -42
  58. package/scripts/e2e-dsh.js +220 -220
  59. package/scripts/mneme-runtime.mjs +277 -277
  60. package/scripts/stress-dsh.js +255 -255
  61. package/scripts/sync-lib.js +47 -47
  62. package/scripts/sync-test-badge.mjs +67 -61
  63. package/src/api-standalone.js +506 -316
  64. package/src/api.js +1403 -1316
  65. package/src/bootstrap.js +211 -0
  66. package/src/commands.js +95 -95
  67. package/src/config.js +615 -510
  68. package/src/document.js +221 -0
  69. package/src/dream/clustering.js +118 -118
  70. package/src/dream/decisions.js +658 -658
  71. package/src/dream/narratives.js +44 -0
  72. package/src/dream/sleep.js +702 -700
  73. package/src/dream.js +147 -16
  74. package/src/embedding.js +177 -177
  75. package/src/entities/extractor.js +249 -249
  76. package/src/guide.js +44 -0
  77. package/src/heat.js +144 -136
  78. package/src/hot-memory.js +46 -46
  79. package/src/index.js +515 -515
  80. package/src/inject.js +375 -295
  81. package/src/lang.js +208 -179
  82. package/src/local-embedder.js +320 -320
  83. package/src/mirror.js +198 -198
  84. package/src/organize.js +450 -0
  85. package/src/quality-filter.js +126 -126
  86. package/src/recall-stats.js +125 -0
  87. package/src/reranker.js +269 -269
  88. package/src/runtime/adopt.js +176 -176
  89. package/src/runtime/closure.js +172 -172
  90. package/src/runtime/download.js +247 -247
  91. package/src/runtime/layout.js +265 -235
  92. package/src/runtime/loader.js +252 -249
  93. package/src/runtime/model-fetch.js +361 -361
  94. package/src/runtime/provision.js +237 -237
  95. package/src/runtime/tarball.js +130 -130
  96. package/src/runtime/verify.js +204 -191
  97. package/src/scope.js +118 -118
  98. package/src/search/adaptive.js +60 -22
  99. package/src/search/bm25.js +96 -96
  100. package/src/service.js +2324 -2087
  101. package/src/settings.js +459 -420
  102. package/src/store.js +2549 -2367
  103. package/src/summarize.js +820 -449
  104. package/src/tools.js +702 -574
  105. package/src/vector-index.js +110 -110
  106. package/src/version-check.js +122 -122
  107. package/test/adaptive-inject-budget.test.js +85 -0
  108. package/test/api-routes-gaps.test.js +218 -218
  109. package/test/api.test.js +1640 -1482
  110. package/test/audit.test.js +448 -448
  111. package/test/benchmark.test.js +94 -94
  112. package/test/bootstrap.test.js +220 -0
  113. package/test/client.test.js +860 -736
  114. package/test/clustering.test.js +100 -100
  115. package/test/commands.test.js +106 -106
  116. package/test/config.test.js +66 -66
  117. package/test/conflict-freeze.test.js +300 -300
  118. package/test/document.test.js +523 -0
  119. package/test/dream-archive-guardrail.test.js +116 -116
  120. package/test/dream-candidate-hybrid.test.js +281 -281
  121. package/test/dream-coverage-degrade.test.js +86 -86
  122. package/test/dream.test.js +1308 -1254
  123. package/test/embedding-ready.test.js +196 -196
  124. package/test/entities.test.js +547 -547
  125. package/test/entity-recall.test.js +179 -0
  126. package/test/epistemic.test.js +298 -298
  127. package/test/fnew-0112.test.js +311 -311
  128. package/test/fnew-03.test.js +422 -422
  129. package/test/graph-api.test.js +175 -175
  130. package/test/heat.test.js +175 -148
  131. package/test/helpers/dream-mock.js +82 -82
  132. package/test/helpers/peer-worker.mjs +25 -25
  133. package/test/helpers/runtime-source.js +60 -60
  134. package/test/helpers/tar-builder.js +80 -80
  135. package/test/hot-memory.test.js +145 -145
  136. package/test/inject-content-cap.test.js +91 -0
  137. package/test/inject-first-round-bm25.test.js +89 -89
  138. package/test/inject-heat.test.js +61 -0
  139. package/test/inject-pools.test.js +170 -0
  140. package/test/inject-recall.test.js +105 -0
  141. package/test/inject-rotation.test.js +161 -161
  142. package/test/inject.test.js +283 -249
  143. package/test/lang.test.js +87 -87
  144. package/test/lib-smoke.test.js +96 -96
  145. package/test/llm-audit.test.js +462 -309
  146. package/test/llm-message-source.test.js +177 -177
  147. package/test/local-embedder.test.js +249 -249
  148. package/test/mcp-stdio.test.js +385 -0
  149. package/test/mirror-dirty.test.js +424 -424
  150. package/test/mirror-edit-digest.test.js +187 -187
  151. package/test/mirror-generation.test.js +499 -499
  152. package/test/mirror.test.js +249 -249
  153. package/test/narrative-bars.test.js +162 -0
  154. package/test/organize.test.js +418 -0
  155. package/test/peer-blockers.test.js +193 -193
  156. package/test/policy-epoch.test.js +259 -259
  157. package/test/quality-filter.test.js +186 -186
  158. package/test/reasoning-effort.test.js +746 -746
  159. package/test/recall-evals.test.js +235 -235
  160. package/test/recall-layer.test.js +326 -326
  161. package/test/recall-stats.test.js +123 -0
  162. package/test/receipt-chain.test.js +451 -451
  163. package/test/reflection.test.js +226 -226
  164. package/test/reindex-backfill.test.js +62 -62
  165. package/test/reranker-single-logit.test.js +73 -73
  166. package/test/reranker.test.js +197 -197
  167. package/test/resident-status.test.js +83 -0
  168. package/test/runtime-adopt.test.js +206 -206
  169. package/test/runtime-cli.test.js +89 -89
  170. package/test/runtime-closure.test.js +193 -193
  171. package/test/runtime-download.test.js +302 -302
  172. package/test/runtime-layout.test.js +163 -163
  173. package/test/runtime-loader.test.js +255 -237
  174. package/test/runtime-manifest.test.js +159 -158
  175. package/test/runtime-model-fetch.test.js +348 -348
  176. package/test/runtime-provision.test.js +101 -101
  177. package/test/runtime-tarball.test.js +81 -81
  178. package/test/runtime-verify.test.js +279 -214
  179. package/test/scope-candidates.test.js +239 -239
  180. package/test/scope-explicit.test.js +452 -452
  181. package/test/scope-retrieval.test.js +197 -197
  182. package/test/scope-storage.test.js +255 -255
  183. package/test/scope-strict.test.js +231 -231
  184. package/test/search-fusion.test.js +90 -90
  185. package/test/semantic.test.js +124 -124
  186. package/test/service-search.test.js +174 -174
  187. package/test/service.test.js +405 -405
  188. package/test/settings.test.js +261 -261
  189. package/test/skip-invalid-restore.test.js +262 -262
  190. package/test/sleep-action-set.test.js +422 -422
  191. package/test/sleep-heat.test.js +126 -125
  192. package/test/sleep-scheduler-rearm.test.js +89 -89
  193. package/test/sleep.test.js +410 -373
  194. package/test/standalone-api.test.js +544 -359
  195. package/test/store-vector-cache.test.js +98 -98
  196. package/test/store.test.js +396 -383
  197. package/test/stress.test.js +209 -209
  198. package/test/summarize.test.js +1288 -575
  199. package/test/tools-dto-schema-matrix.test.js +325 -0
  200. package/test/tools-memory-get-schema.test.js +65 -65
  201. package/test/tools.test.js +374 -341
  202. package/test/updated-at-semantics.test.js +113 -113
  203. package/test/vector-index.test.js +221 -221
  204. package/test/version-check.test.js +152 -152
  205. package/test/webServer-optional.test.js +82 -82
@@ -1,277 +1,277 @@
1
- #!/usr/bin/env node
2
- /**
3
- * 本地推理运行时管理入口(issue #131 / PR-A)
4
- *
5
- * 为什么不在 bin/cli.mjs 里加子命令:那个 CLI 的契约是「外部 HTTP API 客户端」,
6
- * 要求 dsh-mneme 服务正在运行。而收编/验证运行时恰恰发生在服务没起来、插件甚至
7
- * 装不上的时候 —— 两者是相反的使用场景。scripts/ 是与 benchmark-embed.js 同类的
8
- * 本地工具目录,放这里符合既有约定,也不用动物那个零依赖 CLI 的契约。
9
- *
10
- * 用法(在插件目录下运行):
11
- * node scripts/mneme-runtime.mjs status [--runtime <dir>] [--json]
12
- * node scripts/mneme-runtime.mjs adopt --from <宿主 node_modules 目录> [--runtime <dir>] [--overwrite] [--json]
13
- * node scripts/mneme-runtime.mjs verify [--runtime <dir>] [--cache-dir <dir>] [--json]
14
- *
15
- * 退出码:0 = 健康 / 1 = 不健康或失败 / 2 = 用法错误。
16
- * 每一档都要能被脚本直接拿去 gate,所以「没装」和「装坏了」返回的都是 1,
17
- * 具体区别看输出里的 status。
18
- */
19
- import process from "node:process";
20
- import { adoptRuntime } from "../lib/runtime/adopt.js";
21
- import { describeLocalRuntime, resolveRuntimeEntry } from "../lib/runtime/loader.js";
22
- import { defaultModelCacheDir, defaultRuntimeDir, describePayload } from "../lib/runtime/layout.js";
23
- import { verifyPayload } from "../lib/runtime/verify.js";
24
-
25
- // 注意:下面是模板字面量,帮助正文里**不能出现反引号** —— 会把字面量提前截断。
26
- // 这个坑踩过一次,而且因为本文件原本不在任何测试覆盖里,CI 完全没抓到;
27
- // 现在由 test/runtime-cli.test.js 动态 import 本文件来兜底(语法错会在测试里直接炸)。
28
- const USAGE = `本地推理运行时管理(dsh-mneme / issue #131)
29
-
30
- 用法:
31
- node scripts/mneme-runtime.mjs status [--runtime <dir>] [--json]
32
- node scripts/mneme-runtime.mjs adopt --from <宿主 node_modules 目录> [--runtime <dir>] [--overwrite] [--json]
33
- node scripts/mneme-runtime.mjs verify [--runtime <dir>] [--cache-dir <dir>] [--json]
34
-
35
- 说明:
36
- status 只读探查:这份运行时在哪、来源是什么、结构完不完整。不加载模型。
37
- adopt 把宿主 node_modules 里已有的那份依赖闭包收编进插件自管目录,
38
- 优先用硬链接(同盘时几乎不额外占盘)。收编后宿主那份可以随时被 pnpm 删掉。
39
- 本机哪里都没有这份依赖时,可在任意空目录先装一份:
40
- npm i @huggingface/transformers@^4.2.0
41
- 再把那个 node_modules 作为 --from 传进来。必须让安装脚本正常执行(npm 默认会,
42
- pnpm 10+ 默认拦截构建脚本),否则取不到 onnxruntime-node / sharp 的原生二进制。
43
- verify 真加载运行时并跑一次推理,外加结构与完整性检查。
44
- ⚠ 功能验证是离线的(allowRemoteModels=false):模型必须已在缓存目录里,
45
- 否则会明确失败 —— 这是有意的,验证不该偷偷触网。
46
- 默认缓存目录若与你的 embedModelCacheDir 不一致,用 --cache-dir 指过去。
47
-
48
- 默认运行时目录:${defaultRuntimeDir()}
49
- 默认模型缓存目录:${defaultModelCacheDir()}
50
- `;
51
-
52
- class UsageError extends Error {}
53
-
54
- /** 必须带值的选项;缺值时是用法错误,不能把 "true" 当成路径用下去。 */
55
- const VALUE_OPTIONS = new Set(["runtime", "from", "cache-dir"]);
56
- /** 纯开关。 */
57
- const FLAG_OPTIONS = new Set(["json", "overwrite"]);
58
-
59
- /**
60
- * 参数解析:只支持 `--key value` 与 `--flag`。
61
- * 够用就不引库 —— 这个脚本要在「插件装不上」的场景下还能跑,依赖越少越好。
62
- *
63
- * 两个刻意的严格行为:
64
- * - 缺值的 `--runtime` / `--from` / `--cache-dir` 直接报用法错误(exit 2)。宽松处理会让
65
- * 它们变成 `true`,再被当作一个叫 "true" 的路径用下去,最后以 exit 1 收场 ——
66
- * 真正的「你少打了一个值」被伪装成「运行时坏了」。
67
- * - 未知选项也报用法错误,而不是静默忽略:打错字应当立刻可见。
68
- */
69
- function parseArgs(argv) {
70
- const options = {};
71
- for (let i = 0; i < argv.length; i++) {
72
- const token = argv[i];
73
- const key = token.startsWith("--") ? token.slice(2) : null;
74
- if (key === null || (!VALUE_OPTIONS.has(key) && !FLAG_OPTIONS.has(key))) {
75
- const accepted = [
76
- ...[...VALUE_OPTIONS].map((k) => `--${k} <值>`),
77
- ...[...FLAG_OPTIONS].map((k) => `--${k}`)
78
- ].join("、");
79
- throw new UsageError(`无法识别的参数:${token}(可用:${accepted})`);
80
- }
81
- if (FLAG_OPTIONS.has(key)) {
82
- options[key] = true;
83
- continue;
84
- }
85
- const value = argv[i + 1];
86
- if (value === undefined || value.startsWith("--")) {
87
- throw new UsageError(`--${key} 需要带一个值`);
88
- }
89
- options[key] = value;
90
- i++;
91
- }
92
- return options;
93
- }
94
-
95
- const printJson = (value) => process.stdout.write(`${JSON.stringify(value, null, 2)}\n`);
96
-
97
- /** payloadId → 人类可读的标签,纯展示。 */
98
- function describePayloadLabel(report) {
99
- const parts = [];
100
- if (report.version) parts.push(`transformers ${report.version}`);
101
- if (report.procedure) parts.push(`来源 ${report.procedure}`);
102
- if (report.materialize) parts.push(`物化 ${report.materialize}`);
103
- return parts.join(",");
104
- }
105
-
106
- function runStatus({ runtimeDir, asJson }) {
107
- const report = describeLocalRuntime({ runtimeDir });
108
- const healthy = report.status === "available";
109
- if (asJson) {
110
- printJson(report);
111
- return healthy ? 0 : 1;
112
- }
113
-
114
- const label = { available: "可用", missing: "未安装", broken: "损坏", unreadable: "读不到" }[report.status] ?? report.status;
115
- console.log(`运行时目录:${report.runtimeDir}`);
116
- console.log(`状态:${label}`);
117
- if (report.payloadId) console.log(`payload:${report.payloadId}`);
118
- const extra = describePayloadLabel(report);
119
- if (extra) console.log(` ${extra}`);
120
- if (healthy) {
121
- console.log(`完整性:${report.integrity}`);
122
- // 明说「结构通过 ≠ 验过」,否则这个面板会给出虚假的安心感。
123
- console.log(`功能:${report.functional}(状态探查不加载模型,跑 verify 才能确认真的能推理)`);
124
- }
125
- for (const item of report.missing ?? []) console.log(`缺失:${item}`);
126
- for (const reason of report.reasons ?? []) console.log(`原因:${reason}`);
127
- if (report.reason) console.log(`原因:${report.reason}`);
128
- if (!healthy) console.log(`\n${report.hint}`);
129
- return healthy ? 0 : 1;
130
- }
131
-
132
- async function runAdopt({ runtimeDir, asJson, options }) {
133
- const from = String(options.from ?? "").trim();
134
- if (!from) {
135
- throw new UsageError(
136
- "adopt 需要 --from <宿主 node_modules 目录>,例如:\n" +
137
- " .../profiles/<profile>/node_modules\n" +
138
- "(就是当前装着 @huggingface/transformers 的那个 node_modules)"
139
- );
140
- }
141
-
142
- const result = await adoptRuntime({
143
- fromModulesDir: from,
144
- runtimeDir,
145
- overwrite: options.overwrite === true
146
- });
147
-
148
- // 收编失败时 adoptRuntime **不带 payloadDir**(入口包解析不到就是这条路径)。
149
- // 必须先处理,否则下面拿 undefined 当路径喂给 describePayload,用户看到的是
150
- // `TypeError: The "path" argument must be of type string` 的堆栈,
151
- // 而不是「入口包不存在 + 下一步该做什么」——而这是文档里给用户的第一条命令。
152
- if (result.ok === false) {
153
- if (asJson) printJson(result);
154
- else console.log(`收编失败:${result.reason}`);
155
- return 1;
156
- }
157
-
158
- // 搬运完立刻做结构检查:缺件现在就能发现,不必等到第一次推理才炸。
159
- const structural = describePayload(result.payloadDir);
160
-
161
- // 两条判据都要过:describePayload 只点三个必需包,**不看闭包计划里的必需依赖缺口**。
162
- // 只认 structural.ok 的话,「缺传递依赖、入口一 import 就炸」的收编会报 exit 0,
163
- // 脚本化的 gate 就在最需要它的时候误报健康。
164
- const gaps = result.plan.gaps;
165
- const healthy = structural.ok && gaps.length === 0;
166
-
167
- if (asJson) {
168
- printJson({ ...result, structural, healthy });
169
- return healthy ? 0 : 1;
170
- }
171
-
172
- console.log(`已收编到:${result.payloadDir}`);
173
- console.log(`payload:${result.payloadId}`);
174
- console.log(`包数:${result.plan.packages.length} 文件:${result.totals.files} 字节:${result.totals.bytes}`);
175
- console.log(`物化方式:${result.manifest.materialize.mode}` + (result.manifest.materialize.linkError ? `(硬链接失败原因:${result.manifest.materialize.linkError})` : ""));
176
- if (result.plan.skipped.length) {
177
- console.log(`跳过(平台不适用):${result.plan.skipped.map((s) => s.name).join("、")}`);
178
- }
179
- for (const warning of result.manifest.warnings) console.log(`警告:${warning}`);
180
- for (const gap of gaps) {
181
- console.log(`缺失依赖:${gap.name}(被 ${gap.from} 需要:${gap.reason})`);
182
- }
183
- for (const item of structural.missing) console.log(`缺失文件:${item}`);
184
- for (const reason of structural.reasons) console.log(`结构问题:${reason}`);
185
- console.log(`结构检查:${structural.ok ? "通过" : "未通过"}`);
186
- if (gaps.length > 0) {
187
- console.log(`闭包完整性:未通过(${gaps.length} 个必需依赖缺失,入口加载时会失败)`);
188
- }
189
- if (healthy) {
190
- console.log(`\n下一步:node scripts/mneme-runtime.mjs verify # 真跑一次推理确认可用`);
191
- }
192
- return healthy ? 0 : 1;
193
- }
194
-
195
- async function runVerify({ runtimeDir, asJson, options }) {
196
- const candidate = resolveRuntimeEntry({ runtimeDir });
197
- if (candidate === null) {
198
- // 「没得验」不是用法错误,是不健康 —— 复用 status 的提示,别自己编一套说法。
199
- const report = describeLocalRuntime({ runtimeDir });
200
- if (asJson) printJson(report);
201
- else console.log(`没有可用的运行时 payload。\n\n${report.hint}`);
202
- return 1;
203
- }
204
-
205
- const cacheDir = String(options["cache-dir"] ?? "").trim() || defaultModelCacheDir();
206
- if (!asJson) {
207
- console.log(`验证 payload:${candidate.payloadId}`);
208
- console.log(`模型缓存目录:${cacheDir}`);
209
- console.log("正在加载运行时并推理(首次可能要几十秒)...");
210
- }
211
-
212
- const result = await verifyPayload(candidate.dir, { cacheDir });
213
-
214
- if (asJson) {
215
- printJson(result);
216
- return result.ok ? 0 : 1;
217
- }
218
-
219
- console.log(`结构检查:${result.structural.ok ? "通过" : "未通过"}`);
220
- for (const item of result.structural.missing) console.log(` 缺失:${item}`);
221
- for (const reason of result.structural.reasons) console.log(` 原因:${reason}`);
222
- const fn = result.functional;
223
- console.log(`功能验证:${fn.ok ? `通过(维度 ${fn.dim},${fn.rows} 行,${fn.elapsedMs}ms)` : "未通过"}`);
224
- if (!fn.ok) {
225
- console.log(` 原因:${fn.reason}`);
226
- // 最常见的失败是模型不在这个目录 —— 注意这里的默认值不一定等于用户配置的
227
- // embedModelCacheDir,所以要明确告诉他能改。
228
- console.log(` 提示:功能验证不触网(allowRemoteModels=false),模型必须已在缓存目录里。`);
229
- console.log(` 若模型在别处,用 --cache-dir <目录> 指过去(应与配置项 embedModelCacheDir 一致);`);
230
- console.log(` 或先用 embedProvider="local" 触发一次下载(走 embedModelMirror 镜像)。`);
231
- }
232
- console.log(`完整性:${result.integrity.status}${result.integrity.detail ? `(${result.integrity.detail})` : ""}`);
233
- console.log(`\n总判定:${result.ok ? "通过" : "未通过"}`);
234
- return result.ok ? 0 : 1;
235
- }
236
-
237
- async function main() {
238
- const [command, ...rest] = process.argv.slice(2);
239
- if (!command || command === "help" || command === "--help" || command === "-h") {
240
- process.stdout.write(USAGE);
241
- return command ? 0 : 2;
242
- }
243
- const options = parseArgs(rest);
244
- const runtimeDir = String(options.runtime ?? "").trim() || defaultRuntimeDir();
245
- const asJson = options.json === true;
246
-
247
- if (command === "status") return runStatus({ runtimeDir, asJson });
248
- if (command === "adopt") return runAdopt({ runtimeDir, asJson, options });
249
- if (command === "verify") return runVerify({ runtimeDir, asJson, options });
250
- throw new UsageError(`未知命令:${command}\n\n${USAGE}`);
251
- }
252
-
253
- /**
254
- * 只有被直接执行时才跑 CLI。这样测试可以安全地 `import` 本文件来验证它能被解析并求值
255
- * —— 脚本不在任何其它测试覆盖里,一个模板字面量里的反引号就足以让它整体坏掉而 CI 全绿。
256
- * 与 scripts/benchmark-recall.js 的 invokedDirectly 同一套写法。
257
- */
258
- const invokedDirectly =
259
- process.argv[1] != null && import.meta.url.endsWith(process.argv[1].replace(/\\/g, "/").split("/").pop() ?? "");
260
-
261
- if (invokedDirectly) {
262
- try {
263
- process.exitCode = await main();
264
- } catch (error) {
265
- if (error instanceof UsageError) {
266
- process.stderr.write(`${error.message}\n`);
267
- process.exitCode = 2;
268
- } else {
269
- // 验证/收编本身是 fail-safe 的;能走到这里的多半是环境问题(磁盘、权限),
270
- // 如实打出来,别吞。
271
- process.stderr.write(`失败:${error?.stack ?? error}\n`);
272
- process.exitCode = 1;
273
- }
274
- }
275
- }
276
-
277
- export { main, parseArgs, runAdopt, UsageError };
1
+ #!/usr/bin/env node
2
+ /**
3
+ * 本地推理运行时管理入口(issue #131 / PR-A)
4
+ *
5
+ * 为什么不在 bin/cli.mjs 里加子命令:那个 CLI 的契约是「外部 HTTP API 客户端」,
6
+ * 要求 dsh-mneme 服务正在运行。而收编/验证运行时恰恰发生在服务没起来、插件甚至
7
+ * 装不上的时候 —— 两者是相反的使用场景。scripts/ 是与 benchmark-embed.js 同类的
8
+ * 本地工具目录,放这里符合既有约定,也不用动物那个零依赖 CLI 的契约。
9
+ *
10
+ * 用法(在插件目录下运行):
11
+ * node scripts/mneme-runtime.mjs status [--runtime <dir>] [--json]
12
+ * node scripts/mneme-runtime.mjs adopt --from <宿主 node_modules 目录> [--runtime <dir>] [--overwrite] [--json]
13
+ * node scripts/mneme-runtime.mjs verify [--runtime <dir>] [--cache-dir <dir>] [--json]
14
+ *
15
+ * 退出码:0 = 健康 / 1 = 不健康或失败 / 2 = 用法错误。
16
+ * 每一档都要能被脚本直接拿去 gate,所以「没装」和「装坏了」返回的都是 1,
17
+ * 具体区别看输出里的 status。
18
+ */
19
+ import process from "node:process";
20
+ import { adoptRuntime } from "../lib/runtime/adopt.js";
21
+ import { describeLocalRuntime, resolveRuntimeEntry } from "../lib/runtime/loader.js";
22
+ import { defaultModelCacheDir, defaultRuntimeDir, describePayload } from "../lib/runtime/layout.js";
23
+ import { verifyPayload } from "../lib/runtime/verify.js";
24
+
25
+ // 注意:下面是模板字面量,帮助正文里**不能出现反引号** —— 会把字面量提前截断。
26
+ // 这个坑踩过一次,而且因为本文件原本不在任何测试覆盖里,CI 完全没抓到;
27
+ // 现在由 test/runtime-cli.test.js 动态 import 本文件来兜底(语法错会在测试里直接炸)。
28
+ const USAGE = `本地推理运行时管理(dsh-mneme / issue #131)
29
+
30
+ 用法:
31
+ node scripts/mneme-runtime.mjs status [--runtime <dir>] [--json]
32
+ node scripts/mneme-runtime.mjs adopt --from <宿主 node_modules 目录> [--runtime <dir>] [--overwrite] [--json]
33
+ node scripts/mneme-runtime.mjs verify [--runtime <dir>] [--cache-dir <dir>] [--json]
34
+
35
+ 说明:
36
+ status 只读探查:这份运行时在哪、来源是什么、结构完不完整。不加载模型。
37
+ adopt 把宿主 node_modules 里已有的那份依赖闭包收编进插件自管目录,
38
+ 优先用硬链接(同盘时几乎不额外占盘)。收编后宿主那份可以随时被 pnpm 删掉。
39
+ 本机哪里都没有这份依赖时,可在任意空目录先装一份:
40
+ npm i @huggingface/transformers@^4.2.0
41
+ 再把那个 node_modules 作为 --from 传进来。必须让安装脚本正常执行(npm 默认会,
42
+ pnpm 10+ 默认拦截构建脚本),否则取不到 onnxruntime-node / sharp 的原生二进制。
43
+ verify 真加载运行时并跑一次推理,外加结构与完整性检查。
44
+ ⚠ 功能验证是离线的(allowRemoteModels=false):模型必须已在缓存目录里,
45
+ 否则会明确失败 —— 这是有意的,验证不该偷偷触网。
46
+ 默认缓存目录若与你的 embedModelCacheDir 不一致,用 --cache-dir 指过去。
47
+
48
+ 默认运行时目录:${defaultRuntimeDir()}
49
+ 默认模型缓存目录:${defaultModelCacheDir()}
50
+ `;
51
+
52
+ class UsageError extends Error {}
53
+
54
+ /** 必须带值的选项;缺值时是用法错误,不能把 "true" 当成路径用下去。 */
55
+ const VALUE_OPTIONS = new Set(["runtime", "from", "cache-dir"]);
56
+ /** 纯开关。 */
57
+ const FLAG_OPTIONS = new Set(["json", "overwrite"]);
58
+
59
+ /**
60
+ * 参数解析:只支持 `--key value` 与 `--flag`。
61
+ * 够用就不引库 —— 这个脚本要在「插件装不上」的场景下还能跑,依赖越少越好。
62
+ *
63
+ * 两个刻意的严格行为:
64
+ * - 缺值的 `--runtime` / `--from` / `--cache-dir` 直接报用法错误(exit 2)。宽松处理会让
65
+ * 它们变成 `true`,再被当作一个叫 "true" 的路径用下去,最后以 exit 1 收场 ——
66
+ * 真正的「你少打了一个值」被伪装成「运行时坏了」。
67
+ * - 未知选项也报用法错误,而不是静默忽略:打错字应当立刻可见。
68
+ */
69
+ function parseArgs(argv) {
70
+ const options = {};
71
+ for (let i = 0; i < argv.length; i++) {
72
+ const token = argv[i];
73
+ const key = token.startsWith("--") ? token.slice(2) : null;
74
+ if (key === null || (!VALUE_OPTIONS.has(key) && !FLAG_OPTIONS.has(key))) {
75
+ const accepted = [
76
+ ...[...VALUE_OPTIONS].map((k) => `--${k} <值>`),
77
+ ...[...FLAG_OPTIONS].map((k) => `--${k}`)
78
+ ].join("、");
79
+ throw new UsageError(`无法识别的参数:${token}(可用:${accepted})`);
80
+ }
81
+ if (FLAG_OPTIONS.has(key)) {
82
+ options[key] = true;
83
+ continue;
84
+ }
85
+ const value = argv[i + 1];
86
+ if (value === undefined || value.startsWith("--")) {
87
+ throw new UsageError(`--${key} 需要带一个值`);
88
+ }
89
+ options[key] = value;
90
+ i++;
91
+ }
92
+ return options;
93
+ }
94
+
95
+ const printJson = (value) => process.stdout.write(`${JSON.stringify(value, null, 2)}\n`);
96
+
97
+ /** payloadId → 人类可读的标签,纯展示。 */
98
+ function describePayloadLabel(report) {
99
+ const parts = [];
100
+ if (report.version) parts.push(`transformers ${report.version}`);
101
+ if (report.procedure) parts.push(`来源 ${report.procedure}`);
102
+ if (report.materialize) parts.push(`物化 ${report.materialize}`);
103
+ return parts.join(",");
104
+ }
105
+
106
+ function runStatus({ runtimeDir, asJson }) {
107
+ const report = describeLocalRuntime({ runtimeDir });
108
+ const healthy = report.status === "available";
109
+ if (asJson) {
110
+ printJson(report);
111
+ return healthy ? 0 : 1;
112
+ }
113
+
114
+ const label = { available: "可用", missing: "未安装", broken: "损坏", unreadable: "读不到" }[report.status] ?? report.status;
115
+ console.log(`运行时目录:${report.runtimeDir}`);
116
+ console.log(`状态:${label}`);
117
+ if (report.payloadId) console.log(`payload:${report.payloadId}`);
118
+ const extra = describePayloadLabel(report);
119
+ if (extra) console.log(` ${extra}`);
120
+ if (healthy) {
121
+ console.log(`完整性:${report.integrity}`);
122
+ // 明说「结构通过 ≠ 验过」,否则这个面板会给出虚假的安心感。
123
+ console.log(`功能:${report.functional}(状态探查不加载模型,跑 verify 才能确认真的能推理)`);
124
+ }
125
+ for (const item of report.missing ?? []) console.log(`缺失:${item}`);
126
+ for (const reason of report.reasons ?? []) console.log(`原因:${reason}`);
127
+ if (report.reason) console.log(`原因:${report.reason}`);
128
+ if (!healthy) console.log(`\n${report.hint}`);
129
+ return healthy ? 0 : 1;
130
+ }
131
+
132
+ async function runAdopt({ runtimeDir, asJson, options }) {
133
+ const from = String(options.from ?? "").trim();
134
+ if (!from) {
135
+ throw new UsageError(
136
+ "adopt 需要 --from <宿主 node_modules 目录>,例如:\n" +
137
+ " .../profiles/<profile>/node_modules\n" +
138
+ "(就是当前装着 @huggingface/transformers 的那个 node_modules)"
139
+ );
140
+ }
141
+
142
+ const result = await adoptRuntime({
143
+ fromModulesDir: from,
144
+ runtimeDir,
145
+ overwrite: options.overwrite === true
146
+ });
147
+
148
+ // 收编失败时 adoptRuntime **不带 payloadDir**(入口包解析不到就是这条路径)。
149
+ // 必须先处理,否则下面拿 undefined 当路径喂给 describePayload,用户看到的是
150
+ // `TypeError: The "path" argument must be of type string` 的堆栈,
151
+ // 而不是「入口包不存在 + 下一步该做什么」——而这是文档里给用户的第一条命令。
152
+ if (result.ok === false) {
153
+ if (asJson) printJson(result);
154
+ else console.log(`收编失败:${result.reason}`);
155
+ return 1;
156
+ }
157
+
158
+ // 搬运完立刻做结构检查:缺件现在就能发现,不必等到第一次推理才炸。
159
+ const structural = describePayload(result.payloadDir);
160
+
161
+ // 两条判据都要过:describePayload 只点三个必需包,**不看闭包计划里的必需依赖缺口**。
162
+ // 只认 structural.ok 的话,「缺传递依赖、入口一 import 就炸」的收编会报 exit 0,
163
+ // 脚本化的 gate 就在最需要它的时候误报健康。
164
+ const gaps = result.plan.gaps;
165
+ const healthy = structural.ok && gaps.length === 0;
166
+
167
+ if (asJson) {
168
+ printJson({ ...result, structural, healthy });
169
+ return healthy ? 0 : 1;
170
+ }
171
+
172
+ console.log(`已收编到:${result.payloadDir}`);
173
+ console.log(`payload:${result.payloadId}`);
174
+ console.log(`包数:${result.plan.packages.length} 文件:${result.totals.files} 字节:${result.totals.bytes}`);
175
+ console.log(`物化方式:${result.manifest.materialize.mode}` + (result.manifest.materialize.linkError ? `(硬链接失败原因:${result.manifest.materialize.linkError})` : ""));
176
+ if (result.plan.skipped.length) {
177
+ console.log(`跳过(平台不适用):${result.plan.skipped.map((s) => s.name).join("、")}`);
178
+ }
179
+ for (const warning of result.manifest.warnings) console.log(`警告:${warning}`);
180
+ for (const gap of gaps) {
181
+ console.log(`缺失依赖:${gap.name}(被 ${gap.from} 需要:${gap.reason})`);
182
+ }
183
+ for (const item of structural.missing) console.log(`缺失文件:${item}`);
184
+ for (const reason of structural.reasons) console.log(`结构问题:${reason}`);
185
+ console.log(`结构检查:${structural.ok ? "通过" : "未通过"}`);
186
+ if (gaps.length > 0) {
187
+ console.log(`闭包完整性:未通过(${gaps.length} 个必需依赖缺失,入口加载时会失败)`);
188
+ }
189
+ if (healthy) {
190
+ console.log(`\n下一步:node scripts/mneme-runtime.mjs verify # 真跑一次推理确认可用`);
191
+ }
192
+ return healthy ? 0 : 1;
193
+ }
194
+
195
+ async function runVerify({ runtimeDir, asJson, options }) {
196
+ const candidate = resolveRuntimeEntry({ runtimeDir });
197
+ if (candidate === null) {
198
+ // 「没得验」不是用法错误,是不健康 —— 复用 status 的提示,别自己编一套说法。
199
+ const report = describeLocalRuntime({ runtimeDir });
200
+ if (asJson) printJson(report);
201
+ else console.log(`没有可用的运行时 payload。\n\n${report.hint}`);
202
+ return 1;
203
+ }
204
+
205
+ const cacheDir = String(options["cache-dir"] ?? "").trim() || defaultModelCacheDir();
206
+ if (!asJson) {
207
+ console.log(`验证 payload:${candidate.payloadId}`);
208
+ console.log(`模型缓存目录:${cacheDir}`);
209
+ console.log("正在加载运行时并推理(首次可能要几十秒)...");
210
+ }
211
+
212
+ const result = await verifyPayload(candidate.dir, { cacheDir });
213
+
214
+ if (asJson) {
215
+ printJson(result);
216
+ return result.ok ? 0 : 1;
217
+ }
218
+
219
+ console.log(`结构检查:${result.structural.ok ? "通过" : "未通过"}`);
220
+ for (const item of result.structural.missing) console.log(` 缺失:${item}`);
221
+ for (const reason of result.structural.reasons) console.log(` 原因:${reason}`);
222
+ const fn = result.functional;
223
+ console.log(`功能验证:${fn.ok ? `通过(维度 ${fn.dim},${fn.rows} 行,${fn.elapsedMs}ms)` : "未通过"}`);
224
+ if (!fn.ok) {
225
+ console.log(` 原因:${fn.reason}`);
226
+ // 最常见的失败是模型不在这个目录 —— 注意这里的默认值不一定等于用户配置的
227
+ // embedModelCacheDir,所以要明确告诉他能改。
228
+ console.log(` 提示:功能验证不触网(allowRemoteModels=false),模型必须已在缓存目录里。`);
229
+ console.log(` 若模型在别处,用 --cache-dir <目录> 指过去(应与配置项 embedModelCacheDir 一致);`);
230
+ console.log(` 或先用 embedProvider="local" 触发一次下载(走 embedModelMirror 镜像)。`);
231
+ }
232
+ console.log(`完整性:${result.integrity.status}${result.integrity.detail ? `(${result.integrity.detail})` : ""}`);
233
+ console.log(`\n总判定:${result.ok ? "通过" : "未通过"}`);
234
+ return result.ok ? 0 : 1;
235
+ }
236
+
237
+ async function main() {
238
+ const [command, ...rest] = process.argv.slice(2);
239
+ if (!command || command === "help" || command === "--help" || command === "-h") {
240
+ process.stdout.write(USAGE);
241
+ return command ? 0 : 2;
242
+ }
243
+ const options = parseArgs(rest);
244
+ const runtimeDir = String(options.runtime ?? "").trim() || defaultRuntimeDir();
245
+ const asJson = options.json === true;
246
+
247
+ if (command === "status") return runStatus({ runtimeDir, asJson });
248
+ if (command === "adopt") return runAdopt({ runtimeDir, asJson, options });
249
+ if (command === "verify") return runVerify({ runtimeDir, asJson, options });
250
+ throw new UsageError(`未知命令:${command}\n\n${USAGE}`);
251
+ }
252
+
253
+ /**
254
+ * 只有被直接执行时才跑 CLI。这样测试可以安全地 `import` 本文件来验证它能被解析并求值
255
+ * —— 脚本不在任何其它测试覆盖里,一个模板字面量里的反引号就足以让它整体坏掉而 CI 全绿。
256
+ * 与 scripts/benchmark-recall.js 的 invokedDirectly 同一套写法。
257
+ */
258
+ const invokedDirectly =
259
+ process.argv[1] != null && import.meta.url.endsWith(process.argv[1].replace(/\\/g, "/").split("/").pop() ?? "");
260
+
261
+ if (invokedDirectly) {
262
+ try {
263
+ process.exitCode = await main();
264
+ } catch (error) {
265
+ if (error instanceof UsageError) {
266
+ process.stderr.write(`${error.message}\n`);
267
+ process.exitCode = 2;
268
+ } else {
269
+ // 验证/收编本身是 fail-safe 的;能走到这里的多半是环境问题(磁盘、权限),
270
+ // 如实打出来,别吞。
271
+ process.stderr.write(`失败:${error?.stack ?? error}\n`);
272
+ process.exitCode = 1;
273
+ }
274
+ }
275
+ }
276
+
277
+ export { main, parseArgs, runAdopt, UsageError };