@modusensus/dsh-mneme 0.8.14 → 0.8.16

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (279) hide show
  1. package/LICENSE +21 -21
  2. package/README.md +660 -654
  3. package/assets/icon.svg +3 -3
  4. package/bin/cli.mjs +691 -689
  5. package/bin/dsh-mneme-mcp.mjs +510 -510
  6. package/bin/dsh-mneme-serve.mjs +151 -151
  7. package/cordis.patch.yml +21 -21
  8. package/docs/CONFIGURATION.md +275 -0
  9. package/docs/CONTINUITY.md +124 -0
  10. package/docs/DAEMON.md +46 -0
  11. package/docs/DISTILL.md +162 -0
  12. package/docs/ENTITIES.md +245 -0
  13. package/docs/LOCAL_MODEL.md +222 -0
  14. package/docs/SEMANTIC.md +256 -0
  15. package/docs/SLEEP.md +164 -0
  16. package/docs/STORAGE.md +98 -0
  17. package/lib/api-standalone.js +656 -673
  18. package/lib/api.js +1605 -1433
  19. package/lib/bootstrap.js +211 -211
  20. package/lib/client.js +6354 -5296
  21. package/lib/commands.js +95 -95
  22. package/lib/config.js +947 -843
  23. package/lib/content-hash.js +54 -54
  24. package/lib/continuity.js +220 -220
  25. package/lib/document-index.js +94 -94
  26. package/lib/document.js +303 -303
  27. package/lib/dream/clustering.js +118 -118
  28. package/lib/dream/decisions.js +694 -674
  29. package/lib/dream/narratives.js +44 -44
  30. package/lib/dream/sleep.js +819 -819
  31. package/lib/dream.js +1503 -1501
  32. package/lib/embedding.js +177 -177
  33. package/lib/entities/extractor.js +252 -252
  34. package/lib/graph/anchoring.js +179 -179
  35. package/lib/guide.js +74 -74
  36. package/lib/heat.js +144 -144
  37. package/lib/hot-memory.js +108 -46
  38. package/lib/index.js +552 -503
  39. package/lib/inject.js +428 -450
  40. package/lib/lang.js +248 -229
  41. package/lib/local-embedder.js +358 -358
  42. package/lib/maintenance.js +162 -142
  43. package/lib/mirror.js +330 -330
  44. package/lib/organize.js +450 -450
  45. package/lib/peak-hours.js +117 -117
  46. package/lib/placement.js +13 -0
  47. package/lib/pre-inject-gate.js +340 -0
  48. package/lib/quality-filter.js +126 -126
  49. package/lib/recall-stats.js +190 -175
  50. package/lib/reclaim-http.js +150 -0
  51. package/lib/reranker.js +269 -269
  52. package/lib/runtime/adopt.js +176 -176
  53. package/lib/runtime/closure.js +172 -172
  54. package/lib/runtime/download.js +247 -247
  55. package/lib/runtime/layout.js +265 -265
  56. package/lib/runtime/loader.js +252 -252
  57. package/lib/runtime/model-fetch.js +361 -361
  58. package/lib/runtime/provision.js +237 -237
  59. package/lib/runtime/tarball.js +130 -130
  60. package/lib/runtime/verify.js +223 -204
  61. package/lib/safe-slice.js +18 -0
  62. package/lib/scope.js +146 -146
  63. package/lib/search/adaptive.js +60 -60
  64. package/lib/search/bm25.js +96 -96
  65. package/lib/semantic.js +229 -229
  66. package/lib/sensitive-scan.js +209 -209
  67. package/lib/serve.js +215 -215
  68. package/lib/service.js +2688 -2605
  69. package/lib/settings.js +528 -511
  70. package/lib/store.js +3196 -3007
  71. package/lib/summarize.js +1039 -856
  72. package/lib/tools.js +743 -737
  73. package/lib/vector-index.js +110 -110
  74. package/lib/version-check.js +122 -122
  75. package/lib/write-admission.js +402 -402
  76. package/locale/en.json +6 -6
  77. package/locale/zh.json +6 -6
  78. package/package.json +118 -118
  79. package/runtime-manifest.json +526 -526
  80. package/scripts/benchmark-embed.js +201 -201
  81. package/scripts/benchmark-recall.js +249 -249
  82. package/scripts/benchmark-rerank.js +166 -166
  83. package/scripts/build-runtime-manifest.mjs +224 -224
  84. package/scripts/changelog-prep.mjs +36 -36
  85. package/scripts/check-sync.js +42 -42
  86. package/scripts/e2e-dsh.js +220 -220
  87. package/scripts/mneme-runtime.mjs +277 -277
  88. package/scripts/stress-dsh.js +255 -255
  89. package/scripts/sync-lib.js +47 -47
  90. package/scripts/sync-test-badge.mjs +69 -69
  91. package/scripts/test-count-sync.mjs +44 -44
  92. package/src/api-standalone.js +656 -673
  93. package/src/api.js +1605 -1433
  94. package/src/bootstrap.js +211 -211
  95. package/src/commands.js +95 -95
  96. package/src/config.js +947 -843
  97. package/src/content-hash.js +54 -54
  98. package/src/continuity.js +220 -220
  99. package/src/document-index.js +94 -94
  100. package/src/document.js +303 -303
  101. package/src/dream/clustering.js +118 -118
  102. package/src/dream/decisions.js +694 -674
  103. package/src/dream/narratives.js +44 -44
  104. package/src/dream/sleep.js +819 -819
  105. package/src/dream.js +1503 -1501
  106. package/src/embedding.js +177 -177
  107. package/src/entities/extractor.js +252 -252
  108. package/src/graph/anchoring.js +179 -179
  109. package/src/guide.js +74 -74
  110. package/src/heat.js +144 -144
  111. package/src/hot-memory.js +108 -46
  112. package/src/index.js +552 -503
  113. package/src/inject.js +428 -450
  114. package/src/lang.js +248 -229
  115. package/src/local-embedder.js +358 -358
  116. package/src/maintenance.js +162 -142
  117. package/src/mirror.js +330 -330
  118. package/src/organize.js +450 -450
  119. package/src/peak-hours.js +117 -117
  120. package/src/placement.js +13 -0
  121. package/src/pre-inject-gate.js +340 -0
  122. package/src/quality-filter.js +126 -126
  123. package/src/recall-stats.js +190 -175
  124. package/src/reclaim-http.js +150 -0
  125. package/src/reranker.js +269 -269
  126. package/src/runtime/adopt.js +176 -176
  127. package/src/runtime/closure.js +172 -172
  128. package/src/runtime/download.js +247 -247
  129. package/src/runtime/layout.js +265 -265
  130. package/src/runtime/loader.js +252 -252
  131. package/src/runtime/model-fetch.js +361 -361
  132. package/src/runtime/provision.js +237 -237
  133. package/src/runtime/tarball.js +130 -130
  134. package/src/runtime/verify.js +223 -204
  135. package/src/safe-slice.js +18 -0
  136. package/src/scope.js +146 -146
  137. package/src/search/adaptive.js +60 -60
  138. package/src/search/bm25.js +96 -96
  139. package/src/semantic.js +229 -229
  140. package/src/sensitive-scan.js +209 -209
  141. package/src/serve.js +215 -215
  142. package/src/service.js +2688 -2605
  143. package/src/settings.js +528 -511
  144. package/src/store.js +3196 -3007
  145. package/src/summarize.js +1039 -856
  146. package/src/tools.js +743 -737
  147. package/src/vector-index.js +110 -110
  148. package/src/version-check.js +122 -122
  149. package/src/write-admission.js +402 -402
  150. package/test/adaptive-inject-budget.test.js +85 -85
  151. package/test/api-routes-gaps.test.js +899 -218
  152. package/test/api.test.js +1725 -1690
  153. package/test/audit.test.js +448 -448
  154. package/test/baseline-persist.test.js +248 -248
  155. package/test/benchmark.test.js +94 -94
  156. package/test/bootstrap.test.js +220 -220
  157. package/test/changelog-prep.test.js +60 -60
  158. package/test/client.test.js +1582 -1169
  159. package/test/clustering.test.js +100 -100
  160. package/test/commands.test.js +106 -106
  161. package/test/config.test.js +66 -66
  162. package/test/conflict-freeze.test.js +300 -300
  163. package/test/content-hash.test.js +204 -204
  164. package/test/continuity.test.js +333 -333
  165. package/test/contrast.test.js +314 -0
  166. package/test/document-dir.test.js +233 -233
  167. package/test/document.test.js +671 -671
  168. package/test/dream-archive-guardrail.test.js +116 -116
  169. package/test/dream-candidate-hybrid.test.js +281 -281
  170. package/test/dream-coverage-degrade.test.js +86 -86
  171. package/test/dream-failure-backoff.test.js +173 -173
  172. package/test/dream-merge-guardrail.test.js +219 -0
  173. package/test/dream-peak-hours.test.js +194 -194
  174. package/test/dream.test.js +1385 -1383
  175. package/test/embedding-ready.test.js +196 -196
  176. package/test/entities.test.js +627 -547
  177. package/test/entity-recall.test.js +179 -179
  178. package/test/epistemic.test.js +325 -325
  179. package/test/fnew-0112.test.js +311 -311
  180. package/test/fnew-03.test.js +422 -422
  181. package/test/graph-anchoring.test.js +184 -184
  182. package/test/graph-api.test.js +175 -175
  183. package/test/graph-inject-budget.test.js +103 -103
  184. package/test/graph-passive-confirm.test.js +91 -91
  185. package/test/graph-weight-evolution.test.js +104 -104
  186. package/test/heat.test.js +175 -175
  187. package/test/helpers/dream-mock.js +82 -82
  188. package/test/helpers/peer-worker.mjs +25 -25
  189. package/test/helpers/runtime-source.js +60 -60
  190. package/test/helpers/tar-builder.js +80 -80
  191. package/test/helpers/write-admission-samples.js +308 -308
  192. package/test/hot-memory.test.js +211 -145
  193. package/test/inject-content-cap.test.js +91 -91
  194. package/test/inject-first-round-bm25.test.js +89 -89
  195. package/test/inject-heat.test.js +77 -77
  196. package/test/inject-parent-gate.test.js +106 -106
  197. package/test/inject-pools.test.js +194 -194
  198. package/test/inject-recall.test.js +144 -105
  199. package/test/inject-rotation.test.js +161 -161
  200. package/test/inject.test.js +443 -420
  201. package/test/lang.test.js +87 -87
  202. package/test/lastrunat-persist.test.js +101 -101
  203. package/test/lib-smoke.test.js +96 -96
  204. package/test/llm-audit.test.js +696 -598
  205. package/test/llm-message-source.test.js +207 -207
  206. package/test/local-embedder.test.js +292 -292
  207. package/test/maintenance.test.js +501 -391
  208. package/test/mcp-stdio.test.js +385 -385
  209. package/test/mirror-dirty.test.js +424 -424
  210. package/test/mirror-edit-digest.test.js +187 -187
  211. package/test/mirror-generation.test.js +499 -499
  212. package/test/mirror-types.test.js +208 -208
  213. package/test/mirror.test.js +249 -249
  214. package/test/narrative-bars.test.js +162 -162
  215. package/test/organize.test.js +418 -418
  216. package/test/peer-blockers.test.js +193 -193
  217. package/test/placement.test.js +36 -0
  218. package/test/policy-epoch.test.js +259 -259
  219. package/test/pre-inject-gate.test.js +444 -0
  220. package/test/quality-filter.test.js +186 -186
  221. package/test/reasoning-effort.test.js +752 -752
  222. package/test/recall-anti-update.test.js +82 -82
  223. package/test/recall-evals.test.js +253 -253
  224. package/test/recall-layer.test.js +326 -326
  225. package/test/recall-stats.test.js +274 -189
  226. package/test/receipt-chain.test.js +451 -451
  227. package/test/reclaim-http.test.js +209 -0
  228. package/test/reflection.test.js +226 -226
  229. package/test/reindex-backfill.test.js +62 -62
  230. package/test/reranker-single-logit.test.js +73 -73
  231. package/test/reranker.test.js +197 -197
  232. package/test/resident-status.test.js +83 -83
  233. package/test/runtime-adopt.test.js +206 -206
  234. package/test/runtime-cli.test.js +89 -89
  235. package/test/runtime-closure.test.js +193 -193
  236. package/test/runtime-download.test.js +302 -302
  237. package/test/runtime-layout.test.js +163 -163
  238. package/test/runtime-loader.test.js +255 -255
  239. package/test/runtime-manifest.test.js +159 -159
  240. package/test/runtime-model-fetch.test.js +348 -348
  241. package/test/runtime-provision.test.js +101 -101
  242. package/test/runtime-tarball.test.js +81 -81
  243. package/test/runtime-verify.test.js +319 -279
  244. package/test/scope-candidates.test.js +239 -239
  245. package/test/scope-explicit.test.js +452 -452
  246. package/test/scope-inject-soft.test.js +106 -106
  247. package/test/scope-retrieval.test.js +197 -197
  248. package/test/scope-storage.test.js +255 -255
  249. package/test/scope-strict.test.js +367 -367
  250. package/test/search-fusion.test.js +90 -90
  251. package/test/semantic.test.js +124 -124
  252. package/test/sensitive-scan.test.js +207 -207
  253. package/test/serve-bin.test.js +121 -121
  254. package/test/serve.test.js +196 -196
  255. package/test/service-search.test.js +174 -174
  256. package/test/service.test.js +410 -405
  257. package/test/settings.test.js +269 -261
  258. package/test/skip-invalid-restore.test.js +262 -262
  259. package/test/sleep-action-set.test.js +422 -422
  260. package/test/sleep-heat.test.js +126 -126
  261. package/test/sleep-scheduler-rearm.test.js +89 -89
  262. package/test/sleep.test.js +527 -527
  263. package/test/standalone-api.test.js +751 -751
  264. package/test/store-vector-cache.test.js +98 -98
  265. package/test/store.test.js +504 -396
  266. package/test/stress.test.js +209 -209
  267. package/test/summarize-occurred-at.test.js +127 -0
  268. package/test/summarize-reasoning-effort.test.js +189 -189
  269. package/test/summarize.test.js +1639 -1465
  270. package/test/supersede-state-tracking.test.js +394 -0
  271. package/test/test-count-sync.test.js +60 -60
  272. package/test/tools-dto-schema-matrix.test.js +325 -325
  273. package/test/tools-memory-get-schema.test.js +65 -65
  274. package/test/tools.test.js +428 -374
  275. package/test/updated-at-semantics.test.js +113 -113
  276. package/test/vector-index.test.js +221 -221
  277. package/test/version-check.test.js +152 -152
  278. package/test/webServer-optional.test.js +82 -82
  279. package/test/write-admission.test.js +668 -668
@@ -1,265 +1,265 @@
1
- // 运行时目录契约(issue #131 / PR-A)
2
- //
3
- // 背景:@huggingface/transformers 及其原生闭包(onnxruntime-node 解包 210 MB、
4
- // onnxruntime-web 128 MB、sharp 19 MB)只要留在插件的 dependencies 里,就会进
5
- // 宿主 profile 的安装图。profile 是所有插件共用的依赖图,于是「装任何插件都要替
6
- // 它重走一遍这条链」,弱网下直接把安装卡死。本模块定义插件自管运行时的落地契约,
7
- // 让这份运行时与宿主依赖图解耦。
8
- //
9
- // 只有三件事是稳定契约,其余实现都可以换:
10
- //
11
- // <runtimeDir>/<payloadId>/mneme-runtime.json 来源与版本清单
12
- // <runtimeDir>/<payloadId>/node_modules/ 扁平依赖闭包(与 hoisted 同形)
13
- // <runtimeDir>/<payloadId>/node_modules/@huggingface/transformers/dist/transformers.node.mjs
14
- //
15
- // 为什么必须是「扁平 node_modules」:transformers.node.mjs 内部全是裸导入
16
- // (`import sharp from "sharp"`、`import * as ONNX_NODE from "onnxruntime-node"`),
17
- // 它们相对该文件自身位置解析。所以只要把闭包按扁平结构放好,再用绝对 file URL
18
- // import 入口,整套就能跑起来——不需要动宿主的 node_modules,也不需要 overrides。
19
- //
20
- // @module dsh-mneme/runtime/layout
21
- import { existsSync, readFileSync, readdirSync } from "node:fs";
22
- import { homedir } from "node:os";
23
- import { join } from "node:path";
24
-
25
- /** 运行时清单文件名,与 payload 目录同级。 */
26
- export const RUNTIME_MANIFEST = "mneme-runtime.json";
27
- /** 唯一会被本插件 import 的入口:transformers 的 Node 构建。 */
28
- export const TRANSFORMERS_ENTRY =
29
- "node_modules/@huggingface/transformers/dist/transformers.node.mjs";
30
- /**
31
- * 结构检查要求的包。三个都是硬要求:
32
- * - @huggingface/transformers 是入口本身;
33
- * - onnxruntime-node 被 Node 构建顶层 import;
34
- * - sharp 也被 Node 构建顶层 `import sharp from "sharp"`,缺了入口 import 就抛。
35
- */
36
- export const REQUIRED_PACKAGES = ["@huggingface/transformers", "onnxruntime-node", "sharp"];
37
- /** 认可的 transformers 版本区间:peer 提案的 >=4.2.0 <5(见 issue #131)。 */
38
- export const TRANSFORMERS_MIN = [4, 2, 0];
39
- export const TRANSFORMERS_MAX_MAJOR = 5;
40
-
41
- /**
42
- * 解析 major.minor.patch。解析不出来返回 null —— 这里刻意不抛错,
43
- * 让调用方把「版本读不懂」当成一条可报告的失败,而不是异常。
44
- * @param {unknown} value - 版本字符串。
45
- * @returns {number[]|null} [major, minor, patch] 或 null。
46
- */
47
- function parseVersion(value) {
48
- const m = /^(\d+)\.(\d+)\.(\d+)/.exec(String(value ?? ""));
49
- if (!m) return null;
50
- return [Number(m[1]), Number(m[2]), Number(m[3])];
51
- }
52
-
53
- /** 三元版本比较:a < b 返回负数。 */
54
- function compareVersion(a, b) {
55
- for (let i = 0; i < 3; i++) {
56
- if (a[i] !== b[i]) return a[i] - b[i];
57
- }
58
- return 0;
59
- }
60
-
61
- /**
62
- * 版本是否落在认可区间内。
63
- *
64
- * 刻意只实现「>=TRANSFORMERS_MIN <TRANSFORMERS_MAX_MAJOR」这一条区间,
65
- * 不是通用 semver —— 运行时要认的只有 transformers 一个包,写通用实现
66
- * 反而引入没被使用、也没被测试的分支。
67
- * @param {unknown} version - 待检查版本。
68
- * @returns {boolean} 是否认可。
69
- */
70
- export function transformersVersionOk(version) {
71
- const v = parseVersion(version);
72
- if (v === null) return false;
73
- if (v[0] >= TRANSFORMERS_MAX_MAJOR) return false;
74
- return compareVersion(v, TRANSFORMERS_MIN) >= 0;
75
- }
76
-
77
- /**
78
- * 运行时根目录的默认位置。与 embedModelCacheDir 的既有约定保持一致
79
- * (都挂在 ~/.dsh/mneme/ 下,便于用户整个删掉重来)。
80
- * @param {string} [home] - 家目录,测试时可注入。
81
- * @returns {string} 运行时根目录。
82
- */
83
- export function defaultRuntimeDir(home = homedir()) {
84
- return join(home, ".dsh", "mneme", "runtime");
85
- }
86
-
87
- /**
88
- * 本机 libc —— 且只在**能正面确认**时给出答案,否则 null。
89
- *
90
- * 用来在下载闭包时剔掉另一套 libc 的变体(linux-x64 上 `@img/sharp-linuxmusl-x64` 与
91
- * `sharp-libvips-linuxmusl-x64` 加起来十几 MB,glibc 机器一辈子用不到;评审建议做,
92
- * 收益真实)。
93
- *
94
- * 为什么只认「正面确认的 glibc」:Node 的 report 里 glibcVersionRuntime 为空时无法区分
95
- * 「musl」与「这份 Node 没报」,而猜错的方向(把 glibc 变体滤掉、装上 musl 变体)会得到
96
- * 一份必然 import 不起来的运行时,且本仓库没有 Linux 机器能验证这条路径。所以拿不到证据
97
- * 就不过滤:Alpine 用户多下十几兆,但没人会因此装坏。
98
- * @param {string} [platform] - 目标平台;只在「就是本机且是 linux」时才可能给出答案。
99
- * @returns {"glibc"|null} 确认到的 libc。
100
- */
101
- export function detectLibc(platform = process.platform) {
102
- // 目标平台不是本机(比如在 win32 上为 linux 生成/统计)时,本机 report 毫无意义。
103
- if (platform !== "linux" || platform !== process.platform) return null;
104
- try {
105
- const glibc = process.report?.getReport?.()?.header?.glibcVersionRuntime;
106
- return typeof glibc === "string" && glibc !== "" ? "glibc" : null;
107
- } catch {
108
- return null;
109
- }
110
- }
111
-
112
- /**
113
- * 本地模型的默认缓存目录。
114
- *
115
- * 收在这里是因为它必须**唯一**:embedder、reranker、verify 三方若各写一份字面量,
116
- * 一旦漂移,verify 就会拿另一份模型去验证,验证结果不再是运行时的真实证据。
117
- * @param {string} [home] - 家目录,测试时可注入。
118
- * @returns {string} 模型缓存目录。
119
- */
120
- export function defaultModelCacheDir(home = homedir()) {
121
- return join(home, ".dsh", "mneme", "models");
122
- }
123
-
124
- /**
125
- * 一个 payload 的目录名。带平台与架构,因此多份可以共存,
126
- * 加载器按平台挑一份可用的即可。
127
- * @param {{version: string, platform?: string, arch?: string}} opts - 版本与平台。
128
- * @returns {string} 形如 transformers-4.2.0-node-win32-x64。
129
- */
130
- export function payloadId({ version, platform = process.platform, arch = process.arch }) {
131
- return `transformers-${version}-node-${platform}-${arch}`;
132
- }
133
-
134
- /** payload 目录。@param {string} runtimeDir @param {string} id @returns {string} */
135
- export function payloadDir(runtimeDir, id) {
136
- return join(runtimeDir, id);
137
- }
138
-
139
- /** payload 内的扁平依赖目录。@param {string} dir @returns {string} */
140
- export function nodeModulesDir(dir) {
141
- return join(dir, "node_modules");
142
- }
143
-
144
- /** 清单文件路径。@param {string} dir @returns {string} */
145
- export function runtimeManifestPath(dir) {
146
- return join(dir, RUNTIME_MANIFEST);
147
- }
148
-
149
- /**
150
- * 读取 JSON,读不到或解析失败都返回 undefined(结构检查不应因缺文件而抛错)。
151
- * @param {string} file - 文件路径。
152
- * @returns {any|undefined} 解析结果。
153
- */
154
- export function readJsonSafe(file) {
155
- try {
156
- return JSON.parse(readFileSync(file, "utf8"));
157
- } catch {
158
- return undefined;
159
- }
160
- }
161
-
162
- /**
163
- * 归一清单里记下的完整性结论。
164
- *
165
- * 为什么要有这一处:这个字段有两种形态 —— 下载通道写的是 `{status, checked, detail}` 对象,
166
- * 而收编来的历史清单根本没有它。判据(verify)与投影(loader)各自猜形状就出过真事故
167
- * (issue #268:判据只认 `"sha512-matched"`,下载档写的 `"verified"` 进去恒判失败,
168
- * 而 loader 又把那个对象直接当字符串外发)。形状归一收在这里,两边都只调它。
169
- *
170
- * 它只回答「清单里声称什么」,不重新验算 —— 原始 tarball 落盘后就没了,重算无从谈起。
171
- *
172
- * 形状非法(`false` / `0` / `[]` / `{}` / `{status: 5}` 这类)给 `"malformed"`:判据不认
173
- * 它,于是 fail-closed。这类值既不能证明一致、也不是「没记录过」,按 ok:true 放行等于把
174
- * 形状错误读成「已经验过了」(#269 评审)。
175
- *
176
- * @param {unknown} recorded - 清单里的 integrity 字段。
177
- * @returns {{status: string, detail: string|null}} 状态词;缺失(null/undefined)为 "unverified"。
178
- */
179
- export function recordedIntegrity(recorded) {
180
- const asStatus = (value) => (typeof value === "string" && value.trim() !== "" ? value.trim() : null);
181
- if (recorded === undefined || recorded === null) return { status: "unverified", detail: null };
182
- if (typeof recorded === "string") return { status: asStatus(recorded) ?? "unverified", detail: null };
183
- if (typeof recorded !== "object" || Array.isArray(recorded)) {
184
- const shape = Array.isArray(recorded) ? "array" : typeof recorded;
185
- return { status: "malformed", detail: `integrity 字段形状非法(${shape}),无法据此判定` };
186
- }
187
- const status = asStatus(recorded.status);
188
- if (!status) return { status: "malformed", detail: "integrity 对象里没有可用的 status" };
189
- return { status, detail: typeof recorded.detail === "string" ? recorded.detail : null };
190
- }
191
-
192
- /**
193
- * 列出运行时根目录下所有 payload 目录(名称排序)。目录不存在返回空数组。
194
- * 加载器用它挑候选,再逐个 describePayload 判断可用性。
195
- * @param {string} runtimeDir - 运行时根目录。
196
- * @returns {string[]} payload 目录名。
197
- */
198
- export function listPayloadDirs(runtimeDir) {
199
- try {
200
- return readdirSync(runtimeDir, { withFileTypes: true })
201
- .filter((e) => e.isDirectory())
202
- .map((e) => e.name)
203
- .sort();
204
- } catch {
205
- return [];
206
- }
207
- }
208
-
209
- /**
210
- * 结构检查:这份 payload 是否至少「该有的文件都在」。
211
- *
212
- * 它故意不做功能验证(真 import 并跑一次推理)——那一步要看运行环境,
213
- * 由 verify 模块负责。这里只回答「解压完整没有、版本对不对、平台对不对」,
214
- * 用来在下载/搬运之后立刻发现缺件。
215
- * @param {string} dir - payload 目录。
216
- * @param {{platform?: string, arch?: string}} [opts] - 目标平台。
217
- * @returns {{dir: string, ok: boolean, version: string|null, manifest: any, missing: string[], reasons: string[]}}
218
- */
219
- export function describePayload(dir, { platform = process.platform, arch = process.arch } = {}) {
220
- const report = {
221
- dir,
222
- ok: false,
223
- version: null,
224
- manifest: readJsonSafe(runtimeManifestPath(dir)),
225
- missing: [],
226
- reasons: []
227
- };
228
-
229
- const nm = nodeModulesDir(dir);
230
- if (!existsSync(nm)) {
231
- report.reasons.push(`node_modules 不存在:${nm}`);
232
- return report;
233
- }
234
-
235
- // 1) 必需包逐个点名 —— 缺哪个报哪个,用户能照着单子手工补。
236
- for (const name of REQUIRED_PACKAGES) {
237
- if (!existsSync(join(nm, name, "package.json"))) report.missing.push(name);
238
- }
239
-
240
- // 2) 版本必须落在认可区间(装了别的 major 的闭包,行为不可预期)。
241
- const transformers = readJsonSafe(join(nm, "@huggingface/transformers", "package.json"));
242
- report.version = transformers?.version ?? null;
243
- if (transformers !== undefined && !transformersVersionOk(transformers.version)) {
244
- report.reasons.push(
245
- `@huggingface/transformers@${transformers.version} 不在认可区间(>=${TRANSFORMERS_MIN.join(".")} <${TRANSFORMERS_MAX_MAJOR})`
246
- );
247
- }
248
-
249
- // 3) 入口文件本身(前面只确认了包目录在)。
250
- if (!existsSync(join(dir, TRANSFORMERS_ENTRY))) report.missing.push(TRANSFORMERS_ENTRY);
251
-
252
- // 4) onnxruntime-node 一个包内含多平台 × 多架构的二进制,裁剪或跨机搬运时最容易只留下
253
- // 别的平台/架构。必须点名到**平台 + 架构**:真实包结构是
254
- // bin/napi-v6/{darwin,linux,win32}/{arm64,x64},只查平台的话 linux-arm64 的 payload
255
- // 在 linux-x64 上也会通过结构检查,被 loader 选中后才在 import 原生模块时失败。
256
- const nativeDir = join(nm, "onnxruntime-node", "bin", "napi-v6", platform, arch);
257
- if (existsSync(join(nm, "onnxruntime-node")) && !existsSync(nativeDir)) {
258
- report.reasons.push(
259
- `onnxruntime-node 缺少 ${platform}/${arch} 的二进制子树(bin/napi-v6/${platform}/${arch})`
260
- );
261
- }
262
-
263
- report.ok = report.missing.length === 0 && report.reasons.length === 0;
264
- return report;
265
- }
1
+ // 运行时目录契约(issue #131 / PR-A)
2
+ //
3
+ // 背景:@huggingface/transformers 及其原生闭包(onnxruntime-node 解包 210 MB、
4
+ // onnxruntime-web 128 MB、sharp 19 MB)只要留在插件的 dependencies 里,就会进
5
+ // 宿主 profile 的安装图。profile 是所有插件共用的依赖图,于是「装任何插件都要替
6
+ // 它重走一遍这条链」,弱网下直接把安装卡死。本模块定义插件自管运行时的落地契约,
7
+ // 让这份运行时与宿主依赖图解耦。
8
+ //
9
+ // 只有三件事是稳定契约,其余实现都可以换:
10
+ //
11
+ // <runtimeDir>/<payloadId>/mneme-runtime.json 来源与版本清单
12
+ // <runtimeDir>/<payloadId>/node_modules/ 扁平依赖闭包(与 hoisted 同形)
13
+ // <runtimeDir>/<payloadId>/node_modules/@huggingface/transformers/dist/transformers.node.mjs
14
+ //
15
+ // 为什么必须是「扁平 node_modules」:transformers.node.mjs 内部全是裸导入
16
+ // (`import sharp from "sharp"`、`import * as ONNX_NODE from "onnxruntime-node"`),
17
+ // 它们相对该文件自身位置解析。所以只要把闭包按扁平结构放好,再用绝对 file URL
18
+ // import 入口,整套就能跑起来——不需要动宿主的 node_modules,也不需要 overrides。
19
+ //
20
+ // @module dsh-mneme/runtime/layout
21
+ import { existsSync, readFileSync, readdirSync } from "node:fs";
22
+ import { homedir } from "node:os";
23
+ import { join } from "node:path";
24
+
25
+ /** 运行时清单文件名,与 payload 目录同级。 */
26
+ export const RUNTIME_MANIFEST = "mneme-runtime.json";
27
+ /** 唯一会被本插件 import 的入口:transformers 的 Node 构建。 */
28
+ export const TRANSFORMERS_ENTRY =
29
+ "node_modules/@huggingface/transformers/dist/transformers.node.mjs";
30
+ /**
31
+ * 结构检查要求的包。三个都是硬要求:
32
+ * - @huggingface/transformers 是入口本身;
33
+ * - onnxruntime-node 被 Node 构建顶层 import;
34
+ * - sharp 也被 Node 构建顶层 `import sharp from "sharp"`,缺了入口 import 就抛。
35
+ */
36
+ export const REQUIRED_PACKAGES = ["@huggingface/transformers", "onnxruntime-node", "sharp"];
37
+ /** 认可的 transformers 版本区间:peer 提案的 >=4.2.0 <5(见 issue #131)。 */
38
+ export const TRANSFORMERS_MIN = [4, 2, 0];
39
+ export const TRANSFORMERS_MAX_MAJOR = 5;
40
+
41
+ /**
42
+ * 解析 major.minor.patch。解析不出来返回 null —— 这里刻意不抛错,
43
+ * 让调用方把「版本读不懂」当成一条可报告的失败,而不是异常。
44
+ * @param {unknown} value - 版本字符串。
45
+ * @returns {number[]|null} [major, minor, patch] 或 null。
46
+ */
47
+ function parseVersion(value) {
48
+ const m = /^(\d+)\.(\d+)\.(\d+)/.exec(String(value ?? ""));
49
+ if (!m) return null;
50
+ return [Number(m[1]), Number(m[2]), Number(m[3])];
51
+ }
52
+
53
+ /** 三元版本比较:a < b 返回负数。 */
54
+ function compareVersion(a, b) {
55
+ for (let i = 0; i < 3; i++) {
56
+ if (a[i] !== b[i]) return a[i] - b[i];
57
+ }
58
+ return 0;
59
+ }
60
+
61
+ /**
62
+ * 版本是否落在认可区间内。
63
+ *
64
+ * 刻意只实现「>=TRANSFORMERS_MIN <TRANSFORMERS_MAX_MAJOR」这一条区间,
65
+ * 不是通用 semver —— 运行时要认的只有 transformers 一个包,写通用实现
66
+ * 反而引入没被使用、也没被测试的分支。
67
+ * @param {unknown} version - 待检查版本。
68
+ * @returns {boolean} 是否认可。
69
+ */
70
+ export function transformersVersionOk(version) {
71
+ const v = parseVersion(version);
72
+ if (v === null) return false;
73
+ if (v[0] >= TRANSFORMERS_MAX_MAJOR) return false;
74
+ return compareVersion(v, TRANSFORMERS_MIN) >= 0;
75
+ }
76
+
77
+ /**
78
+ * 运行时根目录的默认位置。与 embedModelCacheDir 的既有约定保持一致
79
+ * (都挂在 ~/.dsh/mneme/ 下,便于用户整个删掉重来)。
80
+ * @param {string} [home] - 家目录,测试时可注入。
81
+ * @returns {string} 运行时根目录。
82
+ */
83
+ export function defaultRuntimeDir(home = homedir()) {
84
+ return join(home, ".dsh", "mneme", "runtime");
85
+ }
86
+
87
+ /**
88
+ * 本机 libc —— 且只在**能正面确认**时给出答案,否则 null。
89
+ *
90
+ * 用来在下载闭包时剔掉另一套 libc 的变体(linux-x64 上 `@img/sharp-linuxmusl-x64` 与
91
+ * `sharp-libvips-linuxmusl-x64` 加起来十几 MB,glibc 机器一辈子用不到;评审建议做,
92
+ * 收益真实)。
93
+ *
94
+ * 为什么只认「正面确认的 glibc」:Node 的 report 里 glibcVersionRuntime 为空时无法区分
95
+ * 「musl」与「这份 Node 没报」,而猜错的方向(把 glibc 变体滤掉、装上 musl 变体)会得到
96
+ * 一份必然 import 不起来的运行时,且本仓库没有 Linux 机器能验证这条路径。所以拿不到证据
97
+ * 就不过滤:Alpine 用户多下十几兆,但没人会因此装坏。
98
+ * @param {string} [platform] - 目标平台;只在「就是本机且是 linux」时才可能给出答案。
99
+ * @returns {"glibc"|null} 确认到的 libc。
100
+ */
101
+ export function detectLibc(platform = process.platform) {
102
+ // 目标平台不是本机(比如在 win32 上为 linux 生成/统计)时,本机 report 毫无意义。
103
+ if (platform !== "linux" || platform !== process.platform) return null;
104
+ try {
105
+ const glibc = process.report?.getReport?.()?.header?.glibcVersionRuntime;
106
+ return typeof glibc === "string" && glibc !== "" ? "glibc" : null;
107
+ } catch {
108
+ return null;
109
+ }
110
+ }
111
+
112
+ /**
113
+ * 本地模型的默认缓存目录。
114
+ *
115
+ * 收在这里是因为它必须**唯一**:embedder、reranker、verify 三方若各写一份字面量,
116
+ * 一旦漂移,verify 就会拿另一份模型去验证,验证结果不再是运行时的真实证据。
117
+ * @param {string} [home] - 家目录,测试时可注入。
118
+ * @returns {string} 模型缓存目录。
119
+ */
120
+ export function defaultModelCacheDir(home = homedir()) {
121
+ return join(home, ".dsh", "mneme", "models");
122
+ }
123
+
124
+ /**
125
+ * 一个 payload 的目录名。带平台与架构,因此多份可以共存,
126
+ * 加载器按平台挑一份可用的即可。
127
+ * @param {{version: string, platform?: string, arch?: string}} opts - 版本与平台。
128
+ * @returns {string} 形如 transformers-4.2.0-node-win32-x64。
129
+ */
130
+ export function payloadId({ version, platform = process.platform, arch = process.arch }) {
131
+ return `transformers-${version}-node-${platform}-${arch}`;
132
+ }
133
+
134
+ /** payload 目录。@param {string} runtimeDir @param {string} id @returns {string} */
135
+ export function payloadDir(runtimeDir, id) {
136
+ return join(runtimeDir, id);
137
+ }
138
+
139
+ /** payload 内的扁平依赖目录。@param {string} dir @returns {string} */
140
+ export function nodeModulesDir(dir) {
141
+ return join(dir, "node_modules");
142
+ }
143
+
144
+ /** 清单文件路径。@param {string} dir @returns {string} */
145
+ export function runtimeManifestPath(dir) {
146
+ return join(dir, RUNTIME_MANIFEST);
147
+ }
148
+
149
+ /**
150
+ * 读取 JSON,读不到或解析失败都返回 undefined(结构检查不应因缺文件而抛错)。
151
+ * @param {string} file - 文件路径。
152
+ * @returns {any|undefined} 解析结果。
153
+ */
154
+ export function readJsonSafe(file) {
155
+ try {
156
+ return JSON.parse(readFileSync(file, "utf8"));
157
+ } catch {
158
+ return undefined;
159
+ }
160
+ }
161
+
162
+ /**
163
+ * 归一清单里记下的完整性结论。
164
+ *
165
+ * 为什么要有这一处:这个字段有两种形态 —— 下载通道写的是 `{status, checked, detail}` 对象,
166
+ * 而收编来的历史清单根本没有它。判据(verify)与投影(loader)各自猜形状就出过真事故
167
+ * (issue #268:判据只认 `"sha512-matched"`,下载档写的 `"verified"` 进去恒判失败,
168
+ * 而 loader 又把那个对象直接当字符串外发)。形状归一收在这里,两边都只调它。
169
+ *
170
+ * 它只回答「清单里声称什么」,不重新验算 —— 原始 tarball 落盘后就没了,重算无从谈起。
171
+ *
172
+ * 形状非法(`false` / `0` / `[]` / `{}` / `{status: 5}` 这类)给 `"malformed"`:判据不认
173
+ * 它,于是 fail-closed。这类值既不能证明一致、也不是「没记录过」,按 ok:true 放行等于把
174
+ * 形状错误读成「已经验过了」(#269 评审)。
175
+ *
176
+ * @param {unknown} recorded - 清单里的 integrity 字段。
177
+ * @returns {{status: string, detail: string|null}} 状态词;缺失(null/undefined)为 "unverified"。
178
+ */
179
+ export function recordedIntegrity(recorded) {
180
+ const asStatus = (value) => (typeof value === "string" && value.trim() !== "" ? value.trim() : null);
181
+ if (recorded === undefined || recorded === null) return { status: "unverified", detail: null };
182
+ if (typeof recorded === "string") return { status: asStatus(recorded) ?? "unverified", detail: null };
183
+ if (typeof recorded !== "object" || Array.isArray(recorded)) {
184
+ const shape = Array.isArray(recorded) ? "array" : typeof recorded;
185
+ return { status: "malformed", detail: `integrity 字段形状非法(${shape}),无法据此判定` };
186
+ }
187
+ const status = asStatus(recorded.status);
188
+ if (!status) return { status: "malformed", detail: "integrity 对象里没有可用的 status" };
189
+ return { status, detail: typeof recorded.detail === "string" ? recorded.detail : null };
190
+ }
191
+
192
+ /**
193
+ * 列出运行时根目录下所有 payload 目录(名称排序)。目录不存在返回空数组。
194
+ * 加载器用它挑候选,再逐个 describePayload 判断可用性。
195
+ * @param {string} runtimeDir - 运行时根目录。
196
+ * @returns {string[]} payload 目录名。
197
+ */
198
+ export function listPayloadDirs(runtimeDir) {
199
+ try {
200
+ return readdirSync(runtimeDir, { withFileTypes: true })
201
+ .filter((e) => e.isDirectory())
202
+ .map((e) => e.name)
203
+ .sort();
204
+ } catch {
205
+ return [];
206
+ }
207
+ }
208
+
209
+ /**
210
+ * 结构检查:这份 payload 是否至少「该有的文件都在」。
211
+ *
212
+ * 它故意不做功能验证(真 import 并跑一次推理)——那一步要看运行环境,
213
+ * 由 verify 模块负责。这里只回答「解压完整没有、版本对不对、平台对不对」,
214
+ * 用来在下载/搬运之后立刻发现缺件。
215
+ * @param {string} dir - payload 目录。
216
+ * @param {{platform?: string, arch?: string}} [opts] - 目标平台。
217
+ * @returns {{dir: string, ok: boolean, version: string|null, manifest: any, missing: string[], reasons: string[]}}
218
+ */
219
+ export function describePayload(dir, { platform = process.platform, arch = process.arch } = {}) {
220
+ const report = {
221
+ dir,
222
+ ok: false,
223
+ version: null,
224
+ manifest: readJsonSafe(runtimeManifestPath(dir)),
225
+ missing: [],
226
+ reasons: []
227
+ };
228
+
229
+ const nm = nodeModulesDir(dir);
230
+ if (!existsSync(nm)) {
231
+ report.reasons.push(`node_modules 不存在:${nm}`);
232
+ return report;
233
+ }
234
+
235
+ // 1) 必需包逐个点名 —— 缺哪个报哪个,用户能照着单子手工补。
236
+ for (const name of REQUIRED_PACKAGES) {
237
+ if (!existsSync(join(nm, name, "package.json"))) report.missing.push(name);
238
+ }
239
+
240
+ // 2) 版本必须落在认可区间(装了别的 major 的闭包,行为不可预期)。
241
+ const transformers = readJsonSafe(join(nm, "@huggingface/transformers", "package.json"));
242
+ report.version = transformers?.version ?? null;
243
+ if (transformers !== undefined && !transformersVersionOk(transformers.version)) {
244
+ report.reasons.push(
245
+ `@huggingface/transformers@${transformers.version} 不在认可区间(>=${TRANSFORMERS_MIN.join(".")} <${TRANSFORMERS_MAX_MAJOR})`
246
+ );
247
+ }
248
+
249
+ // 3) 入口文件本身(前面只确认了包目录在)。
250
+ if (!existsSync(join(dir, TRANSFORMERS_ENTRY))) report.missing.push(TRANSFORMERS_ENTRY);
251
+
252
+ // 4) onnxruntime-node 一个包内含多平台 × 多架构的二进制,裁剪或跨机搬运时最容易只留下
253
+ // 别的平台/架构。必须点名到**平台 + 架构**:真实包结构是
254
+ // bin/napi-v6/{darwin,linux,win32}/{arm64,x64},只查平台的话 linux-arm64 的 payload
255
+ // 在 linux-x64 上也会通过结构检查,被 loader 选中后才在 import 原生模块时失败。
256
+ const nativeDir = join(nm, "onnxruntime-node", "bin", "napi-v6", platform, arch);
257
+ if (existsSync(join(nm, "onnxruntime-node")) && !existsSync(nativeDir)) {
258
+ report.reasons.push(
259
+ `onnxruntime-node 缺少 ${platform}/${arch} 的二进制子树(bin/napi-v6/${platform}/${arch})`
260
+ );
261
+ }
262
+
263
+ report.ok = report.missing.length === 0 && report.reasons.length === 0;
264
+ return report;
265
+ }