@modusensus/dsh-mneme 0.8.13 → 0.8.15

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (271) hide show
  1. package/LICENSE +21 -21
  2. package/README.md +655 -626
  3. package/assets/icon.svg +3 -3
  4. package/bin/cli.mjs +689 -689
  5. package/bin/dsh-mneme-mcp.mjs +510 -510
  6. package/bin/dsh-mneme-serve.mjs +151 -0
  7. package/cordis.patch.yml +21 -21
  8. package/docs/CONFIGURATION.md +263 -0
  9. package/docs/CONTINUITY.md +124 -0
  10. package/docs/DAEMON.md +46 -0
  11. package/docs/ENTITIES.md +245 -0
  12. package/docs/LOCAL_MODEL.md +222 -0
  13. package/docs/SEMANTIC.md +256 -0
  14. package/docs/SLEEP.md +164 -0
  15. package/docs/STORAGE.md +89 -0
  16. package/lib/api-standalone.js +673 -572
  17. package/lib/api.js +1437 -1433
  18. package/lib/bootstrap.js +211 -211
  19. package/lib/client.js +5444 -5295
  20. package/lib/commands.js +95 -95
  21. package/lib/config.js +880 -836
  22. package/lib/content-hash.js +54 -54
  23. package/lib/continuity.js +220 -220
  24. package/lib/document-index.js +94 -94
  25. package/lib/document.js +303 -303
  26. package/lib/dream/clustering.js +118 -118
  27. package/lib/dream/decisions.js +674 -674
  28. package/lib/dream/narratives.js +44 -44
  29. package/lib/dream/sleep.js +819 -819
  30. package/lib/dream.js +1501 -1501
  31. package/lib/embedding.js +177 -177
  32. package/lib/entities/extractor.js +252 -252
  33. package/lib/graph/anchoring.js +179 -179
  34. package/lib/guide.js +74 -74
  35. package/lib/heat.js +144 -144
  36. package/lib/hot-memory.js +46 -46
  37. package/lib/index.js +535 -671
  38. package/lib/inject.js +464 -450
  39. package/lib/lang.js +248 -229
  40. package/lib/local-embedder.js +358 -358
  41. package/lib/maintenance.js +142 -142
  42. package/lib/mirror.js +330 -330
  43. package/lib/organize.js +450 -450
  44. package/lib/peak-hours.js +117 -117
  45. package/lib/placement.js +13 -0
  46. package/lib/pre-inject-gate.js +340 -0
  47. package/lib/quality-filter.js +126 -126
  48. package/lib/recall-stats.js +175 -175
  49. package/lib/reranker.js +269 -269
  50. package/lib/runtime/adopt.js +176 -176
  51. package/lib/runtime/closure.js +172 -172
  52. package/lib/runtime/download.js +247 -247
  53. package/lib/runtime/layout.js +265 -265
  54. package/lib/runtime/loader.js +252 -252
  55. package/lib/runtime/model-fetch.js +361 -361
  56. package/lib/runtime/provision.js +237 -237
  57. package/lib/runtime/tarball.js +130 -130
  58. package/lib/runtime/verify.js +223 -204
  59. package/lib/scope.js +146 -146
  60. package/lib/search/adaptive.js +60 -60
  61. package/lib/search/bm25.js +96 -96
  62. package/lib/semantic.js +229 -0
  63. package/lib/sensitive-scan.js +209 -209
  64. package/lib/serve.js +215 -0
  65. package/lib/service.js +2663 -2596
  66. package/lib/settings.js +517 -509
  67. package/lib/store.js +3007 -3007
  68. package/lib/summarize.js +891 -856
  69. package/lib/tools.js +743 -737
  70. package/lib/vector-index.js +110 -110
  71. package/lib/version-check.js +122 -122
  72. package/lib/write-admission.js +402 -402
  73. package/locale/en.json +6 -6
  74. package/locale/zh.json +6 -6
  75. package/package.json +8 -4
  76. package/runtime-manifest.json +526 -526
  77. package/scripts/benchmark-embed.js +201 -201
  78. package/scripts/benchmark-recall.js +249 -249
  79. package/scripts/benchmark-rerank.js +166 -166
  80. package/scripts/build-runtime-manifest.mjs +224 -224
  81. package/scripts/changelog-prep.mjs +36 -0
  82. package/scripts/check-sync.js +42 -42
  83. package/scripts/e2e-dsh.js +220 -220
  84. package/scripts/mneme-runtime.mjs +277 -277
  85. package/scripts/stress-dsh.js +255 -255
  86. package/scripts/sync-lib.js +47 -47
  87. package/scripts/sync-test-badge.mjs +69 -69
  88. package/scripts/test-count-sync.mjs +44 -44
  89. package/src/api-standalone.js +673 -572
  90. package/src/api.js +1437 -1433
  91. package/src/bootstrap.js +211 -211
  92. package/src/commands.js +95 -95
  93. package/src/config.js +880 -836
  94. package/src/content-hash.js +54 -54
  95. package/src/continuity.js +220 -220
  96. package/src/document-index.js +94 -94
  97. package/src/document.js +303 -303
  98. package/src/dream/clustering.js +118 -118
  99. package/src/dream/decisions.js +674 -674
  100. package/src/dream/narratives.js +44 -44
  101. package/src/dream/sleep.js +819 -819
  102. package/src/dream.js +1501 -1501
  103. package/src/embedding.js +177 -177
  104. package/src/entities/extractor.js +252 -252
  105. package/src/graph/anchoring.js +179 -179
  106. package/src/guide.js +74 -74
  107. package/src/heat.js +144 -144
  108. package/src/hot-memory.js +46 -46
  109. package/src/index.js +535 -671
  110. package/src/inject.js +464 -450
  111. package/src/lang.js +248 -229
  112. package/src/local-embedder.js +358 -358
  113. package/src/maintenance.js +142 -142
  114. package/src/mirror.js +330 -330
  115. package/src/organize.js +450 -450
  116. package/src/peak-hours.js +117 -117
  117. package/src/placement.js +13 -0
  118. package/src/pre-inject-gate.js +340 -0
  119. package/src/quality-filter.js +126 -126
  120. package/src/recall-stats.js +175 -175
  121. package/src/reranker.js +269 -269
  122. package/src/runtime/adopt.js +176 -176
  123. package/src/runtime/closure.js +172 -172
  124. package/src/runtime/download.js +247 -247
  125. package/src/runtime/layout.js +265 -265
  126. package/src/runtime/loader.js +252 -252
  127. package/src/runtime/model-fetch.js +361 -361
  128. package/src/runtime/provision.js +237 -237
  129. package/src/runtime/tarball.js +130 -130
  130. package/src/runtime/verify.js +223 -204
  131. package/src/scope.js +146 -146
  132. package/src/search/adaptive.js +60 -60
  133. package/src/search/bm25.js +96 -96
  134. package/src/semantic.js +229 -0
  135. package/src/sensitive-scan.js +209 -209
  136. package/src/serve.js +215 -0
  137. package/src/service.js +2663 -2596
  138. package/src/settings.js +517 -509
  139. package/src/store.js +3007 -3007
  140. package/src/summarize.js +891 -856
  141. package/src/tools.js +743 -737
  142. package/src/vector-index.js +110 -110
  143. package/src/version-check.js +122 -122
  144. package/src/write-admission.js +402 -402
  145. package/test/adaptive-inject-budget.test.js +85 -85
  146. package/test/api-routes-gaps.test.js +218 -218
  147. package/test/api.test.js +1702 -1688
  148. package/test/audit.test.js +448 -448
  149. package/test/baseline-persist.test.js +248 -248
  150. package/test/benchmark.test.js +94 -94
  151. package/test/bootstrap.test.js +220 -220
  152. package/test/changelog-prep.test.js +60 -0
  153. package/test/client.test.js +1230 -1169
  154. package/test/clustering.test.js +100 -100
  155. package/test/commands.test.js +106 -106
  156. package/test/config.test.js +66 -66
  157. package/test/conflict-freeze.test.js +300 -300
  158. package/test/content-hash.test.js +204 -204
  159. package/test/continuity.test.js +333 -333
  160. package/test/document-dir.test.js +233 -233
  161. package/test/document.test.js +671 -671
  162. package/test/dream-archive-guardrail.test.js +116 -116
  163. package/test/dream-candidate-hybrid.test.js +281 -281
  164. package/test/dream-coverage-degrade.test.js +86 -86
  165. package/test/dream-failure-backoff.test.js +173 -173
  166. package/test/dream-peak-hours.test.js +194 -194
  167. package/test/dream.test.js +1385 -1383
  168. package/test/embedding-ready.test.js +196 -196
  169. package/test/entities.test.js +627 -547
  170. package/test/entity-recall.test.js +179 -179
  171. package/test/epistemic.test.js +325 -325
  172. package/test/fnew-0112.test.js +311 -311
  173. package/test/fnew-03.test.js +422 -422
  174. package/test/graph-anchoring.test.js +184 -184
  175. package/test/graph-api.test.js +175 -175
  176. package/test/graph-inject-budget.test.js +103 -103
  177. package/test/graph-passive-confirm.test.js +91 -91
  178. package/test/graph-weight-evolution.test.js +104 -104
  179. package/test/heat.test.js +175 -175
  180. package/test/helpers/dream-mock.js +82 -82
  181. package/test/helpers/peer-worker.mjs +25 -25
  182. package/test/helpers/runtime-source.js +60 -60
  183. package/test/helpers/tar-builder.js +80 -80
  184. package/test/helpers/write-admission-samples.js +308 -308
  185. package/test/hot-memory.test.js +145 -145
  186. package/test/inject-content-cap.test.js +91 -91
  187. package/test/inject-first-round-bm25.test.js +89 -89
  188. package/test/inject-heat.test.js +77 -61
  189. package/test/inject-parent-gate.test.js +106 -106
  190. package/test/inject-pools.test.js +194 -194
  191. package/test/inject-recall.test.js +105 -105
  192. package/test/inject-rotation.test.js +161 -161
  193. package/test/inject.test.js +420 -420
  194. package/test/lang.test.js +87 -87
  195. package/test/lastrunat-persist.test.js +101 -101
  196. package/test/lib-smoke.test.js +96 -96
  197. package/test/llm-audit.test.js +598 -598
  198. package/test/llm-message-source.test.js +207 -207
  199. package/test/local-embedder.test.js +292 -292
  200. package/test/maintenance.test.js +391 -391
  201. package/test/mcp-stdio.test.js +385 -385
  202. package/test/mirror-dirty.test.js +424 -424
  203. package/test/mirror-edit-digest.test.js +187 -187
  204. package/test/mirror-generation.test.js +499 -499
  205. package/test/mirror-types.test.js +208 -208
  206. package/test/mirror.test.js +249 -249
  207. package/test/narrative-bars.test.js +162 -162
  208. package/test/organize.test.js +418 -418
  209. package/test/peer-blockers.test.js +193 -193
  210. package/test/placement.test.js +36 -0
  211. package/test/policy-epoch.test.js +259 -259
  212. package/test/pre-inject-gate.test.js +434 -0
  213. package/test/quality-filter.test.js +186 -186
  214. package/test/reasoning-effort.test.js +752 -752
  215. package/test/recall-anti-update.test.js +82 -82
  216. package/test/recall-evals.test.js +253 -253
  217. package/test/recall-layer.test.js +326 -326
  218. package/test/recall-stats.test.js +189 -189
  219. package/test/receipt-chain.test.js +451 -451
  220. package/test/reflection.test.js +226 -226
  221. package/test/reindex-backfill.test.js +62 -62
  222. package/test/reranker-single-logit.test.js +73 -73
  223. package/test/reranker.test.js +197 -197
  224. package/test/resident-status.test.js +83 -83
  225. package/test/runtime-adopt.test.js +206 -206
  226. package/test/runtime-cli.test.js +89 -89
  227. package/test/runtime-closure.test.js +193 -193
  228. package/test/runtime-download.test.js +302 -302
  229. package/test/runtime-layout.test.js +163 -163
  230. package/test/runtime-loader.test.js +255 -255
  231. package/test/runtime-manifest.test.js +159 -159
  232. package/test/runtime-model-fetch.test.js +348 -348
  233. package/test/runtime-provision.test.js +101 -101
  234. package/test/runtime-tarball.test.js +81 -81
  235. package/test/runtime-verify.test.js +319 -279
  236. package/test/scope-candidates.test.js +239 -239
  237. package/test/scope-explicit.test.js +452 -452
  238. package/test/scope-inject-soft.test.js +106 -106
  239. package/test/scope-retrieval.test.js +197 -197
  240. package/test/scope-storage.test.js +255 -255
  241. package/test/scope-strict.test.js +367 -343
  242. package/test/search-fusion.test.js +90 -90
  243. package/test/semantic.test.js +124 -124
  244. package/test/sensitive-scan.test.js +207 -207
  245. package/test/serve-bin.test.js +121 -0
  246. package/test/serve.test.js +196 -0
  247. package/test/service-search.test.js +174 -174
  248. package/test/service.test.js +405 -405
  249. package/test/settings.test.js +261 -261
  250. package/test/skip-invalid-restore.test.js +262 -262
  251. package/test/sleep-action-set.test.js +422 -422
  252. package/test/sleep-heat.test.js +126 -126
  253. package/test/sleep-scheduler-rearm.test.js +89 -89
  254. package/test/sleep.test.js +527 -527
  255. package/test/standalone-api.test.js +751 -544
  256. package/test/store-vector-cache.test.js +98 -98
  257. package/test/store.test.js +396 -396
  258. package/test/stress.test.js +209 -209
  259. package/test/summarize-occurred-at.test.js +127 -0
  260. package/test/summarize-reasoning-effort.test.js +189 -189
  261. package/test/summarize.test.js +1465 -1465
  262. package/test/supersede-state-tracking.test.js +394 -0
  263. package/test/test-count-sync.test.js +60 -60
  264. package/test/tools-dto-schema-matrix.test.js +325 -325
  265. package/test/tools-memory-get-schema.test.js +65 -65
  266. package/test/tools.test.js +428 -374
  267. package/test/updated-at-semantics.test.js +113 -113
  268. package/test/vector-index.test.js +221 -221
  269. package/test/version-check.test.js +152 -152
  270. package/test/webServer-optional.test.js +82 -82
  271. package/test/write-admission.test.js +668 -668
@@ -1,265 +1,265 @@
1
- // 运行时目录契约(issue #131 / PR-A)
2
- //
3
- // 背景:@huggingface/transformers 及其原生闭包(onnxruntime-node 解包 210 MB、
4
- // onnxruntime-web 128 MB、sharp 19 MB)只要留在插件的 dependencies 里,就会进
5
- // 宿主 profile 的安装图。profile 是所有插件共用的依赖图,于是「装任何插件都要替
6
- // 它重走一遍这条链」,弱网下直接把安装卡死。本模块定义插件自管运行时的落地契约,
7
- // 让这份运行时与宿主依赖图解耦。
8
- //
9
- // 只有三件事是稳定契约,其余实现都可以换:
10
- //
11
- // <runtimeDir>/<payloadId>/mneme-runtime.json 来源与版本清单
12
- // <runtimeDir>/<payloadId>/node_modules/ 扁平依赖闭包(与 hoisted 同形)
13
- // <runtimeDir>/<payloadId>/node_modules/@huggingface/transformers/dist/transformers.node.mjs
14
- //
15
- // 为什么必须是「扁平 node_modules」:transformers.node.mjs 内部全是裸导入
16
- // (`import sharp from "sharp"`、`import * as ONNX_NODE from "onnxruntime-node"`),
17
- // 它们相对该文件自身位置解析。所以只要把闭包按扁平结构放好,再用绝对 file URL
18
- // import 入口,整套就能跑起来——不需要动宿主的 node_modules,也不需要 overrides。
19
- //
20
- // @module dsh-mneme/runtime/layout
21
- import { existsSync, readFileSync, readdirSync } from "node:fs";
22
- import { homedir } from "node:os";
23
- import { join } from "node:path";
24
-
25
- /** 运行时清单文件名,与 payload 目录同级。 */
26
- export const RUNTIME_MANIFEST = "mneme-runtime.json";
27
- /** 唯一会被本插件 import 的入口:transformers 的 Node 构建。 */
28
- export const TRANSFORMERS_ENTRY =
29
- "node_modules/@huggingface/transformers/dist/transformers.node.mjs";
30
- /**
31
- * 结构检查要求的包。三个都是硬要求:
32
- * - @huggingface/transformers 是入口本身;
33
- * - onnxruntime-node 被 Node 构建顶层 import;
34
- * - sharp 也被 Node 构建顶层 `import sharp from "sharp"`,缺了入口 import 就抛。
35
- */
36
- export const REQUIRED_PACKAGES = ["@huggingface/transformers", "onnxruntime-node", "sharp"];
37
- /** 认可的 transformers 版本区间:peer 提案的 >=4.2.0 <5(见 issue #131)。 */
38
- export const TRANSFORMERS_MIN = [4, 2, 0];
39
- export const TRANSFORMERS_MAX_MAJOR = 5;
40
-
41
- /**
42
- * 解析 major.minor.patch。解析不出来返回 null —— 这里刻意不抛错,
43
- * 让调用方把「版本读不懂」当成一条可报告的失败,而不是异常。
44
- * @param {unknown} value - 版本字符串。
45
- * @returns {number[]|null} [major, minor, patch] 或 null。
46
- */
47
- function parseVersion(value) {
48
- const m = /^(\d+)\.(\d+)\.(\d+)/.exec(String(value ?? ""));
49
- if (!m) return null;
50
- return [Number(m[1]), Number(m[2]), Number(m[3])];
51
- }
52
-
53
- /** 三元版本比较:a < b 返回负数。 */
54
- function compareVersion(a, b) {
55
- for (let i = 0; i < 3; i++) {
56
- if (a[i] !== b[i]) return a[i] - b[i];
57
- }
58
- return 0;
59
- }
60
-
61
- /**
62
- * 版本是否落在认可区间内。
63
- *
64
- * 刻意只实现「>=TRANSFORMERS_MIN <TRANSFORMERS_MAX_MAJOR」这一条区间,
65
- * 不是通用 semver —— 运行时要认的只有 transformers 一个包,写通用实现
66
- * 反而引入没被使用、也没被测试的分支。
67
- * @param {unknown} version - 待检查版本。
68
- * @returns {boolean} 是否认可。
69
- */
70
- export function transformersVersionOk(version) {
71
- const v = parseVersion(version);
72
- if (v === null) return false;
73
- if (v[0] >= TRANSFORMERS_MAX_MAJOR) return false;
74
- return compareVersion(v, TRANSFORMERS_MIN) >= 0;
75
- }
76
-
77
- /**
78
- * 运行时根目录的默认位置。与 embedModelCacheDir 的既有约定保持一致
79
- * (都挂在 ~/.dsh/mneme/ 下,便于用户整个删掉重来)。
80
- * @param {string} [home] - 家目录,测试时可注入。
81
- * @returns {string} 运行时根目录。
82
- */
83
- export function defaultRuntimeDir(home = homedir()) {
84
- return join(home, ".dsh", "mneme", "runtime");
85
- }
86
-
87
- /**
88
- * 本机 libc —— 且只在**能正面确认**时给出答案,否则 null。
89
- *
90
- * 用来在下载闭包时剔掉另一套 libc 的变体(linux-x64 上 `@img/sharp-linuxmusl-x64` 与
91
- * `sharp-libvips-linuxmusl-x64` 加起来十几 MB,glibc 机器一辈子用不到;评审建议做,
92
- * 收益真实)。
93
- *
94
- * 为什么只认「正面确认的 glibc」:Node 的 report 里 glibcVersionRuntime 为空时无法区分
95
- * 「musl」与「这份 Node 没报」,而猜错的方向(把 glibc 变体滤掉、装上 musl 变体)会得到
96
- * 一份必然 import 不起来的运行时,且本仓库没有 Linux 机器能验证这条路径。所以拿不到证据
97
- * 就不过滤:Alpine 用户多下十几兆,但没人会因此装坏。
98
- * @param {string} [platform] - 目标平台;只在「就是本机且是 linux」时才可能给出答案。
99
- * @returns {"glibc"|null} 确认到的 libc。
100
- */
101
- export function detectLibc(platform = process.platform) {
102
- // 目标平台不是本机(比如在 win32 上为 linux 生成/统计)时,本机 report 毫无意义。
103
- if (platform !== "linux" || platform !== process.platform) return null;
104
- try {
105
- const glibc = process.report?.getReport?.()?.header?.glibcVersionRuntime;
106
- return typeof glibc === "string" && glibc !== "" ? "glibc" : null;
107
- } catch {
108
- return null;
109
- }
110
- }
111
-
112
- /**
113
- * 本地模型的默认缓存目录。
114
- *
115
- * 收在这里是因为它必须**唯一**:embedder、reranker、verify 三方若各写一份字面量,
116
- * 一旦漂移,verify 就会拿另一份模型去验证,验证结果不再是运行时的真实证据。
117
- * @param {string} [home] - 家目录,测试时可注入。
118
- * @returns {string} 模型缓存目录。
119
- */
120
- export function defaultModelCacheDir(home = homedir()) {
121
- return join(home, ".dsh", "mneme", "models");
122
- }
123
-
124
- /**
125
- * 一个 payload 的目录名。带平台与架构,因此多份可以共存,
126
- * 加载器按平台挑一份可用的即可。
127
- * @param {{version: string, platform?: string, arch?: string}} opts - 版本与平台。
128
- * @returns {string} 形如 transformers-4.2.0-node-win32-x64。
129
- */
130
- export function payloadId({ version, platform = process.platform, arch = process.arch }) {
131
- return `transformers-${version}-node-${platform}-${arch}`;
132
- }
133
-
134
- /** payload 目录。@param {string} runtimeDir @param {string} id @returns {string} */
135
- export function payloadDir(runtimeDir, id) {
136
- return join(runtimeDir, id);
137
- }
138
-
139
- /** payload 内的扁平依赖目录。@param {string} dir @returns {string} */
140
- export function nodeModulesDir(dir) {
141
- return join(dir, "node_modules");
142
- }
143
-
144
- /** 清单文件路径。@param {string} dir @returns {string} */
145
- export function runtimeManifestPath(dir) {
146
- return join(dir, RUNTIME_MANIFEST);
147
- }
148
-
149
- /**
150
- * 读取 JSON,读不到或解析失败都返回 undefined(结构检查不应因缺文件而抛错)。
151
- * @param {string} file - 文件路径。
152
- * @returns {any|undefined} 解析结果。
153
- */
154
- export function readJsonSafe(file) {
155
- try {
156
- return JSON.parse(readFileSync(file, "utf8"));
157
- } catch {
158
- return undefined;
159
- }
160
- }
161
-
162
- /**
163
- * 归一清单里记下的完整性结论。
164
- *
165
- * 为什么要有这一处:这个字段有两种形态 —— 下载通道写的是 `{status, checked, detail}` 对象,
166
- * 而收编来的历史清单根本没有它。判据(verify)与投影(loader)各自猜形状就出过真事故
167
- * (issue #268:判据只认 `"sha512-matched"`,下载档写的 `"verified"` 进去恒判失败,
168
- * 而 loader 又把那个对象直接当字符串外发)。形状归一收在这里,两边都只调它。
169
- *
170
- * 它只回答「清单里声称什么」,不重新验算 —— 原始 tarball 落盘后就没了,重算无从谈起。
171
- *
172
- * 形状非法(`false` / `0` / `[]` / `{}` / `{status: 5}` 这类)给 `"malformed"`:判据不认
173
- * 它,于是 fail-closed。这类值既不能证明一致、也不是「没记录过」,按 ok:true 放行等于把
174
- * 形状错误读成「已经验过了」(#269 评审)。
175
- *
176
- * @param {unknown} recorded - 清单里的 integrity 字段。
177
- * @returns {{status: string, detail: string|null}} 状态词;缺失(null/undefined)为 "unverified"。
178
- */
179
- export function recordedIntegrity(recorded) {
180
- const asStatus = (value) => (typeof value === "string" && value.trim() !== "" ? value.trim() : null);
181
- if (recorded === undefined || recorded === null) return { status: "unverified", detail: null };
182
- if (typeof recorded === "string") return { status: asStatus(recorded) ?? "unverified", detail: null };
183
- if (typeof recorded !== "object" || Array.isArray(recorded)) {
184
- const shape = Array.isArray(recorded) ? "array" : typeof recorded;
185
- return { status: "malformed", detail: `integrity 字段形状非法(${shape}),无法据此判定` };
186
- }
187
- const status = asStatus(recorded.status);
188
- if (!status) return { status: "malformed", detail: "integrity 对象里没有可用的 status" };
189
- return { status, detail: typeof recorded.detail === "string" ? recorded.detail : null };
190
- }
191
-
192
- /**
193
- * 列出运行时根目录下所有 payload 目录(名称排序)。目录不存在返回空数组。
194
- * 加载器用它挑候选,再逐个 describePayload 判断可用性。
195
- * @param {string} runtimeDir - 运行时根目录。
196
- * @returns {string[]} payload 目录名。
197
- */
198
- export function listPayloadDirs(runtimeDir) {
199
- try {
200
- return readdirSync(runtimeDir, { withFileTypes: true })
201
- .filter((e) => e.isDirectory())
202
- .map((e) => e.name)
203
- .sort();
204
- } catch {
205
- return [];
206
- }
207
- }
208
-
209
- /**
210
- * 结构检查:这份 payload 是否至少「该有的文件都在」。
211
- *
212
- * 它故意不做功能验证(真 import 并跑一次推理)——那一步要看运行环境,
213
- * 由 verify 模块负责。这里只回答「解压完整没有、版本对不对、平台对不对」,
214
- * 用来在下载/搬运之后立刻发现缺件。
215
- * @param {string} dir - payload 目录。
216
- * @param {{platform?: string, arch?: string}} [opts] - 目标平台。
217
- * @returns {{dir: string, ok: boolean, version: string|null, manifest: any, missing: string[], reasons: string[]}}
218
- */
219
- export function describePayload(dir, { platform = process.platform, arch = process.arch } = {}) {
220
- const report = {
221
- dir,
222
- ok: false,
223
- version: null,
224
- manifest: readJsonSafe(runtimeManifestPath(dir)),
225
- missing: [],
226
- reasons: []
227
- };
228
-
229
- const nm = nodeModulesDir(dir);
230
- if (!existsSync(nm)) {
231
- report.reasons.push(`node_modules 不存在:${nm}`);
232
- return report;
233
- }
234
-
235
- // 1) 必需包逐个点名 —— 缺哪个报哪个,用户能照着单子手工补。
236
- for (const name of REQUIRED_PACKAGES) {
237
- if (!existsSync(join(nm, name, "package.json"))) report.missing.push(name);
238
- }
239
-
240
- // 2) 版本必须落在认可区间(装了别的 major 的闭包,行为不可预期)。
241
- const transformers = readJsonSafe(join(nm, "@huggingface/transformers", "package.json"));
242
- report.version = transformers?.version ?? null;
243
- if (transformers !== undefined && !transformersVersionOk(transformers.version)) {
244
- report.reasons.push(
245
- `@huggingface/transformers@${transformers.version} 不在认可区间(>=${TRANSFORMERS_MIN.join(".")} <${TRANSFORMERS_MAX_MAJOR})`
246
- );
247
- }
248
-
249
- // 3) 入口文件本身(前面只确认了包目录在)。
250
- if (!existsSync(join(dir, TRANSFORMERS_ENTRY))) report.missing.push(TRANSFORMERS_ENTRY);
251
-
252
- // 4) onnxruntime-node 一个包内含多平台 × 多架构的二进制,裁剪或跨机搬运时最容易只留下
253
- // 别的平台/架构。必须点名到**平台 + 架构**:真实包结构是
254
- // bin/napi-v6/{darwin,linux,win32}/{arm64,x64},只查平台的话 linux-arm64 的 payload
255
- // 在 linux-x64 上也会通过结构检查,被 loader 选中后才在 import 原生模块时失败。
256
- const nativeDir = join(nm, "onnxruntime-node", "bin", "napi-v6", platform, arch);
257
- if (existsSync(join(nm, "onnxruntime-node")) && !existsSync(nativeDir)) {
258
- report.reasons.push(
259
- `onnxruntime-node 缺少 ${platform}/${arch} 的二进制子树(bin/napi-v6/${platform}/${arch})`
260
- );
261
- }
262
-
263
- report.ok = report.missing.length === 0 && report.reasons.length === 0;
264
- return report;
265
- }
1
+ // 运行时目录契约(issue #131 / PR-A)
2
+ //
3
+ // 背景:@huggingface/transformers 及其原生闭包(onnxruntime-node 解包 210 MB、
4
+ // onnxruntime-web 128 MB、sharp 19 MB)只要留在插件的 dependencies 里,就会进
5
+ // 宿主 profile 的安装图。profile 是所有插件共用的依赖图,于是「装任何插件都要替
6
+ // 它重走一遍这条链」,弱网下直接把安装卡死。本模块定义插件自管运行时的落地契约,
7
+ // 让这份运行时与宿主依赖图解耦。
8
+ //
9
+ // 只有三件事是稳定契约,其余实现都可以换:
10
+ //
11
+ // <runtimeDir>/<payloadId>/mneme-runtime.json 来源与版本清单
12
+ // <runtimeDir>/<payloadId>/node_modules/ 扁平依赖闭包(与 hoisted 同形)
13
+ // <runtimeDir>/<payloadId>/node_modules/@huggingface/transformers/dist/transformers.node.mjs
14
+ //
15
+ // 为什么必须是「扁平 node_modules」:transformers.node.mjs 内部全是裸导入
16
+ // (`import sharp from "sharp"`、`import * as ONNX_NODE from "onnxruntime-node"`),
17
+ // 它们相对该文件自身位置解析。所以只要把闭包按扁平结构放好,再用绝对 file URL
18
+ // import 入口,整套就能跑起来——不需要动宿主的 node_modules,也不需要 overrides。
19
+ //
20
+ // @module dsh-mneme/runtime/layout
21
+ import { existsSync, readFileSync, readdirSync } from "node:fs";
22
+ import { homedir } from "node:os";
23
+ import { join } from "node:path";
24
+
25
+ /** 运行时清单文件名,与 payload 目录同级。 */
26
+ export const RUNTIME_MANIFEST = "mneme-runtime.json";
27
+ /** 唯一会被本插件 import 的入口:transformers 的 Node 构建。 */
28
+ export const TRANSFORMERS_ENTRY =
29
+ "node_modules/@huggingface/transformers/dist/transformers.node.mjs";
30
+ /**
31
+ * 结构检查要求的包。三个都是硬要求:
32
+ * - @huggingface/transformers 是入口本身;
33
+ * - onnxruntime-node 被 Node 构建顶层 import;
34
+ * - sharp 也被 Node 构建顶层 `import sharp from "sharp"`,缺了入口 import 就抛。
35
+ */
36
+ export const REQUIRED_PACKAGES = ["@huggingface/transformers", "onnxruntime-node", "sharp"];
37
+ /** 认可的 transformers 版本区间:peer 提案的 >=4.2.0 <5(见 issue #131)。 */
38
+ export const TRANSFORMERS_MIN = [4, 2, 0];
39
+ export const TRANSFORMERS_MAX_MAJOR = 5;
40
+
41
+ /**
42
+ * 解析 major.minor.patch。解析不出来返回 null —— 这里刻意不抛错,
43
+ * 让调用方把「版本读不懂」当成一条可报告的失败,而不是异常。
44
+ * @param {unknown} value - 版本字符串。
45
+ * @returns {number[]|null} [major, minor, patch] 或 null。
46
+ */
47
+ function parseVersion(value) {
48
+ const m = /^(\d+)\.(\d+)\.(\d+)/.exec(String(value ?? ""));
49
+ if (!m) return null;
50
+ return [Number(m[1]), Number(m[2]), Number(m[3])];
51
+ }
52
+
53
+ /** 三元版本比较:a < b 返回负数。 */
54
+ function compareVersion(a, b) {
55
+ for (let i = 0; i < 3; i++) {
56
+ if (a[i] !== b[i]) return a[i] - b[i];
57
+ }
58
+ return 0;
59
+ }
60
+
61
+ /**
62
+ * 版本是否落在认可区间内。
63
+ *
64
+ * 刻意只实现「>=TRANSFORMERS_MIN <TRANSFORMERS_MAX_MAJOR」这一条区间,
65
+ * 不是通用 semver —— 运行时要认的只有 transformers 一个包,写通用实现
66
+ * 反而引入没被使用、也没被测试的分支。
67
+ * @param {unknown} version - 待检查版本。
68
+ * @returns {boolean} 是否认可。
69
+ */
70
+ export function transformersVersionOk(version) {
71
+ const v = parseVersion(version);
72
+ if (v === null) return false;
73
+ if (v[0] >= TRANSFORMERS_MAX_MAJOR) return false;
74
+ return compareVersion(v, TRANSFORMERS_MIN) >= 0;
75
+ }
76
+
77
+ /**
78
+ * 运行时根目录的默认位置。与 embedModelCacheDir 的既有约定保持一致
79
+ * (都挂在 ~/.dsh/mneme/ 下,便于用户整个删掉重来)。
80
+ * @param {string} [home] - 家目录,测试时可注入。
81
+ * @returns {string} 运行时根目录。
82
+ */
83
+ export function defaultRuntimeDir(home = homedir()) {
84
+ return join(home, ".dsh", "mneme", "runtime");
85
+ }
86
+
87
+ /**
88
+ * 本机 libc —— 且只在**能正面确认**时给出答案,否则 null。
89
+ *
90
+ * 用来在下载闭包时剔掉另一套 libc 的变体(linux-x64 上 `@img/sharp-linuxmusl-x64` 与
91
+ * `sharp-libvips-linuxmusl-x64` 加起来十几 MB,glibc 机器一辈子用不到;评审建议做,
92
+ * 收益真实)。
93
+ *
94
+ * 为什么只认「正面确认的 glibc」:Node 的 report 里 glibcVersionRuntime 为空时无法区分
95
+ * 「musl」与「这份 Node 没报」,而猜错的方向(把 glibc 变体滤掉、装上 musl 变体)会得到
96
+ * 一份必然 import 不起来的运行时,且本仓库没有 Linux 机器能验证这条路径。所以拿不到证据
97
+ * 就不过滤:Alpine 用户多下十几兆,但没人会因此装坏。
98
+ * @param {string} [platform] - 目标平台;只在「就是本机且是 linux」时才可能给出答案。
99
+ * @returns {"glibc"|null} 确认到的 libc。
100
+ */
101
+ export function detectLibc(platform = process.platform) {
102
+ // 目标平台不是本机(比如在 win32 上为 linux 生成/统计)时,本机 report 毫无意义。
103
+ if (platform !== "linux" || platform !== process.platform) return null;
104
+ try {
105
+ const glibc = process.report?.getReport?.()?.header?.glibcVersionRuntime;
106
+ return typeof glibc === "string" && glibc !== "" ? "glibc" : null;
107
+ } catch {
108
+ return null;
109
+ }
110
+ }
111
+
112
+ /**
113
+ * 本地模型的默认缓存目录。
114
+ *
115
+ * 收在这里是因为它必须**唯一**:embedder、reranker、verify 三方若各写一份字面量,
116
+ * 一旦漂移,verify 就会拿另一份模型去验证,验证结果不再是运行时的真实证据。
117
+ * @param {string} [home] - 家目录,测试时可注入。
118
+ * @returns {string} 模型缓存目录。
119
+ */
120
+ export function defaultModelCacheDir(home = homedir()) {
121
+ return join(home, ".dsh", "mneme", "models");
122
+ }
123
+
124
+ /**
125
+ * 一个 payload 的目录名。带平台与架构,因此多份可以共存,
126
+ * 加载器按平台挑一份可用的即可。
127
+ * @param {{version: string, platform?: string, arch?: string}} opts - 版本与平台。
128
+ * @returns {string} 形如 transformers-4.2.0-node-win32-x64。
129
+ */
130
+ export function payloadId({ version, platform = process.platform, arch = process.arch }) {
131
+ return `transformers-${version}-node-${platform}-${arch}`;
132
+ }
133
+
134
+ /** payload 目录。@param {string} runtimeDir @param {string} id @returns {string} */
135
+ export function payloadDir(runtimeDir, id) {
136
+ return join(runtimeDir, id);
137
+ }
138
+
139
+ /** payload 内的扁平依赖目录。@param {string} dir @returns {string} */
140
+ export function nodeModulesDir(dir) {
141
+ return join(dir, "node_modules");
142
+ }
143
+
144
+ /** 清单文件路径。@param {string} dir @returns {string} */
145
+ export function runtimeManifestPath(dir) {
146
+ return join(dir, RUNTIME_MANIFEST);
147
+ }
148
+
149
+ /**
150
+ * 读取 JSON,读不到或解析失败都返回 undefined(结构检查不应因缺文件而抛错)。
151
+ * @param {string} file - 文件路径。
152
+ * @returns {any|undefined} 解析结果。
153
+ */
154
+ export function readJsonSafe(file) {
155
+ try {
156
+ return JSON.parse(readFileSync(file, "utf8"));
157
+ } catch {
158
+ return undefined;
159
+ }
160
+ }
161
+
162
+ /**
163
+ * 归一清单里记下的完整性结论。
164
+ *
165
+ * 为什么要有这一处:这个字段有两种形态 —— 下载通道写的是 `{status, checked, detail}` 对象,
166
+ * 而收编来的历史清单根本没有它。判据(verify)与投影(loader)各自猜形状就出过真事故
167
+ * (issue #268:判据只认 `"sha512-matched"`,下载档写的 `"verified"` 进去恒判失败,
168
+ * 而 loader 又把那个对象直接当字符串外发)。形状归一收在这里,两边都只调它。
169
+ *
170
+ * 它只回答「清单里声称什么」,不重新验算 —— 原始 tarball 落盘后就没了,重算无从谈起。
171
+ *
172
+ * 形状非法(`false` / `0` / `[]` / `{}` / `{status: 5}` 这类)给 `"malformed"`:判据不认
173
+ * 它,于是 fail-closed。这类值既不能证明一致、也不是「没记录过」,按 ok:true 放行等于把
174
+ * 形状错误读成「已经验过了」(#269 评审)。
175
+ *
176
+ * @param {unknown} recorded - 清单里的 integrity 字段。
177
+ * @returns {{status: string, detail: string|null}} 状态词;缺失(null/undefined)为 "unverified"。
178
+ */
179
+ export function recordedIntegrity(recorded) {
180
+ const asStatus = (value) => (typeof value === "string" && value.trim() !== "" ? value.trim() : null);
181
+ if (recorded === undefined || recorded === null) return { status: "unverified", detail: null };
182
+ if (typeof recorded === "string") return { status: asStatus(recorded) ?? "unverified", detail: null };
183
+ if (typeof recorded !== "object" || Array.isArray(recorded)) {
184
+ const shape = Array.isArray(recorded) ? "array" : typeof recorded;
185
+ return { status: "malformed", detail: `integrity 字段形状非法(${shape}),无法据此判定` };
186
+ }
187
+ const status = asStatus(recorded.status);
188
+ if (!status) return { status: "malformed", detail: "integrity 对象里没有可用的 status" };
189
+ return { status, detail: typeof recorded.detail === "string" ? recorded.detail : null };
190
+ }
191
+
192
+ /**
193
+ * 列出运行时根目录下所有 payload 目录(名称排序)。目录不存在返回空数组。
194
+ * 加载器用它挑候选,再逐个 describePayload 判断可用性。
195
+ * @param {string} runtimeDir - 运行时根目录。
196
+ * @returns {string[]} payload 目录名。
197
+ */
198
+ export function listPayloadDirs(runtimeDir) {
199
+ try {
200
+ return readdirSync(runtimeDir, { withFileTypes: true })
201
+ .filter((e) => e.isDirectory())
202
+ .map((e) => e.name)
203
+ .sort();
204
+ } catch {
205
+ return [];
206
+ }
207
+ }
208
+
209
+ /**
210
+ * 结构检查:这份 payload 是否至少「该有的文件都在」。
211
+ *
212
+ * 它故意不做功能验证(真 import 并跑一次推理)——那一步要看运行环境,
213
+ * 由 verify 模块负责。这里只回答「解压完整没有、版本对不对、平台对不对」,
214
+ * 用来在下载/搬运之后立刻发现缺件。
215
+ * @param {string} dir - payload 目录。
216
+ * @param {{platform?: string, arch?: string}} [opts] - 目标平台。
217
+ * @returns {{dir: string, ok: boolean, version: string|null, manifest: any, missing: string[], reasons: string[]}}
218
+ */
219
+ export function describePayload(dir, { platform = process.platform, arch = process.arch } = {}) {
220
+ const report = {
221
+ dir,
222
+ ok: false,
223
+ version: null,
224
+ manifest: readJsonSafe(runtimeManifestPath(dir)),
225
+ missing: [],
226
+ reasons: []
227
+ };
228
+
229
+ const nm = nodeModulesDir(dir);
230
+ if (!existsSync(nm)) {
231
+ report.reasons.push(`node_modules 不存在:${nm}`);
232
+ return report;
233
+ }
234
+
235
+ // 1) 必需包逐个点名 —— 缺哪个报哪个,用户能照着单子手工补。
236
+ for (const name of REQUIRED_PACKAGES) {
237
+ if (!existsSync(join(nm, name, "package.json"))) report.missing.push(name);
238
+ }
239
+
240
+ // 2) 版本必须落在认可区间(装了别的 major 的闭包,行为不可预期)。
241
+ const transformers = readJsonSafe(join(nm, "@huggingface/transformers", "package.json"));
242
+ report.version = transformers?.version ?? null;
243
+ if (transformers !== undefined && !transformersVersionOk(transformers.version)) {
244
+ report.reasons.push(
245
+ `@huggingface/transformers@${transformers.version} 不在认可区间(>=${TRANSFORMERS_MIN.join(".")} <${TRANSFORMERS_MAX_MAJOR})`
246
+ );
247
+ }
248
+
249
+ // 3) 入口文件本身(前面只确认了包目录在)。
250
+ if (!existsSync(join(dir, TRANSFORMERS_ENTRY))) report.missing.push(TRANSFORMERS_ENTRY);
251
+
252
+ // 4) onnxruntime-node 一个包内含多平台 × 多架构的二进制,裁剪或跨机搬运时最容易只留下
253
+ // 别的平台/架构。必须点名到**平台 + 架构**:真实包结构是
254
+ // bin/napi-v6/{darwin,linux,win32}/{arm64,x64},只查平台的话 linux-arm64 的 payload
255
+ // 在 linux-x64 上也会通过结构检查,被 loader 选中后才在 import 原生模块时失败。
256
+ const nativeDir = join(nm, "onnxruntime-node", "bin", "napi-v6", platform, arch);
257
+ if (existsSync(join(nm, "onnxruntime-node")) && !existsSync(nativeDir)) {
258
+ report.reasons.push(
259
+ `onnxruntime-node 缺少 ${platform}/${arch} 的二进制子树(bin/napi-v6/${platform}/${arch})`
260
+ );
261
+ }
262
+
263
+ report.ok = report.missing.length === 0 && report.reasons.length === 0;
264
+ return report;
265
+ }