@modusensus/dsh-mneme 0.8.2 → 0.8.4
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -21
- package/README.md +718 -633
- package/bin/cli.mjs +0 -0
- package/bin/dsh-mneme-mcp.mjs +502 -0
- package/cordis.patch.yml +21 -21
- package/lib/api-standalone.js +495 -316
- package/lib/api.js +1382 -1316
- package/lib/bootstrap.js +211 -0
- package/lib/client.js +4475 -4362
- package/lib/commands.js +95 -95
- package/lib/config.js +533 -500
- package/lib/dream/clustering.js +118 -118
- package/lib/dream/decisions.js +658 -658
- package/lib/dream/narratives.js +44 -0
- package/lib/dream/sleep.js +700 -700
- package/lib/dream.js +1319 -1216
- package/lib/embedding.js +177 -177
- package/lib/entities/extractor.js +249 -249
- package/lib/heat.js +142 -136
- package/lib/hot-memory.js +46 -46
- package/lib/index.js +515 -513
- package/lib/inject.js +299 -253
- package/lib/lang.js +202 -179
- package/lib/local-embedder.js +320 -308
- package/lib/mirror.js +198 -198
- package/lib/quality-filter.js +126 -126
- package/lib/recall-stats.js +103 -0
- package/lib/reranker.js +269 -260
- package/lib/runtime/adopt.js +176 -176
- package/lib/runtime/closure.js +172 -172
- package/lib/runtime/download.js +247 -247
- package/lib/runtime/layout.js +235 -235
- package/lib/runtime/loader.js +249 -249
- package/lib/runtime/model-fetch.js +361 -0
- package/lib/runtime/provision.js +237 -237
- package/lib/runtime/tarball.js +130 -130
- package/lib/runtime/verify.js +191 -191
- package/lib/scope.js +118 -118
- package/lib/search/adaptive.js +22 -22
- package/lib/search/bm25.js +96 -96
- package/lib/service.js +2171 -2071
- package/lib/settings.js +430 -419
- package/lib/store.js +2448 -2367
- package/lib/summarize.js +575 -449
- package/lib/tools.js +574 -574
- package/lib/vector-index.js +110 -110
- package/lib/version-check.js +122 -122
- package/package.json +109 -108
- package/runtime-manifest.json +596 -596
- package/scripts/benchmark-embed.js +201 -201
- package/scripts/benchmark-recall.js +199 -199
- package/scripts/benchmark-rerank.js +166 -166
- package/scripts/build-runtime-manifest.mjs +217 -217
- package/scripts/check-sync.js +42 -42
- package/scripts/e2e-dsh.js +220 -220
- package/scripts/mneme-runtime.mjs +277 -277
- package/scripts/stress-dsh.js +255 -255
- package/scripts/sync-lib.js +47 -47
- package/scripts/sync-test-badge.mjs +61 -61
- package/src/api-standalone.js +495 -316
- package/src/api.js +1382 -1316
- package/src/bootstrap.js +211 -0
- package/src/commands.js +95 -95
- package/src/config.js +533 -500
- package/src/dream/clustering.js +118 -118
- package/src/dream/decisions.js +658 -658
- package/src/dream/narratives.js +44 -0
- package/src/dream/sleep.js +700 -700
- package/src/dream.js +1319 -1216
- package/src/embedding.js +177 -177
- package/src/entities/extractor.js +249 -249
- package/src/heat.js +142 -136
- package/src/hot-memory.js +46 -46
- package/src/index.js +515 -513
- package/src/inject.js +299 -253
- package/src/lang.js +202 -179
- package/src/local-embedder.js +320 -308
- package/src/mirror.js +198 -198
- package/src/quality-filter.js +126 -126
- package/src/recall-stats.js +103 -0
- package/src/reranker.js +269 -260
- package/src/runtime/adopt.js +176 -176
- package/src/runtime/closure.js +172 -172
- package/src/runtime/download.js +247 -247
- package/src/runtime/layout.js +235 -235
- package/src/runtime/loader.js +249 -249
- package/src/runtime/model-fetch.js +361 -0
- package/src/runtime/provision.js +237 -237
- package/src/runtime/tarball.js +130 -130
- package/src/runtime/verify.js +191 -191
- package/src/scope.js +118 -118
- package/src/search/adaptive.js +22 -22
- package/src/search/bm25.js +96 -96
- package/src/service.js +2171 -2071
- package/src/settings.js +430 -419
- package/src/store.js +2448 -2367
- package/src/summarize.js +575 -449
- package/src/tools.js +574 -574
- package/src/vector-index.js +110 -110
- package/src/version-check.js +122 -122
- package/test/api-routes-gaps.test.js +218 -218
- package/test/api.test.js +1578 -1481
- package/test/audit.test.js +448 -448
- package/test/benchmark.test.js +94 -94
- package/test/bootstrap.test.js +220 -0
- package/test/client.test.js +799 -736
- package/test/clustering.test.js +100 -100
- package/test/commands.test.js +106 -106
- package/test/config.test.js +66 -66
- package/test/conflict-freeze.test.js +300 -300
- package/test/dream-archive-guardrail.test.js +116 -116
- package/test/dream-candidate-hybrid.test.js +281 -281
- package/test/dream-coverage-degrade.test.js +86 -86
- package/test/dream.test.js +1257 -1254
- package/test/embedding-ready.test.js +196 -196
- package/test/entities.test.js +547 -547
- package/test/entity-recall.test.js +179 -0
- package/test/epistemic.test.js +298 -298
- package/test/fnew-0112.test.js +311 -311
- package/test/fnew-03.test.js +422 -422
- package/test/graph-api.test.js +175 -175
- package/test/heat.test.js +175 -148
- package/test/helpers/dream-mock.js +82 -82
- package/test/helpers/peer-worker.mjs +25 -25
- package/test/helpers/runtime-source.js +60 -60
- package/test/helpers/tar-builder.js +80 -80
- package/test/hot-memory.test.js +145 -145
- package/test/inject-content-cap.test.js +89 -0
- package/test/inject-first-round-bm25.test.js +89 -89
- package/test/inject-heat.test.js +61 -0
- package/test/inject-rotation.test.js +161 -0
- package/test/inject.test.js +249 -249
- package/test/lang.test.js +87 -87
- package/test/lib-smoke.test.js +96 -96
- package/test/llm-audit.test.js +309 -309
- package/test/llm-message-source.test.js +177 -177
- package/test/local-embedder.test.js +249 -229
- package/test/mcp-stdio.test.js +385 -0
- package/test/mirror-dirty.test.js +424 -424
- package/test/mirror-edit-digest.test.js +187 -187
- package/test/mirror-generation.test.js +499 -499
- package/test/mirror.test.js +249 -249
- package/test/narrative-bars.test.js +162 -0
- package/test/peer-blockers.test.js +193 -193
- package/test/policy-epoch.test.js +259 -259
- package/test/quality-filter.test.js +186 -186
- package/test/reasoning-effort.test.js +746 -746
- package/test/recall-evals.test.js +235 -235
- package/test/recall-layer.test.js +326 -326
- package/test/recall-stats.test.js +117 -0
- package/test/receipt-chain.test.js +451 -451
- package/test/reflection.test.js +226 -226
- package/test/reindex-backfill.test.js +62 -62
- package/test/reranker-single-logit.test.js +73 -73
- package/test/reranker.test.js +197 -197
- package/test/resident-status.test.js +83 -0
- package/test/runtime-adopt.test.js +206 -206
- package/test/runtime-cli.test.js +89 -89
- package/test/runtime-closure.test.js +193 -193
- package/test/runtime-download.test.js +302 -302
- package/test/runtime-layout.test.js +163 -163
- package/test/runtime-loader.test.js +237 -237
- package/test/runtime-manifest.test.js +158 -158
- package/test/runtime-model-fetch.test.js +348 -0
- package/test/runtime-provision.test.js +101 -101
- package/test/runtime-tarball.test.js +81 -81
- package/test/runtime-verify.test.js +214 -214
- package/test/scope-candidates.test.js +239 -239
- package/test/scope-explicit.test.js +452 -452
- package/test/scope-retrieval.test.js +197 -197
- package/test/scope-storage.test.js +255 -255
- package/test/scope-strict.test.js +231 -231
- package/test/search-fusion.test.js +90 -90
- package/test/semantic.test.js +124 -124
- package/test/service-search.test.js +174 -174
- package/test/service.test.js +405 -405
- package/test/settings.test.js +261 -261
- package/test/skip-invalid-restore.test.js +262 -262
- package/test/sleep-action-set.test.js +422 -422
- package/test/sleep-heat.test.js +126 -125
- package/test/sleep-scheduler-rearm.test.js +89 -89
- package/test/sleep.test.js +373 -373
- package/test/standalone-api.test.js +544 -359
- package/test/store-vector-cache.test.js +98 -98
- package/test/store.test.js +383 -383
- package/test/stress.test.js +209 -209
- package/test/summarize.test.js +884 -575
- package/test/tools-memory-get-schema.test.js +65 -65
- package/test/tools.test.js +341 -341
- package/test/updated-at-semantics.test.js +113 -113
- package/test/vector-index.test.js +221 -221
- package/test/version-check.test.js +152 -152
- package/test/webServer-optional.test.js +82 -82
package/src/runtime/tarball.js
CHANGED
|
@@ -1,130 +1,130 @@
|
|
|
1
|
-
// 极简 USTAR 读取 + sha512 校验(issue #131 / PR-C)
|
|
2
|
-
//
|
|
3
|
-
// 为什么自己写而不是加依赖:插件里多一个 tar 依赖,就多一份要跟着上游走的供应链与体积
|
|
4
|
-
// 成本;而这里只需要读「npm registry 产出的 .tgz」这一种固定格式(gzip + ustar/pax),
|
|
5
|
-
// node:zlib 加一个一两百行的读取器就够,而且行为完全可审计。
|
|
6
|
-
//
|
|
7
|
-
// 只做下载通道必需的事:逐个条目回调(不把整棵解压树同时留在内存里)、跳过目录与不认识的
|
|
8
|
-
// 类型、支持 ustar 的 prefix 长路径与 pax 的 path 覆盖(npm 的深层路径两者都会用到)。
|
|
9
|
-
//
|
|
10
|
-
// @module dsh-mneme/runtime/tarball
|
|
11
|
-
import { createHash } from "node:crypto";
|
|
12
|
-
import { gunzipSync } from "node:zlib";
|
|
13
|
-
|
|
14
|
-
const BLOCK = 512;
|
|
15
|
-
/** npm tarball 把所有内容放在统一的 `package/` 前缀下。 */
|
|
16
|
-
const PACKAGE_PREFIX = "package/";
|
|
17
|
-
|
|
18
|
-
/** 读 ustar 头里的字符串字段:到 NUL 截断,去掉尾随空白。 */
|
|
19
|
-
function readString(buffer, start, length) {
|
|
20
|
-
const nul = buffer.indexOf(0, start);
|
|
21
|
-
const end = nul === -1 || nul > start + length ? start + length : nul;
|
|
22
|
-
return buffer.subarray(start, end).toString("utf8").trim();
|
|
23
|
-
}
|
|
24
|
-
|
|
25
|
-
/**
|
|
26
|
-
* 读数字字段。ustar 用八进制 + NUL/空格填充;GNU 对超大值改用 base-256(首字节最高位为 1)。
|
|
27
|
-
* 两者都认,否则遇到大文件会把它读成 0 字节而静默截断。
|
|
28
|
-
*/
|
|
29
|
-
function readNumber(buffer, start, length) {
|
|
30
|
-
if ((buffer[start] & 0x80) !== 0) {
|
|
31
|
-
let value = 0;
|
|
32
|
-
for (let i = start + 1; i < start + length; i++) value = value * 256 + buffer[i];
|
|
33
|
-
return value;
|
|
34
|
-
}
|
|
35
|
-
const text = readString(buffer, start, length);
|
|
36
|
-
if (text === "") return 0;
|
|
37
|
-
const value = parseInt(text, 8);
|
|
38
|
-
return Number.isFinite(value) && value >= 0 ? value : 0;
|
|
39
|
-
}
|
|
40
|
-
|
|
41
|
-
/** pax 扩展头(typeflag 'x')的载荷是一串 `长度 key=value\n`,只需要 path。 */
|
|
42
|
-
function paxPath(data) {
|
|
43
|
-
const text = data.toString("utf8");
|
|
44
|
-
const match = /^\d+ path=(.*)$/m.exec(text);
|
|
45
|
-
return match ? match[1] : null;
|
|
46
|
-
}
|
|
47
|
-
|
|
48
|
-
/**
|
|
49
|
-
* 遍历一个未压缩的 tar 归档。
|
|
50
|
-
* @param {Buffer} buffer - tar 字节。
|
|
51
|
-
* @param {(entry: {path: string, data: Buffer}) => void} onFile - 每个普通文件回调一次。
|
|
52
|
-
* @returns {{files: number, bytes: number, skipped: string[]}} 统计;skipped 是跳过的类型。
|
|
53
|
-
*/
|
|
54
|
-
export function walkTar(buffer, onFile) {
|
|
55
|
-
const stats = { files: 0, bytes: 0, skipped: [] };
|
|
56
|
-
let offset = 0;
|
|
57
|
-
let pendingPath = null;
|
|
58
|
-
|
|
59
|
-
while (offset + BLOCK <= buffer.length) {
|
|
60
|
-
const header = buffer.subarray(offset, offset + BLOCK);
|
|
61
|
-
// 全零块 = 归档结束(正常收尾,不是错误)。
|
|
62
|
-
if (header.every((byte) => byte === 0)) break;
|
|
63
|
-
|
|
64
|
-
const name = readString(header, 0, 100);
|
|
65
|
-
const size = readNumber(header, 124, 12);
|
|
66
|
-
const typeflag = String.fromCharCode(header[156] || 0x30);
|
|
67
|
-
const prefix = readString(header, 345, 155);
|
|
68
|
-
offset += BLOCK;
|
|
69
|
-
|
|
70
|
-
const data = buffer.subarray(offset, offset + size);
|
|
71
|
-
offset += Math.ceil(size / BLOCK) * BLOCK;
|
|
72
|
-
|
|
73
|
-
// pax 扩展头:只取 path 覆盖下一条目,自身不是文件。
|
|
74
|
-
if (typeflag === "x") {
|
|
75
|
-
pendingPath = paxPath(data) ?? pendingPath;
|
|
76
|
-
continue;
|
|
77
|
-
}
|
|
78
|
-
if (typeflag === "g") continue; // 全局 pax 头,本用途不需要
|
|
79
|
-
|
|
80
|
-
const full = pendingPath ?? (prefix ? `${prefix}/${name}` : name);
|
|
81
|
-
pendingPath = null;
|
|
82
|
-
|
|
83
|
-
if (typeflag === "5") continue; // 目录:由文件自身的路径隐式创建
|
|
84
|
-
if (typeflag !== "0" && typeflag !== "\0" && typeflag !== "") {
|
|
85
|
-
// 符号链接、硬链接、设备节点等:registry 产物里不该出现,如实记下而不是假装搬过来了。
|
|
86
|
-
stats.skipped.push(`${full} (typeflag=${typeflag})`);
|
|
87
|
-
continue;
|
|
88
|
-
}
|
|
89
|
-
|
|
90
|
-
onFile({ path: full.replace(/^\.\//, ""), data });
|
|
91
|
-
stats.files++;
|
|
92
|
-
stats.bytes += data.length;
|
|
93
|
-
}
|
|
94
|
-
|
|
95
|
-
return stats;
|
|
96
|
-
}
|
|
97
|
-
|
|
98
|
-
/**
|
|
99
|
-
* 遍历一个 .tgz(registry 的产物形态)。
|
|
100
|
-
* @param {Buffer} gzipped - gzip 字节。
|
|
101
|
-
* @param {(entry: {path: string, data: Buffer}) => void} onFile - 每个普通文件回调一次。
|
|
102
|
-
* @returns {{files: number, bytes: number, skipped: string[]}}
|
|
103
|
-
*/
|
|
104
|
-
export function walkTgz(gzipped, onFile) {
|
|
105
|
-
return walkTar(gunzipSync(gzipped), onFile);
|
|
106
|
-
}
|
|
107
|
-
|
|
108
|
-
/** 去掉 npm tarball 统一的 `package/` 前缀,得到包内相对路径。 */
|
|
109
|
-
export function stripPackagePrefix(path) {
|
|
110
|
-
return path.startsWith(PACKAGE_PREFIX) ? path.slice(PACKAGE_PREFIX.length) : path;
|
|
111
|
-
}
|
|
112
|
-
|
|
113
|
-
/** sha512(base64)。与 npm `integrity` 字段的载荷同形。 */
|
|
114
|
-
export function sha512Base64(buffer) {
|
|
115
|
-
return createHash("sha512").update(buffer).digest("base64");
|
|
116
|
-
}
|
|
117
|
-
|
|
118
|
-
/**
|
|
119
|
-
* 校验一条 npm integrity 字符串(形如 `sha512-<base64>`)。
|
|
120
|
-
* 只认 sha512:这是 lockfile 里给我们的那一种,其它算法一律当不匹配 —— 校验失败必须是失败,
|
|
121
|
-
* 不能因为「不认识的算法」而放行。
|
|
122
|
-
* @param {Buffer} buffer - 待校验的字节。
|
|
123
|
-
* @param {string} integrity - npm integrity 字符串。
|
|
124
|
-
* @returns {boolean} 是否匹配。
|
|
125
|
-
*/
|
|
126
|
-
export function verifyIntegrity(buffer, integrity) {
|
|
127
|
-
const expected = String(integrity ?? "").trim();
|
|
128
|
-
if (!expected.startsWith("sha512-")) return false;
|
|
129
|
-
return sha512Base64(buffer) === expected.slice("sha512-".length);
|
|
130
|
-
}
|
|
1
|
+
// 极简 USTAR 读取 + sha512 校验(issue #131 / PR-C)
|
|
2
|
+
//
|
|
3
|
+
// 为什么自己写而不是加依赖:插件里多一个 tar 依赖,就多一份要跟着上游走的供应链与体积
|
|
4
|
+
// 成本;而这里只需要读「npm registry 产出的 .tgz」这一种固定格式(gzip + ustar/pax),
|
|
5
|
+
// node:zlib 加一个一两百行的读取器就够,而且行为完全可审计。
|
|
6
|
+
//
|
|
7
|
+
// 只做下载通道必需的事:逐个条目回调(不把整棵解压树同时留在内存里)、跳过目录与不认识的
|
|
8
|
+
// 类型、支持 ustar 的 prefix 长路径与 pax 的 path 覆盖(npm 的深层路径两者都会用到)。
|
|
9
|
+
//
|
|
10
|
+
// @module dsh-mneme/runtime/tarball
|
|
11
|
+
import { createHash } from "node:crypto";
|
|
12
|
+
import { gunzipSync } from "node:zlib";
|
|
13
|
+
|
|
14
|
+
const BLOCK = 512;
|
|
15
|
+
/** npm tarball 把所有内容放在统一的 `package/` 前缀下。 */
|
|
16
|
+
const PACKAGE_PREFIX = "package/";
|
|
17
|
+
|
|
18
|
+
/** 读 ustar 头里的字符串字段:到 NUL 截断,去掉尾随空白。 */
|
|
19
|
+
function readString(buffer, start, length) {
|
|
20
|
+
const nul = buffer.indexOf(0, start);
|
|
21
|
+
const end = nul === -1 || nul > start + length ? start + length : nul;
|
|
22
|
+
return buffer.subarray(start, end).toString("utf8").trim();
|
|
23
|
+
}
|
|
24
|
+
|
|
25
|
+
/**
|
|
26
|
+
* 读数字字段。ustar 用八进制 + NUL/空格填充;GNU 对超大值改用 base-256(首字节最高位为 1)。
|
|
27
|
+
* 两者都认,否则遇到大文件会把它读成 0 字节而静默截断。
|
|
28
|
+
*/
|
|
29
|
+
function readNumber(buffer, start, length) {
|
|
30
|
+
if ((buffer[start] & 0x80) !== 0) {
|
|
31
|
+
let value = 0;
|
|
32
|
+
for (let i = start + 1; i < start + length; i++) value = value * 256 + buffer[i];
|
|
33
|
+
return value;
|
|
34
|
+
}
|
|
35
|
+
const text = readString(buffer, start, length);
|
|
36
|
+
if (text === "") return 0;
|
|
37
|
+
const value = parseInt(text, 8);
|
|
38
|
+
return Number.isFinite(value) && value >= 0 ? value : 0;
|
|
39
|
+
}
|
|
40
|
+
|
|
41
|
+
/** pax 扩展头(typeflag 'x')的载荷是一串 `长度 key=value\n`,只需要 path。 */
|
|
42
|
+
function paxPath(data) {
|
|
43
|
+
const text = data.toString("utf8");
|
|
44
|
+
const match = /^\d+ path=(.*)$/m.exec(text);
|
|
45
|
+
return match ? match[1] : null;
|
|
46
|
+
}
|
|
47
|
+
|
|
48
|
+
/**
|
|
49
|
+
* 遍历一个未压缩的 tar 归档。
|
|
50
|
+
* @param {Buffer} buffer - tar 字节。
|
|
51
|
+
* @param {(entry: {path: string, data: Buffer}) => void} onFile - 每个普通文件回调一次。
|
|
52
|
+
* @returns {{files: number, bytes: number, skipped: string[]}} 统计;skipped 是跳过的类型。
|
|
53
|
+
*/
|
|
54
|
+
export function walkTar(buffer, onFile) {
|
|
55
|
+
const stats = { files: 0, bytes: 0, skipped: [] };
|
|
56
|
+
let offset = 0;
|
|
57
|
+
let pendingPath = null;
|
|
58
|
+
|
|
59
|
+
while (offset + BLOCK <= buffer.length) {
|
|
60
|
+
const header = buffer.subarray(offset, offset + BLOCK);
|
|
61
|
+
// 全零块 = 归档结束(正常收尾,不是错误)。
|
|
62
|
+
if (header.every((byte) => byte === 0)) break;
|
|
63
|
+
|
|
64
|
+
const name = readString(header, 0, 100);
|
|
65
|
+
const size = readNumber(header, 124, 12);
|
|
66
|
+
const typeflag = String.fromCharCode(header[156] || 0x30);
|
|
67
|
+
const prefix = readString(header, 345, 155);
|
|
68
|
+
offset += BLOCK;
|
|
69
|
+
|
|
70
|
+
const data = buffer.subarray(offset, offset + size);
|
|
71
|
+
offset += Math.ceil(size / BLOCK) * BLOCK;
|
|
72
|
+
|
|
73
|
+
// pax 扩展头:只取 path 覆盖下一条目,自身不是文件。
|
|
74
|
+
if (typeflag === "x") {
|
|
75
|
+
pendingPath = paxPath(data) ?? pendingPath;
|
|
76
|
+
continue;
|
|
77
|
+
}
|
|
78
|
+
if (typeflag === "g") continue; // 全局 pax 头,本用途不需要
|
|
79
|
+
|
|
80
|
+
const full = pendingPath ?? (prefix ? `${prefix}/${name}` : name);
|
|
81
|
+
pendingPath = null;
|
|
82
|
+
|
|
83
|
+
if (typeflag === "5") continue; // 目录:由文件自身的路径隐式创建
|
|
84
|
+
if (typeflag !== "0" && typeflag !== "\0" && typeflag !== "") {
|
|
85
|
+
// 符号链接、硬链接、设备节点等:registry 产物里不该出现,如实记下而不是假装搬过来了。
|
|
86
|
+
stats.skipped.push(`${full} (typeflag=${typeflag})`);
|
|
87
|
+
continue;
|
|
88
|
+
}
|
|
89
|
+
|
|
90
|
+
onFile({ path: full.replace(/^\.\//, ""), data });
|
|
91
|
+
stats.files++;
|
|
92
|
+
stats.bytes += data.length;
|
|
93
|
+
}
|
|
94
|
+
|
|
95
|
+
return stats;
|
|
96
|
+
}
|
|
97
|
+
|
|
98
|
+
/**
|
|
99
|
+
* 遍历一个 .tgz(registry 的产物形态)。
|
|
100
|
+
* @param {Buffer} gzipped - gzip 字节。
|
|
101
|
+
* @param {(entry: {path: string, data: Buffer}) => void} onFile - 每个普通文件回调一次。
|
|
102
|
+
* @returns {{files: number, bytes: number, skipped: string[]}}
|
|
103
|
+
*/
|
|
104
|
+
export function walkTgz(gzipped, onFile) {
|
|
105
|
+
return walkTar(gunzipSync(gzipped), onFile);
|
|
106
|
+
}
|
|
107
|
+
|
|
108
|
+
/** 去掉 npm tarball 统一的 `package/` 前缀,得到包内相对路径。 */
|
|
109
|
+
export function stripPackagePrefix(path) {
|
|
110
|
+
return path.startsWith(PACKAGE_PREFIX) ? path.slice(PACKAGE_PREFIX.length) : path;
|
|
111
|
+
}
|
|
112
|
+
|
|
113
|
+
/** sha512(base64)。与 npm `integrity` 字段的载荷同形。 */
|
|
114
|
+
export function sha512Base64(buffer) {
|
|
115
|
+
return createHash("sha512").update(buffer).digest("base64");
|
|
116
|
+
}
|
|
117
|
+
|
|
118
|
+
/**
|
|
119
|
+
* 校验一条 npm integrity 字符串(形如 `sha512-<base64>`)。
|
|
120
|
+
* 只认 sha512:这是 lockfile 里给我们的那一种,其它算法一律当不匹配 —— 校验失败必须是失败,
|
|
121
|
+
* 不能因为「不认识的算法」而放行。
|
|
122
|
+
* @param {Buffer} buffer - 待校验的字节。
|
|
123
|
+
* @param {string} integrity - npm integrity 字符串。
|
|
124
|
+
* @returns {boolean} 是否匹配。
|
|
125
|
+
*/
|
|
126
|
+
export function verifyIntegrity(buffer, integrity) {
|
|
127
|
+
const expected = String(integrity ?? "").trim();
|
|
128
|
+
if (!expected.startsWith("sha512-")) return false;
|
|
129
|
+
return sha512Base64(buffer) === expected.slice("sha512-".length);
|
|
130
|
+
}
|
package/src/runtime/verify.js
CHANGED
|
@@ -1,191 +1,191 @@
|
|
|
1
|
-
// 运行时验证三件套(issue #131 / PR-A)
|
|
2
|
-
//
|
|
3
|
-
// 为什么要分三层,而不是「能 import 就算通过」:
|
|
4
|
-
//
|
|
5
|
-
// 结构 —— 入口在不在、版本对不对、平台子树对不对、闭包有没有缺口。
|
|
6
|
-
// 便宜、确定,能立刻发现「解压到一半」。
|
|
7
|
-
// 功能 —— 真的 import 入口并跑一次推理。这是唯一能证明「这份运行时在这个
|
|
8
|
-
// 环境里真的算得出来」的一层;结构全对但原生二进制与本机 ABI 不
|
|
9
|
-
// 匹配时,只有它能发现。
|
|
10
|
-
// 完整性 —— 只对「有原始产物可比对」的来源做(下载的 tarball、本地 tarball)。
|
|
11
|
-
// 收编来的目录没有原始 tarball,如实标 unverified,不假装验过。
|
|
12
|
-
//
|
|
13
|
-
// 功能验证复用 src/local-embedder.js 的 engineFactory 思路:真正干活的是注入进来
|
|
14
|
-
// 的 engine,默认实现才去 import 真实运行时。这样测试不需要网络、不需要模型,
|
|
15
|
-
// 也能把「返回了非归一化向量」「只返回一行」这类问题钉住。
|
|
16
|
-
//
|
|
17
|
-
// 默认 engine 会强制 env.allowRemoteModels = false:验证过程绝不能偷偷下载模型,
|
|
18
|
-
// 否则「验证」本身就成了一个新的网络依赖点。
|
|
19
|
-
//
|
|
20
|
-
// @module dsh-mneme/runtime/verify
|
|
21
|
-
import { pathToFileURL } from "node:url";
|
|
22
|
-
import { join } from "node:path";
|
|
23
|
-
import { TRANSFORMERS_ENTRY, describePayload } from "./layout.js";
|
|
24
|
-
|
|
25
|
-
/** 默认探针文本:中英各一条,避免只覆盖单字节语种。 */
|
|
26
|
-
export const DEFAULT_PROBE_TEXTS = ["猫咪喜欢晒太阳", "the quick brown fox"];
|
|
27
|
-
/** 默认模型,与 src/config.js 的 localEmbedModel 默认值一致。 */
|
|
28
|
-
export const DEFAULT_PROBE_MODEL = "Xenova/bge-small-zh-v1.5";
|
|
29
|
-
/** L2 归一化的容忍度(我们显式请求了 normalize: true)。 */
|
|
30
|
-
const NORM_TOLERANCE = 0.01;
|
|
31
|
-
/** 判定「退化向量」的余弦上限:两条毫不相干的文本不该几乎同向。 */
|
|
32
|
-
const DEGENERATE_COS = 0.999;
|
|
33
|
-
|
|
34
|
-
/**
|
|
35
|
-
* 默认 engine:真的去 import 运行时并建一个 feature-extraction 管道。
|
|
36
|
-
*
|
|
37
|
-
* 返回一个 `embed(texts) => number[][]`。之所以不返回 transformers 的 tensor,
|
|
38
|
-
* 是为了把「Tensor 形状怎么读」这种细节留在实现里,验证逻辑只看数字。
|
|
39
|
-
* @param {string} entryUrl - 入口文件的 file URL。
|
|
40
|
-
* @param {{cacheDir?: string, model?: string, dtype?: string, device?: string}} opts - 选项。
|
|
41
|
-
* @returns {Promise<(texts: string[]) => Promise<number[][]>>} 嵌入函数。
|
|
42
|
-
*/
|
|
43
|
-
export async function defaultEngine(entryUrl, { cacheDir, model = DEFAULT_PROBE_MODEL, dtype = "q8", device = "cpu" } = {}) {
|
|
44
|
-
const mod = await import(entryUrl);
|
|
45
|
-
const { env, pipeline } = mod;
|
|
46
|
-
if (cacheDir) {
|
|
47
|
-
try {
|
|
48
|
-
env.cacheDir = cacheDir;
|
|
49
|
-
} catch {
|
|
50
|
-
/* 老版本可能没有这个字段:忽略,交给下面 pipeline 自己找缓存 */
|
|
51
|
-
}
|
|
52
|
-
}
|
|
53
|
-
// 验证不允许触网:缓存命中就本地加载,命中不了就明确失败。
|
|
54
|
-
try {
|
|
55
|
-
env.allowRemoteModels = false;
|
|
56
|
-
} catch {
|
|
57
|
-
/* 同上 */
|
|
58
|
-
}
|
|
59
|
-
const extractor = await pipeline("feature-extraction", model, { dtype, device, cache_dir: cacheDir });
|
|
60
|
-
return async (texts) => {
|
|
61
|
-
const tensor = await extractor(texts, { pooling: "mean", normalize: true });
|
|
62
|
-
const dims = Array.from(tensor.dims ?? []);
|
|
63
|
-
const width = dims[dims.length - 1] || 0;
|
|
64
|
-
// 宽度为 0 时下面的 `i += width` 会原地打转 —— 那是**死循环**,会把调用方(乃至 DSH 主进程)
|
|
65
|
-
// 挂住。宁可明确失败:调用方按契约把失败变成 {ok:false, reason},而不是永远等不到结果。
|
|
66
|
-
if (!Number.isInteger(width) || width <= 0) {
|
|
67
|
-
throw new Error(`推理输出的维度不可用:dims=${JSON.stringify(dims)}`);
|
|
68
|
-
}
|
|
69
|
-
const rows = [];
|
|
70
|
-
for (let i = 0; i < tensor.data.length; i += width) {
|
|
71
|
-
rows.push(Array.from(tensor.data.subarray(i, i + width)));
|
|
72
|
-
}
|
|
73
|
-
return rows;
|
|
74
|
-
};
|
|
75
|
-
}
|
|
76
|
-
|
|
77
|
-
/** 向量模长。 */
|
|
78
|
-
function norm(row) {
|
|
79
|
-
let sum = 0;
|
|
80
|
-
for (const value of row) sum += value * value;
|
|
81
|
-
return Math.sqrt(sum);
|
|
82
|
-
}
|
|
83
|
-
|
|
84
|
-
/** 两行向量的余弦。 */
|
|
85
|
-
function cosine(a, b) {
|
|
86
|
-
let dot = 0;
|
|
87
|
-
for (let i = 0; i < a.length; i++) dot += a[i] * b[i];
|
|
88
|
-
return dot;
|
|
89
|
-
}
|
|
90
|
-
|
|
91
|
-
/**
|
|
92
|
-
* 跑功能验证:真的 import 并嵌入探针文本,然后检查结果的形状与数值性质。
|
|
93
|
-
*
|
|
94
|
-
* 任何失败都返回结果对象,不抛异常——验证本身必须是 fail-safe 的,
|
|
95
|
-
* 否则一条坏运行时会把调用方(面板、状态接口)也带崩。
|
|
96
|
-
* @param {string} dir - payload 目录。
|
|
97
|
-
* @param {object} [opts] - 选项。
|
|
98
|
-
* @returns {Promise<{ok: boolean, reason: string|null, dim: number|null, rows: number, elapsedMs: number}>}
|
|
99
|
-
*/
|
|
100
|
-
export async function verifyFunctional(dir, {
|
|
101
|
-
engine = defaultEngine,
|
|
102
|
-
probeTexts = DEFAULT_PROBE_TEXTS,
|
|
103
|
-
cacheDir,
|
|
104
|
-
model,
|
|
105
|
-
dtype,
|
|
106
|
-
device
|
|
107
|
-
} = {}) {
|
|
108
|
-
const startedAt = Date.now();
|
|
109
|
-
const fail = (reason) => ({ ok: false, reason, dim: null, rows: 0, elapsedMs: Date.now() - startedAt });
|
|
110
|
-
|
|
111
|
-
const entry = join(dir, TRANSFORMERS_ENTRY);
|
|
112
|
-
let embed;
|
|
113
|
-
try {
|
|
114
|
-
embed = await engine(pathToFileURL(entry).href, { cacheDir, model, dtype, device });
|
|
115
|
-
} catch (error) {
|
|
116
|
-
return fail(`加载运行时失败:${error?.message ?? error}`);
|
|
117
|
-
}
|
|
118
|
-
|
|
119
|
-
let rows;
|
|
120
|
-
try {
|
|
121
|
-
rows = await embed(probeTexts);
|
|
122
|
-
} catch (error) {
|
|
123
|
-
return fail(`推理失败:${error?.message ?? error}`);
|
|
124
|
-
}
|
|
125
|
-
|
|
126
|
-
if (!Array.isArray(rows) || rows.length !== probeTexts.length) {
|
|
127
|
-
return fail(`返回行数不符:期望 ${probeTexts.length},实际 ${Array.isArray(rows) ? rows.length : typeof rows}`);
|
|
128
|
-
}
|
|
129
|
-
// 先逐行确认「是数组」且「全是有限数」。这一步不能省:non-finite(NaN/Infinity)会让
|
|
130
|
-
// 下面所有比较恒为 false —— `Math.abs(NaN - 1) > tol` 是 false,`Math.abs(NaN) > 阈值`
|
|
131
|
-
// 也是 false —— 于是一份坏掉的运行时会被判成「验证通过」。这是本模块最危险的失败模式
|
|
132
|
-
// (假通过),比抛异常糟得多。行不是数组时同样要先拦住,否则 .length 直接抛,
|
|
133
|
-
// 违背「任何失败都返回结果对象,不抛异常」的契约。
|
|
134
|
-
for (let i = 0; i < rows.length; i++) {
|
|
135
|
-
if (!Array.isArray(rows[i])) return fail(`第 ${i} 行不是数组(${typeof rows[i]})`);
|
|
136
|
-
if (rows[i].some((v) => !Number.isFinite(v))) return fail(`第 ${i} 行含有非有限数值`);
|
|
137
|
-
}
|
|
138
|
-
const dim = rows[0].length;
|
|
139
|
-
if (dim === 0) return fail("返回了空向量");
|
|
140
|
-
if (rows.some((row) => row.length !== dim)) return fail("各行维度不一致");
|
|
141
|
-
|
|
142
|
-
for (let i = 0; i < rows.length; i++) {
|
|
143
|
-
const length = norm(rows[i]);
|
|
144
|
-
if (Math.abs(length - 1) > NORM_TOLERANCE) {
|
|
145
|
-
return fail(`第 ${i} 行不是 L2 归一化向量(模长 ${length.toFixed(4)})`);
|
|
146
|
-
}
|
|
147
|
-
}
|
|
148
|
-
if (rows.length >= 2 && Math.abs(cosine(rows[0], rows[1])) > DEGENERATE_COS) {
|
|
149
|
-
return fail(`嵌入退化:两条不相干文本的余弦为 ${cosine(rows[0], rows[1]).toFixed(4)}`);
|
|
150
|
-
}
|
|
151
|
-
|
|
152
|
-
return { ok: true, reason: null, dim, rows: rows.length, elapsedMs: Date.now() - startedAt };
|
|
153
|
-
}
|
|
154
|
-
|
|
155
|
-
/**
|
|
156
|
-
* 三层验证,任何一层失败都如实记录;结构不过就不再做功能验证(省掉一次无谓的加载)。
|
|
157
|
-
* @param {string} dir - payload 目录。
|
|
158
|
-
* @param {object} [opts] - 选项。
|
|
159
|
-
* @param {{status: string, detail?: string}} [opts.integrity] - 调用方算好的完整性结论
|
|
160
|
-
* (下载/本地 tarball 路径在解包前比对过 sha512,把结果传进来;收编路径没有可比对
|
|
161
|
-
* 的原始产物,默认 unverified)。
|
|
162
|
-
* @returns {Promise<object>} 三件套结果 + 总判定。
|
|
163
|
-
*/
|
|
164
|
-
export async function verifyPayload(dir, {
|
|
165
|
-
platform = process.platform,
|
|
166
|
-
engine,
|
|
167
|
-
probeTexts,
|
|
168
|
-
cacheDir,
|
|
169
|
-
model,
|
|
170
|
-
dtype,
|
|
171
|
-
device,
|
|
172
|
-
integrity
|
|
173
|
-
} = {}) {
|
|
174
|
-
const structural = describePayload(dir, { platform });
|
|
175
|
-
const integrityResult = integrity
|
|
176
|
-
? { ok: integrity.status === "sha512-matched", status: integrity.status, detail: integrity.detail ?? null }
|
|
177
|
-
: { ok: true, status: "unverified", detail: "该来源没有可比对的原始产物(收编);如需强校验请用 --strict 走 tarball 通道" };
|
|
178
|
-
|
|
179
|
-
const functional = structural.ok
|
|
180
|
-
? await verifyFunctional(dir, { engine, probeTexts, cacheDir, model, dtype, device })
|
|
181
|
-
: { ok: false, reason: "结构检查未通过,跳过功能验证", dim: null, rows: 0, elapsedMs: 0 };
|
|
182
|
-
|
|
183
|
-
return {
|
|
184
|
-
dir,
|
|
185
|
-
version: structural.version,
|
|
186
|
-
ok: structural.ok && functional.ok && integrityResult.ok,
|
|
187
|
-
structural,
|
|
188
|
-
functional,
|
|
189
|
-
integrity: integrityResult
|
|
190
|
-
};
|
|
191
|
-
}
|
|
1
|
+
// 运行时验证三件套(issue #131 / PR-A)
|
|
2
|
+
//
|
|
3
|
+
// 为什么要分三层,而不是「能 import 就算通过」:
|
|
4
|
+
//
|
|
5
|
+
// 结构 —— 入口在不在、版本对不对、平台子树对不对、闭包有没有缺口。
|
|
6
|
+
// 便宜、确定,能立刻发现「解压到一半」。
|
|
7
|
+
// 功能 —— 真的 import 入口并跑一次推理。这是唯一能证明「这份运行时在这个
|
|
8
|
+
// 环境里真的算得出来」的一层;结构全对但原生二进制与本机 ABI 不
|
|
9
|
+
// 匹配时,只有它能发现。
|
|
10
|
+
// 完整性 —— 只对「有原始产物可比对」的来源做(下载的 tarball、本地 tarball)。
|
|
11
|
+
// 收编来的目录没有原始 tarball,如实标 unverified,不假装验过。
|
|
12
|
+
//
|
|
13
|
+
// 功能验证复用 src/local-embedder.js 的 engineFactory 思路:真正干活的是注入进来
|
|
14
|
+
// 的 engine,默认实现才去 import 真实运行时。这样测试不需要网络、不需要模型,
|
|
15
|
+
// 也能把「返回了非归一化向量」「只返回一行」这类问题钉住。
|
|
16
|
+
//
|
|
17
|
+
// 默认 engine 会强制 env.allowRemoteModels = false:验证过程绝不能偷偷下载模型,
|
|
18
|
+
// 否则「验证」本身就成了一个新的网络依赖点。
|
|
19
|
+
//
|
|
20
|
+
// @module dsh-mneme/runtime/verify
|
|
21
|
+
import { pathToFileURL } from "node:url";
|
|
22
|
+
import { join } from "node:path";
|
|
23
|
+
import { TRANSFORMERS_ENTRY, describePayload } from "./layout.js";
|
|
24
|
+
|
|
25
|
+
/** 默认探针文本:中英各一条,避免只覆盖单字节语种。 */
|
|
26
|
+
export const DEFAULT_PROBE_TEXTS = ["猫咪喜欢晒太阳", "the quick brown fox"];
|
|
27
|
+
/** 默认模型,与 src/config.js 的 localEmbedModel 默认值一致。 */
|
|
28
|
+
export const DEFAULT_PROBE_MODEL = "Xenova/bge-small-zh-v1.5";
|
|
29
|
+
/** L2 归一化的容忍度(我们显式请求了 normalize: true)。 */
|
|
30
|
+
const NORM_TOLERANCE = 0.01;
|
|
31
|
+
/** 判定「退化向量」的余弦上限:两条毫不相干的文本不该几乎同向。 */
|
|
32
|
+
const DEGENERATE_COS = 0.999;
|
|
33
|
+
|
|
34
|
+
/**
|
|
35
|
+
* 默认 engine:真的去 import 运行时并建一个 feature-extraction 管道。
|
|
36
|
+
*
|
|
37
|
+
* 返回一个 `embed(texts) => number[][]`。之所以不返回 transformers 的 tensor,
|
|
38
|
+
* 是为了把「Tensor 形状怎么读」这种细节留在实现里,验证逻辑只看数字。
|
|
39
|
+
* @param {string} entryUrl - 入口文件的 file URL。
|
|
40
|
+
* @param {{cacheDir?: string, model?: string, dtype?: string, device?: string}} opts - 选项。
|
|
41
|
+
* @returns {Promise<(texts: string[]) => Promise<number[][]>>} 嵌入函数。
|
|
42
|
+
*/
|
|
43
|
+
export async function defaultEngine(entryUrl, { cacheDir, model = DEFAULT_PROBE_MODEL, dtype = "q8", device = "cpu" } = {}) {
|
|
44
|
+
const mod = await import(entryUrl);
|
|
45
|
+
const { env, pipeline } = mod;
|
|
46
|
+
if (cacheDir) {
|
|
47
|
+
try {
|
|
48
|
+
env.cacheDir = cacheDir;
|
|
49
|
+
} catch {
|
|
50
|
+
/* 老版本可能没有这个字段:忽略,交给下面 pipeline 自己找缓存 */
|
|
51
|
+
}
|
|
52
|
+
}
|
|
53
|
+
// 验证不允许触网:缓存命中就本地加载,命中不了就明确失败。
|
|
54
|
+
try {
|
|
55
|
+
env.allowRemoteModels = false;
|
|
56
|
+
} catch {
|
|
57
|
+
/* 同上 */
|
|
58
|
+
}
|
|
59
|
+
const extractor = await pipeline("feature-extraction", model, { dtype, device, cache_dir: cacheDir });
|
|
60
|
+
return async (texts) => {
|
|
61
|
+
const tensor = await extractor(texts, { pooling: "mean", normalize: true });
|
|
62
|
+
const dims = Array.from(tensor.dims ?? []);
|
|
63
|
+
const width = dims[dims.length - 1] || 0;
|
|
64
|
+
// 宽度为 0 时下面的 `i += width` 会原地打转 —— 那是**死循环**,会把调用方(乃至 DSH 主进程)
|
|
65
|
+
// 挂住。宁可明确失败:调用方按契约把失败变成 {ok:false, reason},而不是永远等不到结果。
|
|
66
|
+
if (!Number.isInteger(width) || width <= 0) {
|
|
67
|
+
throw new Error(`推理输出的维度不可用:dims=${JSON.stringify(dims)}`);
|
|
68
|
+
}
|
|
69
|
+
const rows = [];
|
|
70
|
+
for (let i = 0; i < tensor.data.length; i += width) {
|
|
71
|
+
rows.push(Array.from(tensor.data.subarray(i, i + width)));
|
|
72
|
+
}
|
|
73
|
+
return rows;
|
|
74
|
+
};
|
|
75
|
+
}
|
|
76
|
+
|
|
77
|
+
/** 向量模长。 */
|
|
78
|
+
function norm(row) {
|
|
79
|
+
let sum = 0;
|
|
80
|
+
for (const value of row) sum += value * value;
|
|
81
|
+
return Math.sqrt(sum);
|
|
82
|
+
}
|
|
83
|
+
|
|
84
|
+
/** 两行向量的余弦。 */
|
|
85
|
+
function cosine(a, b) {
|
|
86
|
+
let dot = 0;
|
|
87
|
+
for (let i = 0; i < a.length; i++) dot += a[i] * b[i];
|
|
88
|
+
return dot;
|
|
89
|
+
}
|
|
90
|
+
|
|
91
|
+
/**
|
|
92
|
+
* 跑功能验证:真的 import 并嵌入探针文本,然后检查结果的形状与数值性质。
|
|
93
|
+
*
|
|
94
|
+
* 任何失败都返回结果对象,不抛异常——验证本身必须是 fail-safe 的,
|
|
95
|
+
* 否则一条坏运行时会把调用方(面板、状态接口)也带崩。
|
|
96
|
+
* @param {string} dir - payload 目录。
|
|
97
|
+
* @param {object} [opts] - 选项。
|
|
98
|
+
* @returns {Promise<{ok: boolean, reason: string|null, dim: number|null, rows: number, elapsedMs: number}>}
|
|
99
|
+
*/
|
|
100
|
+
export async function verifyFunctional(dir, {
|
|
101
|
+
engine = defaultEngine,
|
|
102
|
+
probeTexts = DEFAULT_PROBE_TEXTS,
|
|
103
|
+
cacheDir,
|
|
104
|
+
model,
|
|
105
|
+
dtype,
|
|
106
|
+
device
|
|
107
|
+
} = {}) {
|
|
108
|
+
const startedAt = Date.now();
|
|
109
|
+
const fail = (reason) => ({ ok: false, reason, dim: null, rows: 0, elapsedMs: Date.now() - startedAt });
|
|
110
|
+
|
|
111
|
+
const entry = join(dir, TRANSFORMERS_ENTRY);
|
|
112
|
+
let embed;
|
|
113
|
+
try {
|
|
114
|
+
embed = await engine(pathToFileURL(entry).href, { cacheDir, model, dtype, device });
|
|
115
|
+
} catch (error) {
|
|
116
|
+
return fail(`加载运行时失败:${error?.message ?? error}`);
|
|
117
|
+
}
|
|
118
|
+
|
|
119
|
+
let rows;
|
|
120
|
+
try {
|
|
121
|
+
rows = await embed(probeTexts);
|
|
122
|
+
} catch (error) {
|
|
123
|
+
return fail(`推理失败:${error?.message ?? error}`);
|
|
124
|
+
}
|
|
125
|
+
|
|
126
|
+
if (!Array.isArray(rows) || rows.length !== probeTexts.length) {
|
|
127
|
+
return fail(`返回行数不符:期望 ${probeTexts.length},实际 ${Array.isArray(rows) ? rows.length : typeof rows}`);
|
|
128
|
+
}
|
|
129
|
+
// 先逐行确认「是数组」且「全是有限数」。这一步不能省:non-finite(NaN/Infinity)会让
|
|
130
|
+
// 下面所有比较恒为 false —— `Math.abs(NaN - 1) > tol` 是 false,`Math.abs(NaN) > 阈值`
|
|
131
|
+
// 也是 false —— 于是一份坏掉的运行时会被判成「验证通过」。这是本模块最危险的失败模式
|
|
132
|
+
// (假通过),比抛异常糟得多。行不是数组时同样要先拦住,否则 .length 直接抛,
|
|
133
|
+
// 违背「任何失败都返回结果对象,不抛异常」的契约。
|
|
134
|
+
for (let i = 0; i < rows.length; i++) {
|
|
135
|
+
if (!Array.isArray(rows[i])) return fail(`第 ${i} 行不是数组(${typeof rows[i]})`);
|
|
136
|
+
if (rows[i].some((v) => !Number.isFinite(v))) return fail(`第 ${i} 行含有非有限数值`);
|
|
137
|
+
}
|
|
138
|
+
const dim = rows[0].length;
|
|
139
|
+
if (dim === 0) return fail("返回了空向量");
|
|
140
|
+
if (rows.some((row) => row.length !== dim)) return fail("各行维度不一致");
|
|
141
|
+
|
|
142
|
+
for (let i = 0; i < rows.length; i++) {
|
|
143
|
+
const length = norm(rows[i]);
|
|
144
|
+
if (Math.abs(length - 1) > NORM_TOLERANCE) {
|
|
145
|
+
return fail(`第 ${i} 行不是 L2 归一化向量(模长 ${length.toFixed(4)})`);
|
|
146
|
+
}
|
|
147
|
+
}
|
|
148
|
+
if (rows.length >= 2 && Math.abs(cosine(rows[0], rows[1])) > DEGENERATE_COS) {
|
|
149
|
+
return fail(`嵌入退化:两条不相干文本的余弦为 ${cosine(rows[0], rows[1]).toFixed(4)}`);
|
|
150
|
+
}
|
|
151
|
+
|
|
152
|
+
return { ok: true, reason: null, dim, rows: rows.length, elapsedMs: Date.now() - startedAt };
|
|
153
|
+
}
|
|
154
|
+
|
|
155
|
+
/**
|
|
156
|
+
* 三层验证,任何一层失败都如实记录;结构不过就不再做功能验证(省掉一次无谓的加载)。
|
|
157
|
+
* @param {string} dir - payload 目录。
|
|
158
|
+
* @param {object} [opts] - 选项。
|
|
159
|
+
* @param {{status: string, detail?: string}} [opts.integrity] - 调用方算好的完整性结论
|
|
160
|
+
* (下载/本地 tarball 路径在解包前比对过 sha512,把结果传进来;收编路径没有可比对
|
|
161
|
+
* 的原始产物,默认 unverified)。
|
|
162
|
+
* @returns {Promise<object>} 三件套结果 + 总判定。
|
|
163
|
+
*/
|
|
164
|
+
export async function verifyPayload(dir, {
|
|
165
|
+
platform = process.platform,
|
|
166
|
+
engine,
|
|
167
|
+
probeTexts,
|
|
168
|
+
cacheDir,
|
|
169
|
+
model,
|
|
170
|
+
dtype,
|
|
171
|
+
device,
|
|
172
|
+
integrity
|
|
173
|
+
} = {}) {
|
|
174
|
+
const structural = describePayload(dir, { platform });
|
|
175
|
+
const integrityResult = integrity
|
|
176
|
+
? { ok: integrity.status === "sha512-matched", status: integrity.status, detail: integrity.detail ?? null }
|
|
177
|
+
: { ok: true, status: "unverified", detail: "该来源没有可比对的原始产物(收编);如需强校验请用 --strict 走 tarball 通道" };
|
|
178
|
+
|
|
179
|
+
const functional = structural.ok
|
|
180
|
+
? await verifyFunctional(dir, { engine, probeTexts, cacheDir, model, dtype, device })
|
|
181
|
+
: { ok: false, reason: "结构检查未通过,跳过功能验证", dim: null, rows: 0, elapsedMs: 0 };
|
|
182
|
+
|
|
183
|
+
return {
|
|
184
|
+
dir,
|
|
185
|
+
version: structural.version,
|
|
186
|
+
ok: structural.ok && functional.ok && integrityResult.ok,
|
|
187
|
+
structural,
|
|
188
|
+
functional,
|
|
189
|
+
integrity: integrityResult
|
|
190
|
+
};
|
|
191
|
+
}
|