@modusensus/dsh-mneme 0.14.0-beta.1 → 0.14.0-beta.2

package/test/release-workflow.test.js

@@ -1,93 +1,93 @@
-// .github/workflows/release.yml 的作业依赖锁。
-//
-// 防的是一类「声明抢跑」：GitHub Release 是对外的「这个版本已发布」，registry 才是唯一事实。
-// 2026-10-12 修 Verify published version 假闸门（PR #419）时发现隔壁还有同一处豁口——release
-// job 只 needs [verify, test]，于是 publish 真失败（token 失效、registry 拒绝）时 Release 照样
-// 建出来：Release 页写着 v0.8.x，registry 上却没有，用户照 Release 装回的是上一个版本。
-//
-// 三条断言各锁一环，缺一环这类豁口就能重开：
-//   1. release 必须等 publish —— 否则「发不出去」和「发出去了」在 Release 页上同形；
-//   2. publish 必须含那道阻塞闸门（publish-gate.mjs）—— 否则 release 等的是一个不做校验的空壳，
-//      第 1 条形同虚设（改回 `npm view` 一次性查询同样会退回假绿）；
-//   3. release 仍要等 verify 与 test —— 免得为了修 1 顺手把版本/CHANGELOG 校验也绕过去。
-//
-// 工作流是 YAML，但为了三条断言引入 YAML 解析依赖不值得：这里只按缩进取作业块、读它自己的
-// needs 行。因此断言落在「内联列表形状」上（`needs: [a, b]`）——有人改成块状列表测试会红，
-// 那是真变化，值得人看一眼再改锁，而不是静默失效。
-import test from "node:test";
-import assert from "node:assert/strict";
-import { readFileSync } from "node:fs";
-import { dirname, join } from "node:path";
-import { fileURLToPath } from "node:url";
-
-const workflowPath = join(dirname(fileURLToPath(import.meta.url)), "..", "..", ".github", "workflows", "release.yml");
-const workflow = readFileSync(workflowPath, "utf8");
-
-/** 取一个顶级 job（缩进 2 格的 `name:`）的整块文本，到下一个同级键或文件结尾。 */
-function jobBlock(name) {
-  const lines = workflow.split(/\r?\n/);
-  const start = lines.findIndex((line) => line === `  ${name}:`);
-  assert.notEqual(start, -1, `release.yml 里找不到 job ${name}`);
-  let end = lines.length;
-  for (let i = start + 1; i < lines.length; i += 1) {
-    if (/^ {2}[A-Za-z0-9_-]+:\s*$/.test(lines[i])) {
-      end = i;
-      break;
-    }
-  }
-  return lines.slice(start, end);
-}
-
-/** 读一个 job 块的 `needs:` 内联列表；没有 needs 行返回空数组。 */
-function needsOf(name) {
-  const line = jobBlock(name).find((l) => /^ {4}needs:\s*\[/.test(l));
-  if (!line) return [];
-  const inner = line.slice(line.indexOf("[") + 1, line.lastIndexOf("]"));
-  return inner.split(",").map((s) => s.trim()).filter(Boolean);
-}
-
-test("release 等 publish：发布声明不许抢在真的发出去之前", () => {
-  const needs = needsOf("release");
-  assert.ok(
-    needs.includes("publish"),
-    `release 的 needs 必须含 publish（当前 [${needs.join(", ")}]）—— 否则 publish 失败时 Release 仍会建出来`
-  );
-});
-
-test("release 仍等 verify 与 test：修依赖顺序不该绕开版本与 CHANGELOG 校验", () => {
-  const needs = needsOf("release");
-  assert.ok(needs.includes("verify"), "release 必须等 verify（版本号与 CHANGELOG 小节）");
-  assert.ok(needs.includes("test"), "release 必须等 test");
-});
-
-test("publish 内必须跑阻塞闸门：release 等的是一个真做过校验的作业", () => {
-  // 只扫非注释行：publish job 的注释里刻意留了那行旧实现（说明它为什么是假绿），
-  // 那是文档不是代码——按整块扫会把文档当成复发。
-  const code = jobBlock("publish").filter((line) => !/^\s*#/.test(line)).join("\n");
-  assert.match(
-    code,
-    /node dsh-mneme\/scripts\/publish-gate\.mjs/,
-    "publish job 必须调用 publish-gate.mjs（拿不到版本就非零退出）"
-  );
-  assert.doesNotMatch(
-    code,
-    /echo "Published: \$\(npm view/,
-    "不要退回命令替换里的 npm view —— 失败不会让 set -e 退出，那是 v0.8.16 的假绿"
-  );
-});
-
-test("release 的正文抽取必须调模块，不许退回工作流内联脚本", () => {
-  // 原先这段是内联 node -e：改排版要动工作流本体、还没法写测试，而 Release 正文恰恰是最需要
-  // 反复试排版的东西。退回内联就等于退回「改了没人能验证」的状态，这条锁住它不再发生。
-  const code = jobBlock("release").filter((line) => !/^\s*#/.test(line)).join("\n");
-  assert.match(
-    code,
-    /node dsh-mneme\/scripts\/release-notes\.mjs/,
-    "release job 必须调用 release-notes.mjs（渲染有单测、本地可预览）"
-  );
-  assert.doesNotMatch(
-    code,
-    /node -e/,
-    "不要退回 node -e 内联脚本 —— 那段逻辑没有测试覆盖"
-  );
-});
+// .github/workflows/release.yml 的作业依赖锁。
+//
+// 防的是一类「声明抢跑」：GitHub Release 是对外的「这个版本已发布」，registry 才是唯一事实。
+// 2026-10-12 修 Verify published version 假闸门（PR #419）时发现隔壁还有同一处豁口——release
+// job 只 needs [verify, test]，于是 publish 真失败（token 失效、registry 拒绝）时 Release 照样
+// 建出来：Release 页写着 v0.8.x，registry 上却没有，用户照 Release 装回的是上一个版本。
+//
+// 三条断言各锁一环，缺一环这类豁口就能重开：
+//   1. release 必须等 publish —— 否则「发不出去」和「发出去了」在 Release 页上同形；
+//   2. publish 必须含那道阻塞闸门（publish-gate.mjs）—— 否则 release 等的是一个不做校验的空壳，
+//      第 1 条形同虚设（改回 `npm view` 一次性查询同样会退回假绿）；
+//   3. release 仍要等 verify 与 test —— 免得为了修 1 顺手把版本/CHANGELOG 校验也绕过去。
+//
+// 工作流是 YAML，但为了三条断言引入 YAML 解析依赖不值得：这里只按缩进取作业块、读它自己的
+// needs 行。因此断言落在「内联列表形状」上（`needs: [a, b]`）——有人改成块状列表测试会红，
+// 那是真变化，值得人看一眼再改锁，而不是静默失效。
+import test from "node:test";
+import assert from "node:assert/strict";
+import { readFileSync } from "node:fs";
+import { dirname, join } from "node:path";
+import { fileURLToPath } from "node:url";
+
+const workflowPath = join(dirname(fileURLToPath(import.meta.url)), "..", "..", ".github", "workflows", "release.yml");
+const workflow = readFileSync(workflowPath, "utf8");
+
+/** 取一个顶级 job（缩进 2 格的 `name:`）的整块文本，到下一个同级键或文件结尾。 */
+function jobBlock(name) {
+  const lines = workflow.split(/\r?\n/);
+  const start = lines.findIndex((line) => line === `  ${name}:`);
+  assert.notEqual(start, -1, `release.yml 里找不到 job ${name}`);
+  let end = lines.length;
+  for (let i = start + 1; i < lines.length; i += 1) {
+    if (/^ {2}[A-Za-z0-9_-]+:\s*$/.test(lines[i])) {
+      end = i;
+      break;
+    }
+  }
+  return lines.slice(start, end);
+}
+
+/** 读一个 job 块的 `needs:` 内联列表；没有 needs 行返回空数组。 */
+function needsOf(name) {
+  const line = jobBlock(name).find((l) => /^ {4}needs:\s*\[/.test(l));
+  if (!line) return [];
+  const inner = line.slice(line.indexOf("[") + 1, line.lastIndexOf("]"));
+  return inner.split(",").map((s) => s.trim()).filter(Boolean);
+}
+
+test("release 等 publish：发布声明不许抢在真的发出去之前", () => {
+  const needs = needsOf("release");
+  assert.ok(
+    needs.includes("publish"),
+    `release 的 needs 必须含 publish（当前 [${needs.join(", ")}]）—— 否则 publish 失败时 Release 仍会建出来`
+  );
+});
+
+test("release 仍等 verify 与 test：修依赖顺序不该绕开版本与 CHANGELOG 校验", () => {
+  const needs = needsOf("release");
+  assert.ok(needs.includes("verify"), "release 必须等 verify（版本号与 CHANGELOG 小节）");
+  assert.ok(needs.includes("test"), "release 必须等 test");
+});
+
+test("publish 内必须跑阻塞闸门：release 等的是一个真做过校验的作业", () => {
+  // 只扫非注释行：publish job 的注释里刻意留了那行旧实现（说明它为什么是假绿），
+  // 那是文档不是代码——按整块扫会把文档当成复发。
+  const code = jobBlock("publish").filter((line) => !/^\s*#/.test(line)).join("\n");
+  assert.match(
+    code,
+    /node dsh-mneme\/scripts\/publish-gate\.mjs/,
+    "publish job 必须调用 publish-gate.mjs（拿不到版本就非零退出）"
+  );
+  assert.doesNotMatch(
+    code,
+    /echo "Published: \$\(npm view/,
+    "不要退回命令替换里的 npm view —— 失败不会让 set -e 退出，那是 v0.8.16 的假绿"
+  );
+});
+
+test("release 的正文抽取必须调模块，不许退回工作流内联脚本", () => {
+  // 原先这段是内联 node -e：改排版要动工作流本体、还没法写测试，而 Release 正文恰恰是最需要
+  // 反复试排版的东西。退回内联就等于退回「改了没人能验证」的状态，这条锁住它不再发生。
+  const code = jobBlock("release").filter((line) => !/^\s*#/.test(line)).join("\n");
+  assert.match(
+    code,
+    /node dsh-mneme\/scripts\/release-notes\.mjs/,
+    "release job 必须调用 release-notes.mjs（渲染有单测、本地可预览）"
+  );
+  assert.doesNotMatch(
+    code,
+    /node -e/,
+    "不要退回 node -e 内联脚本 —— 那段逻辑没有测试覆盖"
+  );
+});

package/test/reranker-single-logit.test.js

@@ -1,73 +1,73 @@
-import test from "node:test";
-import assert from "node:assert/strict";
-import { LocalReranker } from "../src/reranker.js";
-
-// 回归（issue #188）：Xenova/bge-reranker-base 是单 logit 交叉编码器——每个
-// (query, passage) 对只输出 1 个 logit。tc 策略此前在 cols===1 时把 l1 退化成
-// l0，sigmoid(l0 - l1) = sigmoid(0) = 0.5：所有候选分数恒为常量，重排静默失效
-// （不抛错、日志照常 ready、语义状态照常 reranker="ready"，只有分数是死的）。
-// 单 logit 头的正类概率是 sigmoid(logit)；sigmoid(l1 - l0) 只对双 logit 头
-// （num_labels=2 的导出，如 bge-reranker-v2-m3）成立。修复后按 cols 分支，
-// 两路各有回归；另加「分数全等 → warn 一次」的静默失效绊线。
-
-function sigmoid(x) {
-  return 1 / (1 + Math.exp(-x));
-}
-
-function candidates(ids) {
-  return ids.map((id) => ({ id, title: `T-${id}`, content: `C-${id}` }));
-}
-
-// 只支持 text-classification 的假引擎：cascade 先试 "rerank"（transformers
-// 4.2.0 无此任务，真机上也必然先失败），随后落到 tc。
-function makeTcFactory(dims, data) {
-  return async (task) => {
-    if (task === "rerank") throw new Error("unsupported task: rerank");
-    assert.equal(task, "text-classification");
-    return {
-      tokenizer: (texts, _opts) => ({ texts }),
-      model: async (inputs) => ({ logits: { dims, data: Float64Array.from(data.slice(0, inputs.texts.length * dims[1])) } })
-    };
-  };
-}
-
-test("#188: single-logit head scores sigmoid(logit) instead of constant 0.5", async () => {
-  // 报告的实测 logits：相关 -0.556、无关 -10.193，区分度近 10——模型判断得
-  // 很好，只是旧公式把它们全抹成 0.5000。
-  const r = new LocalReranker({
-    engineFactory: makeTcFactory([3, 1], [-0.5561, -10.193, 8.7])
-  });
-  await r.init();
-  const out = await r.rerank("查询", candidates(["rel", "noise", "hit"]));
-  // sigmoid(-0.5561)≈0.3645 保留；sigmoid(-10.193)≈3.7e-5 被 0.1 阈值滤掉；
-  // sigmoid(8.7)≈0.9998 居首。修复前三者全 0.5、顺序不变。
-  assert.deepEqual(out.map((x) => x.id), ["hit", "rel"]);
-  assert.ok(Math.abs(out[0].score - sigmoid(8.7)) < 1e-6, "hit = sigmoid(logit)");
-  assert.ok(Math.abs(out[1].score - sigmoid(-0.5561)) < 1e-6, "rel = sigmoid(logit)");
-  r.dispose();
-});
-
-test("#188: dual-logit head keeps softmax-positive-class semantics", async () => {
-  // l0=-2,l1=2 → sigmoid(4)；l0=1,l1=1.5 → sigmoid(0.5)——与原实现逐字节等价。
-  const r = new LocalReranker({
-    engineFactory: makeTcFactory([2, 2], [-2, 2, 1, 1.5])
-  });
-  await r.init();
-  const out = await r.rerank("查询", candidates(["a", "b"]));
-  assert.deepEqual(out.map((x) => x.id), ["a", "b"]);
-  assert.ok(Math.abs(out[0].score - sigmoid(4)) < 1e-6);
-  assert.ok(Math.abs(out[1].score - sigmoid(0.5)) < 1e-6);
-  r.dispose();
-});
-
-test("#188: constant-score batch warns once (silent-failure tripwire)", async () => {
-  const warns = [];
-  const r = new LocalReranker({
-    scorePair: async () => 0.5,
-    logger: { warn: (m) => warns.push(m), info: () => {} }
-  });
-  await r.rerank("查询", candidates(["a", "b", "c"]));
-  await r.rerank("查询", candidates(["a", "b", "c"]));
-  assert.equal(warns.length, 1, "constant-score batch warns exactly once across calls");
-  r.dispose();
-});
+import test from "node:test";
+import assert from "node:assert/strict";
+import { LocalReranker } from "../src/reranker.js";
+
+// 回归（issue #188）：Xenova/bge-reranker-base 是单 logit 交叉编码器——每个
+// (query, passage) 对只输出 1 个 logit。tc 策略此前在 cols===1 时把 l1 退化成
+// l0，sigmoid(l0 - l1) = sigmoid(0) = 0.5：所有候选分数恒为常量，重排静默失效
+// （不抛错、日志照常 ready、语义状态照常 reranker="ready"，只有分数是死的）。
+// 单 logit 头的正类概率是 sigmoid(logit)；sigmoid(l1 - l0) 只对双 logit 头
+// （num_labels=2 的导出，如 bge-reranker-v2-m3）成立。修复后按 cols 分支，
+// 两路各有回归；另加「分数全等 → warn 一次」的静默失效绊线。
+
+function sigmoid(x) {
+  return 1 / (1 + Math.exp(-x));
+}
+
+function candidates(ids) {
+  return ids.map((id) => ({ id, title: `T-${id}`, content: `C-${id}` }));
+}
+
+// 只支持 text-classification 的假引擎：cascade 先试 "rerank"（transformers
+// 4.2.0 无此任务，真机上也必然先失败），随后落到 tc。
+function makeTcFactory(dims, data) {
+  return async (task) => {
+    if (task === "rerank") throw new Error("unsupported task: rerank");
+    assert.equal(task, "text-classification");
+    return {
+      tokenizer: (texts, _opts) => ({ texts }),
+      model: async (inputs) => ({ logits: { dims, data: Float64Array.from(data.slice(0, inputs.texts.length * dims[1])) } })
+    };
+  };
+}
+
+test("#188: single-logit head scores sigmoid(logit) instead of constant 0.5", async () => {
+  // 报告的实测 logits：相关 -0.556、无关 -10.193，区分度近 10——模型判断得
+  // 很好，只是旧公式把它们全抹成 0.5000。
+  const r = new LocalReranker({
+    engineFactory: makeTcFactory([3, 1], [-0.5561, -10.193, 8.7])
+  });
+  await r.init();
+  const out = await r.rerank("查询", candidates(["rel", "noise", "hit"]));
+  // sigmoid(-0.5561)≈0.3645 保留；sigmoid(-10.193)≈3.7e-5 被 0.1 阈值滤掉；
+  // sigmoid(8.7)≈0.9998 居首。修复前三者全 0.5、顺序不变。
+  assert.deepEqual(out.map((x) => x.id), ["hit", "rel"]);
+  assert.ok(Math.abs(out[0].score - sigmoid(8.7)) < 1e-6, "hit = sigmoid(logit)");
+  assert.ok(Math.abs(out[1].score - sigmoid(-0.5561)) < 1e-6, "rel = sigmoid(logit)");
+  r.dispose();
+});
+
+test("#188: dual-logit head keeps softmax-positive-class semantics", async () => {
+  // l0=-2,l1=2 → sigmoid(4)；l0=1,l1=1.5 → sigmoid(0.5)——与原实现逐字节等价。
+  const r = new LocalReranker({
+    engineFactory: makeTcFactory([2, 2], [-2, 2, 1, 1.5])
+  });
+  await r.init();
+  const out = await r.rerank("查询", candidates(["a", "b"]));
+  assert.deepEqual(out.map((x) => x.id), ["a", "b"]);
+  assert.ok(Math.abs(out[0].score - sigmoid(4)) < 1e-6);
+  assert.ok(Math.abs(out[1].score - sigmoid(0.5)) < 1e-6);
+  r.dispose();
+});
+
+test("#188: constant-score batch warns once (silent-failure tripwire)", async () => {
+  const warns = [];
+  const r = new LocalReranker({
+    scorePair: async () => 0.5,
+    logger: { warn: (m) => warns.push(m), info: () => {} }
+  });
+  await r.rerank("查询", candidates(["a", "b", "c"]));
+  await r.rerank("查询", candidates(["a", "b", "c"]));
+  assert.equal(warns.length, 1, "constant-score batch warns exactly once across calls");
+  r.dispose();
+});