dsh-livebench-panel 0.2.20 → 0.2.22

package/lib/client.js

@@ -578,7 +578,7 @@ window.__ModuleLoader__.load({
 								),
 								h("div", { className: c("field") },
 									h("label", { className: c("label") }, "max-tokens（默认 32000）"),
-									h("input", { className: c("input"), type: "number", min: 256, max: 32768, value: sel.maxTokens, onChange: setField("maxTokens") }),
+									h("input", { className: c("input"), type: "number", min: 256, max: 200000, value: sel.maxTokens, onChange: setField("maxTokens"), title: "单题输出上限。推理模型在难题上容易把预算全花在思考里、正文为空（成绩表括号里记为「没做出来」），这类题可以把上限调大后重跑。" }),
 								),
 								h("div", { className: c("field") },
 									h("label", { className: c("label") }, "题目序号范围（可选，0 起，含首尾）"),
@@ -795,12 +795,24 @@ window.__ModuleLoader__.load({
 															h("div", { className: c("dim") }, "×"));
 													}
 													const sub = `(-${row.notDone ?? 0}/${row.configured ?? 0})`;
-													const allFailed = row.answered > 0 && row.errors >= row.answered;
+													const emptyCount = row.empty ?? 0;
+													// 「没做出来」= API 失败 + 空答案（思考吃满 max-tokens 没产出正文），
+													// 两者都不进正确率分母
+													const notProduced = row.notProduced ?? row.errors ?? 0;
+													const allFailed = row.answered > 0 && notProduced >= row.answered;
 													const basePrefix = row.baselineLabel ? `【${row.baselineLabel}】` : "";
+													const reasons = [
+														row.errors > 0 ? `${row.errors} 题 API 失败` : null,
+														emptyCount > 0 ? `${emptyCount} 题思考占满 max-tokens、未产出答案` : null,
+													].filter(Boolean).join("，");
+													const missing = Array.isArray(row.missingIndexes) ? row.missingIndexes : null;
+													const missingText = missing !== null && missing.length > 0
+														? `\n没做出来的题号（0 起，可复制去重跑）：${missing.join("、")}`
+														: "";
 													const title = basePrefix + (allFailed
-														? `本次选择 ${row.configured ?? 0} 题，其中 ${row.errors} 题全部访问失败（未做完），不计入正确率 ${sub}`
-														: `本次选择 ${row.configured ?? 0} 题，做完 ${row.done ?? 0} 题，没做或没做完 ${row.notDone ?? 0} 题 ${sub}` +
-															(row.errors > 0 ? `（其中 ${row.errors} 题 API 失败）` : ""));													if (allFailed || row.judged === 0) {
+														? `本次选择 ${row.configured ?? 0} 题，全部没做出来（${reasons}），不计入正确率 ${sub}`
+														: `本次选择 ${row.configured ?? 0} 题，做出来 ${row.done ?? 0} 题，没做出来 ${row.notDone ?? 0} 题 ${sub}`
+															+ (reasons ? `（其中 ${reasons}）` : "")) + missingText;													if (allFailed || row.judged === 0) {
 														return h("td", { key: taskKeyCol, className: cls, title },
 															h("div", { className: c("dim") }, "—"),
 															h("div", { className: c("cellSub") }, sub));

package/lib/index.js

@@ -610,6 +610,50 @@ function parseAnswerLineLight(line) {
  */
 let resultsCache = { at: 0, data: null };
 
+/**
+ * 答案行是否"没产出内容"。
+ *
+ * 两类：
+ *   1. `eval_status: token_exhaustion` —— 推理模型把 max_tokens 全烧在思考上，正文为空；
+ *   2. `turns` / `choices` 是空串或空数组 —— 上游 200 但没给内容。
+ *
+ * 这两种都不是"做错了"，而是**没做出来**，不该进正确率的分母（用户口径：
+ * 做对的题 / 做出来的题）。它们也不是 $ERROR$（那是 API 失败），所以单列一类。
+ *
+ * 用正则直接扫原始行，避免为了判定空答案去 JSON.parse 上百万字节的答案文件。
+ */
+const EMPTY_ANSWER_RE = /"eval_status"\s*:\s*"token_exhaustion"|"turns"\s*:\s*\[\s*(?:""\s*)?\]|"choices"\s*:\s*\[\s*""\s*\]/;
+function isEmptyAnswerLine(line) {
+	return EMPTY_ANSWER_RE.test(line);
+}
+
+/** 从答案行里抽 question_id（只做正则，不 JSON.parse）。 */
+const QUESTION_ID_RE = /"question_id"\s*:\s*"([A-Za-z0-9_.:-]{8,120})"/;
+
+/**
+ * Baseline 评测里"没做出来的题号"。
+ *
+ * 编号是 **该题库内的 0 起下标**，与「题目序号范围」的编号一致，所以可以直接复制去重跑。
+ * 范围先按题库实际题数裁剪 —— 「0-1000」这种越界输入不会把编号算歪（基准永远是实际题数）。
+ *
+ * @param {object|undefined} meta 运行元数据（需要 baselineIds / begin / end）
+ * @param {Set<string>} seen 答案文件里实际出现的 question_id
+ * @returns {number[]|null} 不是 baseline 运行时返回 null
+ */
+function missingBaselineIndexes(meta, seen) {
+	if (!meta || !Array.isArray(meta.baselineIds) || meta.baselineIds.length === 0) return null;
+	const ids = meta.baselineIds;
+	const hasBegin = meta.begin !== null && meta.begin !== undefined;
+	const hasEnd = meta.end !== null && meta.end !== undefined;
+	const from = hasBegin ? Math.max(0, Math.min(ids.length, Number(meta.begin))) : 0;
+	const to = hasEnd ? Math.max(0, Math.min(ids.length, Number(meta.end) + 1)) : ids.length;
+	const out = [];
+	for (let i = from; i < Math.max(from, to); i += 1) {
+		if (!seen.has(ids[i])) out.push(i);
+	}
+	return out;
+}
+
 async function readTextFileAsync(path) {
 	const fsPromises = await import("node:fs/promises");
 	try {
@@ -651,11 +695,21 @@ async function computeResults(dataDir) {
 				const text = await readTextFileAsync(join(answerDir, file));
 				if (text === null) continue;
 				const key = `${model}\u0000${task}`;
-				const stat = answers.get(key) ?? { answered: 0, errors: 0 };
+				const stat = answers.get(key) ?? { answered: 0, errors: 0, empty: 0, seen: null };
+				// baseline 评测要回答"少做了哪几个题"，所以需要收集实际出现的 question_id。
+				// 只用正则抽 id（不 JSON.parse），对几百 KB～几 MB 的答案文件也够快。
+				const runMetaEntry = runMeta.get(model);
+				const trackIds = runMetaEntry && Array.isArray(runMetaEntry.baselineIds) && runMetaEntry.baselineIds.length > 0;
+				if (trackIds && stat.seen === null) stat.seen = new Set();
 				for (const line of text.split("\n")) {
 					if (line.trim().length === 0) continue;
 					stat.answered += 1;
 					if (line.includes('"$ERROR$"')) stat.errors += 1;
+					else if (isEmptyAnswerLine(line)) stat.empty += 1;
+					if (trackIds) {
+						const idMatch = line.match(QUESTION_ID_RE);
+						if (idMatch !== null) stat.seen.add(idMatch[1]);
+					}
 				}
 				// 空文件（尚未产出答案，或成绩已被删除只留下 0 字节壳）不计入结果：
 				// 否则删掉的记录会在下一次扫描时凭“文件名仍在”重新冒出来。
@@ -691,8 +745,13 @@ async function computeResults(dataDir) {
 		const category = entry?.category ?? catByTask.get(task) ?? "";
 		const total = totals.get(task) ?? 0;
 		const judgedCount = entry?.n ?? 0;
-		// 做完的题 = 实际产出的有效答案（尝试数 - 访问失败数）
-		const done = Math.max(0, stat.answered - stat.errors);
+		// 「做出来」的题 = 尝试数 - API 失败 - 空答案。
+		// 关键：思考吃满 max_tokens、正文为空的题属于"没做出来"，不是"做错了"，
+		// 必须从正确率分母里剔除，否则一个模型 8 题里只答出 1 题（0.9167 分）
+		// 会被算成 11.5% 而不是 91.7%。
+		const empty = stat.empty ?? 0;
+		const notProduced = stat.errors + empty;
+		const done = Math.max(0, stat.answered - notProduced);
 		// 选择题数 = 用户在「题目序号范围」里选择的题数（end 含端点）。
 		// 有元数据就直接用范围大小；没有元数据（历史数据）时用本次实际写入的答案行数兜底：
 		// LiveBench 会为范围内每一题写一行（访问失败也写 $ERROR$），所以跑完后
@@ -727,9 +786,12 @@ async function computeResults(dataDir) {
 		// 实际尝试数比设定还多（断点重跑等）时，以实际为准
 		if (configured < stat.answered) configured = stat.answered;
 		const notDone = Math.max(0, configured - done);
-		// 正确率 = 做对的题 / 已判分的做完题（访问失败/未做的题不计入分母）
-		const judgedDone = Math.max(0, judgedCount - stat.errors);
+		// 正确率 = 做对的题 / **做出来的题**（API 失败、思考吃满 token 没产出答案的都不进分母）
+		const judgedDone = Math.max(0, judgedCount - notProduced);
 		const score = entry && judgedDone > 0 ? (entry.sum / judgedDone) * 100 : null;
+		// Baseline 评测：算出**具体哪几个题号没做出来**（题号 = 该题库内的 0 起下标，
+		// 与「题目序号范围」的编号一致，方便直接复制去重跑）。
+		const missingIndexes = missingBaselineIndexes(meta, stat.seen ?? new Set());
 		return {
 			model,
 			category,
@@ -740,9 +802,13 @@ async function computeResults(dataDir) {
 			time: entry && entry.time > 0 ? entry.time : null,
 			answered: stat.answered,
 			errors: stat.errors,
+			empty,
+			notProduced,
 			done,
 			configured,
 			notDone,
+			// baseline 专有：没做出来的题号（0 起，相对该题库）
+			missingIndexes,
 			// 本次运行的开始时间（ISO）；旧数据没有元数据时为 null，前端退回解析 displayName 里的运行戳
 			runStartedAt: meta !== undefined && typeof meta.startedAt === "string" ? meta.startedAt : null,
 			// 非 null 表示这一行跑的是 Baseline 题库子集，不是该任务全量
@@ -974,7 +1040,10 @@ function apply(ctx) {
 			"--bench-name",
 			...(benchNames !== null ? benchNames : [benchParts.join("/")]),
 			"--livebench-release-option", release,
-			"--max-tokens", String(asInt(body.maxTokens, 256, 32768, 32000)),
+			// 上限放到 200k：推理模型在难题上会把 max_tokens 全烧在思考里，正文为空
+			// （eval_status=token_exhaustion），此时"做不出来"其实是预算不够而不是能力不够。
+			// 旧上限 32768 在 olympiad 这类题上会直接把参考模型卡死。
+			"--max-tokens", String(asInt(body.maxTokens, 256, 200000, 32000)),
 			"--parallel-requests", String(asInt(body.parallel, 1, 8, 1)),
 			// 流式：中转网关（Cloudflare 等）对非流式请求有 ~100s 超时（524），
 			// 高推理强度模型思考数分钟必然超时。流式保持字节流动可规避。
@@ -1065,6 +1134,8 @@ function apply(ctx) {
 				baselineTask: baselinePick !== null ? baselinePick.task : null,
 				baselinePicks: baselinePick !== null ? baselinePick.picks : null,
 				baselineSize: baselinePick !== null ? baselinePick.ids.length : null,
+				// 实际使用的有序 id 列表：/results 靠它算出"少做了哪几题"
+				baselineIds: baselinePick !== null ? baselinePick.ids : null,
 				startedAt: new Date().toISOString(),
 			}), "utf8");
 		} catch { /* 元数据写入失败不影响评测 */ }
@@ -1406,4 +1477,4 @@ function apply(ctx) {
 	}), `${name}: delete route`);
 }
 
-export { name, inject, apply, writeGeneratedModelConfig, readProviders, validateBenchName, clampedRangeLength, releaseQuestionCount };
+export { name, inject, apply, writeGeneratedModelConfig, readProviders, validateBenchName, clampedRangeLength, releaseQuestionCount, isEmptyAnswerLine, missingBaselineIndexes };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.2.20",
+  "version": "0.2.22",
   "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place. Ships a Baseline probe set built from the questions a reference model cannot solve.",
   "license": "MIT",
   "author": "cszr (Vithrive)",