dsh-livebench-panel 0.2.22 → 0.2.24

package/lib/index.js

@@ -630,26 +630,66 @@ function isEmptyAnswerLine(line) {
 /** 从答案行里抽 question_id（只做正则，不 JSON.parse）。 */
 const QUESTION_ID_RE = /"question_id"\s*:\s*"([A-Za-z0-9_.:-]{8,120})"/;
 
+/**
+ * 「题目序号范围」的边界是否真的设了。
+ *
+ * 注意：面板表单里没填时提交的是**空字符串**，不是 null。旧代码只判 `!== null/undefined`，
+ * 于是 `""` 被当成"设了范围"，`Number("") === 0` → 范围变成 0..0，只检查第 0 题。
+ */
+function isRangeBoundSet(value) {
+	return value !== null && value !== undefined && String(value).trim().length > 0;
+}
+
+/** 把范围边界规范成 number 或 null（空串一律当没设）。 */
+function normalizeRangeBound(value) {
+	return isRangeBoundSet(value) ? Number(value) : null;
+}
+
+/**
+ * 取某次运行的 baseline 有序 id 列表。
+ * 新元数据直接读 baselineIds；老元数据（加字段之前启动的运行）从
+ * baseline / baselineTask / baselinePicks 反查 BASELINE_SETS 还原。
+ * @returns {string[]|null}
+ */
+function baselineIdsFor(meta) {
+	if (!meta) return null;
+	if (Array.isArray(meta.baselineIds) && meta.baselineIds.length > 0) return meta.baselineIds;
+	const set = typeof meta.baseline === "string" ? BASELINE_SETS[meta.baseline] : null;
+	const taskDef = set && typeof meta.baselineTask === "string"
+		? (set.tasks ?? []).find((t) => t.task === meta.baselineTask) ?? null
+		: null;
+	if (!taskDef || !Array.isArray(meta.baselinePicks) || meta.baselinePicks.length === 0) return null;
+	const merged = [];
+	for (const pick of meta.baselinePicks) {
+		if (pick !== "passed" && pick !== "failed") continue;
+		for (const qid of taskDef[pick]) if (!merged.includes(qid)) merged.push(qid);
+	}
+	return merged.length > 0 ? merged : null;
+}
+
 /**
  * Baseline 评测里"没做出来的题号"。
  *
- * 编号是 **该题库内的 0 起下标**，与「题目序号范围」的编号一致，所以可以直接复制去重跑。
+ * 「没做出来」= 压根没跑 + 跑了但空答案（思考吃满 max-tokens）+ 跑了但 API 失败，
+ * 因为它们都该从正确率分母里排除，也都是用户想补跑的题。
+ *
+ * 编号是 **该题库内的 0 起下标**，与「题目序号范围」的编号一致，可以直接复制去重跑。
  * 范围先按题库实际题数裁剪 —— 「0-1000」这种越界输入不会把编号算歪（基准永远是实际题数）。
  *
- * @param {object|undefined} meta 运行元数据（需要 baselineIds / begin / end）
- * @param {Set<string>} seen 答案文件里实际出现的 question_id
+ * @param {object|undefined} meta 运行元数据（baselineIds，或可由 baseline 反查）
+ * @param {Set<string>} okIds 答案文件里有**有效答案**的 question_id
  * @returns {number[]|null} 不是 baseline 运行时返回 null
  */
-function missingBaselineIndexes(meta, seen) {
-	if (!meta || !Array.isArray(meta.baselineIds) || meta.baselineIds.length === 0) return null;
-	const ids = meta.baselineIds;
-	const hasBegin = meta.begin !== null && meta.begin !== undefined;
-	const hasEnd = meta.end !== null && meta.end !== undefined;
+function missingBaselineIndexes(meta, okIds) {
+	const ids = baselineIdsFor(meta);
+	if (ids === null) return null;
+	const hasBegin = isRangeBoundSet(meta.begin);
+	const hasEnd = isRangeBoundSet(meta.end);
 	const from = hasBegin ? Math.max(0, Math.min(ids.length, Number(meta.begin))) : 0;
 	const to = hasEnd ? Math.max(0, Math.min(ids.length, Number(meta.end) + 1)) : ids.length;
 	const out = [];
 	for (let i = from; i < Math.max(from, to); i += 1) {
-		if (!seen.has(ids[i])) out.push(i);
+		if (!okIds.has(ids[i])) out.push(i);
 	}
 	return out;
 }
@@ -695,20 +735,24 @@ async function computeResults(dataDir) {
 				const text = await readTextFileAsync(join(answerDir, file));
 				if (text === null) continue;
 				const key = `${model}\u0000${task}`;
-				const stat = answers.get(key) ?? { answered: 0, errors: 0, empty: 0, seen: null };
-				// baseline 评测要回答"少做了哪几个题"，所以需要收集实际出现的 question_id。
+				const stat = answers.get(key) ?? { answered: 0, errors: 0, empty: 0, okIds: null };
+				// baseline 评测要回答"少做了哪几个题"，所以需要收集**有有效答案**的 question_id。
+				// 「没做出来」= 压根没跑 + 跑了但空答案 + 跑了但 API 失败，三者都算，
+				// 因为它们都该从正确率分母里排除，也都是用户想补跑的题。
 				// 只用正则抽 id（不 JSON.parse），对几百 KB～几 MB 的答案文件也够快。
 				const runMetaEntry = runMeta.get(model);
-				const trackIds = runMetaEntry && Array.isArray(runMetaEntry.baselineIds) && runMetaEntry.baselineIds.length > 0;
-				if (trackIds && stat.seen === null) stat.seen = new Set();
+				const trackIds = baselineIdsFor(runMetaEntry) !== null;
+				if (trackIds && stat.okIds === null) stat.okIds = new Set();
 				for (const line of text.split("\n")) {
 					if (line.trim().length === 0) continue;
 					stat.answered += 1;
-					if (line.includes('"$ERROR$"')) stat.errors += 1;
-					else if (isEmptyAnswerLine(line)) stat.empty += 1;
-					if (trackIds) {
+					const isError = line.includes('"$ERROR$"');
+					const isEmpty = !isError && isEmptyAnswerLine(line);
+					if (isError) stat.errors += 1;
+					else if (isEmpty) stat.empty += 1;
+					if (trackIds && !isError && !isEmpty) {
 						const idMatch = line.match(QUESTION_ID_RE);
-						if (idMatch !== null) stat.seen.add(idMatch[1]);
+						if (idMatch !== null) stat.okIds.add(idMatch[1]);
 					}
 				}
 				// 空文件（尚未产出答案，或成绩已被删除只留下 0 字节壳）不计入结果：
@@ -776,10 +820,14 @@ async function computeResults(dataDir) {
 					? Number(meta.baselineSize)
 					: null;
 				const scopeTotal = baselineTotal ?? byRelease ?? total;
-				const hasRange = meta.begin !== null && meta.begin !== undefined && meta.end !== null && meta.end !== undefined;
+				const hasRange = isRangeBoundSet(meta.begin) && isRangeBoundSet(meta.end);
 				if (hasRange) {
 					const len = clampedRangeLength(scopeTotal, Number(meta.begin), Number(meta.end));
 					if (len !== null) configured = len;
+				} else if (baselineTotal !== null) {
+					// baseline 且没设范围 = 整个题库，所以"选择题数"恒等于题库大小，
+					// 而不是当前已答题数（否则跑到一半会显示"选择 6 题"）
+					configured = baselineTotal;
 				}
 			}
 		}
@@ -791,7 +839,7 @@ async function computeResults(dataDir) {
 		const score = entry && judgedDone > 0 ? (entry.sum / judgedDone) * 100 : null;
 		// Baseline 评测：算出**具体哪几个题号没做出来**（题号 = 该题库内的 0 起下标，
 		// 与「题目序号范围」的编号一致，方便直接复制去重跑）。
-		const missingIndexes = missingBaselineIndexes(meta, stat.seen ?? new Set());
+		const missingIndexes = missingBaselineIndexes(meta, stat.okIds ?? new Set());
 		return {
 			model,
 			category,
@@ -1084,6 +1132,19 @@ function apply(ctx) {
 			// livebench import (shortuuid etc.).
 			PATH: `${join(layout.root, ".venv", "Scripts")}${delimiter}${process.env.PATH ?? ""}`,
 		};
+		// 丢掉从 dsh web 进程继承来的虚拟环境标记。
+		//
+		// run_livebench.py 会读 VIRTUAL_ENV 并执行 `source <VIRTUAL_ENV>/bin/activate`：
+		// 那是 Unix 路径 + Unix 语法，Windows 上必然失败；更糟的是它接着用写死的 ':'
+		// 去拼 PATH，把上面刚前置好的 venv Scripts 条目粘成无效路径，于是后面裸调的
+		// `python` 回退到系统/conda 解释器，报 `No module named 'shortuuid'`。
+		//
+		// 本机常见触发场景：dsh web 是从一个 conda 已激活的终端启动的（例如
+		// VIRTUAL_ENV=D:\...\Anaconda3\envs\mineru）。面板自己已经把正确的 venv 放在
+		// PATH 最前，不需要任何 activate，所以这里直接删掉这两个标记。
+		delete env.VIRTUAL_ENV;
+		delete env.CONDA_PREFIX;
+		delete env.CONDA_DEFAULT_ENV;
 		// Provider routing: keys are resolved through the harness credential seam
 		// when available (values may live encrypted in .credentials.yaml rather
 		// than in the process env), falling back to the plain environment
@@ -1121,8 +1182,9 @@ function apply(ctx) {
 			if (!existsSync(metaDir)) mkdirSync(metaDir, { recursive: true });
 			writeFileSync(join(metaDir, displayName + ".json"), JSON.stringify({
 				benchNames: benchNames !== null ? benchNames : [benchParts.join("/")],
-				begin: body.begin ?? null,
-				end: body.end ?? null,
+				// 空串要存成 null：否则读取端会把「没填」当成"范围 0..0"
+				begin: normalizeRangeBound(body.begin),
+				end: normalizeRangeBound(body.end),
 				// 算"本次设定题数"要用 release 过滤后的有效题数来裁剪边界，所以必须记下来
 				release,
 				// baseline 评测标出来：成绩表里同一列会混着"全量"和"题库子集"两种分数，
@@ -1477,4 +1539,4 @@ function apply(ctx) {
 	}), `${name}: delete route`);
 }
 
-export { name, inject, apply, writeGeneratedModelConfig, readProviders, validateBenchName, clampedRangeLength, releaseQuestionCount, isEmptyAnswerLine, missingBaselineIndexes };
+export { name, inject, apply, writeGeneratedModelConfig, readProviders, validateBenchName, clampedRangeLength, releaseQuestionCount, isEmptyAnswerLine, missingBaselineIndexes, baselineIdsFor };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.2.22",
+  "version": "0.2.24",
   "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place. Ships a Baseline probe set built from the questions a reference model cannot solve.",
   "license": "MIT",
   "author": "cszr (Vithrive)",