dsh-livebench-panel 0.2.14 → 0.2.16

package/lib/client.js

@@ -539,10 +539,10 @@ window.__ModuleLoader__.load({
 									h("input", { className: c("input"), type: "number", min: 256, max: 32768, value: sel.maxTokens, onChange: setField("maxTokens") }),
 								),
 								h("div", { className: c("field") },
-									h("label", { className: c("label") }, "题目序号范围（可选）"),
+									h("label", { className: c("label") }, "题目序号范围（可选，0 起，含首尾）"),
 									h("div", { className: c("row"), style: { flexWrap: "nowrap" } },
-										h("input", { className: c("input"), type: "number", min: 0, placeholder: "起", value: sel.begin, onChange: setField("begin"), style: { flex: "1", minWidth: "0" } }),
-										h("input", { className: c("input"), type: "number", min: 0, placeholder: "止", value: sel.end, onChange: setField("end"), style: { flex: "1", minWidth: "0" } }),
+										h("input", { className: c("input"), type: "number", min: 0, placeholder: "起（含）", title: "起始题号（0 起，包含该题）", value: sel.begin, onChange: setField("begin"), style: { flex: "1", minWidth: "0" } }),
+										h("input", { className: c("input"), type: "number", min: 0, placeholder: "止（含）", title: "结束题号（包含该题）；只填起不填止 = 从该题跑到底", value: sel.end, onChange: setField("end"), style: { flex: "1", minWidth: "0" } }),
 									),
 								h("div", { className: c("field") },
 									h("label", { className: c("label") }, "分类（可多选，不选 = 全部分类；括号内为该 release 下有效题数）"),
@@ -601,7 +601,7 @@ window.__ModuleLoader__.load({
 							h("div", { className: c("row") },
 								h("div", { className: c("cardHead") },
 									h("span", { className: c("label") }, `评测成绩（行 = 模型，列 = 任务）· ${sortedModels.length} 个模型 × ${matrix.tasks.length} 个任务`),
-									h("span", { className: c("hint") }, "分数 = 该任务平均分 ×100；括号 (-本次没做或没做完的题数/本次设定的题数)；× = 未执行该任务；— = 无有效判分（如全部访问失败，不计入正确率）；颜色 ≥75 绿 / 40–75 橙 / <40 红；拖 ⠿ 换行序（存在本机），点表头按模型名或时间排序。"),
+									h("span", { className: c("hint") }, "分数 = 该任务平均分 ×100；括号 (-没做或没做完的题数/用户选择的题数，即题目序号范围的题数)；× = 未执行该任务；— = 无有效判分（如全部访问失败，不计入正确率）；颜色 ≥75 绿 / 40–75 橙 / <40 红；拖 ⠿ 换行序（存在本机），点表头按模型名或时间排序。"),
 								),
 								h("button", {
 									className: c("btn") + " " + c("btnDanger"),
@@ -683,21 +683,19 @@ window.__ModuleLoader__.load({
 													h("div", { className: c("cellSub") }, fmtTimeShort(startTime))),
 												matrix.tasks.map((taskKeyCol) => {
 													const row = matrix.cells.get(`${model}__@__${taskKeyCol}`);
-													// 单元格：上方正确率，下方 (-没做或没做完/本次设定题数)。
-													// 没做/没做完（访问失败、网络中断）不计入正确率分母。
+													// 单元格：上方正确率，下方 (-没做或没做完的题数/用户选择的题数)。
+													// 「用户选择的题数」= 题目序号范围选定的题数（end 含端点）。
 													// 该任务总题数不参与正确率计算，故不展示。
-													const configuredCol = row ? (row.configured ?? 0) : (matrix.taskTotals[taskKeyCol] ?? 0);
-													const sub = `(-${row ? (row.notDone ?? 0) : configuredCol}/${configuredCol})`;
 													const cls = c("cellScore") + (matrix.groupStart.has(taskKeyCol) ? " " + c("grpStart") : "");
 													if (!row) {
-														return h("td", { key: taskKeyCol, className: cls, title: `未执行该任务：本次设定 ${configuredCol} 题` },
-															h("div", { className: c("dim") }, "×"),
-															h("div", { className: c("cellSub") }, sub));
+														return h("td", { key: taskKeyCol, className: cls, title: "未执行该任务" },
+															h("div", { className: c("dim") }, "×"));
 													}
+													const sub = `(-${row.notDone ?? 0}/${row.configured ?? 0})`;
 													const allFailed = row.answered > 0 && row.errors >= row.answered;
 													const title = allFailed
-														? `本次设定 ${row.configured ?? 0} 题，其中 ${row.errors} 题全部访问失败（未做完），不计入正确率 ${sub}`
-														: `本次设定 ${row.configured ?? 0} 题，做完 ${row.done ?? 0} 题，没做/没做完 ${row.notDone ?? 0} 题 ${sub}` +
+														? `本次选择 ${row.configured ?? 0} 题，其中 ${row.errors} 题全部访问失败（未做完），不计入正确率 ${sub}`
+														: `本次选择 ${row.configured ?? 0} 题，做完 ${row.done ?? 0} 题，没做或没做完 ${row.notDone ?? 0} 题 ${sub}` +
 															(row.errors > 0 ? `（其中 ${row.errors} 题 API 失败）` : "");
 													if (allFailed || row.judged === 0) {
 														return h("td", { key: taskKeyCol, className: cls, title },
@@ -758,7 +756,7 @@ window.__ModuleLoader__.load({
 									h("tr", null, h("th", null, "分类 / 任务"), h("td", null,
 										"六大类共 18 个任务：coding（代码生成/补全）、math（竞赛数学等）、reasoning（空间推理/逻辑谜题）、language（拼写/连线/语义）、data_analysis（表格操作）、instruction_following（指令遵循）。首次验证推荐 language → typos。")),
 									h("tr", null, h("th", null, "题目序号范围"), h("td", null,
-										"从 0 起。冒烟测试填 0 到 2（只跑 3 题）；2 题得分噪声很大（对一题就是 0↔100 的波动），想看真实水平建议 20 题以上。")),
+										"从 0 起，起止都包含。冒烟测试填 0 到 2（跑 3 题）；只填「起」= 从该题跑到底。2 题得分噪声很大（对一题就是 0↔100 的波动），想看真实水平建议 20 题以上。")),
 									h("tr", null, h("th", null, "max-tokens"), h("td", null,
 										"单题回答的 token 上限，默认 32000。推理模型思考也占 token，不要低于 8192，否则思考被截断、答案为空会记 0 分。")),
 								),

package/lib/index.js

@@ -593,8 +593,12 @@ async function computeResults(dataDir) {
 		const judgedCount = entry?.n ?? 0;
 		// 做完的题 = 实际产出的有效答案（尝试数 - 访问失败数）
 		const done = Math.max(0, stat.answered - stat.errors);
-		// 设定题数 = 本次评测设定的范围（end 含端点）；没有元数据（历史数据）时用该任务的题目总数兜底
-		let configured = total;
+		// 选择题数 = 用户在「题目序号范围」里选择的题数（end 含端点）。
+		// 有元数据就直接用范围大小；没有元数据（历史数据）时用本次实际写入的答案行数兜底：
+		// LiveBench 会为范围内每一题写一行（访问失败也写 $ERROR$），所以跑完后
+		// answered 就等于本次选择的题数。绝不能用该任务总题数兜底 —— 用户只选了几题时
+		// 显示总题数毫无意义。
+		let configured = stat.answered;
 		const meta = runMeta.get(model);
 		if (meta !== undefined) {
 			const inScope = (meta.benchNames || []).some((bn) => {
@@ -830,7 +834,9 @@ function apply(ctx) {
 			args.push("--question-begin", String(asInt(body.begin, 0, 100000, 0)));
 		}
 		if (body.end !== undefined && body.end !== null && `${body.end}`.length > 0) {
-			args.push("--question-end", String(asInt(body.end, 0, 100000, 0)));
+			// 面板的「止」按用户直觉是闭区间；LiveBench 的 --question-end 是开区间
+			// （gen_api_answer.py: questions[begin:end]），这里 +1 对齐，否则实际少跑一题。
+			args.push("--question-end", String(asInt(body.end, 0, 100000, 0) + 1));
 		}
 		if (body.resume === true) args.push("--resume");
 		if (body.retryFailures === true) args.push("--retry-failures");
@@ -880,8 +886,9 @@ function apply(ctx) {
 			}
 		}
 
-		// 记录本次评测的配置范围：/results 用它计算每个任务的"设定题数"
-		// （未做/失败的题数 = 设定题数 - 实际产出的有效答案数）。
+		// 记录本次评测的配置范围：/results 用它计算每个任务的"选择题数"。
+		// 注意 begin/end 存的是面板上的原始输入（闭区间，含首尾），
+		// 供 computeResults 算 end - begin + 1；传给 LiveBench 时 end 已 +1。
 		try {
 			const metaDir = join(layout.dataDir, ".dsh_runs");
 			if (!existsSync(metaDir)) mkdirSync(metaDir, { recursive: true });

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.2.14",
-  "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
+  "version": "0.2.16",
+  "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of ??/??). Run LiveBench evaluations against every model configured in the DeepSeek Harness ? pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
   "license": "MIT",
   "type": "module",
   "main": "lib/index.js",