dsh-livebench-panel 0.2.13 → 0.2.15

package/README.md

@@ -48,7 +48,7 @@ cd livebench
   - 强度编码进 display-name（如 `code-gpt__gpt-5.6-sol@high`），**不同强度在成绩表中是独立条目**，可直接对比。
 - **参数下拉框**：题集 release（LiveBench 全部 releases）、分类（coding/math/reasoning/language/data_analysis/instruction_following）、任务（随分类联动）、题目序号范围、max-tokens。
 - **运行控制**：开始 / 停止 / 刷新；最多 9 个模型并发评测（每个模型同时只跑 1 次）；实时滚动日志（每 2.5s 轮询）；「刷新」会清掉已结束的运行日志。
-- **成绩表**：直接读取 `data/live_bench/**/model_judgment/ground_truth_judgment.jsonl` 计算 模型 × 任务 平均分（分数 = 正确率 ×100，附已判/总题数），无需等 LiveBench 自己出榜。支持按模型名/时间排序、拖 ⠿ 自定义行序、勾选或单行按钮删除成绩（删除会同时清掉该模型的答案与判分行；只有空壳文件的“幽灵行”不会再被扫描出来，删除结果稳定持久）。
+- **成绩表**：直接读取 `data/live_bench/**/model_judgment/ground_truth_judgment.jsonl` 计算 模型 × 任务 平均分（分数 = 正确率 ×100，单元格下方括号标注「本次没做或没做完的题数 / 本次设定的题数」），无需等 LiveBench 自己出榜。支持按模型名/时间排序、拖 ⠿ 自定义行序、勾选或单行按钮删除成绩（删除会同时清掉该模型的答案与判分行；只有空壳文件的“幽灵行”不会再被扫描出来，删除结果稳定持久）。
 
 ## 依赖
 

package/lib/client.js

@@ -601,7 +601,7 @@ window.__ModuleLoader__.load({
 							h("div", { className: c("row") },
 								h("div", { className: c("cardHead") },
 									h("span", { className: c("label") }, `评测成绩（行 = 模型，列 = 任务）· ${sortedModels.length} 个模型 × ${matrix.tasks.length} 个任务`),
-									h("span", { className: c("hint") }, "分数 = 该任务平均分 ×100；括号 (-没做或没做完/本次设定/该任务总题数)；× = 未执行该任务；— = 无有效判分（如全部访问失败，不计入正确率）；颜色 ≥75 绿 / 40–75 橙 / <40 红；拖 ⠿ 换行序（存在本机），点表头按模型名或时间排序。"),
+									h("span", { className: c("hint") }, "分数 = 该任务平均分 ×100；括号 (-没做或没做完的题数/用户选择的题数，即题目序号范围的题数)；× = 未执行该任务；— = 无有效判分（如全部访问失败，不计入正确率）；颜色 ≥75 绿 / 40–75 橙 / <40 红；拖 ⠿ 换行序（存在本机），点表头按模型名或时间排序。"),
 								),
 								h("button", {
 									className: c("btn") + " " + c("btnDanger"),
@@ -683,20 +683,19 @@ window.__ModuleLoader__.load({
 													h("div", { className: c("cellSub") }, fmtTimeShort(startTime))),
 												matrix.tasks.map((taskKeyCol) => {
 													const row = matrix.cells.get(`${model}__@__${taskKeyCol}`);
-													// 单元格：上方正确率，下方 (-没做/设定/总)。
-													// 没做/没做完（访问失败、网络中断）不计入正确率分母。
-													const totalCol = row ? row.total : (matrix.taskTotals[taskKeyCol] ?? 0);
-												const sub = `(-${row ? (row.notDone ?? 0) : totalCol}/${row ? (row.configured ?? 0) : totalCol}/${totalCol})`;
+													// 单元格：上方正确率，下方 (-没做或没做完的题数/用户选择的题数)。
+													// 「用户选择的题数」= 题目序号范围选定的题数（end 含端点）。
+													// 该任务总题数不参与正确率计算，故不展示。
 													const cls = c("cellScore") + (matrix.groupStart.has(taskKeyCol) ? " " + c("grpStart") : "");
 													if (!row) {
-														return h("td", { key: taskKeyCol, className: cls, title: `未执行该任务：${sub}` },
-															h("div", { className: c("dim") }, "×"),
-															h("div", { className: c("cellSub") }, sub));
+														return h("td", { key: taskKeyCol, className: cls, title: "未执行该任务" },
+															h("div", { className: c("dim") }, "×"));
 													}
+													const sub = `(-${row.notDone ?? 0}/${row.configured ?? 0})`;
 													const allFailed = row.answered > 0 && row.errors >= row.answered;
 													const title = allFailed
-														? `该任务 ${row.errors} 题全部访问失败（未做完），不计入正确率 ${sub}`
-														: `做完 ${row.done ?? 0} 题，没做/失败 ${row.notDone ?? 0} 题 ${sub}` +
+														? `本次选择 ${row.configured ?? 0} 题，其中 ${row.errors} 题全部访问失败（未做完），不计入正确率 ${sub}`
+														: `本次选择 ${row.configured ?? 0} 题，做完 ${row.done ?? 0} 题，没做或没做完 ${row.notDone ?? 0} 题 ${sub}` +
 															(row.errors > 0 ? `（其中 ${row.errors} 题 API 失败）` : "");
 													if (allFailed || row.judged === 0) {
 														return h("td", { key: taskKeyCol, className: cls, title },

package/lib/index.js

@@ -593,8 +593,12 @@ async function computeResults(dataDir) {
 		const judgedCount = entry?.n ?? 0;
 		// 做完的题 = 实际产出的有效答案（尝试数 - 访问失败数）
 		const done = Math.max(0, stat.answered - stat.errors);
-		// 设定题数 = 本次评测设定的范围（end 含端点）；没有元数据（历史数据）时用该任务的题目总数兜底
-		let configured = total;
+		// 选择题数 = 用户在「题目序号范围」里选择的题数（end 含端点）。
+		// 有元数据就直接用范围大小；没有元数据（历史数据）时用本次实际写入的答案行数兜底：
+		// LiveBench 会为范围内每一题写一行（访问失败也写 $ERROR$），所以跑完后
+		// answered 就等于本次选择的题数。绝不能用该任务总题数兜底 —— 用户只选了几题时
+		// 显示总题数毫无意义。
+		let configured = stat.answered;
 		const meta = runMeta.get(model);
 		if (meta !== undefined) {
 			const inScope = (meta.benchNames || []).some((bn) => {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.2.13",
+  "version": "0.2.15",
   "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
   "license": "MIT",
   "type": "module",