dsh-livebench-panel 0.1.3 → 0.1.5

package/lib/client.js

@@ -36,7 +36,16 @@ window.__ModuleLoader__.load({
 .dlb_notice{border-color:color-mix(in srgb,var(--dsw-alias-state-error-primary) 45%,transparent)}
 .dlb_noticeTitle{margin:0;font-size:13px;font-weight:600;color:var(--dsw-alias-state-error-primary)}
 .dlb_steps{margin:0;padding-left:18px;display:flex;flex-direction:column;gap:6px;font-size:12px;line-height:1.6;color:var(--dsw-alias-label-secondary)}
-.dlb_code{display:block;background:var(--dsw-alias-bg-layer-1);border:1px solid var(--dsw-alias-border-l2);border-radius:6px;color:var(--dsw-alias-label-primary);padding:4px 8px;margin-top:3px;font-family:ui-monospace,SFMono-Regular,Menlo,Consolas,monospace;font-size:11px;word-break:break-all;user-select:all}`;
+.dlb_code{display:block;background:var(--dsw-alias-bg-layer-1);border:1px solid var(--dsw-alias-border-l2);border-radius:6px;color:var(--dsw-alias-label-primary);padding:4px 8px;margin-top:3px;font-family:ui-monospace,SFMono-Regular,Menlo,Consolas,monospace;font-size:11px;word-break:break-all;user-select:all}
+.dlb_details{border:1px solid var(--dsw-alias-border-l2);border-radius:10px;background:var(--dsw-alias-bg-layer-2);padding:10px 14px}
+.dlb_details summary{cursor:pointer;font-size:12.5px;color:var(--dsw-alias-label-secondary);user-select:none}
+.dlb_details summary:hover{color:var(--dsw-alias-label-primary)}
+.dlb_details[open] summary{margin-bottom:10px;color:var(--dsw-alias-label-primary)}
+.dlb_helpTable{width:100%;border-collapse:collapse;font-size:12px}
+.dlb_helpTable th,.dlb_helpTable td{text-align:left;vertical-align:top;padding:5px 8px;border-bottom:1px solid var(--dsw-alias-border-l2)}
+.dlb_helpTable th{color:var(--dsw-alias-label-tertiary);font-weight:500;white-space:nowrap}
+.dlb_helpTable td{color:var(--dsw-alias-label-secondary);line-height:1.55}
+.dlb_helpP{margin:0 0 8px;font-size:12px;color:var(--dsw-alias-label-secondary);line-height:1.6}`;
 		const tagId = "dsh-livebench-panel/panel.css";
 		if (typeof document !== "undefined" && document.querySelector("style[data-plugin-css=" + JSON.stringify(tagId) + "]") === null) {
 			const tag = document.createElement("style");
@@ -151,8 +160,21 @@ window.__ModuleLoader__.load({
 			const categories = useMemo(() => (config ? Object.keys(config.tasks) : []), [config]);
 			const taskList = useMemo(() => {
 				if (!config || sel.category.length === 0) return [];
-				return config.tasks[sel.category] ?? [];
+				return Object.keys(config.tasks[sel.category] ?? {});
 			}, [config, sel.category]);
+			// 有效题数：LiveBench 会丢弃「发布晚于所选 release」和「在所选 release
+			// 前已退役」的题目，这里按题目桶 (发布日, 移除日) 精确复算。
+			const countFor = useCallback((category, task) => {
+				if (!config || category.length === 0) return null;
+				const meta = (config.tasks[category] ?? {})[task];
+				if (!meta || !Array.isArray(meta.buckets)) return null;
+				const option = sel.release;
+				return meta.buckets.reduce((sum, b) => {
+					const releasedOk = b.r !== "" && b.r <= option;
+					const notRemoved = b.rm === "" || b.rm > option;
+					return sum + (releasedOk && notRemoved ? b.n : 0);
+				}, 0);
+			}, [config, sel.release]);
 			const selectedProvider = useMemo(
 				() => (config ? config.providers.find((p) => p.id === sel.provider) ?? null : null),
 				[config, sel.provider],
@@ -168,6 +190,10 @@ window.__ModuleLoader__.load({
 
 			const onStart = async () => {
 				setStartError(null);
+				if (sel.category !== "" && sel.task !== "" && countFor(sel.category, sel.task) === 0) {
+					setStartError(`任务 ${sel.task} 在 release ${sel.release} 下没有可用题目（该批题目已退役）。请换一个 release 或任务。`);
+					return;
+				}
 				setBusy(true);
 				try {
 					const payload = await api("/start", {
@@ -263,7 +289,11 @@ window.__ModuleLoader__.load({
 							h("label", { className: c("label") }, "任务"),
 							h("select", { className: c("select"), value: sel.task, onChange: setField("task") },
 								h("option", { value: "" }, sel.category === "" ? "（先选分类）" : "全部任务"),
-								taskList.map((task) => h("option", { key: task, value: task }, task))),
+								taskList.map((task) => {
+									const n = countFor(sel.category, task);
+									const label = n === null ? task : `${task}（${n} 题）`;
+									return h("option", { key: task, value: task, disabled: n === 0 }, n === 0 ? `${task}（此release无题）` : label);
+								})),
 						),
 						h("div", { className: c("field") },
 							h("label", { className: c("label") }, "题目序号范围（可选）"),
@@ -326,7 +356,32 @@ window.__ModuleLoader__.load({
 							h("br", null),
 							"若装在其它目录：设置系统环境变量 ", h("code", { className: c("code") }, "DSH_LIVEBENCH_HOME=你的LiveBench目录"), " 后再重启 dsh web。"),
 					),
-					h("p", { className: c("hint") }, "更完整的说明见插件目录内 README：~\\.dsh\\plugins\\dsh-livebench-panel\\README.md"),
+					h("p", { className: c("hint") },
+						"除 LiveBench 外无需其它配置：评测所需的 API Key 会自动从 harness 凭据库读取并注入；npm 安装本插件时可一并执行 dsh plugin --profile web add dsh-livebench-panel。完整说明见插件目录内 README：~\\.dsh\\plugins\\dsh-livebench-panel\\README.md"),
+				),
+				h("details", { className: c("details") },
+					h("summary", null, "❓ 使用说明 · 选项含义与选择建议（点击展开）"),
+					h("p", { className: c("helpP") },
+						"操作流程：选择参数 → 点「开始评测」→ 日志区实时显示运行进度 → 结束后成绩表自动刷新（运行中可「停止」）。全部判分均为客观比对（文本/符号执行/测试用例），不使用 AI 评分。"),
+					h("table", { className: c("helpTable") },
+						h("thead", null, h("tr", null, h("th", null, "选项"), h("th", null, "含义与选择建议"))),
+						h("tbody", null,
+							h("tr", null, h("th", null, "模型"), h("td", null,
+								"harness 全部 provider 的全部模型（含内置 DeepSeek 官方）。API Key 自动从 harness 凭据库读取并注入，无需手工配置；名字带「·未接LiveBench」的 provider 无法自动路由，评测会按模型名原生尝试。")),
+							h("tr", null, h("th", null, "推理强度"), h("td", null,
+								"模型的思考深度（off=关闭思考）。强度会编码进条目名（如 glm-5.3@max），不同强度在成绩表中是独立条目，方便对比。想省成本选 low，追求质量选 high/max。")),
+							h("tr", null, h("th", null, "题集 release"), h("td", null,
+								"题目发布批次。推荐 2024-11-25（公开题目最全）。LiveBench 每月换题：新批次下老任务会陆续退役，任务下拉括号内就是该批次下的有效题数。")),
+							h("tr", null, h("th", null, "分类 / 任务"), h("td", null,
+								"六大类共 18 个任务：coding（代码生成/补全）、math（竞赛数学等）、reasoning（空间推理/逻辑谜题）、language（拼写/连线/语义）、data_analysis（表格操作）、instruction_following（指令遵循）。首次验证推荐 language → typos。")),
+							h("tr", null, h("th", null, "题目序号范围"), h("td", null,
+								"从 0 起。冒烟测试填 0 到 2（只跑 3 题）；2 题得分噪声很大（对一题就是 0↔100 的波动），想看真实水平建议 20 题以上。")),
+							h("tr", null, h("th", null, "max-tokens"), h("td", null,
+								"单题回答的 token 上限，默认 32000。推理模型思考也占 token，不要低于 8192，否则思考被截断、答案为空会记 0 分。")),
+						),
+					),
+					h("p", { className: c("helpP"), style: { marginTop: "10px" } },
+						"提示：回答为 $ERROR$ 表示该题 API 调用失败（网络/鉴权/参数问题）计 0 分，可在上方日志区查看具体错误；zebra_puzzle（逻辑谜题）是公认最难的任务，低分属正常现象。"),
 				),
 				h("p", { className: c("hint") },
 					"评分读取 LiveBench 的 ground_truth_judgment.jsonl；正式榜单可用 release 2024-11-25。多选题集请在「分类/任务」中缩小范围，避免长时间运行。"),

package/lib/index.js

@@ -227,18 +227,25 @@ function livebenchLayout() {
 function scanCategoryTasks(dataDir) {
 	const tasks = {};
 	if (!existsSync(dataDir)) return tasks;
-	let categoryDirs;
-	try {
-		categoryDirs = readDirSafe(dataDir);
-	} catch {
-		return tasks;
-	}
+	const categoryDirs = readDirSafe(dataDir);
 	for (const category of categoryDirs) {
 		const catDir = join(dataDir, category);
 		for (const task of readDirSafe(catDir)) {
-			if (existsSync(join(catDir, task, "question.jsonl"))) {
-				(tasks[category] ??= []).push(task);
+			const questionFile = join(catDir, task, "question.jsonl");
+			if (!existsSync(questionFile)) continue;
+			// Bucket questions by (release date, removal date) so the UI can
+			// compute how many questions survive a chosen release option:
+			// LiveBench drops questions released after the option and questions
+			// removed at or before the option.
+			const buckets = [];
+			for (const q of readJsonl(questionFile)) {
+				const r = typeof q.livebench_release_date === "string" ? q.livebench_release_date : "";
+				const rm = typeof q.livebench_removal_date === "string" ? q.livebench_removal_date : "";
+				const bucket = buckets.find((b) => b.r === r && b.rm === rm);
+				if (bucket) bucket.n += 1;
+				else buckets.push({ r, rm, n: 1 });
 			}
+			((tasks[category] ??= {})[task] = { buckets, total: buckets.reduce((sum, b) => sum + b.n, 0) });
 		}
 	}
 	return tasks;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.1.3",
+  "version": "0.1.5",
   "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
   "license": "MIT",
   "type": "module",