dsh-livebench-panel 0.1.4 → 0.1.5

package/lib/client.js

@@ -36,7 +36,16 @@ window.__ModuleLoader__.load({
 .dlb_notice{border-color:color-mix(in srgb,var(--dsw-alias-state-error-primary) 45%,transparent)}
 .dlb_noticeTitle{margin:0;font-size:13px;font-weight:600;color:var(--dsw-alias-state-error-primary)}
 .dlb_steps{margin:0;padding-left:18px;display:flex;flex-direction:column;gap:6px;font-size:12px;line-height:1.6;color:var(--dsw-alias-label-secondary)}
-.dlb_code{display:block;background:var(--dsw-alias-bg-layer-1);border:1px solid var(--dsw-alias-border-l2);border-radius:6px;color:var(--dsw-alias-label-primary);padding:4px 8px;margin-top:3px;font-family:ui-monospace,SFMono-Regular,Menlo,Consolas,monospace;font-size:11px;word-break:break-all;user-select:all}`;
+.dlb_code{display:block;background:var(--dsw-alias-bg-layer-1);border:1px solid var(--dsw-alias-border-l2);border-radius:6px;color:var(--dsw-alias-label-primary);padding:4px 8px;margin-top:3px;font-family:ui-monospace,SFMono-Regular,Menlo,Consolas,monospace;font-size:11px;word-break:break-all;user-select:all}
+.dlb_details{border:1px solid var(--dsw-alias-border-l2);border-radius:10px;background:var(--dsw-alias-bg-layer-2);padding:10px 14px}
+.dlb_details summary{cursor:pointer;font-size:12.5px;color:var(--dsw-alias-label-secondary);user-select:none}
+.dlb_details summary:hover{color:var(--dsw-alias-label-primary)}
+.dlb_details[open] summary{margin-bottom:10px;color:var(--dsw-alias-label-primary)}
+.dlb_helpTable{width:100%;border-collapse:collapse;font-size:12px}
+.dlb_helpTable th,.dlb_helpTable td{text-align:left;vertical-align:top;padding:5px 8px;border-bottom:1px solid var(--dsw-alias-border-l2)}
+.dlb_helpTable th{color:var(--dsw-alias-label-tertiary);font-weight:500;white-space:nowrap}
+.dlb_helpTable td{color:var(--dsw-alias-label-secondary);line-height:1.55}
+.dlb_helpP{margin:0 0 8px;font-size:12px;color:var(--dsw-alias-label-secondary);line-height:1.6}`;
 		const tagId = "dsh-livebench-panel/panel.css";
 		if (typeof document !== "undefined" && document.querySelector("style[data-plugin-css=" + JSON.stringify(tagId) + "]") === null) {
 			const tag = document.createElement("style");
@@ -347,7 +356,32 @@ window.__ModuleLoader__.load({
 							h("br", null),
 							"若装在其它目录：设置系统环境变量 ", h("code", { className: c("code") }, "DSH_LIVEBENCH_HOME=你的LiveBench目录"), " 后再重启 dsh web。"),
 					),
-					h("p", { className: c("hint") }, "更完整的说明见插件目录内 README：~\\.dsh\\plugins\\dsh-livebench-panel\\README.md"),
+					h("p", { className: c("hint") },
+						"除 LiveBench 外无需其它配置：评测所需的 API Key 会自动从 harness 凭据库读取并注入；npm 安装本插件时可一并执行 dsh plugin --profile web add dsh-livebench-panel。完整说明见插件目录内 README：~\\.dsh\\plugins\\dsh-livebench-panel\\README.md"),
+				),
+				h("details", { className: c("details") },
+					h("summary", null, "❓ 使用说明 · 选项含义与选择建议（点击展开）"),
+					h("p", { className: c("helpP") },
+						"操作流程：选择参数 → 点「开始评测」→ 日志区实时显示运行进度 → 结束后成绩表自动刷新（运行中可「停止」）。全部判分均为客观比对（文本/符号执行/测试用例），不使用 AI 评分。"),
+					h("table", { className: c("helpTable") },
+						h("thead", null, h("tr", null, h("th", null, "选项"), h("th", null, "含义与选择建议"))),
+						h("tbody", null,
+							h("tr", null, h("th", null, "模型"), h("td", null,
+								"harness 全部 provider 的全部模型（含内置 DeepSeek 官方）。API Key 自动从 harness 凭据库读取并注入，无需手工配置；名字带「·未接LiveBench」的 provider 无法自动路由，评测会按模型名原生尝试。")),
+							h("tr", null, h("th", null, "推理强度"), h("td", null,
+								"模型的思考深度（off=关闭思考）。强度会编码进条目名（如 glm-5.3@max），不同强度在成绩表中是独立条目，方便对比。想省成本选 low，追求质量选 high/max。")),
+							h("tr", null, h("th", null, "题集 release"), h("td", null,
+								"题目发布批次。推荐 2024-11-25（公开题目最全）。LiveBench 每月换题：新批次下老任务会陆续退役，任务下拉括号内就是该批次下的有效题数。")),
+							h("tr", null, h("th", null, "分类 / 任务"), h("td", null,
+								"六大类共 18 个任务：coding（代码生成/补全）、math（竞赛数学等）、reasoning（空间推理/逻辑谜题）、language（拼写/连线/语义）、data_analysis（表格操作）、instruction_following（指令遵循）。首次验证推荐 language → typos。")),
+							h("tr", null, h("th", null, "题目序号范围"), h("td", null,
+								"从 0 起。冒烟测试填 0 到 2（只跑 3 题）；2 题得分噪声很大（对一题就是 0↔100 的波动），想看真实水平建议 20 题以上。")),
+							h("tr", null, h("th", null, "max-tokens"), h("td", null,
+								"单题回答的 token 上限，默认 32000。推理模型思考也占 token，不要低于 8192，否则思考被截断、答案为空会记 0 分。")),
+						),
+					),
+					h("p", { className: c("helpP"), style: { marginTop: "10px" } },
+						"提示：回答为 $ERROR$ 表示该题 API 调用失败（网络/鉴权/参数问题）计 0 分，可在上方日志区查看具体错误；zebra_puzzle（逻辑谜题）是公认最难的任务，低分属正常现象。"),
 				),
 				h("p", { className: c("hint") },
 					"评分读取 LiveBench 的 ground_truth_judgment.jsonl；正式榜单可用 release 2024-11-25。多选题集请在「分类/任务」中缩小范围，避免长时间运行。"),

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.1.4",
+  "version": "0.1.5",
   "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
   "license": "MIT",
   "type": "module",