dsh-livebench-panel 0.2.15 → 0.2.17

package/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 cszr (Vithrive)
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

package/README.md

@@ -1,7 +1,15 @@
 # dsh-livebench-panel
 
+[![npm version](https://img.shields.io/npm/v/dsh-livebench-panel.svg)](https://www.npmjs.com/package/dsh-livebench-panel)
+[![npm downloads](https://img.shields.io/npm/dm/dsh-livebench-panel.svg)](https://www.npmjs.com/package/dsh-livebench-panel)
+[![License: MIT](https://img.shields.io/badge/License-MIT-yellow.svg)](LICENSE)
+
 DSH web 插件：在 **Trajectory 视图（轨迹视图）** 的「对话 / 轨迹」标签右侧新增一个 **LiveBench** 标签页。点进去即可用下拉框选择参数，直接对本机 LiveBench 发起评测并查看成绩。
 
+> 💬 使用问题、配置分享、成绩对比 → [Discussions](https://github.com/Vithrive/dsh-livebench-panel/discussions)；
+> 缺陷与功能建议 → [Issues](https://github.com/Vithrive/dsh-livebench-panel/issues)。
+> 遇到报错请先看 [LiveBench 本地补丁说明](docs/livebench-patches.md)，多数问题源于漏打补丁。
+
 ## ⚠️ 依赖要求（必读）
 
 本插件只是**控制台**，真正的评测由 [LiveBench](https://github.com/LiveBench/LiveBench) 项目在本机完成。仅安装插件时，面板底部会显示同样的安装指引。完整安装步骤（Windows，约 10–20 分钟）：
@@ -36,7 +44,7 @@ cd livebench
 | 题集 release | LiveBench 题目发布批次 | 公开题目最全的是 `2024-11-25`（推荐） |
 | 分类 | 六大类：coding / math / reasoning / language / data_analysis / instruction_following | 首次验证选 `language` |
 | 任务 | 分类下的具体任务（如 language/typos 拼写纠错） | 首次验证选 `typos`（短平快） |
-| 题目序号范围 | 该任务题目的起止下标（0 起） | 冒烟测试填 0–1（只跑 2 题） |
+| 题目序号范围 | 该任务题目的起止下标（0 起，**含首尾**） | 冒烟测试填 0–1（只跑 2 题） |
 | max-tokens | 单次回答的 token 上限 | 推理模型给 8192+，否则思考被截断判 0 分 |
 
 ## 功能
@@ -48,7 +56,8 @@ cd livebench
   - 强度编码进 display-name（如 `code-gpt__gpt-5.6-sol@high`），**不同强度在成绩表中是独立条目**，可直接对比。
 - **参数下拉框**：题集 release（LiveBench 全部 releases）、分类（coding/math/reasoning/language/data_analysis/instruction_following）、任务（随分类联动）、题目序号范围、max-tokens。
 - **运行控制**：开始 / 停止 / 刷新；最多 9 个模型并发评测（每个模型同时只跑 1 次）；实时滚动日志（每 2.5s 轮询）；「刷新」会清掉已结束的运行日志。
-- **成绩表**：直接读取 `data/live_bench/**/model_judgment/ground_truth_judgment.jsonl` 计算 模型 × 任务 平均分（分数 = 正确率 ×100，单元格下方括号标注「本次没做或没做完的题数 / 本次设定的题数」），无需等 LiveBench 自己出榜。支持按模型名/时间排序、拖 ⠿ 自定义行序、勾选或单行按钮删除成绩（删除会同时清掉该模型的答案与判分行；只有空壳文件的“幽灵行”不会再被扫描出来，删除结果稳定持久）。
+- **成绩表**：直接读取 `data/live_bench/**/model_judgment/ground_truth_judgment.jsonl` 计算 模型 × 任务 平均分（分数 = 正确率 ×100，单元格下方括号标注「**本次没做或没做完的题数 / 用户选择的题数**」，即题目序号范围的题数；不参与正确率计算的总题数不展示），无需等 LiveBench 自己出榜。支持按模型名/时间排序、拖 ⠿ 自定义行序、勾选或单行按钮删除成绩（删除会同时清掉该模型的答案与判分行；只有空壳文件的“幽灵行”不会再被扫描出来，删除结果稳定持久）。
+- **题目序号范围按闭区间处理**：LiveBench 的 `--question-end` 是开区间（`questions[begin:end]`），面板按用户直觉采用闭区间（传参时 `止 + 1`），因此界面上填的题数与实际跑的题数一致。
 
 ## 依赖
 
@@ -69,13 +78,52 @@ cd livebench
 | `/dsh-livebench-panel/api/clear` | POST | 清掉已结束的运行日志/记录 |
 | `/dsh-livebench-panel/api/home` | POST | 保存 LiveBench 检出路径 |
 
-## 安装（本地开发，遵循 ~/.dsh/AGENTS.md）
+## 安装
+
+### 方式 A：从 npm 安装（推荐）
+
+```bash
+dsh plugin --profile web add dsh-livebench-panel
+```
+
+### 方式 B：从本仓库安装
+
+```bash
+git clone https://github.com/Vithrive/dsh-livebench-panel.git ~/.dsh/plugins/dsh-livebench-panel
+```
+
+然后在 `~/.dsh/profiles/web/package.json` 中：
+
+1. `dependencies` 加入 `"dsh-livebench-panel": "link:../../plugins/dsh-livebench-panel"`；
+2. `dsh.profile.bundles` 数组加入 `"dsh-livebench-panel"`。
+
+最后在 profile 目录执行 `pnpm install`，重启 `dsh web`，打开任一会话的轨迹视图即可看到 **LiveBench** 标签。
+
+## 开发
+
+提交前跑一遍自检（语法 + 插件声明 + npm 打包内容白名单，与 CI 口径一致）：
+
+```bash
+node scripts/check.mjs
+```
+
+仓库结构：
+
+```
+lib/index.js            node 半：/dsh-livebench-panel/api/* 路由，spawn run_livebench.py
+lib/client.js           浏览器半：注册 conversation.view 槽位的 LiveBench 标签
+cordis.patch.yml        把插件行插入 profile 的 bundle 层
+scripts/check.mjs       本地自检（语法 / 插件声明 / 打包白名单）
+docs/livebench-patches.md  依赖的 LiveBench 本地补丁（Windows + 中转站兼容）
+smoke.mjs               开发期冒烟脚本（不进 npm 包）
+```
+
+## 交流与反馈
+
+- **Bug / 功能建议**：[Issues](https://github.com/Vithrive/dsh-livebench-panel/issues)（有对应模板）
+- **使用问题 / 配置分享 / 成绩对比**：[Discussions](https://github.com/Vithrive/dsh-livebench-panel/discussions)
+- 提交 Issue 时请附：插件版本、系统与 Node/Python 版本、复现用的 release + 任务 + 题号范围 + provider/模型、以及完整日志（记得打码 API Key 和私有域名）。
 
-1. 插件源码位于 `~/.dsh/plugins/dsh-livebench-panel/`（开发/验证阶段标准位置）；
-2. 在 `~/.dsh/profiles/web/package.json` 的 `dependencies` 加入
-   `"dsh-livebench-panel": "link:../../plugins/dsh-livebench-panel"`，
-   并在 `dsh.profile.bundles` 数组加入 `"dsh-livebench-panel"`；
-3. 在 profile 目录执行 `pnpm install`；
-4. 重启 `dsh web`，打开任一会话的轨迹视图即可看到 **LiveBench** 标签。
+## License
 
-验证通过后可发布 npm，再以 `dsh plugin --profile web add <npm包名>` 正式安装。
+[MIT](LICENSE) © 2026 cszr (Vithrive)

package/lib/client.js

@@ -539,10 +539,10 @@ window.__ModuleLoader__.load({
 									h("input", { className: c("input"), type: "number", min: 256, max: 32768, value: sel.maxTokens, onChange: setField("maxTokens") }),
 								),
 								h("div", { className: c("field") },
-									h("label", { className: c("label") }, "题目序号范围（可选）"),
+									h("label", { className: c("label") }, "题目序号范围（可选，0 起，含首尾）"),
 									h("div", { className: c("row"), style: { flexWrap: "nowrap" } },
-										h("input", { className: c("input"), type: "number", min: 0, placeholder: "起", value: sel.begin, onChange: setField("begin"), style: { flex: "1", minWidth: "0" } }),
-										h("input", { className: c("input"), type: "number", min: 0, placeholder: "止", value: sel.end, onChange: setField("end"), style: { flex: "1", minWidth: "0" } }),
+										h("input", { className: c("input"), type: "number", min: 0, placeholder: "起（含）", title: "起始题号（0 起，包含该题）", value: sel.begin, onChange: setField("begin"), style: { flex: "1", minWidth: "0" } }),
+										h("input", { className: c("input"), type: "number", min: 0, placeholder: "止（含）", title: "结束题号（包含该题）；只填起不填止 = 从该题跑到底", value: sel.end, onChange: setField("end"), style: { flex: "1", minWidth: "0" } }),
 									),
 								h("div", { className: c("field") },
 									h("label", { className: c("label") }, "分类（可多选，不选 = 全部分类；括号内为该 release 下有效题数）"),
@@ -756,7 +756,7 @@ window.__ModuleLoader__.load({
 									h("tr", null, h("th", null, "分类 / 任务"), h("td", null,
 										"六大类共 18 个任务：coding（代码生成/补全）、math（竞赛数学等）、reasoning（空间推理/逻辑谜题）、language（拼写/连线/语义）、data_analysis（表格操作）、instruction_following（指令遵循）。首次验证推荐 language → typos。")),
 									h("tr", null, h("th", null, "题目序号范围"), h("td", null,
-										"从 0 起。冒烟测试填 0 到 2（只跑 3 题）；2 题得分噪声很大（对一题就是 0↔100 的波动），想看真实水平建议 20 题以上。")),
+										"从 0 起，起止都包含。冒烟测试填 0 到 2（跑 3 题）；只填「起」= 从该题跑到底。2 题得分噪声很大（对一题就是 0↔100 的波动），想看真实水平建议 20 题以上。")),
 									h("tr", null, h("th", null, "max-tokens"), h("td", null,
 										"单题回答的 token 上限，默认 32000。推理模型思考也占 token，不要低于 8192，否则思考被截断、答案为空会记 0 分。")),
 								),

package/lib/index.js

@@ -834,7 +834,9 @@ function apply(ctx) {
 			args.push("--question-begin", String(asInt(body.begin, 0, 100000, 0)));
 		}
 		if (body.end !== undefined && body.end !== null && `${body.end}`.length > 0) {
-			args.push("--question-end", String(asInt(body.end, 0, 100000, 0)));
+			// 面板的「止」按用户直觉是闭区间；LiveBench 的 --question-end 是开区间
+			// （gen_api_answer.py: questions[begin:end]），这里 +1 对齐，否则实际少跑一题。
+			args.push("--question-end", String(asInt(body.end, 0, 100000, 0) + 1));
 		}
 		if (body.resume === true) args.push("--resume");
 		if (body.retryFailures === true) args.push("--retry-failures");
@@ -884,8 +886,9 @@ function apply(ctx) {
 			}
 		}
 
-		// 记录本次评测的配置范围：/results 用它计算每个任务的"设定题数"
-		// （未做/失败的题数 = 设定题数 - 实际产出的有效答案数）。
+		// 记录本次评测的配置范围：/results 用它计算每个任务的"选择题数"。
+		// 注意 begin/end 存的是面板上的原始输入（闭区间，含首尾），
+		// 供 computeResults 算 end - begin + 1；传给 LiveBench 时 end 已 +1。
 		try {
 			const metaDir = join(layout.dataDir, ".dsh_runs");
 			if (!existsSync(metaDir)) mkdirSync(metaDir, { recursive: true });

package/package.json

@@ -1,43 +1,52 @@
-{
-  "name": "dsh-livebench-panel",
-  "version": "0.2.15",
-  "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
-  "license": "MIT",
-  "type": "module",
-  "main": "lib/index.js",
-  "exports": {
-    ".": "./lib/index.js",
-    "./client": "./lib/client.js",
-    "./cordis.patch.yml": "./cordis.patch.yml",
-    "./package.json": "./package.json"
-  },
-  "engines": {
-    "node": ">=20"
-  },
-  "files": [
-    "lib",
-    "cordis.patch.yml",
-    "README.md"
-  ],
-  "keywords": [
-    "dsh-plugin",
-    "deepseek-harness",
-    "livebench",
-    "benchmark",
-    "evaluation"
-  ],
-  "dsh": {
-    "bundle": {
-      "patch": "./cordis.patch.yml"
-    },
-    "client": {
-      "platform": "web",
-      "inject": [
-        "@deepseek-ai/dsh-client-runtime",
-        "@deepseek-ai/dsh-client-locale",
-        "@deepseek-ai/dsh-client-ui-slots",
-        "@deepseek-ai/dsh-client-ui-conversation"
-      ]
-    }
-  }
-}
+{
+  "name": "dsh-livebench-panel",
+  "version": "0.2.17",
+  "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
+  "license": "MIT",
+  "author": "cszr (Vithrive)",
+  "type": "module",
+  "main": "lib/index.js",
+  "exports": {
+    ".": "./lib/index.js",
+    "./client": "./lib/client.js",
+    "./cordis.patch.yml": "./cordis.patch.yml",
+    "./package.json": "./package.json"
+  },
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/Vithrive/dsh-livebench-panel.git"
+  },
+  "bugs": {
+    "url": "https://github.com/Vithrive/dsh-livebench-panel/issues"
+  },
+  "homepage": "https://github.com/Vithrive/dsh-livebench-panel#readme",
+  "engines": {
+    "node": ">=20"
+  },
+  "files": [
+    "lib",
+    "cordis.patch.yml",
+    "README.md"
+  ],
+  "keywords": [
+    "dsh-plugin",
+    "deepseek-harness",
+    "livebench",
+    "benchmark",
+    "evaluation"
+  ],
+  "dsh": {
+    "bundle": {
+      "patch": "./cordis.patch.yml"
+    },
+    "client": {
+      "platform": "web",
+      "inject": [
+        "@deepseek-ai/dsh-client-runtime",
+        "@deepseek-ai/dsh-client-locale",
+        "@deepseek-ai/dsh-client-ui-slots",
+        "@deepseek-ai/dsh-client-ui-conversation"
+      ]
+    }
+  }
+}