dsh-livebench-panel 0.2.16 → 0.2.18

package/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 cszr (Vithrive)
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

package/README.md

@@ -1,7 +1,15 @@
 # dsh-livebench-panel
 
+[![npm version](https://img.shields.io/npm/v/dsh-livebench-panel.svg)](https://www.npmjs.com/package/dsh-livebench-panel)
+[![npm downloads](https://img.shields.io/npm/dm/dsh-livebench-panel.svg)](https://www.npmjs.com/package/dsh-livebench-panel)
+[![License: MIT](https://img.shields.io/badge/License-MIT-yellow.svg)](LICENSE)
+
 DSH web 插件：在 **Trajectory 视图（轨迹视图）** 的「对话 / 轨迹」标签右侧新增一个 **LiveBench** 标签页。点进去即可用下拉框选择参数，直接对本机 LiveBench 发起评测并查看成绩。
 
+> 💬 使用问题、配置分享、成绩对比 → [Discussions](https://github.com/Vithrive/dsh-livebench-panel/discussions)；
+> 缺陷与功能建议 → [Issues](https://github.com/Vithrive/dsh-livebench-panel/issues)。
+> 遇到报错请先看 [LiveBench 本地补丁说明](docs/livebench-patches.md)，多数问题源于漏打补丁。
+
 ## ⚠️ 依赖要求（必读）
 
 本插件只是**控制台**，真正的评测由 [LiveBench](https://github.com/LiveBench/LiveBench) 项目在本机完成。仅安装插件时，面板底部会显示同样的安装指引。完整安装步骤（Windows，约 10–20 分钟）：
@@ -36,7 +44,7 @@ cd livebench
 | 题集 release | LiveBench 题目发布批次 | 公开题目最全的是 `2024-11-25`（推荐） |
 | 分类 | 六大类：coding / math / reasoning / language / data_analysis / instruction_following | 首次验证选 `language` |
 | 任务 | 分类下的具体任务（如 language/typos 拼写纠错） | 首次验证选 `typos`（短平快） |
-| 题目序号范围 | 该任务题目的起止下标（0 起） | 冒烟测试填 0–1（只跑 2 题） |
+| 题目序号范围 | 该任务题目的起止下标（0 起，**含首尾**） | 冒烟测试填 0–1（只跑 2 题） |
 | max-tokens | 单次回答的 token 上限 | 推理模型给 8192+，否则思考被截断判 0 分 |
 
 ## 功能
@@ -48,7 +56,8 @@ cd livebench
   - 强度编码进 display-name（如 `code-gpt__gpt-5.6-sol@high`），**不同强度在成绩表中是独立条目**，可直接对比。
 - **参数下拉框**：题集 release（LiveBench 全部 releases）、分类（coding/math/reasoning/language/data_analysis/instruction_following）、任务（随分类联动）、题目序号范围、max-tokens。
 - **运行控制**：开始 / 停止 / 刷新；最多 9 个模型并发评测（每个模型同时只跑 1 次）；实时滚动日志（每 2.5s 轮询）；「刷新」会清掉已结束的运行日志。
-- **成绩表**：直接读取 `data/live_bench/**/model_judgment/ground_truth_judgment.jsonl` 计算 模型 × 任务 平均分（分数 = 正确率 ×100，单元格下方括号标注「本次没做或没做完的题数 / 本次设定的题数」），无需等 LiveBench 自己出榜。支持按模型名/时间排序、拖 ⠿ 自定义行序、勾选或单行按钮删除成绩（删除会同时清掉该模型的答案与判分行；只有空壳文件的“幽灵行”不会再被扫描出来，删除结果稳定持久）。
+- **成绩表**：直接读取 `data/live_bench/**/model_judgment/ground_truth_judgment.jsonl` 计算 模型 × 任务 平均分（分数 = 正确率 ×100，单元格下方括号标注「**本次没做或没做完的题数 / 用户选择的题数**」，即题目序号范围的题数；不参与正确率计算的总题数不展示），无需等 LiveBench 自己出榜。支持按模型名/时间排序、拖 ⠿ 自定义行序、勾选或单行按钮删除成绩（删除会同时清掉该模型的答案与判分行；只有空壳文件的“幽灵行”不会再被扫描出来，删除结果稳定持久）。
+- **题目序号范围按闭区间处理**：LiveBench 的 `--question-end` 是开区间（`questions[begin:end]`），面板按用户直觉采用闭区间（传参时 `止 + 1`），因此界面上填的题数与实际跑的题数一致。
 
 ## 依赖
 
@@ -69,13 +78,52 @@ cd livebench
 | `/dsh-livebench-panel/api/clear` | POST | 清掉已结束的运行日志/记录 |
 | `/dsh-livebench-panel/api/home` | POST | 保存 LiveBench 检出路径 |
 
-## 安装（本地开发，遵循 ~/.dsh/AGENTS.md）
+## 安装
+
+### 方式 A：从 npm 安装（推荐）
+
+```bash
+dsh plugin --profile web add dsh-livebench-panel
+```
+
+### 方式 B：从本仓库安装
+
+```bash
+git clone https://github.com/Vithrive/dsh-livebench-panel.git ~/.dsh/plugins/dsh-livebench-panel
+```
+
+然后在 `~/.dsh/profiles/web/package.json` 中：
+
+1. `dependencies` 加入 `"dsh-livebench-panel": "link:../../plugins/dsh-livebench-panel"`；
+2. `dsh.profile.bundles` 数组加入 `"dsh-livebench-panel"`。
+
+最后在 profile 目录执行 `pnpm install`，重启 `dsh web`，打开任一会话的轨迹视图即可看到 **LiveBench** 标签。
+
+## 开发
+
+提交前跑一遍自检（语法 + 插件声明 + npm 打包内容白名单，与 CI 口径一致）：
+
+```bash
+node scripts/check.mjs
+```
+
+仓库结构：
+
+```
+lib/index.js            node 半：/dsh-livebench-panel/api/* 路由，spawn run_livebench.py
+lib/client.js           浏览器半：注册 conversation.view 槽位的 LiveBench 标签
+cordis.patch.yml        把插件行插入 profile 的 bundle 层
+scripts/check.mjs       本地自检（语法 / 插件声明 / 打包白名单）
+docs/livebench-patches.md  依赖的 LiveBench 本地补丁（Windows + 中转站兼容）
+smoke.mjs               开发期冒烟脚本（不进 npm 包）
+```
+
+## 交流与反馈
+
+- **Bug / 功能建议**：[Issues](https://github.com/Vithrive/dsh-livebench-panel/issues)（有对应模板）
+- **使用问题 / 配置分享 / 成绩对比**：[Discussions](https://github.com/Vithrive/dsh-livebench-panel/discussions)
+- 提交 Issue 时请附：插件版本、系统与 Node/Python 版本、复现用的 release + 任务 + 题号范围 + provider/模型、以及完整日志（记得打码 API Key 和私有域名）。
 
-1. 插件源码位于 `~/.dsh/plugins/dsh-livebench-panel/`（开发/验证阶段标准位置）；
-2. 在 `~/.dsh/profiles/web/package.json` 的 `dependencies` 加入
-   `"dsh-livebench-panel": "link:../../plugins/dsh-livebench-panel"`，
-   并在 `dsh.profile.bundles` 数组加入 `"dsh-livebench-panel"`；
-3. 在 profile 目录执行 `pnpm install`；
-4. 重启 `dsh web`，打开任一会话的轨迹视图即可看到 **LiveBench** 标签。
+## License
 
-验证通过后可发布 npm，再以 `dsh plugin --profile web add <npm包名>` 正式安装。
+[MIT](LICENSE) © 2026 cszr (Vithrive)

package/lib/index.js

@@ -791,7 +791,6 @@ function apply(ctx) {
 		const _pad = (n) => String(n).padStart(2, "0");
 		const runStamp = `r${_now.getFullYear()}${_pad(_now.getMonth() + 1)}${_pad(_now.getDate())}-${_pad(_now.getHours())}${_pad(_now.getMinutes())}${_pad(_now.getSeconds())}`;
 		const displayName = displayModelName(providerId || "direct", modelId) + (hasEffortSuffix ? "@" + effort : "") + "__" + runStamp;
-		let cliModel = modelId;
 		let writeError = null;		// Anthropic-protocol proxies cannot go through --api-base (that path
 		// speaks OpenAI Chat Completions). Instead the generated model config
 		// selects LiveBench's native anthropic client and the spawn env points
@@ -803,22 +802,24 @@ function apply(ctx) {
 		const isOpenAIResponsesRoute = provider
 			&& (provider.api === "openai-responses" || provider.api === "openai_responses")
 			&& provider.baseURL;
-		const needConfig = isAnthropicRoute || isOpenAIResponsesRoute || hasEffortSuffix;
-		if (needConfig) {
-			writeError = writeGeneratedModelConfig(layout, loadYaml(profileDir), {
-				displayName,
-				modelId,
-				reasoningEffort: isAnthropicRoute ? null : effort,
-				protocol: isAnthropicRoute ? "anthropic" : isOpenAIResponsesRoute ? "openai_responses" : "openai",
-			});
-			if (writeError) return { status: 500, payload: { ok: false, error: writeError } };
-			cliModel = displayName;
-		}
+		// 每次都写自己的模型配置，并且 --model 永远用 display-name。
+		// 不能图省事把裸模型名交给 LiveBench：它会用 get_model_config(裸名) 去撞它自带的
+		// 模型库（例如 "kimi-k3" 命中 moonshotai.yml），命中后就改用那份配置的
+		// provider / api_kwargs / max_tokens —— 实测会把 temperature 悄悄变成 1.0、
+		// max_tokens 变成 131072，等于用户选的 provider 被换掉。写了自己的配置，
+		// 解析结果就是确定的 {local: <modelId>} + --api-base。
+		writeError = writeGeneratedModelConfig(layout, loadYaml(profileDir), {
+			displayName,
+			modelId,
+			reasoningEffort: isAnthropicRoute ? null : effort,
+			protocol: isAnthropicRoute ? "anthropic" : isOpenAIResponsesRoute ? "openai_responses" : "openai",
+		});
+		if (writeError) return { status: 500, payload: { ok: false, error: writeError } };
 
 		const benchParts = ["live_bench", ...(category ? [category] : []), ...(task ? [task] : [])];
 		const args = [
 			"run_livebench.py",
-			"--model", cliModel,
+			"--model", displayName,
 			"--model-display-name", displayName,
 			"--bench-name",
 			...(benchNames !== null ? benchNames : [benchParts.join("/")]),

package/package.json

@@ -1,43 +1,52 @@
-{
-  "name": "dsh-livebench-panel",
-  "version": "0.2.16",
-  "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of ??/??). Run LiveBench evaluations against every model configured in the DeepSeek Harness ? pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
-  "license": "MIT",
-  "type": "module",
-  "main": "lib/index.js",
-  "exports": {
-    ".": "./lib/index.js",
-    "./client": "./lib/client.js",
-    "./cordis.patch.yml": "./cordis.patch.yml",
-    "./package.json": "./package.json"
-  },
-  "engines": {
-    "node": ">=20"
-  },
-  "files": [
-    "lib",
-    "cordis.patch.yml",
-    "README.md"
-  ],
-  "keywords": [
-    "dsh-plugin",
-    "deepseek-harness",
-    "livebench",
-    "benchmark",
-    "evaluation"
-  ],
-  "dsh": {
-    "bundle": {
-      "patch": "./cordis.patch.yml"
-    },
-    "client": {
-      "platform": "web",
-      "inject": [
-        "@deepseek-ai/dsh-client-runtime",
-        "@deepseek-ai/dsh-client-locale",
-        "@deepseek-ai/dsh-client-ui-slots",
-        "@deepseek-ai/dsh-client-ui-conversation"
-      ]
-    }
-  }
-}
+{
+  "name": "dsh-livebench-panel",
+  "version": "0.2.18",
+  "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place.",
+  "license": "MIT",
+  "author": "cszr (Vithrive)",
+  "type": "module",
+  "main": "lib/index.js",
+  "exports": {
+    ".": "./lib/index.js",
+    "./client": "./lib/client.js",
+    "./cordis.patch.yml": "./cordis.patch.yml",
+    "./package.json": "./package.json"
+  },
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/Vithrive/dsh-livebench-panel.git"
+  },
+  "bugs": {
+    "url": "https://github.com/Vithrive/dsh-livebench-panel/issues"
+  },
+  "homepage": "https://github.com/Vithrive/dsh-livebench-panel#readme",
+  "engines": {
+    "node": ">=20"
+  },
+  "files": [
+    "lib",
+    "cordis.patch.yml",
+    "README.md"
+  ],
+  "keywords": [
+    "dsh-plugin",
+    "deepseek-harness",
+    "livebench",
+    "benchmark",
+    "evaluation"
+  ],
+  "dsh": {
+    "bundle": {
+      "patch": "./cordis.patch.yml"
+    },
+    "client": {
+      "platform": "web",
+      "inject": [
+        "@deepseek-ai/dsh-client-runtime",
+        "@deepseek-ai/dsh-client-locale",
+        "@deepseek-ai/dsh-client-ui-slots",
+        "@deepseek-ai/dsh-client-ui-conversation"
+      ]
+    }
+  }
+}