dsh-livebench-panel 0.2.30 → 0.2.32

package/README.md

@@ -86,7 +86,7 @@ cd livebench
 - **推理强度下拉框**（模型右侧）：来自模型配置的 `reasoningEfforts` 映射（如 gpt-5.6 系 off/low/medium/high/xhigh/max，DeepSeek off/low/high/max）。选定后：
   - 插件向 `livebench/model/model_configs/dsh_panel_generated__<display-name>.yaml` 写入一条模型配置（每个模型一个文件，避免并发写同名文件互相覆盖），经 LiveBench 的 `api_kwargs.default.reasoning_effort` 透传给 API（`off` 表示不透传、由后端走默认）；
   - 强度编码进 display-name（如 `code-gpt__gpt-5.6-sol@high`），**不同强度在成绩表中是独立条目**，可直接对比。
-- **参数下拉框**：题集 release（LiveBench 全部 releases）、分类（coding/math/reasoning/language/data_analysis/instruction_following）、任务（随分类联动）、题目序号范围、max-tokens。
+- **参数下拉框**：题集 release（LiveBench 全部 releases）、分类（coding/math/reasoning/language/data_analysis/instruction_following）、任务（随分类联动）、题目序号范围、max-tokens（**默认 32000**，自动夹到模型声明的上限；LiveBench 自带默认只有 4096，推理模型会思考吃满、正文为空，难题可手动调到 65536）、**并发请求数**（`--parallel-requests`，1/2/3/4/6/8，默认 1=串行；模型单题思考慢时并发多题是唯一能等比缩短总时长的开关）。
 - **协议路由**：**Anthropic/Claude 系模型一律走 `anthropic-messages`**（POST `<baseURL>/v1/messages`，
   与会话窗口同协议；`baseURL` 会自动剥掉 `/v1`、`/v1/messages` 后缀，因为 anthropic SDK 自己会拼）；
   其余模型按 settings.yaml 的 `api` 走 `openai-completions` / `openai-responses` / 内置端点。
@@ -100,6 +100,9 @@ cd livebench
   默认 600s 无字节才断开重试（可用渠道声明的 `streamIdleTimeoutMs` 覆写）；
   另有两道硬边界——单次请求总时长上限（`LIVEBENCH_STREAM_MAX_SECONDS`，默认 1800s）
   与首个字节等待上限（`LIVEBENCH_FIRST_BYTE_TIMEOUT`，默认 600s）。
+- **进度心跳**：模型长时间思考时网关只发 `ping`、正文迟迟不来，日志里会每 30 秒出现一行
+  `仍在接收: 已 120s，连接累计 12345 字节（模型思考中，正文未到）`，长思考不会"看起来卡死"
+  （`LIVEBENCH_PROGRESS_SECONDS`，0 = 关闭）。
 - **运行控制**：开始 / 停止 / 刷新；最多 9 个模型并发评测（每个模型同时只跑 1 次）；实时滚动日志（每 2.5s 轮询）；「刷新」会清掉已结束的运行日志。
 - **自动补跑（API 抖动兜底）**：一次评测要连续打几百次 API，中转站 502/限流/超时是常态。
   跑完后若答案文件里还有 `$ERROR$`，面板会自动用 `--resume --retry-failures`

package/lib/client.js

@@ -121,10 +121,10 @@ window.__ModuleLoader__.load({
 		function LiveBenchView() {
 					const [config, setConfig] = useState(null);
 					const [configError, setConfigError] = useState(null);
-					// maxTokens 默认 65536：推理模型在 olympiad 这类难题上会把预算全烧在
-					// 思考里（eval_status=token_exhaustion，正文为空 → 记「没做出来」），
-					// 32k 明显不够；上限 200k，可自行调。
-					const [sel, setSel] = useState({ models: [], efforts: {}, cats: [], tasks: [], release: "2024-11-25", begin: "", end: "", maxTokens: "65536", baseline: null });
+					// maxTokens 默认 32000（用户口径）：LiveBench 自带默认只有 4096，跑推理模型
+					// 会"思考吃满、正文为空"；32k 是够用与耗时之间的折中。难题若出现
+					// "思考占满 max-tokens、未产出答案"，把它调到 65536 重跑即可（上限 200k）。
+					const [sel, setSel] = useState({ models: [], efforts: {}, cats: [], tasks: [], release: "2024-11-25", begin: "", end: "", maxTokens: "32000", parallel: "1", baseline: null });
 					const [modelDdOpen, setModelDdOpen] = useState(false);
 					const [busy, setBusy] = useState(false);
 					const [running, setRunning] = useState(false);
@@ -314,6 +314,7 @@ window.__ModuleLoader__.load({
 										begin: sel.begin,
 										end: sel.end,
 										maxTokens: sel.maxTokens,
+										parallel: sel.parallel,
 									}),
 								});
 								if (!payload.ok) failures.push(`${entry.modelId}: ${payload.error ?? "启动失败"}`);
@@ -580,8 +581,15 @@ window.__ModuleLoader__.load({
 								),
 								),
 								h("div", { className: c("field") },
-									h("label", { className: c("label") }, "max-tokens（默认 32000）"),
-									h("input", { className: c("input"), type: "number", min: 256, max: 200000, value: sel.maxTokens, onChange: setField("maxTokens"), title: "单题输出上限。推理模型在难题上容易把预算全花在思考里、正文为空（成绩表括号里记为「没做出来」），这类题可以把上限调大后重跑。" }),
+									h("label", { className: c("label") }, "max-tokens"),
+									h("input", { className: c("input"), type: "number", min: 256, max: 200000, value: sel.maxTokens, onChange: setField("maxTokens"), title: "单题输出上限（默认 32000，会自动夹到该模型在 settings.yaml 里声明的上限）。LiveBench 自带默认只有 4096，推理模型会思考吃满、正文为空（成绩表里记「没做出来」）；难题遇到这种情况就调到 65536 重跑。" }),
+								),
+								// Anthropic/Claude 这类模型答一道难题常常要思考几分钟（网关期间只发 ping、
+								// 正文不来），单题串行会把总时长拉得很长；这里允许同一次评测内并发多题。
+								h("div", { className: c("field") },
+									h("label", { className: c("label") }, "并发请求数"),
+									h("select", { className: c("select"), value: sel.parallel, onChange: setField("parallel"), title: "同一次评测内同时请求几道题（--parallel-requests）。默认 1 = 串行；模型思考慢时调大可以显著缩短总时长。中转限流/502 会由容错层退避重试。" },
+										["1", "2", "3", "4", "6", "8"].map((n) => h("option", { key: n, value: n }, n === "1" ? "1（串行）" : n))),
 								),
 								h("div", { className: c("field") },
 									h("label", { className: c("label") }, "题目序号范围（可选，0 起，含首尾）"),

package/lib/index.js

@@ -185,7 +185,7 @@ function loadYaml(profileDir) {
  *
  * 除了 id/name/api/baseURL，还要带上两个**渠道约束**，面板必须遵守：
  *   - `models[].maxTokens`：该模型单次输出上限（如 claude-fable-5-1 = 64000）；
- *     面板的 max-tokens 默认 65536，不夹住就可能超过渠道上限；
+ *     面板的 max-tokens 默认 32000，不夹住就可能超过渠道上限（bearlab 这类渠道上限就是 32000）；
  *   - `streamIdleTimeoutMs`：harness 自己给这个渠道设的"流多久没数据就掐断"
  *     （如 code-claude = 120000）；面板把它透给 LiveBench 的静默看门狗，
  *     这样"能长思考的渠道"和"确实会挂住的渠道"用的是各自合适的阈值。
@@ -220,7 +220,7 @@ function readProviders(profileDir) {
  *
  * 除了 id/name/api/baseURL，还要带上两个**渠道约束**，面板必须遵守：
  *   - `models[].maxTokens`：该模型单次输出上限（如 claude-fable-5-1 = 64000）；
- *     面板的 max-tokens 默认 65536，不夹住就可能超过渠道上限；
+ *     面板的 max-tokens 默认 32000，不夹住就可能超过渠道上限（bearlab 这类渠道上限就是 32000）；
  *   - `streamIdleTimeoutMs`：harness 自己给这个渠道设的"流多久没数据就掐断"
  *     （如 code-claude = 120000）；面板把它透给 LiveBench 的静默看门狗，
  *     这样"能长思考的渠道"和"确实会挂住的渠道"各自用合适的阈值。
@@ -1378,10 +1378,11 @@ function apply(ctx) {
 		// provider / api_kwargs / max_tokens —— 实测会把 temperature 悄悄变成 1.0、
 		// max_tokens 变成 131072，等于用户选的 provider 被换掉。写了自己的配置，
 		// 解析结果就是确定的 {local: <modelId>} + --api-base。
-		// max-tokens：不能超过 harness 给这个模型声明的上限（settings.yaml 的
-		// models[].maxTokens，例如 claude-fable-5-1 = 64000）。面板默认 65536 就是为了
-		// 让推理模型别把预算烧在思考里，但超过渠道上限容易被上游挂住或直接拒。
-		const requestedMaxTokens = asInt(body.maxTokens, 256, 200000, 65536);
+		// max-tokens：面板默认 32000（LiveBench 自带默认只有 4096，推理模型会思考吃满、
+		// 正文为空 → 记「没做出来」；32k 是够用与耗时之间的折中，难题可手动调到 65536）。
+		// 另外不能超过 harness 给这个模型声明的上限（settings.yaml 的 models[].maxTokens，
+		// 例如 claude-fable-5-1 = 64000、bearlab-claude = 32000）。
+		const requestedMaxTokens = asInt(body.maxTokens, 256, 200000, 32000);
 		const modelMaxTokens = modelMeta !== null && Number(modelMeta.maxTokens) > 0 ? Number(modelMeta.maxTokens) : null;
 		const maxTokens = modelMaxTokens !== null ? Math.min(requestedMaxTokens, modelMaxTokens) : requestedMaxTokens;
 		writeError = writeGeneratedModelConfig(layout, loadYaml(profileDir), {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.2.30",
+  "version": "0.2.32",
   "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place. Ships a Baseline probe set built from the questions a reference model cannot solve.",
   "license": "MIT",
   "author": "cszr (Vithrive)",