dsh-livebench-panel 0.2.30 → 0.2.33

package/README.md

@@ -86,20 +86,24 @@ cd livebench
 - **推理强度下拉框**（模型右侧）：来自模型配置的 `reasoningEfforts` 映射（如 gpt-5.6 系 off/low/medium/high/xhigh/max，DeepSeek off/low/high/max）。选定后：
   - 插件向 `livebench/model/model_configs/dsh_panel_generated__<display-name>.yaml` 写入一条模型配置（每个模型一个文件，避免并发写同名文件互相覆盖），经 LiveBench 的 `api_kwargs.default.reasoning_effort` 透传给 API（`off` 表示不透传、由后端走默认）；
   - 强度编码进 display-name（如 `code-gpt__gpt-5.6-sol@high`），**不同强度在成绩表中是独立条目**，可直接对比。
-- **参数下拉框**：题集 release（LiveBench 全部 releases）、分类（coding/math/reasoning/language/data_analysis/instruction_following）、任务（随分类联动）、题目序号范围、max-tokens。
-- **协议路由**：**Anthropic/Claude 系模型一律走 `anthropic-messages`**（POST `<baseURL>/v1/messages`，
-  与会话窗口同协议；`baseURL` 会自动剥掉 `/v1`、`/v1/messages` 后缀，因为 anthropic SDK 自己会拼）；
+- **参数下拉框**：题集 release（LiveBench 全部 releases）、分类（coding/math/reasoning/language/data_analysis/instruction_following）、任务（随分类联动）、题目序号范围、max-tokens（**默认 32000**，自动夹到模型声明的上限；LiveBench 自带默认只有 4096，推理模型会思考吃满、正文为空，难题可手动调到 65536）、**并发请求数**（`--parallel-requests`，1/2/3/4/6/8，默认 1=串行；模型单题思考慢时并发多题是唯一能等比缩短总时长的开关）。
+- **协议路由**：**Anthropic/Claude 系模型一律走 `anthropic-messages`**（POST `<baseURL>/v1/messages`；
+  `baseURL` 会自动剥掉 `/v1`、`/v1/messages` 后缀，因为 anthropic SDK 自己会拼）；
   其余模型按 settings.yaml 的 `api` 走 `openai-completions` / `openai-responses` / 内置端点。
-  运行日志首行打印 `[route] …`，写明协议、目标地址、`max_tokens` 与 thinking 形状。
-- **请求形状对齐会话窗口**：anthropic 通道按强度档附上
-  `thinking: {type: enabled, budget_tokens: N}`（minimal 1024 / low 2048 / medium 8192 /
-  high·xhigh·max 16384；`off` → `{type: disabled}`），并因此**不发 `temperature`**；
-  非 anthropic 通道按渠道习惯选长度上限字段（aiportx 这类中转用 `max_completion_tokens`），
-  且 `--max-tokens` 会夹到该模型在 settings.yaml 里声明的上限。
-- **流式看门狗不会误杀健康请求**：判活标准是"连接上是否还有字节"（含网关每 3 秒的 `ping`），
-  默认 600s 无字节才断开重试（可用渠道声明的 `streamIdleTimeoutMs` 覆写）；
-  另有两道硬边界——单次请求总时长上限（`LIVEBENCH_STREAM_MAX_SECONDS`，默认 1800s）
-  与首个字节等待上限（`LIVEBENCH_FIRST_BYTE_TIMEOUT`，默认 600s）。
+  运行日志首行打印 `[route] …`，写明协议、目标地址与 `max_tokens`。
+- **不替上游做形状决定**（实测结论）：面板**不注入 `thinking`**、**不注入长度上限字段**。
+  中转对这两样都不当真 —— 注入 `thinking` 后 aiportx 只会回空的 thinking 片段（一题 11~22 分钟、
+  正文 0~75 字符、判 0）；`max_tokens` / `max_completion_tokens` 写 512 实测吐 4062 / 4737 token。
+  保持 LiveBench 的原生形状最稳；`--max-tokens` 仍会夹到模型在 settings.yaml 里声明的上限。
+- **流式看门狗三层判死，且不会误杀健康请求**：① 连接上任何字节都算活（含每 3 秒的 `ping`），
+  `LIVEBENCH_STREAM_IDLE_TIMEOUT` 默认 600s（可用渠道声明的 `streamIdleTimeoutMs` 覆写）；
+  ② **内容**维度：`LIVEBENCH_CONTENT_IDLE_SECONDS` 默认 480s 没有任何正文/思考片段就断开
+  —— 中转会连发 ping 十几分钟不给一个字，只按字节判活对它无效；
+  ③ 总时长上限 `LIVEBENCH_STREAM_MAX_SECONDS` 默认 900s；首个字节等待上限
+  `LIVEBENCH_FIRST_BYTE_TIMEOUT` 默认 600s。
+- **进度心跳**：模型长时间思考时网关只发 `ping`、正文迟迟不来，日志里会每 30 秒出现一行
+  `仍在接收: 已 120s，连接累计 12345 字节（模型思考中，正文未到）`，长思考不会"看起来卡死"
+  （`LIVEBENCH_PROGRESS_SECONDS`，0 = 关闭）。
 - **运行控制**：开始 / 停止 / 刷新；最多 9 个模型并发评测（每个模型同时只跑 1 次）；实时滚动日志（每 2.5s 轮询）；「刷新」会清掉已结束的运行日志。
 - **自动补跑（API 抖动兜底）**：一次评测要连续打几百次 API，中转站 502/限流/超时是常态。
   跑完后若答案文件里还有 `$ERROR$`，面板会自动用 `--resume --retry-failures`

package/lib/client.js

@@ -121,10 +121,10 @@ window.__ModuleLoader__.load({
 		function LiveBenchView() {
 					const [config, setConfig] = useState(null);
 					const [configError, setConfigError] = useState(null);
-					// maxTokens 默认 65536：推理模型在 olympiad 这类难题上会把预算全烧在
-					// 思考里（eval_status=token_exhaustion，正文为空 → 记「没做出来」），
-					// 32k 明显不够；上限 200k，可自行调。
-					const [sel, setSel] = useState({ models: [], efforts: {}, cats: [], tasks: [], release: "2024-11-25", begin: "", end: "", maxTokens: "65536", baseline: null });
+					// maxTokens 默认 32000（用户口径）：LiveBench 自带默认只有 4096，跑推理模型
+					// 会"思考吃满、正文为空"；32k 是够用与耗时之间的折中。难题若出现
+					// "思考占满 max-tokens、未产出答案"，把它调到 65536 重跑即可（上限 200k）。
+					const [sel, setSel] = useState({ models: [], efforts: {}, cats: [], tasks: [], release: "2024-11-25", begin: "", end: "", maxTokens: "32000", parallel: "1", baseline: null });
 					const [modelDdOpen, setModelDdOpen] = useState(false);
 					const [busy, setBusy] = useState(false);
 					const [running, setRunning] = useState(false);
@@ -314,6 +314,7 @@ window.__ModuleLoader__.load({
 										begin: sel.begin,
 										end: sel.end,
 										maxTokens: sel.maxTokens,
+										parallel: sel.parallel,
 									}),
 								});
 								if (!payload.ok) failures.push(`${entry.modelId}: ${payload.error ?? "启动失败"}`);
@@ -580,8 +581,15 @@ window.__ModuleLoader__.load({
 								),
 								),
 								h("div", { className: c("field") },
-									h("label", { className: c("label") }, "max-tokens（默认 32000）"),
-									h("input", { className: c("input"), type: "number", min: 256, max: 200000, value: sel.maxTokens, onChange: setField("maxTokens"), title: "单题输出上限。推理模型在难题上容易把预算全花在思考里、正文为空（成绩表括号里记为「没做出来」），这类题可以把上限调大后重跑。" }),
+									h("label", { className: c("label") }, "max-tokens"),
+									h("input", { className: c("input"), type: "number", min: 256, max: 200000, value: sel.maxTokens, onChange: setField("maxTokens"), title: "单题输出上限（默认 32000，会自动夹到该模型在 settings.yaml 里声明的上限）。LiveBench 自带默认只有 4096，推理模型会思考吃满、正文为空（成绩表里记「没做出来」）；难题遇到这种情况就调到 65536 重跑。" }),
+								),
+								// Anthropic/Claude 这类模型答一道难题常常要思考几分钟（网关期间只发 ping、
+								// 正文不来），单题串行会把总时长拉得很长；这里允许同一次评测内并发多题。
+								h("div", { className: c("field") },
+									h("label", { className: c("label") }, "并发请求数"),
+									h("select", { className: c("select"), value: sel.parallel, onChange: setField("parallel"), title: "同一次评测内同时请求几道题（--parallel-requests）。默认 1 = 串行；模型思考慢时调大可以显著缩短总时长。中转限流/502 会由容错层退避重试。" },
+										["1", "2", "3", "4", "6", "8"].map((n) => h("option", { key: n, value: n }, n === "1" ? "1（串行）" : n))),
 								),
 								h("div", { className: c("field") },
 									h("label", { className: c("label") }, "题目序号范围（可选，0 起，含首尾）"),

package/lib/index.js

@@ -185,7 +185,7 @@ function loadYaml(profileDir) {
  *
  * 除了 id/name/api/baseURL，还要带上两个**渠道约束**，面板必须遵守：
  *   - `models[].maxTokens`：该模型单次输出上限（如 claude-fable-5-1 = 64000）；
- *     面板的 max-tokens 默认 65536，不夹住就可能超过渠道上限；
+ *     面板的 max-tokens 默认 32000，不夹住就可能超过渠道上限（bearlab 这类渠道上限就是 32000）；
  *   - `streamIdleTimeoutMs`：harness 自己给这个渠道设的"流多久没数据就掐断"
  *     （如 code-claude = 120000）；面板把它透给 LiveBench 的静默看门狗，
  *     这样"能长思考的渠道"和"确实会挂住的渠道"用的是各自合适的阈值。
@@ -220,7 +220,7 @@ function readProviders(profileDir) {
  *
  * 除了 id/name/api/baseURL，还要带上两个**渠道约束**，面板必须遵守：
  *   - `models[].maxTokens`：该模型单次输出上限（如 claude-fable-5-1 = 64000）；
- *     面板的 max-tokens 默认 65536，不夹住就可能超过渠道上限；
+ *     面板的 max-tokens 默认 32000，不夹住就可能超过渠道上限（bearlab 这类渠道上限就是 32000）；
  *   - `streamIdleTimeoutMs`：harness 自己给这个渠道设的"流多久没数据就掐断"
  *     （如 code-claude = 120000）；面板把它透给 LiveBench 的静默看门狗，
  *     这样"能长思考的渠道"和"确实会挂住的渠道"各自用合适的阈值。
@@ -614,40 +614,21 @@ function writeGeneratedModelConfig(layout, YAML, { displayName, modelId, reasoni
 		`display_name: ${displayName}`,
 		"api_name:",
 	];
-	// 输出上限的字段名：写进 api_kwargs 后，LiveBench 的
-	// `if 'max_tokens' not in api_kwargs and 'max_completion_tokens' not in api_kwargs`
-	// 分支会被跳过，于是"用哪个字段"完全由面板决定（见 maxTokensFieldFor）。
-	const limitLine = protocol === "openai" && maxTokensField === "max_completion_tokens"
-		&& Number.isFinite(Number(maxTokens)) && Number(maxTokens) > 0
-		? `    max_completion_tokens: ${Number(maxTokens)}`
-		: null;
+	// 长度上限：**不再由面板注入字段名**。
+	// 早先为对齐会话窗口写过 `max_completion_tokens`，但实测 aiportx 这类中转对
+	// `max_tokens` 与 `max_completion_tokens` **两个字段都不执行**（请求写 512，
+	// 实测吐 4062 / 4737 token），写进去只是"假装有上限"，还容易让人误判。
+	// 交回 LiveBench 自己的默认（非 gpt 模型发 max_tokens）即可。
+	const limitLine = null;
 	if (protocol === "anthropic") {
 		// Route through LiveBench's native anthropic client; the endpoint is
 		// pointed at the provider proxy via ANTHROPIC_BASE_URL (spawn env).
 		lines.push(`  anthropic: ${modelId}`, "default_provider: anthropic");
-		// 会话窗口在这个通道上固定带 thinking（并因此不带 temperature），面板照抄，
-		// 否则上游会走"自适应思考"，一题能安静地想十几分钟（见 thinkingBudgetForEffort）。
-		if (Number.isFinite(Number(thinkingBudget)) && Number(thinkingBudget) > 0) {
-			lines.push(
-				"api_kwargs:",
-				"  default:",
-				"    thinking:",
-				"      type: enabled",
-				`      budget_tokens: ${Number(thinkingBudget)}`,
-				// thinking 与 temperature 互斥：显式置 None → LiveBench 映射成 NOT_GIVEN 而不发送
-				"    temperature: null",
-			);
-		} else if (thinkingDisabled) {
-			// 用户把强度选成 off：会话窗口发的是 {type: disabled}，不带 thinking 反而会让
-			// 上游走默认（实测默认是"开思考"）。
-			lines.push(
-				"api_kwargs:",
-				"  default:",
-				"    thinking:",
-				"      type: disabled",
-				"    temperature: null",
-			);
-		}
+		// 注：**不注入 thinking**。曾经照抄会话窗口写过 thinking={enabled,16384}，
+		// 但实测 aiportx-claude 在这之后每题要 11~22 分钟、正文 0~75 字符（思考吃满预算、
+		// 判 0 分）；而同一渠道 09-12 的旧形状（temperature=0、不带 thinking、32000）
+		// 只要 139~286 秒、正文 1.9k 字符、75.5 分。中转对 thinking 预算并不当真，
+		// 所以保持 LiveBench 原生形状更稳。
 	} else if (protocol === "openai_responses") {
 		// OpenAI Responses API proxy: provider name matches
 		// get_api_function('openai_responses') → chat_completion_openai_responses,
@@ -1378,26 +1359,23 @@ function apply(ctx) {
 		// provider / api_kwargs / max_tokens —— 实测会把 temperature 悄悄变成 1.0、
 		// max_tokens 变成 131072，等于用户选的 provider 被换掉。写了自己的配置，
 		// 解析结果就是确定的 {local: <modelId>} + --api-base。
-		// max-tokens：不能超过 harness 给这个模型声明的上限（settings.yaml 的
-		// models[].maxTokens，例如 claude-fable-5-1 = 64000）。面板默认 65536 就是为了
-		// 让推理模型别把预算烧在思考里，但超过渠道上限容易被上游挂住或直接拒。
-		const requestedMaxTokens = asInt(body.maxTokens, 256, 200000, 65536);
+		// max-tokens：面板默认 32000（LiveBench 自带默认只有 4096，推理模型会思考吃满、
+		// 正文为空 → 记「没做出来」；32k 是够用与耗时之间的折中，难题可手动调到 65536）。
+		// 另外不能超过 harness 给这个模型声明的上限（settings.yaml 的 models[].maxTokens，
+		// 例如 claude-fable-5-1 = 64000、bearlab-claude = 32000）。
+		const requestedMaxTokens = asInt(body.maxTokens, 256, 200000, 32000);
 		const modelMaxTokens = modelMeta !== null && Number(modelMeta.maxTokens) > 0 ? Number(modelMeta.maxTokens) : null;
 		const maxTokens = modelMaxTokens !== null ? Math.min(requestedMaxTokens, modelMaxTokens) : requestedMaxTokens;
 		writeError = writeGeneratedModelConfig(layout, loadYaml(profileDir), {
 			displayName,
 			modelId,
+			// anthropic 通道不转发 reasoning_effort（那是 OpenAI 风格的开关），
+			// 也不注入 thinking —— 实测中转对 thinking 预算并不当真，注入后反而
+			// "只想不答"（见 writeGeneratedModelConfig 里的说明）。
 			reasoningEffort: isAnthropicRoute ? null : effort,
 			protocol: isAnthropicRoute ? "anthropic" : isOpenAIResponsesRoute ? "openai_responses" : "openai",
-			// 输出上限与字段名：让 LiveBench 用**会话窗口同样的字段**发出去
-			// （aiportx 这类中转要 max_completion_tokens；发 max_tokens 会慢数倍甚至卡死）
 			maxTokens,
-			// provider 上已经算好（providerCapsFromSettings 里调 maxTokensFieldFor，
-			// 会尊重 settings.yaml 显式声明的 compat.maxTokensField）
 			maxTokensField: provider !== null ? provider.maxTokensField : null,
-			// anthropic 通道：把会话窗口那份 thinking 预算一起发出去（见 thinkingBudgetForEffort）
-			thinkingBudget: isAnthropicRoute ? thinkingBudgetForEffort(effort) : null,
-			thinkingDisabled: isAnthropicRoute && effort === "off",
 		});
 		if (writeError) return { status: 500, payload: { ok: false, error: writeError } };
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.2.30",
+  "version": "0.2.33",
   "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place. Ships a Baseline probe set built from the questions a reference model cannot solve.",
   "license": "MIT",
   "author": "cszr (Vithrive)",