dsh-livebench-panel 0.2.32 → 0.2.33

package/README.md

@@ -87,19 +87,20 @@ cd livebench
   - 插件向 `livebench/model/model_configs/dsh_panel_generated__<display-name>.yaml` 写入一条模型配置（每个模型一个文件，避免并发写同名文件互相覆盖），经 LiveBench 的 `api_kwargs.default.reasoning_effort` 透传给 API（`off` 表示不透传、由后端走默认）；
   - 强度编码进 display-name（如 `code-gpt__gpt-5.6-sol@high`），**不同强度在成绩表中是独立条目**，可直接对比。
 - **参数下拉框**：题集 release（LiveBench 全部 releases）、分类（coding/math/reasoning/language/data_analysis/instruction_following）、任务（随分类联动）、题目序号范围、max-tokens（**默认 32000**，自动夹到模型声明的上限；LiveBench 自带默认只有 4096，推理模型会思考吃满、正文为空，难题可手动调到 65536）、**并发请求数**（`--parallel-requests`，1/2/3/4/6/8，默认 1=串行；模型单题思考慢时并发多题是唯一能等比缩短总时长的开关）。
-- **协议路由**：**Anthropic/Claude 系模型一律走 `anthropic-messages`**（POST `<baseURL>/v1/messages`，
-  与会话窗口同协议；`baseURL` 会自动剥掉 `/v1`、`/v1/messages` 后缀，因为 anthropic SDK 自己会拼）；
+- **协议路由**：**Anthropic/Claude 系模型一律走 `anthropic-messages`**（POST `<baseURL>/v1/messages`；
+  `baseURL` 会自动剥掉 `/v1`、`/v1/messages` 后缀，因为 anthropic SDK 自己会拼）；
   其余模型按 settings.yaml 的 `api` 走 `openai-completions` / `openai-responses` / 内置端点。
-  运行日志首行打印 `[route] …`，写明协议、目标地址、`max_tokens` 与 thinking 形状。
-- **请求形状对齐会话窗口**：anthropic 通道按强度档附上
-  `thinking: {type: enabled, budget_tokens: N}`（minimal 1024 / low 2048 / medium 8192 /
-  high·xhigh·max 16384；`off` → `{type: disabled}`），并因此**不发 `temperature`**；
-  非 anthropic 通道按渠道习惯选长度上限字段（aiportx 这类中转用 `max_completion_tokens`），
-  且 `--max-tokens` 会夹到该模型在 settings.yaml 里声明的上限。
-- **流式看门狗不会误杀健康请求**：判活标准是"连接上是否还有字节"（含网关每 3 秒的 `ping`），
-  默认 600s 无字节才断开重试（可用渠道声明的 `streamIdleTimeoutMs` 覆写）；
-  另有两道硬边界——单次请求总时长上限（`LIVEBENCH_STREAM_MAX_SECONDS`，默认 1800s）
-  与首个字节等待上限（`LIVEBENCH_FIRST_BYTE_TIMEOUT`，默认 600s）。
+  运行日志首行打印 `[route] …`，写明协议、目标地址与 `max_tokens`。
+- **不替上游做形状决定**（实测结论）：面板**不注入 `thinking`**、**不注入长度上限字段**。
+  中转对这两样都不当真 —— 注入 `thinking` 后 aiportx 只会回空的 thinking 片段（一题 11~22 分钟、
+  正文 0~75 字符、判 0）；`max_tokens` / `max_completion_tokens` 写 512 实测吐 4062 / 4737 token。
+  保持 LiveBench 的原生形状最稳；`--max-tokens` 仍会夹到模型在 settings.yaml 里声明的上限。
+- **流式看门狗三层判死，且不会误杀健康请求**：① 连接上任何字节都算活（含每 3 秒的 `ping`），
+  `LIVEBENCH_STREAM_IDLE_TIMEOUT` 默认 600s（可用渠道声明的 `streamIdleTimeoutMs` 覆写）；
+  ② **内容**维度：`LIVEBENCH_CONTENT_IDLE_SECONDS` 默认 480s 没有任何正文/思考片段就断开
+  —— 中转会连发 ping 十几分钟不给一个字，只按字节判活对它无效；
+  ③ 总时长上限 `LIVEBENCH_STREAM_MAX_SECONDS` 默认 900s；首个字节等待上限
+  `LIVEBENCH_FIRST_BYTE_TIMEOUT` 默认 600s。
 - **进度心跳**：模型长时间思考时网关只发 `ping`、正文迟迟不来，日志里会每 30 秒出现一行
   `仍在接收: 已 120s，连接累计 12345 字节（模型思考中，正文未到）`，长思考不会"看起来卡死"
   （`LIVEBENCH_PROGRESS_SECONDS`，0 = 关闭）。

package/lib/index.js

@@ -614,40 +614,21 @@ function writeGeneratedModelConfig(layout, YAML, { displayName, modelId, reasoni
 		`display_name: ${displayName}`,
 		"api_name:",
 	];
-	// 输出上限的字段名：写进 api_kwargs 后，LiveBench 的
-	// `if 'max_tokens' not in api_kwargs and 'max_completion_tokens' not in api_kwargs`
-	// 分支会被跳过，于是"用哪个字段"完全由面板决定（见 maxTokensFieldFor）。
-	const limitLine = protocol === "openai" && maxTokensField === "max_completion_tokens"
-		&& Number.isFinite(Number(maxTokens)) && Number(maxTokens) > 0
-		? `    max_completion_tokens: ${Number(maxTokens)}`
-		: null;
+	// 长度上限：**不再由面板注入字段名**。
+	// 早先为对齐会话窗口写过 `max_completion_tokens`，但实测 aiportx 这类中转对
+	// `max_tokens` 与 `max_completion_tokens` **两个字段都不执行**（请求写 512，
+	// 实测吐 4062 / 4737 token），写进去只是"假装有上限"，还容易让人误判。
+	// 交回 LiveBench 自己的默认（非 gpt 模型发 max_tokens）即可。
+	const limitLine = null;
 	if (protocol === "anthropic") {
 		// Route through LiveBench's native anthropic client; the endpoint is
 		// pointed at the provider proxy via ANTHROPIC_BASE_URL (spawn env).
 		lines.push(`  anthropic: ${modelId}`, "default_provider: anthropic");
-		// 会话窗口在这个通道上固定带 thinking（并因此不带 temperature），面板照抄，
-		// 否则上游会走"自适应思考"，一题能安静地想十几分钟（见 thinkingBudgetForEffort）。
-		if (Number.isFinite(Number(thinkingBudget)) && Number(thinkingBudget) > 0) {
-			lines.push(
-				"api_kwargs:",
-				"  default:",
-				"    thinking:",
-				"      type: enabled",
-				`      budget_tokens: ${Number(thinkingBudget)}`,
-				// thinking 与 temperature 互斥：显式置 None → LiveBench 映射成 NOT_GIVEN 而不发送
-				"    temperature: null",
-			);
-		} else if (thinkingDisabled) {
-			// 用户把强度选成 off：会话窗口发的是 {type: disabled}，不带 thinking 反而会让
-			// 上游走默认（实测默认是"开思考"）。
-			lines.push(
-				"api_kwargs:",
-				"  default:",
-				"    thinking:",
-				"      type: disabled",
-				"    temperature: null",
-			);
-		}
+		// 注：**不注入 thinking**。曾经照抄会话窗口写过 thinking={enabled,16384}，
+		// 但实测 aiportx-claude 在这之后每题要 11~22 分钟、正文 0~75 字符（思考吃满预算、
+		// 判 0 分）；而同一渠道 09-12 的旧形状（temperature=0、不带 thinking、32000）
+		// 只要 139~286 秒、正文 1.9k 字符、75.5 分。中转对 thinking 预算并不当真，
+		// 所以保持 LiveBench 原生形状更稳。
 	} else if (protocol === "openai_responses") {
 		// OpenAI Responses API proxy: provider name matches
 		// get_api_function('openai_responses') → chat_completion_openai_responses,
@@ -1388,17 +1369,13 @@ function apply(ctx) {
 		writeError = writeGeneratedModelConfig(layout, loadYaml(profileDir), {
 			displayName,
 			modelId,
+			// anthropic 通道不转发 reasoning_effort（那是 OpenAI 风格的开关），
+			// 也不注入 thinking —— 实测中转对 thinking 预算并不当真，注入后反而
+			// "只想不答"（见 writeGeneratedModelConfig 里的说明）。
 			reasoningEffort: isAnthropicRoute ? null : effort,
 			protocol: isAnthropicRoute ? "anthropic" : isOpenAIResponsesRoute ? "openai_responses" : "openai",
-			// 输出上限与字段名：让 LiveBench 用**会话窗口同样的字段**发出去
-			// （aiportx 这类中转要 max_completion_tokens；发 max_tokens 会慢数倍甚至卡死）
 			maxTokens,
-			// provider 上已经算好（providerCapsFromSettings 里调 maxTokensFieldFor，
-			// 会尊重 settings.yaml 显式声明的 compat.maxTokensField）
 			maxTokensField: provider !== null ? provider.maxTokensField : null,
-			// anthropic 通道：把会话窗口那份 thinking 预算一起发出去（见 thinkingBudgetForEffort）
-			thinkingBudget: isAnthropicRoute ? thinkingBudgetForEffort(effort) : null,
-			thinkingDisabled: isAnthropicRoute && effort === "off",
 		});
 		if (writeError) return { status: 500, payload: { ok: false, error: writeError } };
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-livebench-panel",
-  "version": "0.2.32",
+  "version": "0.2.33",
   "description": "DSH web plugin: a LiveBench tab in the Trajectory view (right of 对话/轨迹). Run LiveBench evaluations against every model configured in the DeepSeek Harness — pick provider/model, category, task, release and question range from dropdowns, watch progress, and read scores in place. Ships a Baseline probe set built from the questions a reference model cannot solve.",
   "license": "MIT",
   "author": "cszr (Vithrive)",