dsh-llm-verifier 0.1.20 → 0.2.0

package/README.md

@@ -206,7 +206,7 @@ T       = 明确且无可争议的失败
 - **每个裁判独立缓存与去重**：裁判身份（Provider / Model / 推理强度 / 输出上限）是评分缓存键的一部分，不同裁判既不会读到对方的缓存，也不会被合并成一次调用。
 - **判决透明**：四个工具（`verifier_compare` / `verifier_select` / `verifier_track` / `verifier_current_session`）的返回都新增 `judges` 数组，逐裁判给出 Provider、Model、显示名、是否成功、实际调用次数，以及该裁判自己的分数 / 排名 / 检查点分数；`verifier_compare` 与 `verifier_current_session` 还返回 `agreement`（与最终胜负一致的裁判比例，单裁判恒为 1）。
 - **降级而不是整体失败**：个别裁判偶发失败（网络、限流、解析不出判决）时会被排除在该次聚合之外，并在 `judges[].ok=false` 与 `judges[].error` 中如实报告；只有当**整组裁判**都给不出判决时，这次验收才失败。
-- **预算按裁判数放大**：自动路由的模型调用预算按 `对局数 × 裁判数` 预留，多裁判场景请相应调大「任务/会话模型调用预算」（默认 64 / 240）。
+- **预算按裁判数放大**：自动路由的模型调用预算按 `对局数 × 裁判数` 预留，多裁判场景请相应调大「任务/会话模型调用预算」（默认 96 / 240）。
 - **分类只走主裁判**：混合语义路由的分类请求是轻量路由动作而非判决，只使用主裁判，不随裁判数放大。
 - **统计归属**：统计与费用按「一次验收」记账，多裁判的 token 与费用合计计入该次调用，模型维度归属主裁判；单个裁判的实际调用次数见工具返回中的 `judges[].calls`。
 
@@ -239,13 +239,14 @@ flowchart LR
 | **混合语义路由** | 结构化证据不足时，是否允许裁判模型保守分类 `compare/select/track/none`；不会生成新候选或编造检查点 |
 | **语义路由置信度** | 语义识别达到该值才执行对应工具，默认 `0.9` |
 | **最多候选数** | 自动 `select` 一次最多纳入的候选数，默认 `8` |
-| **每任务/每会话最多路由** | 独立于最终验收预算，限制 `compare/select/track` 及语义分类的自动次数；预算按真实对局数估算（8 候选约需 54 次调用），被拒绝时写入宿主日志，strict 下额外注入一次提示 |
+| **每任务/每会话最多路由** | 限制 `compare/select/track` 及语义分类的自动次数。它与最终验收**共享同一个尝试计数器**（实际上限 = 本项 + 对应的「每任务/每会话最多验收」），预算按真实对局数估算（8 候选约需 54 次调用）；被拒绝时写入宿主日志并区分「预算不足 / 已有 verifier 在跑 / 同一证据已路由」，strict 下额外注入一次提示 |
 | **同时验收子 Agent** | 默认关闭；开启后 `subagent` / fork 子会话也会执行自动路由与最终验收 |
 | **进度完成阈值** | `track` 任一检查点低于该值时 steering 要求继续工作，默认 `0.8` |
-| **单项/总证据字符上限** | 自动候选与检查点脱敏后的单项、整次路由输入硬上限，默认 `20000 / 60000`；同时约束语义路由提示词的总长度（只保留预算内最新证据）。截断标记本身也计入上限，因此截断后的条目不会被判定为超限 |
-| **任务/会话模型调用预算** | 分类、compare/select/track 与最终验收共享的估算请求预算，默认 `64 / 240`（按真实对局数估算：8 候选的完整锦标赛约 18 场对决 × 3 标准 = 54 次调用） |
+| **单项/总证据字符上限** | 自动候选与检查点脱敏后的单项、整次路由输入硬上限，默认 `20000 / 60000`；同时约束语义路由提示词的总长度（只保留预算内最新证据）。截断标记本身也计入上限，因此截断后的条目不会被判定为超限。候选与检查点都按**数量分摊**总字符预算（单项仍受 2 万字符上限），自动 `track` 还最多渲染**最近 6 个**检查点（更早的在首个检查点中注明已省略），因此 8 个长候选或几十个检查点都不会让整条决策被上限整条丢弃 |
+| **任务/会话模型调用预算** | 分类、compare/select/track 与最终验收共享的估算请求预算，默认 `96 / 240`（按真实对局数估算：8 候选的完整锦标赛约 18 场对决 × 3 标准 = 54 次调用，再加最终验收 3 标准 × 2 轮 = 6 次；默认值因此给最终验收留出余量） |
 | **通过阈值** | 自动会话验收要求证据分数达到阈值且胜过“未执行有效工作”基线 |
-| **自动评估轮次** | 自动验收每个标准的重复轮次；默认 1，作为低成本初筛 |
+| **路由评估轮次** | 自动路由（compare/select/track）每个标准的重复轮次；默认 1，作为低成本初筛 |
+| **最终验收轮次** | 最终会话验收每个标准的重复轮次，默认 `2`：奇数轮不交换、偶数轮交换 A/B 位置，因此默认配置下位置偏好被抵消。调低到 1 会省一次调用，但会失去这层保护 |
 | **智能模式最少工具调用** | `smart` 策略需要的最少非 Verifier 工具调用数 |
 | **最大证据字符** | 自动发送给裁判的最近会话轨迹字符上限 |
 | **每任务/每会话最多验收** | 防止低分反馈形成无限修复循环并限制成本 |
@@ -255,7 +256,7 @@ flowchart LR
 | **附加裁判 (Extra judges)** | 在主裁判之外追加最多 4 个裁判模型（各自可指定 Provider / Model / 推理强度 / 显示名），同一 Provider + Model 不允许重复；留空即为单裁判模式，行为与旧版本逐位一致 |
 | **推理强度 (Reasoning Effort)** | 使用 Adapter 为该模型声明的思考强度，或保留模型默认值 |
 | **最大输出 Token** | 单次裁判请求的输出 Token 上限 |
-| **判官温度 (Temperature)** | 判官采样的温度，范围 0–2，默认 **0.2**（旧版固定为 1）。自动验收默认只跑 1 轮，温度越低判决越可复现；部分推理模型只接受默认温度，遇到适配器报错时改回 1 |
+| **判官温度 (Temperature)** | 判官采样的温度，范围 0–2，默认 **0.2**（旧版固定为 1）。自动路由默认只跑 1 轮、最终验收默认 2 轮（偶数轮交换 A/B 位置），温度越低判决越可复现；部分推理模型只接受默认温度，遇到适配器报错时改回 1 |
 | **最大并发数** | 所有 Verifier 调用共享的全局并发请求限制 |
 | **最大重试次数** | 遇到偶发网络或服务短暂故障时的额外重试次数 |
 | **请求超时 (ms)** | 单次模型调用的毫秒级超时时间 |
@@ -285,7 +286,7 @@ flowchart LR
 
 插件确定性识别以下对象，不额外调用分类模型：
 
-- 同一个 Agent step 中完成的两个同步 `subagent` / `subagent_fork` 结果视为一个候选组；后台启动返回的 Subagent ID 不会被当作候选；
+- 两个同步的 `subagent` / `subagent_fork` 结果**不会**被直接当作互相竞争的候选（它们通常只是不同子任务）：它们只作为语义路由的线索，是否 `compare` / `select` 交给分类器判断；后台启动返回的 Subagent ID 更是从不作为候选；
 - `workflow` 只有返回以下版本化协议才会被视为可信候选；普通 JSON、裸数组及 Subagent 文本不会直接触发结构化比较：
 
 ```json
@@ -301,6 +302,7 @@ flowchart LR
 ```
 
 - 同一任务内至少两个内容或状态发生真实变化的 `todo/write` 快照形成进度检查点；完全相同的重复快照会被折叠；
+- 检查点数量本身没有硬上限，但一次路由最多渲染**最近 6 个**检查点（`MAX_ROUTED_CHECKPOINTS`），被略过的数量会写在首个检查点里；「路由证据总字符上限」按检查点数分摊，所以长任务不会因为检查点太多而被整条丢弃；
 - 每个进度检查点都会附带**该时刻之前最近一次成功工具输出**（`tool/result` / `tool/ptc-dispatch` 原文，脱敏并限长）。只有 todo 文本的检查点无法证明"已完成"，裁判提示词明确拒绝给无实测输出的状态打高分，因此证据随检查点一同送入——否则一个真正完成的任务也会稳定被打回继续工作。
 
 显式调用过对应的 `verifier_compare`、`verifier_select` 或 `verifier_track` 后，自动 Router 不会再对同类结构化对象重复执行。每个输入还会计算稳定指纹，同一证据不会重复消费预算。
@@ -317,7 +319,7 @@ flowchart LR
 
 显式调用 `verifier_current_session` **不会**无条件关闭自动门控：只有该次复核真的达到通过阈值（`winner === 'A'` 且分数不低于阈值），并且之后没有再产生实质工作（写文件、执行命令等）时，才会被当作"已完成验收"而放行。判决失败、低于阈值、结果无法解析、或通过之后又继续改动的复核，都不会解除门控——下一停止边界仍会照常验收。此外，Agent Teams 的队友会话以 `team-message` 作为任务边界，因此队友会话同样可以触发（并遵守）任务级门控。
 
-所有自动阶段共享任务/会话级模型调用预算；分类请求以 `verifier_route_classify` 单独记录到统计。候选、步骤和标签在发送前统一执行默认脱敏、单项字符上限和总字符上限，图片证据按与显式工具相同的路径传入。
+所有自动阶段共享任务/会话级模型调用预算；分类请求以 `verifier_route_classify` 单独记录到统计。若某条决策因为超过证据上限、或语义路由引用了不存在/已失效的证据而没能执行，插件会写入宿主日志，并在统计里记下一条带 `dropped-over-budget` / `invalid-references` 判决的记录（没有模型调用，因此 `calls` 为 0），看板可以直接回答“这次为什么没有路由”。候选、步骤和标签在发送前统一执行默认脱敏、单项字符上限和总字符上限，图片证据按与显式工具相同的路径传入。
 
 ## 缓存、重试与遥测统计
 

package/lib/client.js

@@ -32,9 +32,9 @@ window.__ModuleLoader__.load({
 			"field.autoRouteMaxCandidates.title": "最多候选数",
 			"field.autoRouteMaxCandidates.help": "一次自动 select 最多纳入的真实候选数量，至少 3。",
 			"field.autoRouteMaxPerTask.title": "每任务最多路由",
-			"field.autoRouteMaxPerTask.help": "compare/select/track 自动路由的任务预算；指纹去重后仍受此上限约束。",
+			"field.autoRouteMaxPerTask.help": "自动路由（compare/select/track 与语义分类）的任务尝试上限；与「每任务最多验收」共享同一个计数器，实际可用次数是两者之和。",
 			"field.autoRouteMaxPerSession.title": "每会话最多路由",
-			"field.autoRouteMaxPerSession.help": "同一会话中 compare/select/track 自动路由总预算。",
+			"field.autoRouteMaxPerSession.help": "同一会话中自动路由的尝试上限；与「每会话最多验收」共享计数器，实际可用次数同样是两者之和。",
 			"field.autoTrackCompletionThreshold.title": "进度完成阈值",
 			"field.autoTrackCompletionThreshold.help": "track 任一检查点低于该值时 steering 要求 Agent 继续执行；范围 0–1。",
 			"field.autoRouteMaxItemChars.title": "单项证据字符上限",
@@ -47,16 +47,18 @@ window.__ModuleLoader__.load({
 			"field.autoMaxModelCallsPerSession.help": "整个会话所有自动验证阶段共享的估算模型调用上限。",
 			"field.autoVerifyThreshold.title": "通过阈值",
 			"field.autoVerifyThreshold.help": "会话证据分数达到该值且胜过空工作基线才允许结束；范围 0–1。",
-			"field.autoVerifyRepeats.title": "自动评估轮次",
-			"field.autoVerifyRepeats.help": "每项标准的自动评分重复次数；1 为低成本初筛。",
+			"field.autoVerifyRepeats.title": "路由评估轮次",
+			"field.autoVerifyRepeats.help": "自动路由（compare / select / track）每项标准的评分重复次数；1 为低成本初筛。",
+			"field.autoVerifyFinalRepeats.title": "最终验收轮次",
+			"field.autoVerifyFinalRepeats.help": "最终会话验收每项标准的评分重复次数；偶数轮会交换 A/B 位置以抵消位置偏好，默认 2。",
 			"field.autoVerifyMinToolCalls.title": "智能模式最少工具调用",
-			"field.autoVerifyMinToolCalls.help": "达到此工具证据数量且包含写入/执行类操作时才自动验收。",
+			"field.autoVerifyMinToolCalls.help": "统计除 Verifier 之外的全部工具调用（含 read/grep 等只读工具）；此外还必须存在写入/执行类操作与至少一条成功结果。",
 			"field.autoVerifyMaxChars.title": "最大证据字符",
 			"field.autoVerifyMaxChars.help": "发送给裁判前保留的最近会话证据字符数。",
 			"field.autoVerifyMaxPerTask.title": "每任务最多验收",
-			"field.autoVerifyMaxPerTask.help": "低分反馈后允许再次验收的次数上限，防止循环。",
+			"field.autoVerifyMaxPerTask.help": "最终验收的任务尝试上限；与「每任务最多路由」共享同一个计数器，实际可用次数是两者之和，用于防止低分反馈形成无限修复循环。",
 			"field.autoVerifyMaxPerSession.title": "每会话最多验收",
-			"field.autoVerifyMaxPerSession.help": "同一会话中的自动验收总预算。",
+			"field.autoVerifyMaxPerSession.help": "同一会话中最终验收的尝试上限；与「每会话最多路由」共享计数器，实际可用次数同样是两者之和。",
 			"field.autoVerify.warnNotice": "自动路由按 select → compare → track → current_session 的阶段顺序处理；脱敏后的任务、Assistant 轨迹与真实工具输出会发送给所选裁判模型。候选选择或进度不足会 steering 继续工作，最终验收未通过会要求修复并重新验证。",
 			"field.autoMaxModelCallsPerTask.warnBudget": "当前单任务预算为 {current} 次模型调用，低于 {judges} 位裁判完整锦标赛所需的最差情况（{required} 次）。建议调大该预算以避免自动路由过早耗尽。",
 			"field.autoMaxModelCallsPerSession.warnBudget": "当前会话预算为 {current} 次模型调用，低于 {judges} 位裁判推荐的最差情况（{required} 次）。建议调大该预算以避免会话验证过早耗尽。",
@@ -137,6 +139,8 @@ window.__ModuleLoader__.load({
 			"stats.outcome.below-threshold": "未达标",
 			"stats.outcome.tie": "平局",
 			"stats.outcome.error": "异常",
+			"stats.outcome.dropped-over-budget": "超预算丢弃",
+			"stats.outcome.invalid-references": "引用无效",
 			"stats.winner.tie": "平局",
 			"stats.verdict.winner": "胜方 {winner}",
 			"stats.verdict.scoreThreshold": "得分 {score}（阈值 {threshold}）",
@@ -208,9 +212,9 @@ window.__ModuleLoader__.load({
 			"field.autoRouteMaxCandidates.title": "Max Candidates",
 			"field.autoRouteMaxCandidates.help": "Maximum number of real candidates included in an automatic select, at least 3.",
 			"field.autoRouteMaxPerTask.title": "Max Routes per Task",
-			"field.autoRouteMaxPerTask.help": "Task budget for automatic compare/select/track routing; still constrained by this cap after fingerprint deduplication.",
+			"field.autoRouteMaxPerTask.help": "Task attempt cap for automatic routing (compare/select/track and semantic classification); shares one counter with \"Max Verifications per Task\", so the effective limit is the sum of both.",
 			"field.autoRouteMaxPerSession.title": "Max Routes per Session",
-			"field.autoRouteMaxPerSession.help": "Total budget for automatic compare/select/track routing within the same session.",
+			"field.autoRouteMaxPerSession.help": "Session attempt cap for automatic routing; shares its counter with \"Max Verifications per Session\" (effective limit is the sum of both).",
 			"field.autoTrackCompletionThreshold.title": "Progress Completion Threshold",
 			"field.autoTrackCompletionThreshold.help": "When any track checkpoint falls below this score, steering instructs the Agent to continue; range 0–1.",
 			"field.autoRouteMaxItemChars.title": "Max Chars per Route Item",
@@ -221,18 +225,20 @@ window.__ModuleLoader__.load({
 			"field.autoMaxModelCallsPerTask.help": "Estimated model call cap shared across semantic classification, intermediate routing, and final acceptance per task.",
 			"field.autoMaxModelCallsPerSession.title": "Model Call Budget per Session",
 			"field.autoMaxModelCallsPerSession.help": "Estimated model call cap shared across all automatic verification phases throughout the entire session.",
+			"field.autoVerifyRepeats.title": "Routing Repeats",
+			"field.autoVerifyRepeats.help": "Scoring repeats per criterion for automatic routing (compare / select / track); 1 is low-cost preliminary screening.",
+			"field.autoVerifyFinalRepeats.title": "Final Acceptance Repeats",
+			"field.autoVerifyFinalRepeats.help": "Scoring repeats per criterion for the final session acceptance; even rounds swap A/B positions to cancel position bias. Defaults to 2.",
 			"field.autoVerifyThreshold.title": "Pass Threshold",
 			"field.autoVerifyThreshold.help": "Evidence score must meet this threshold and beat the empty-work baseline to allow completion; range 0–1.",
-			"field.autoVerifyRepeats.title": "Auto Evaluation Repeats",
-			"field.autoVerifyRepeats.help": "Number of scoring repeats per criterion for auto evaluation; 1 is low-cost preliminary screening.",
 			"field.autoVerifyMinToolCalls.title": "Min Tool Calls (Smart Mode)",
-			"field.autoVerifyMinToolCalls.help": "Auto-verification triggers only when reaching this tool evidence count and containing write/exec operations.",
+			"field.autoVerifyMinToolCalls.help": "Counts every non-Verifier tool call, read-only tools included; consequential write/exec work and at least one successful result are still required.",
 			"field.autoVerifyMaxChars.title": "Max Evidence Characters",
 			"field.autoVerifyMaxChars.help": "Maximum recent session evidence characters retained before sending to the judge.",
 			"field.autoVerifyMaxPerTask.title": "Max Verifications per Task",
-			"field.autoVerifyMaxPerTask.help": "Maximum verification attempts allowed after low-score feedback to prevent infinite loops.",
+			"field.autoVerifyMaxPerTask.help": "Final-acceptance attempt cap per task; shares one counter with \"Max Routes per Task\", so the effective limit is the sum of both. Prevents endless low-score repair loops.",
 			"field.autoVerifyMaxPerSession.title": "Max Verifications per Session",
-			"field.autoVerifyMaxPerSession.help": "Total auto-verification budget within the same session.",
+			"field.autoVerifyMaxPerSession.help": "Final-acceptance attempt cap within one session; shares its counter with \"Max Routes per Session\" (effective limit is the sum of both).",
 			"field.autoVerify.warnNotice": "Automatic routing follows the phase order: select → compare → track → current_session. Sanitized tasks, Assistant trajectories, and real tool outputs are sent to the judge model. Candidate selection or insufficient progress steers the Agent to keep working; failed final acceptance requires remediation and re-verification.",
 			"field.autoMaxModelCallsPerTask.warnBudget": "Current task budget ({current} calls) is below the worst-case requirement ({required} calls) for {judges} judge(s) in a full tournament. Consider increasing it to avoid premature budget exhaustion.",
 			"field.autoMaxModelCallsPerSession.warnBudget": "Current session budget ({current} calls) is below the worst-case requirement ({required} calls) for {judges} judge(s). Consider increasing it to avoid premature budget exhaustion.",
@@ -313,6 +319,8 @@ window.__ModuleLoader__.load({
 			"stats.outcome.below-threshold": "Below Threshold",
 			"stats.outcome.tie": "Tie",
 			"stats.outcome.error": "Error",
+			"stats.outcome.dropped-over-budget": "Dropped (over budget)",
+			"stats.outcome.invalid-references": "Invalid references",
 			"stats.winner.tie": "Tie",
 			"stats.verdict.winner": "Winner {winner}",
 			"stats.verdict.scoreThreshold": "Score {score} (threshold {threshold})",
@@ -439,7 +447,11 @@ window.__ModuleLoader__.load({
 			if (typeof draft === "string" && draft.trim()) return draft.trim();
 			if (typeof previous === "string" && previous.trim()) return previous.trim();
 		}
-		const WORST_CASE_TASK_PER_JUDGE = 54;
+		/** An eight-candidate select: ring + pivot rounds (18 pairs) x three criteria, one repeat. */
+		const WORST_CASE_ROUTE_CALLS_PER_JUDGE = 54;
+		/** Final acceptance: three criteria x the default two repeats (one per A/B position). */
+		const WORST_CASE_FINAL_CALLS_PER_JUDGE = 6;
+		const WORST_CASE_TASK_PER_JUDGE = 60;
 		const WORST_CASE_SESSION_PER_JUDGE = 160;
 		function computeJudgeCount(extraJudgesCount) {
 			return 1 + Math.max(0, extraJudgesCount);
@@ -447,7 +459,7 @@ window.__ModuleLoader__.load({
 		function computeWorstCaseBudget(judgeCount) {
 			const count = Math.max(1, judgeCount);
 			return {
-				worstCaseTask: count * 54,
+				worstCaseTask: count * 60,
 				worstCaseSession: count * 160
 			};
 		}
@@ -712,6 +724,7 @@ window.__ModuleLoader__.load({
 				autoVerifyMode: mode,
 				autoVerifyThreshold: Number(v.autoVerifyThreshold ?? .65),
 				autoVerifyRepeats: Number(v.autoVerifyRepeats ?? 1),
+				autoVerifyFinalRepeats: Number(v.autoVerifyFinalRepeats ?? 2),
 				autoVerifyMinToolCalls: Number(v.autoVerifyMinToolCalls ?? 3),
 				autoVerifyMaxChars: Number(v.autoVerifyMaxChars ?? 8e4),
 				autoVerifyMaxPerTask: Number(v.autoVerifyMaxPerTask ?? 2),
@@ -724,7 +737,7 @@ window.__ModuleLoader__.load({
 				autoTrackCompletionThreshold: Number(v.autoTrackCompletionThreshold ?? .8),
 				autoRouteMaxItemChars: Number(v.autoRouteMaxItemChars ?? 2e4),
 				autoRouteMaxInputChars: Number(v.autoRouteMaxInputChars ?? 6e4),
-				autoMaxModelCallsPerTask: Number(v.autoMaxModelCallsPerTask ?? 64),
+				autoMaxModelCallsPerTask: Number(v.autoMaxModelCallsPerTask ?? 96),
 				autoMaxModelCallsPerSession: Number(v.autoMaxModelCallsPerSession ?? 240),
 				autoVerifyTeamTasks: v.autoVerifyTeamTasks !== false,
 				autoVerifyPlanMode: v.autoVerifyPlanMode !== false,
@@ -1200,6 +1213,13 @@ window.__ModuleLoader__.load({
 									help: t["field.autoVerifyRepeats.help"]
 								}), numeric("autoVerifyRepeats", 1)]
 							}),
+							/* @__PURE__ */ (0, react_jsx_runtime.jsxs)("div", {
+								style: row,
+								children: [/* @__PURE__ */ (0, react_jsx_runtime.jsx)(Label, {
+									title: t["field.autoVerifyFinalRepeats.title"],
+									help: t["field.autoVerifyFinalRepeats.help"]
+								}), numeric("autoVerifyFinalRepeats", 1)]
+							}),
 							/* @__PURE__ */ (0, react_jsx_runtime.jsxs)("div", {
 								style: row,
 								children: [/* @__PURE__ */ (0, react_jsx_runtime.jsx)(Label, {
@@ -2593,6 +2613,8 @@ window.__ModuleLoader__.load({
 		exports.StatisticsPage = StatisticsPage;
 		exports.VerifierSettings = VerifierSettings;
 		exports.VerifierSidebarIcon = VerifierSidebarIcon;
+		exports.WORST_CASE_FINAL_CALLS_PER_JUDGE = WORST_CASE_FINAL_CALLS_PER_JUDGE;
+		exports.WORST_CASE_ROUTE_CALLS_PER_JUDGE = WORST_CASE_ROUTE_CALLS_PER_JUDGE;
 		exports.WORST_CASE_SESSION_PER_JUDGE = WORST_CASE_SESSION_PER_JUDGE;
 		exports.WORST_CASE_TASK_PER_JUDGE = WORST_CASE_TASK_PER_JUDGE;
 		exports.apply = apply;