@hugesb/dsh-stream-agent 0.0.0-stage → 0.3.2

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (161) hide show
  1. package/CHANGELOG.md +622 -0
  2. package/CONTRIBUTING.md +72 -0
  3. package/LICENSE +202 -0
  4. package/README.en.md +349 -0
  5. package/README.md +300 -3
  6. package/cordis.patch.yml +77 -0
  7. package/dist/entry/action-gate.js +206 -0
  8. package/dist/entry/adapter-kit.js +192 -0
  9. package/dist/entry/context-render.js +119 -0
  10. package/dist/entry/control-bar-cli.js +289 -0
  11. package/dist/entry/control-bar.js +123 -0
  12. package/dist/entry/control-session.js +115 -0
  13. package/dist/entry/control-state.js +125 -0
  14. package/dist/entry/cordis-compat.js +95 -0
  15. package/dist/entry/eval-probe.js +112 -0
  16. package/dist/entry/intent-log.js +121 -0
  17. package/dist/entry/json-persistence.js +306 -0
  18. package/dist/entry/loop.js +4163 -0
  19. package/dist/entry/mock-provider.js +549 -0
  20. package/dist/entry/obs-broker.js +178 -0
  21. package/dist/entry/ptc-bridge.js +405 -0
  22. package/dist/entry/state-handle.js +217 -0
  23. package/dist/entry/takeover-registry.js +60 -0
  24. package/dist/kernel/control-bar.js +559 -0
  25. package/dist/kernel/final.js +62 -0
  26. package/dist/kernel/gate.js +464 -0
  27. package/dist/kernel/modes.js +253 -0
  28. package/dist/kernel/obs.js +517 -0
  29. package/dist/kernel/parser.js +1081 -0
  30. package/dist/kernel/render.js +466 -0
  31. package/dist/kernel/state.js +416 -0
  32. package/dist/version.js +9 -0
  33. package/docs/TEST-PROPOSITIONS.md +139 -0
  34. package/docs/adr-001-segment-boundary.md +61 -0
  35. package/docs/architecture.md +104 -0
  36. package/docs/desktop-ui-feasibility.md +277 -0
  37. package/docs/disabled-lines-audit.md +53 -0
  38. package/docs/limitations.md +181 -0
  39. package/docs/protocol.md +99 -0
  40. package/docs/v0.4.0-plan.md +50 -0
  41. package/eval/METRICS.md +128 -0
  42. package/eval/RESULTS.md +246 -0
  43. package/eval/tasks/fixtures/big-report.md +298 -0
  44. package/eval/tasks/fixtures/build-manifest.txt +5 -0
  45. package/eval/tasks/fixtures/deploy.yaml +4 -0
  46. package/eval/tasks/fixtures/error.log +200 -0
  47. package/eval/tasks/fixtures/features.yaml +4 -0
  48. package/eval/tasks/fixtures/pipeline.yaml +4 -0
  49. package/eval/tasks/fixtures/sales-q1.csv +61 -0
  50. package/eval/tasks/fixtures/settings.yaml +4 -0
  51. package/eval/tasks/fixtures/users-roster.json +304 -0
  52. package/eval/tasks/fixtures/users-scores.json +20 -0
  53. package/eval/tasks/gen-fixtures.cjs +80 -0
  54. package/eval/tasks/tasks.json +150 -0
  55. package/eval/tools/f6-kill-drill.cjs +176 -0
  56. package/eval/tools/f6-kill-drill.worker.cjs +131 -0
  57. package/eval/tools/gen-results.cjs +191 -0
  58. package/eval/tools/machine-test.cjs +200 -0
  59. package/eval/tools/manual-code-scenarios.md +59 -0
  60. package/eval/tools/replay-check.cjs +311 -0
  61. package/eval/tools/runner.cjs +219 -0
  62. package/eval/tools/session-log.cjs +106 -0
  63. package/eval/tools/summarize.cjs +185 -0
  64. package/eval/tools/t3-cells.cjs +173 -0
  65. package/package.json +73 -6
  66. package/patches/adapters-smoke.yml +41 -0
  67. package/patches/eval-account.yml +36 -0
  68. package/patches/eval-baseline.yml +33 -0
  69. package/patches/eval-stream-code-off.yml +46 -0
  70. package/patches/eval-stream-code-on.yml +47 -0
  71. package/patches/eval-stream.yml +54 -0
  72. package/patches/takeover.yml +42 -0
  73. package/patches/test-preset.yml +23 -0
  74. package/preset/stream/cordis.patch.yml +39 -0
  75. package/preset/stream/package.json +13 -0
  76. package/preset.yml +56 -0
  77. package/profiles/stream/README.md +66 -0
  78. package/profiles/stream/cordis.patch.yml +12 -0
  79. package/profiles/stream/package.json +17 -0
  80. package/profiles/stream-headless/package.json +16 -0
  81. package/scripts/build.mjs +103 -0
  82. package/scripts/check-consistency.mjs +146 -0
  83. package/scripts/gate.mjs +138 -0
  84. package/scripts/install-check.mjs +116 -0
  85. package/scripts/install-cycle.mjs +88 -0
  86. package/scripts/release.mjs +428 -0
  87. package/scripts/repair-session-logs.mjs +498 -0
  88. package/src/entry/action-gate.ts +206 -0
  89. package/src/entry/adapter-kit.ts +192 -0
  90. package/src/entry/context-render.ts +119 -0
  91. package/src/entry/control-bar-cli.ts +289 -0
  92. package/src/entry/control-bar.ts +123 -0
  93. package/src/entry/control-session.ts +115 -0
  94. package/src/entry/control-state.ts +125 -0
  95. package/src/entry/cordis-compat.ts +95 -0
  96. package/src/entry/eval-probe.ts +112 -0
  97. package/src/entry/intent-log.ts +121 -0
  98. package/src/entry/json-persistence.ts +306 -0
  99. package/src/entry/loop.ts +4163 -0
  100. package/src/entry/mock-provider.ts +549 -0
  101. package/src/entry/obs-broker.ts +178 -0
  102. package/src/entry/ptc-bridge.ts +405 -0
  103. package/src/entry/state-handle.ts +217 -0
  104. package/src/entry/takeover-registry.ts +60 -0
  105. package/src/kernel/control-bar.ts +559 -0
  106. package/src/kernel/final.ts +62 -0
  107. package/src/kernel/gate.ts +464 -0
  108. package/src/kernel/modes.ts +253 -0
  109. package/src/kernel/obs.ts +517 -0
  110. package/src/kernel/parser.ts +1081 -0
  111. package/src/kernel/render.ts +466 -0
  112. package/src/kernel/state.ts +416 -0
  113. package/src/version.ts +9 -0
  114. package/test/activation.test.ts +187 -0
  115. package/test/adapters.test.ts +676 -0
  116. package/test/control-bar.test.ts +486 -0
  117. package/test/desktop-ui.test.ts +359 -0
  118. package/test/eval-probe.test.ts +139 -0
  119. package/test/f5-plan.test.ts +221 -0
  120. package/test/f6-intent.test.ts +168 -0
  121. package/test/f7-segment.test.ts +190 -0
  122. package/test/fix-limits.test.ts +599 -0
  123. package/test/gate.test.ts +380 -0
  124. package/test/helpers/stub-loop.ts +240 -0
  125. package/test/host-conformance.test.ts +418 -0
  126. package/test/kernel/obs.test.ts +329 -0
  127. package/test/kernel/parser.test.ts +451 -0
  128. package/test/loop.test.ts +1393 -0
  129. package/test/mock-provider.test.ts +386 -0
  130. package/test/ptc-bridge.test.ts +356 -0
  131. package/test/render.test.ts +418 -0
  132. package/test/s2-install-check.test.ts +46 -0
  133. package/test/scenarios/3-file-basic.json +13 -0
  134. package/test/scenarios/5-file-basic.json +22 -0
  135. package/test/scenarios/burn-more.json +9 -0
  136. package/test/scenarios/degraded-final.json +10 -0
  137. package/test/scenarios/fault-abort-xml.json +11 -0
  138. package/test/scenarios/fault-malformed-command.json +12 -0
  139. package/test/scenarios/fault-midstream-abort.json +11 -0
  140. package/test/scenarios/fault-saturating-output.json +9 -0
  141. package/test/scenarios/fault-timeout.json +9 -0
  142. package/test/scenarios/peek-first.json +11 -0
  143. package/test/scenarios/peek-second.json +11 -0
  144. package/test/scenarios/peek-third.json +10 -0
  145. package/test/scenarios/recover-final.json +10 -0
  146. package/test/scenarios/reroute-first.json +17 -0
  147. package/test/scenarios/reroute-second.json +16 -0
  148. package/test/scenarios/starvation-final.json +10 -0
  149. package/test/scenarios/starvation-promote.json +11 -0
  150. package/test/scenarios/wait-tools-continue.json +10 -0
  151. package/test/scenarios/wait-tools-xml.json +22 -0
  152. package/test/scenarios/wait-tools.json +15 -0
  153. package/test/session-format.test.ts +234 -0
  154. package/test/state.test.ts +335 -0
  155. package/test/stream-v02.test.ts +264 -0
  156. package/test/v031-display.test.ts +333 -0
  157. package/test/v032-conflict.test.ts +191 -0
  158. package/test/v032-truncation.test.ts +291 -0
  159. package/ui/client.js +576 -0
  160. package/ui/index.js +282 -0
  161. package/ui/package.json +26 -0
@@ -0,0 +1,99 @@
1
+ # 单流协议
2
+
3
+ ## 命令语法
4
+
5
+ 模型在一次流里连续输出 `tf-*` 命令。语法以 `src/kernel/parser.ts` 为唯一权威,下面只是等价描述。
6
+
7
+ | 命令 | 属性 | 语义 | 结果处理 |
8
+ |---|---|---|---|
9
+ | `tf-write` | `path`、`content`/`patch` | 写或改文件 | 成功只记 ledger,**绝不注入** |
10
+ | `tf-read` | `path`,可选 `offset`/`limit`(1 基行号) | 读文件 | 读**外部文件**完整反馈一次(≤8000 字符,超限留头尾);读**本任务 `tf-write` 写过的路径**只注入回执(`[tf-stream:receipt]`,行数 + sha256 指纹,0.2.0 O7);补充走 `tf-peek` |
11
+ | `tf-edit`(0.3.0 F1) | `path`,可选 `replace_all`;body = `<<<<<<< OLD` / 原文 / `=======` / 新文 / `>>>>>>> NEW` 标记块 | 精确替换(映射宿主 `edit`;不做模糊匹配,匹配失败结构化报错,绝不静默改全文) | 成功只记 ledger;失败注结构化原因 |
12
+ | `tf-append`(0.3.0 F1) | `path`,可选 `anchor`(锚点原文);body = 追加正文 | 只追加不改既有内容:有 anchor = 锚点后插入(映射宿主 `edit`);无 anchor = EOF 追加(映射宿主 `apply_patch` 的 `*** End of File` 锚) | 成功只记 ledger |
13
+ | `tf-grep`(0.3.0 F2) | `pattern`,可选 `path`/`include` | 内容搜索(映射宿主 fs-search `grep`),只回匹配行(自带行号、按文件分组) | 首次/变化完整注入;超限句柄化 |
14
+ | `tf-glob`(0.3.0 F2) | `pattern`,可选 `path` | 文件名搜索(映射宿主 fs-search `glob`),只回路径 | 同上 |
15
+ | `tf-bash` | `command`、`description` | 执行命令(Windows 宿主映射到 `pwsh`) | 失败注入,成功只记 ledger |
16
+ | `tf-peek` | `handle`、`from`/`to` | 从句柄取回行段 | 按需注入 |
17
+ | `tf-final` | `id`、`summary` | 声明任务完成 | 触发收束判定;同 id 携带新 summary = 覆盖最终答案(last-wins);**有未验证验收项时判过早(F5)** |
18
+ | `tf-code` | `description`,可选 `timeout`(毫秒);body = async TS 函数体(可擦除语法) | 程序化工具调用(PTC 桥接):绑定 `tools.write/read/pwsh` 走宿主管线。**0.3.0 K1:默认关闭**(协议段 0 字符),显式 `enableCode: true` 或 `power` 模式才启用 | 成功:上限内值完整注入(F3,缺省 4000 字符),超限骨架+句柄;失败:结构化 `[kind retry 结论]`(K3 八类 + quota-exceeded);运行受 K5 配额(64 子调用/256KiB/300s)与 K2 沙箱记账(mode/denied/enforcement,`partial` 显式可见)约束 |
19
+ | `tf-plan`(0.3.0 F5) | 无;body = `- [id] 验收项描述` 行 | 声明/修订任务计划与验收项(状态放驱动器=宿主侧;请求只注**差分**) | 命令成功时在命令上加 `accepts="<id>"` 声明回执 → 验收项记已验证;缺项/未验证 → tf-final 判过早。`enablePlan: false` 关闭(回退点) |
20
+
21
+ 命令可带 `depends_on` 声明依赖,`accepts` 声明验收关联(F5),驱动器据此决定派发时机与收敛判定。
22
+
23
+ ## 驱动器闭环语义
24
+
25
+ 光有命令集不够——单流能不能跑稳,取决于这几条边界行为。全部有单测与真连取证:
26
+
27
+ | 语义 | 规则 | 解决的问题 |
28
+ |---|---|---|
29
+ | **隐式写序** | 同流内后续命令自动等待先闭合的 `tf-write`(写族 FIFO,读批并行) | 同流 `write → read` 读到旧内容 |
30
+ | **重复 id 幂等** | 同 id 同内容 = 返回原回执不重执行;同 id 不同内容 = 拒绝并要求换新 id;被拒命令可用原 id 修正重发 | 模型 id 抖动伪造成功 |
31
+ | **乐观 peek 延迟重试** | 同流 peek 未就绪句柄 → 流末 drain 后重试一次,仍无才失败 | 同流内部依赖断链 |
32
+ | **`tf-final` last-wins** | final 无副作用,同 id 携带新 summary 视为更新答案 | 模型从不换 id 却想改答案 |
33
+ | **过早 final 检测** | final 带未满足依赖或未完成命令时,注入引导让模型重发 | 提前收工 |
34
+ | **错误取因** | 逐层解包 `ToolBatchExecutionError.cause` | 失败 detail 不可定位 |
35
+ | **tf-code 隔离执行(0.2.0;0.3.0 收口)** | 程序体闭合即派发到宿主 PTC runtime(resolve→run);返回值无损 JSON 句柄化,中间结果不进上下文;绑定失败对齐 ToolCallError 语义。0.3.0:回合 signal 直通(K4)、cwd 透传与沙箱事实逐次记账(K2)、八类失败 kind + 可重试结论(K3)、三项配额硬限制(K5)、默认关闭显式开启(K1) | 重型数据加工只回结论不回过程;取消/超限/沙箱拒绝都有具名失败与账本记录 |
36
+ | **自写回验 receipt(O7)** | `tf-read` 命中本任务 `tf-write` 已写过的路径(分隔符规范化后比对)→ 回执注入,不回灌全文;`selfReadFeedback: 'full'` 关闭 | 写批任务"写 → 读回验"循环烧 token |
37
+ | **code 结果可见性(F3,0.3.0)** | 仅 tf-code 显式开启时:首成功/变化值 ≤4000 字符完整注入(省一次 tf-peek 往返),超限骨架 + 句柄 | 值可见 ≥95% 而 peek ≤10%;不恢复全量回灌 |
38
+ | **原生通道上限(F4,0.3.0)** | 仅声明 `nativeToolSchemas` 时:原生 tool_call 结果单块 >6000 字符 → 骨架 + 句柄(obs 登记,可 tf-peek) | 原生通道不成为全量回灌后门 |
39
+ | **计划与验收(F5,0.3.0)** | 计划状态在驱动器侧,请求只注差分(新计划全量一次,此后只注变化);`accepts` 命令回执是唯一验证来源,模型自述不算;有未验证验收项时 tf-final 判过早 | 复合任务"声称完成但无回执"被结构性拦截 |
40
+ | **恢复意图(F6,0.3.0)** | 变更类命令派发前意图 fsync 落盘、落定即回执;resume 发现"有意图无回执"→ 停机核对(零注入,不自动重放);`dsh-stream-agent intents` 核对/--ack 闭合 | 强杀后写入状态三态可判定;不重放、不重复写 |
41
+ | **段边界(F7,0.3.0,ADR-001)** | 追加区超 `segmentMaxChars`(默认 160k 字符)→ 新回合开始处整块丢弃旧段(原文句柄化可回取,显式记录缓存重置点;不做摘要改写) | 长会话体积有界;边界只落完整回合,前缀断言仍 fail-closed |
42
+
43
+ ## 上下文装配
44
+
45
+ 一次请求的 messages 分三段:**稳定前缀**(系统提示 + 任务 + 冻结的动态段)→ **观测注入**(只放高增益)→ **易变尾**(本轮新增内容)。装配规则:
46
+
47
+ - **只追加,不改写**。禁止摘要、压缩、编辑中间内容——那会直接摧毁 prefix cache。
48
+ - **O3 目录差分**:句柄目录不整段重注,只注自上次请求以来的增量(added / changed / stale 三列)。
49
+ - **O4 动态冻结**:时间戳、目录快照等逐请求变化的内容一律移到易变尾,稳定前缀里不允许出现。
50
+ - **O6 前提断言**:每次发请求前算 `renderHash`,与上一次比对必须单调,否则拒绝发送(fail-closed)。宁可任务失败,也不烧缓存。
51
+
52
+ ## 预算分级(O5)
53
+
54
+ 任务级 token 预算执行三档降级:
55
+
56
+ | 用量 | 行为 |
57
+ |---|---|
58
+ | < 70% | 正常:按 `info_gain` 注入 |
59
+ | 70–90% | 只注 high 与失败,low / none 一律句柄化 |
60
+ | > 90% | 停止一切注入,只收 `tf-final`,输出降级交付(已完成 / 未完成 / 已排除 / 下一步) |
61
+
62
+ 预算在每步请求前的 preflight 校验,不是事后统计。
63
+
64
+ ## 动作准入(gate)
65
+
66
+ 四级可逆性:
67
+
68
+ | 级别 | 行为 |
69
+ |---|---|
70
+ | `read` | 直接放行 |
71
+ | `spec` | 只写暂存区 + 产 diff,不碰真实工作区;产出绑定内容 hash 的一次性凭据 |
72
+ | `commit` | 必须携带有效凭据(`already_used` / `expired` / `hash_mismatch` / `unknown` 四种结构化拒绝) |
73
+ | `fatal` | 无人工批准通道时直接拒绝 |
74
+
75
+ 缺 `reversibility` 声明不会静默通过——`registry.freeze()` 在装配期就抛 `MissingReversibilityError`。把"忘记声明"变成启动期失败,而不是运行时的意外放行。
76
+
77
+ ## DSML 噪声与桌面显示(0.3.1)
78
+
79
+ 真机取证:模型偶尔把 DeepSeek 原生调用格式 `<||DSML|| …>`(U+FF5C 全角竖线)混进文本流
80
+ (`<||DSML|| calls>` 包装行、`<||DSML|| invoke name="tf-plan" id="p1">` 调用行)。
81
+ 协议里没有任何合法形式以 `<|` 开头,parser(`src/kernel/parser.ts`,唯一权威)一律不作为
82
+ prose 透传:
83
+
84
+ | 形态 | 处理 |
85
+ |---|---|
86
+ | `<|…DSML… invoke name="tf-xxx" 属性…/>` 或配对打开 | 改写回等价 `tf-*` 头部,交 `parseHeader` 统一 schema 校验——**命令不丢** |
87
+ | 其余包装行(`calls` 等)与属性段残缺的调用行 | `malformed(dsml-wrapper)` 记账后丢弃:只进驱动器台账与 `plugin:tf-agent/fault`,不注入、不打断流 |
88
+ | 尾部未闭合的 DSML 片段(流终止) | 同上,不进 prose |
89
+
90
+ 配套两条(桌面端思考过程显示修复,取证链见 CHANGELOG 0.3.1):
91
+
92
+ - **落盘正文纯 prose 化**:assistant/message 的 text 块只含解析器 prose 事件;tf-* 标记与
93
+ DSML 噪声留在台账(`plugin:tf-agent/*`),不进会话表面。resume 重放读台账,不受影响。
94
+ - **`agent/assistant-stream` 实时帧**:start → 逐 reasoning-delta chunk → end。契约对齐宿主
95
+ 两端 fold(服务端 `SessionAssistantStreamAccumulator.accept`:revision 逐帧 +1、chunk
96
+ index 逐块 +1;客户端 `ClientAssistantStream.acceptFrame`)。正文不逐帧透传(协议标记不
97
+ 闪现);工具广告前收束 attempt(abandoned)——否则广告消息滞留客户端 pending,下一步
98
+ start 帧触发 `events.restart()` 整窗重建。思考过程以 `{type:'reasoning'}` 内容块随
99
+ assistant/message 落盘(块序镜像内建:思考先于正文),重放/历史加载同样可见。
@@ -0,0 +1,50 @@
1
+ # V0.4.0 规划实施对照(F5–F7 已随 0.3.0 实施)
2
+
3
+ > 上游计划:`upgrade-plan/v0.4.0.md`(中性能力与固化)。
4
+ > **本轮决策**:V0.4.0 规划的全部条目(F5/F6/F7 + 治理复跑准备)随本版一次性实施,
5
+ > 合并产出的最终版本号标记为 **V0.3.0**——即 0.4.0 的能力面已在本版落地,0.4.0 作为
6
+ > 独立发布号不再携带新的能力条目,只承担"治理复跑 + 真机数字回填"(见 §3)。
7
+
8
+ ## 1. 条目对照
9
+
10
+ | ID | 计划要求(v0.4.0.md) | 实施状态 | 落点 |
11
+ |---|---|---|---|
12
+ | **F5 计划与验收** | 计划状态放宿主侧,只注差分;`tf-final` 校验验收项,成功回执才允许标完成;净增 ≤0 | **已实施(默认开启)** | `tf-plan` 命令 + `accepts` 公共属性(parser.ts);计划状态/差分注入/过早 final 拦截(loop.ts `#plan`/`#markAccepts`/`renderPlanDiff`);`enablePlan: false` 回退点;测试 `test/f5-plan.test.ts`(含"自述不算证据") |
13
+ | **F6 恢复意图** | 写前意图落盘(fsync)、写后回执、resume "有意图无回执"停机核对;零注入;10 次强杀 0 重放 0 重复写 | **已实施(默认开启)** | `src/entry/intent-log.ts`(fsync JSONL:intent/receipt/ack);驱动器 `onIntent`/`onIntentReceipt` 端口(变更类命令派发前落盘);resume 停机核对(`setResumeHalt`,零请求零注入);CLI `dsh-stream-agent intents [--ack]`;回退点 `enableIntents: false` / `resumeIntentPolicy: 'ignore'`;强杀演练 `eval/tools/f6-kill-drill.cjs`(10 轮 × 三时点,SIGKILL,0 重放 0 重复写,离线已跑通过);测试 `test/f6-intent.test.ts` |
14
+ | **F7 长会话段边界** | 先出 ADR(整块丢弃 vs 宿主压缩);实现段边界;不摘要改写;100 请求 0 前缀违规;末/首 ≤1.5× | **已实施(默认开启)** | ADR:`docs/adr-001-segment-boundary.md`(采纳整块丢弃,拒绝宿主压缩);`render.ts` `dropAppendHead`(整块 + policyLog + 前缀基线重置);驱动器 `segmentMaxChars`(默认 160k 字符,0=关闭);被丢弃原文句柄化(`obs:read:seg-*`,`peekHandle()` 回取);测试 `test/f7-segment.test.ts`(50 回合 × 2 请求 = 100 请求,0 前缀违规,末/首 ≤1.5× 断言)——顺带抓出并修复了护栏计数跨回合累计的真 bug |
15
+ | **R1–R4 治理复跑** | 0.4.0 独立提交/tag/CHANGELOG;装配一致;评测矩阵;门禁 6/6 | **工具就绪,数字待真机** | R2:`npm run check`(4 项,当前 2 项绿,README 数字在 README 重写后回填);R4:`npm run gate`(6 项,离线可判项就地判定,真机项如实标待复测);R3:评测矩阵脚本 + 三格 patch 模板就绪(见下) |
16
+
17
+ ## 2. 计划语义的落地决策(与 v0.4.0.md 的差异点,逐条给理由)
18
+
19
+ 1. **F5 默认开启而非 opt-in**:计划的准入条件是"净增 ≤0"。差分注入设计(新计划全量
20
+ 一次、此后只注变化;无变化不产生任何块)使静态注入增量收敛于"计划清单一次 +
21
+ 每次验收一行",而它换来的是过早 final 拦截(减少整轮重试)——净增判定以 R3 重跑
22
+ 的逐任务对照为准;若重跑显示净增 >0,`enablePlan: false` 是配置级回退点,无需改码。
23
+ 2. **F6 的"有意图无回执"判定保留 failed 态**:计划原文是"有意图无回执"停机核对;
24
+ 实现把"已发生但失败"(receipt ok=false)与"不确定"(无 receipt)分开——只有
25
+ "不确定"触发停机核对,失败意图只在 CLI 列出供参考(失败不算未发生,也不该阻断)。
26
+ 3. **F7 的触发粒度是"回合边界 + 追加区字符数"**:计划未指定触发量;选字符数(160k ≈
27
+ 40k tokens)而非请求数,因为缓存的代价单位是 token。可配可关。
28
+ 4. **F7 的"原文可按 request:N 回取"落地为 obs 句柄**:宿主没有 request:N 寻址面;
29
+ `obs:read:seg-t<turn>-<i>@v1` + `tf-peek`/`peekHandle()` 等价实现该语义。
30
+
31
+ ## 3. 0.4.0 作为发布号还剩什么(不复刻能力,只复跑治理)
32
+
33
+ 1. **R3 评测矩阵重跑**(真机,双人臂 + 三格):
34
+ - 双臂:`eval/tools/runner.cjs --arm baseline|stream --stamp <新>`(10 任务 + 哨兵;
35
+ 新命令面任务 B1/B3 单独建基线);
36
+ - 三格:B = v0.2.1 tag 产物 + `patches/eval-stream.yml`;A-1a = `eval-stream-code-on.yml`;
37
+ A-1b = `eval-stream-code-off.yml`;`eval/tools/t3-cells.cjs --stamp <新>` 判定
38
+ (A-1a == B 逐字节;A-1b 差值 == tf-code 段 1,175 字符;≥10% 才主张下降)。
39
+ 2. **R4 门禁 6/6**:`npm run gate`;G5(token 门槛)用新 stamp 的 `summarize.cjs` 复算;
40
+ G6 回退演练 = `scripts/install-cycle.mjs` 10 轮 + 回退 0.2.1 产物验证宿主恢复。
41
+ 3. **R1/R2 复跑**:tag = package;`npm run check` 4/4(README 数字以实测回填)。
42
+ 4. **验收指标对账**:v0.4.0.md §6 退出条件逐条勾(F5 净增 ≤0 / F6 强杀 0 重放 /
43
+ F7 100 请求 0 违规——后两者已有离线演练与单测证据,真机口径以 R3 批次为准)。
44
+
45
+ ## 4. 与本版(V0.3.0)文档的关系
46
+
47
+ - `README.md` / `README.en.md`:按 F5–F7 已实施的能力面重写(计划/恢复/段边界入能力表)。
48
+ - `docs/protocol.md`:tf-plan/accepts、code-error 结构、段边界、恢复意图语义已入表。
49
+ - `docs/limitations.md`:F6 强杀窗口三态、F7 缓存重置代价、K1 默认关闭均已如实入列。
50
+ - 测试命题:`docs/TEST-PROPOSITIONS.md`(B4/B7/B8/B9/B10 直接对应 F5/F6/F7/S3/S2)。
@@ -0,0 +1,128 @@
1
+ # eval/METRICS.md —— 评测指标口径(分派 08 交付 1)
2
+
3
+ > 状态:**草案 v1.0(2026-11-14),待项目负责人确认。** 确认后 03/07 号包计数器上报按此对齐;
4
+ > 口径变更必须走 §6 变更记录,禁止评测中途改口径(08 号任务书红线)。
5
+ > 上游契约:06 驱动器 `snapshot().counters` 是 `injected_ratio` 的**权威口径**(07 号结果 §3.2);
6
+ > 本文件同时是 03/07 号包计数器上报与 09 号对照组的口径锚。
7
+
8
+ ## 0. 环境事实(口径得以成立的实测前提,2026-11-14 勘察)
9
+
10
+ | # | 事实 | 对口径的影响 |
11
+ |---|---|---|
12
+ | E1 | session log 位于 `%USERPROFILE%\.dsh\sessions\<工作区slug>\session-*\session.v4.jsonl.zstd`(zstd JSONL,Node 24 原生可解) | 存档 oracle 的路径与复算入口 |
13
+ | E2 | session log 的 `request/header` **不含 messages**(只有 config/adapterDefaults/tools);`assistant/attempt.data.stream` 内嵌逐 chunk 流,含 `{"type":"usage","usage":{...}}` | 调用次数主口径可用 session log;**逐请求 messages 必须 session log 之外的插桩来源** |
14
+ | E3 | dsh-llm `TokenUsage`(`dsh-llm/lib/types/types.d.ts:160`):`inputTokens` 为**未缓存输入**(DISJOINT),缓存输入单列 `cacheReadTokens`/`cacheWriteTokens`,"billed input = sum of the three" | 单位任务 token 必须三分量求和,漏掉 cache 分量会系统性低估两臂(对照臂尤甚——它是靠缓存省钱的) |
15
+ | E4 | 插桩方案:中立探针 entry `entry/eval-probe.ts`(只挂 `llm/stream`,逐请求抓 messages + usage 原文,透传不改流,fail-open),**两臂同装**;06 驱动器加 env 门控 turn-end dump(`STREAM_LOOP_EVAL_DUMP`) | prefix_hash / cached 字段 / injected_ratio 的数据源;插桩对两臂对称,属测量仪器不属于对照变量 |
16
+ | E5 | 会话标题生成是宿主旁路请求(`session/title-llm-request`,maxTokens 64) | 从指标中剔除(两臂同剔),见 M1 与 M2 的实现细则 |
17
+ | E6 | session log 的 `request/header` 由内建 dsh-agent-loop 写入(lib/index.js:1030),llm 层与对照臂驱动器路径均不写;smoke 实测基线臂 1/1、对照臂 0/1 | M2 主口径改为 eval-probe 计数(变更记录 v1.1);考虑给驱动器补写 request/header 的替代方案被否——向 session 写宿主 known-event 有投影污染风险 |
18
+
19
+ ## 1. 指标定义
20
+
21
+ ```yaml
22
+ 单位任务 token (M1):
23
+ 定义: Σ over agent 回合内全部请求 [inputTokens + cacheReadTokens + cacheWriteTokens
24
+ + outputTokens] # E3:三分量求和 == provider prompt+completion 计费口径
25
+ 含: 注入内容(骨架/peek/错误块/句柄目录差分)逐请求计入;全部请求计入
26
+ 排除: 系统提示跨任务固定差值(同任务集内两臂对齐后不影响对照)
27
+ 排除: 会话标题旁路请求(E5;识别特征:maxTokens=64 且 messages 单条,剔除规则两臂一致)
28
+ 来源: eval-probe 逐请求 usage 原文 JSON(留存);session log assistant/attempt usage 对账
29
+ 原文留存: probe 落盘的 usage JSON 逐条保留,RESULTS.md 贴原文片段(M4 取证要求)
30
+
31
+ 模型调用次数 (M2):
32
+ 定义: 主口径 = eval-probe 捕获的 agent 回合请求数(剔除标题旁路,同 M1)
33
+ 对账口径 = session log 中 request/header 记录数(**仅基线臂可得**——实测确认该记录由
34
+ 内建 dsh-agent-loop 写入(dsh-agent-loop/lib/index.js:1030),llm 层不写;对照臂
35
+ 驱动器路径无此记录。任务书原文口径在对照臂不可用,按变更记录 v1.1 调整)
36
+ 对账纪律: 基线臂两口径必须相等;不等逐条解释,差异不明 = 数据不可信
37
+ 排除: 标题旁路请求(同 M1)
38
+ 来源: eval-probe 逐请求计数(两臂同装同口径)+ session log 解析(基线臂对账)
39
+
40
+ injected_ratio (M3):
41
+ 定义: injected / produced(obs.ts 计数器;produced=0 时为 0)
42
+ 权威来源: 06 驱动器 snapshot().counters(env STREAM_LOOP_EVAL_DUMP 落盘;07 号 §3.2 裁定)
43
+ 旁证: obs-broker 工具通道全量 counters(分母含原生 tool_call,与驱动器口径不同纲,
44
+ 只做量级对账,不进 RESULTS 数字格)
45
+ 基线臂: n/a(内建 loop 无此概念,不填数字,如实标 n/a)
46
+
47
+ prefix_hit (M4):
48
+ 定义: 相邻请求公共前缀长度(逐请求 messages 序列化后的字节级公共前缀)
49
+ → prefix_hash 序列 = 逐请求 fullHash(含 messages 全量),单调性为验收项
50
+ 补充口径: provider usage 的 cacheReadTokens / cacheWriteTokens
51
+ (存在则贴原始 JSON;不存在如实写"不可得"——08 号任务书要求二选一如实标注)
52
+ 来源: eval-probe 逐请求 messages 原文(E2:session log 不含 messages,只能插桩取)
53
+ + usage 原文
54
+
55
+ 回放一致性 (M5):
56
+ 定义: 按 session log / probe 记录重放全部写入操作后,工作区树哈希 == 实跑后工作区树哈希
57
+ 工作区树哈希: 逐文件 sha256(相对路径排序 + 内容),runner 落盘 manifest.json
58
+ 来源: replay-check 工具(对照臂从 tf-* 命令重放;基线臂从 session log 工具调用重放)
59
+ ```
60
+
61
+ ## 2. 任务集与判定规则
62
+
63
+ - 任务集 ≥10:写入批 ≥3 / 读改查 ≥4 / 复合 ≥3,任务文本 JSON 写死(`eval/tasks/*.json`),
64
+ 基线与对照**逐字节同一任务**(含 seed fixtures 逐字节同一份)。
65
+ - 每任务fresh工作区(两臂各自独立全新 seed,杜绝跨臂污染);同一 API key、同一天跑完两臂。
66
+ - 逐任务记录四元组:M2 调用次数 / M1 input / M1 output / M3 injected_ratio。
67
+ - **判定(加权平均 = Σ任务 token / Σ任务基线 token,全部任务计入,失败与超时照算):**
68
+
69
+ | 对照加权平均 | 判定 |
70
+ |---|---|
71
+ | ≤ 55% | 命题通过 |
72
+ | 40%–55% | 边缘:分析注入占比与调用次数,指出 O1/O3 实际效果方向 |
73
+ | < 40% 且 06 号未降级 | 命题失败风险:回查 O2 tf-peek 遵循度与 O1 骨架质量 |
74
+ | 06 号已降级 | 只报"降级形态收益",上限按 20-30% 口径解读,如实标注 |
75
+
76
+ - 失败任务计入:任务失败/超时时,其基线值照常进分母,对照值取实际发生值(含 0 与失败标记)。
77
+
78
+ ## 3. 数据来源与取证映射
79
+
80
+ | 指标 | 主数据源 | 对账源 | 取证要求 |
81
+ |---|---|---|---|
82
+ | M1 | probe usage JSONL | session log assistant/attempt usage | usage 原文逐条留存 |
83
+ | M2 | session log request/header | probe request 记录 | 差值逐条解释 |
84
+ | M3 | driver snapshot dump | obs-broker metrics(旁证) | dump JSON 原样归档 |
85
+ | M4 | probe 逐请求 messages | session log 时序 | prefix_hash 序列逐任务导出;cached 字段 JSON 原文 |
86
+ | M5 | replay-check | runner 的 workspace manifest | 两侧哈希清单落盘 |
87
+ | 任务成败 | runner 退出码 + session log turn/end + 期望检查器 | — | 失败原因原文进 RESULTS |
88
+
89
+ ## 4. 控制变量(红线)
90
+
91
+ 1. 同一任务集、同一 API key、同一天跑两臂;两臂 runner 参数除 patch 外逐项相同。
92
+ 2. 模型/provider 锁定:以 session log `request/header.config` 记录为准,逐任务归档;
93
+ 两臂 model/provider 不一致 = 该任务作废重跑(如实标注)。
94
+ 3. 插桩(eval-probe)两臂同装;探针自身异常 fail-open 放行并留痕,不改流(测量不改对象)。
95
+ 4. 数据不许挑:失败计入、超时计入、全部如实上报;每个数字可从 probe log + session log 重算。
96
+
97
+ ## 5. 语义裁定(对 06/07 号交接事项的评测侧裁定)
98
+
99
+ 1. **06 §3.1(high 压过 tf-final)保留**:tf-final 后仍有未注入 high 观测 → 仍重入一次。
100
+ 该语义影响 M2 调用次数(读+收尾型任务 +1 请求),两臂判定不受影响(对照臂特性,
101
+ 进 RESULTS 分析,不改驱动器)。
102
+ 2. **06 §3.6(饥饿升格注入断链)评测前修复**:`#turnLoop` 的 noteStep 返回值已接入注入块
103
+ (升格骨架按 high 观测格式注入,final-only 档除外)。修复后信息真空场景的重入可能 +1,
104
+ 属设计内行为,M2 如实记录。
105
+ 3. **07 §3.3(泄漏扫描记账)**:原生 tool_call 通道的全文回灌 leak 记账对应 06 §3.2 的 v1
106
+ 限制,RESULTS 中单独列示,不计入命题判定。
107
+
108
+ ## 6. 变更记录(口径变更必须留痕)
109
+
110
+ | 版本 | 日期 | 变更 | 理由 | 批准 |
111
+ |---|---|---|---|---|
112
+ | v1.0 | 2026-11-14 | 初稿(08 号任务书 yaml 定义 + E3 缓存三分量修正 + E5 标题请求剔除 + 06/07 交接事项裁定) | 勘察 E1-E5 实测事实 | 待项目负责人确认 |
113
+ | v1.1 | 2026-11-14 | M2 主口径从"session log request/header 数"改为"eval-probe 逐请求计数";request/header 降为基线臂对账口径 | smoke 实测 E6:request/header 由内建 loop 写入,对照臂为 0(数据源缺失非口径偏好);实测发生在任何真连之前,不影响已采集数据 | 待项目负责人确认(随 v1.0 一并) |
114
+
115
+ ---
116
+
117
+ ## 7. 0.3.0 计量工具(M1/M3 交付;口径不变,计算器收敛)
118
+
119
+ - **M1**:`eval/tools/summarize.cjs` —— 四分量逐请求求和(输入/缓存读/缓存写/输出),
120
+ 标题旁路剔除(E5),缺失分量标"不可得"(不按 0 计,E3 纪律的落地);产出
121
+ `summary.json`(逐任务可复算的权威形态)与 Markdown 表。RESULTS.md 的数字一律由它出。
122
+ - **M3**:`eval/tools/replay-check.cjs` —— 0.3.0 修复对照臂提取器两个根因
123
+ (属性序敏感、`text-delta` 字段名),对照臂回放一致性 10/10(树哈希 == 实跑);
124
+ 基线臂 v4 session log 的 write 调用不可解析(如实标注"不可回放",checks 才是判定)。
125
+ - **M2**:`eval/tools/t3-cells.cjs` —— T3 三格采集(B / A-1a / A-1b 首请求四段拆分 +
126
+ 逐字节相等判定 + 差值 == tf-code 段长度判定);三臂 patch:`eval-stream.yml`(B,
127
+ v0.2.1 tag 产物)/ `eval-stream-code-on.yml`(A-1a)/ `eval-stream-code-off.yml`(A-1b)。
128
+ 三格必须同批跑,禁止拼历史数字。
@@ -0,0 +1,246 @@
1
+ # eval/RESULTS.md —— 基线 vs 对照(分派 08 交付 3/4/5)
2
+
3
+ > stamp:`2026-11-15-v02`;口径:[eval/METRICS.md](METRICS.md)(v1.1);复算命令见文末。
4
+ > 红线自查:失败任务计入、超时计入、不挑数据;每个单元格可从 probe log + session log 重算。
5
+
6
+ ## 0. 环境与控制变量
7
+
8
+ - 基线臂 provider/model(逐任务):deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash
9
+ - 对照臂 provider/model(逐任务):deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash, deepseek-account/deepseek-flash
10
+ - 两臂 model/provider 不一致的任务 = 作废重跑(METRICS.md §4.2),见下表逐任务标注。
11
+ - 注意:session log 的 request/header 仅基线臂可得(METRICS.md E6),对照臂 model 取证以 probe options.config 为准。
12
+
13
+ ## 1. 逐任务对照表(四元组:调用次数 / input / output / injected_ratio)
14
+
15
+ | 任务 | 类型 / 说明 | 基线: 调用/输入/输出 | 对照: 调用/输入/输出 | 对照 injected_ratio | 对照 token/基线 token | checks | replay | 备注 |
16
+ |---|---|---|---|---|---|---|---|---|
17
+ | W1 | write-batch / 写 3 个文件 | 5 / 38572 / 1900 (对账1) | 9 / 16032 / 6239 | 0.840 | 55% | 基线✓ 对照✓ | PASS | |
18
+ | W2 | write-batch / 写 5 个章节文件 + index | 5 / 43973 / 5633 (对账1) | 7 / 11657 / 5926 | 0.579 | 35% | 基线✗ 对照✓ | PASS | |
19
+ | W3 | write-batch / 写 8 个模块文件 + 汇总 | 9 / 96675 / 5051 (对账1) | 3 / 4023 / 1056 | 0.538 | 5% | 基线✓ 对照✓ | PASS | |
20
+ | R1 | read-peek / 读大文件答指定行细节 | 4 / 29644 / 1112 (对账1) | 5 / 9151 / 1701 | 2.000 | 35% | 基线✓ 对照✓ | PASS | |
21
+ | R2 | read-edit / 跨文件改配置 | 5 / 37540 / 965 (对账1) | 8 / 11116 / 2592 | 1.667 | 36% | 基线✓ 对照✗ | PASS | |
22
+ | R3 | read-peek / 日志找错 | 2 / 18290 / 136 (对账1) | 2 / 9964 / 207 | 3.000 | 55% | 基线✓ 对照✓ | PASS | |
23
+ | R4 | read-join / 双 JSON 求共同记录 | 2 / 16184 / 252 (对账1) | 2 / 4951 / 312 | 2.000 | 32% | 基线✓ 对照✓ | PASS | |
24
+ | C1 | composite / 读→算→写→汇报 | 6 / 46289 / 1099 (对账1) | 8 / 11136 / 2598 | 2.000 | 29% | 基线✓ 对照✓ | PASS | |
25
+ | C2 | composite / 失败改道 | 5 / 41225 / 1296 (对账1) | 9 / 12844 / 4550 | 1.389 | 41% | 基线✓ 对照✓ | PASS | |
26
+ | C3 | composite / 按清单批量产出 | 7 / 58364 / 2210 (对账1) | 6 / 10020 / 3103 | 1.158 | 22% | 基线✓ 对照✓ | PASS | |
27
+
28
+ > 注:`replay` 列取自对照臂 `metrics.json`,是**提取器修复后**由 `replay-check.cjs` 回填的复算结果(10/10 PASS)。本表此前版本里该列是修复前的 FAIL 快照,两者不要混读;基线臂 4/10 与取证面限制见 §6.2。
29
+
30
+ ## 2. 核心命题判定(METRICS.md §2)
31
+
32
+ - 基线任务集总 token:446410(缺失任务按 0 计入)
33
+ - 对照任务集总 token:129178
34
+ - 加权平均(对照/基线):28.9%
35
+ - 判定:**通过(≤55%)**
36
+
37
+ 失败/超时任务清单(计入分母,如实上报):
38
+ - stream/W1: exit=1 timedOut=false —— 重入预算护栏耗尽,产物 checks 判 PASS,不是任务失败,见 [docs/limitations.md](../docs/limitations.md) 第 2 条
39
+ - stream/C2: exit=1 timedOut=false —— 同上(重入预算耗尽,产物正确),见 [docs/limitations.md](../docs/limitations.md) 第 2 条
40
+
41
+ ## 3. prefix_hash 序列与 cached 字段取证(对照臂;基线臂同款数据见各自 metrics.json)
42
+
43
+ ### W1
44
+
45
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
46
+ |---|---|---|---|
47
+ | 1 | 9dd4f076a6de6850 | — | 否 |
48
+ | 2 | 9b4ea4553efa3b4b | 2202 | 否 |
49
+ | 3 | 6239c60e6bc10f9e | 2402 | 否 |
50
+ | 4 | 151a3ddd01b6402a | 2533 | 否 |
51
+ | 5 | 82bd4c2c1cf2bacd | 2708 | 否 |
52
+ | 6 | 155c31778bbf027a | 2853 | 否 |
53
+ | 7 | cb2f908430ad182e | 3001 | 否 |
54
+ | 8 | f425979dbc657c99 | 3176 | 否 |
55
+ | 9 | e7895b80b2817ba8 | 3312 | 否 |
56
+
57
+ - cached 字段:probe usage 原文含 cache 字段
58
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":135,"outputTokens":491,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1522}`;`{"inputTokens":1008,"outputTokens":507,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":2539}`;`{"inputTokens":639,"outputTokens":532,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":2195}`
59
+ - injected_ratio:0.840 (injected=42/produced=50,驱动器 snapshot 权威口径)
60
+
61
+ ### W2
62
+
63
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
64
+ |---|---|---|---|
65
+ | 1 | ec01e66e86110e82 | — | 否 |
66
+ | 2 | 8f8ec058d8e90f19 | 2202 | 否 |
67
+ | 3 | 2d14bde88015dc91 | 2462 | 否 |
68
+ | 4 | f47a6f65a0141e77 | 2593 | 否 |
69
+ | 5 | e6dab91a358ca92f | 2809 | 否 |
70
+ | 6 | 46a06121ff035226 | 2924 | 否 |
71
+ | 7 | d1dfdb10045ea16f | 3115 | 否 |
72
+
73
+ - cached 字段:probe usage 原文含 cache 字段
74
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":261,"outputTokens":1004,"cacheReadTokens":768,"cacheWriteTokens":0,"totalTokens":2033}`;`{"inputTokens":308,"outputTokens":510,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":1842}`;`{"inputTokens":853,"outputTokens":1641,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":3518}`
75
+ - injected_ratio:0.579 (injected=22/produced=38,驱动器 snapshot 权威口径)
76
+
77
+ ### W3
78
+
79
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
80
+ |---|---|---|---|
81
+ | 1 | 24410c1a97ba3c52 | — | 否 |
82
+ | 2 | a1be614a0d960f73 | 2215 | 否 |
83
+ | 3 | a110da90ba9a7e5f | 2532 | 否 |
84
+
85
+ - cached 字段:probe usage 原文含 cache 字段
86
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":134,"outputTokens":496,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1526}`;`{"inputTokens":303,"outputTokens":90,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":1417}`;`{"inputTokens":642,"outputTokens":470,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":2136}`
87
+ - injected_ratio:0.538 (injected=7/produced=13,驱动器 snapshot 权威口径)
88
+
89
+ ### R1
90
+
91
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
92
+ |---|---|---|---|
93
+ | 1 | 606049efd2f1826b | — | 否 |
94
+ | 2 | 2ac328c9ff89df71 | 2182 | 否 |
95
+ | 3 | 0bfae75530933faf | 2346 | 否 |
96
+ | 4 | 356487b664cfdff2 | 2451 | 否 |
97
+ | 5 | 57ef9ec2d4b97229 | 2441 | 否 |
98
+
99
+ - cached 字段:probe usage 原文含 cache 字段
100
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":254,"outputTokens":91,"cacheReadTokens":768,"cacheWriteTokens":0,"totalTokens":1113}`;`{"inputTokens":503,"outputTokens":373,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1772}`;`{"inputTokens":568,"outputTokens":131,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1595}`
101
+ - injected_ratio:2.000 (injected=10/produced=5,驱动器 snapshot 权威口径)
102
+
103
+ ### R2
104
+
105
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
106
+ |---|---|---|---|
107
+ | 1 | 915cb84e945d2cab | — | 否 |
108
+ | 2 | 63cbc71b737be59e | 2184 | 否 |
109
+ | 3 | ef870b1506065a80 | 2330 | 否 |
110
+ | 4 | 51092031fb5c6e45 | 2461 | 否 |
111
+ | 5 | 8abfcbf83c7f8d3c | 2584 | 否 |
112
+ | 6 | 3706bd8fccced212 | 2574 | 否 |
113
+ | 7 | 8e8a4a5f225d4a58 | 2697 | 否 |
114
+ | 8 | e7d6d1ecc2b394f3 | 2687 | 否 |
115
+
116
+ - cached 字段:probe usage 原文含 cache 字段
117
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":244,"outputTokens":82,"cacheReadTokens":768,"cacheWriteTokens":0,"totalTokens":1094}`;`{"inputTokens":321,"outputTokens":267,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1484}`;`{"inputTokens":535,"outputTokens":453,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1884}`
118
+ - injected_ratio:1.667 (injected=20/produced=12,驱动器 snapshot 权威口径)
119
+
120
+ ### R3
121
+
122
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
123
+ |---|---|---|---|
124
+ | 1 | 4bb5ddc0683f991c | — | 否 |
125
+ | 2 | f2e556e7540025ab | 2179 | 否 |
126
+
127
+ - cached 字段:probe usage 原文含 cache 字段
128
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":247,"outputTokens":55,"cacheReadTokens":768,"cacheWriteTokens":0,"totalTokens":1070}`;`{"inputTokens":8053,"outputTokens":152,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":9101}`
129
+ - injected_ratio:3.000 (injected=3/produced=1,驱动器 snapshot 权威口径)
130
+
131
+ ### R4
132
+
133
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
134
+ |---|---|---|---|
135
+ | 1 | b01ef8c6c4ed3445 | — | 否 |
136
+ | 2 | ffc4ee78019c8bd5 | 2277 | 否 |
137
+
138
+ - cached 字段:probe usage 原文含 cache 字段
139
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":154,"outputTokens":40,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1090}`;`{"inputTokens":2877,"outputTokens":272,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":4173}`
140
+ - injected_ratio:2.000 (injected=4/produced=2,驱动器 snapshot 权威口径)
141
+
142
+ ### C1
143
+
144
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
145
+ |---|---|---|---|
146
+ | 1 | 063ccef48ca01b0f | — | 否 |
147
+ | 2 | 094775a01fc13dfa | 2210 | 否 |
148
+ | 3 | 3e904f5eb369d8ff | 2374 | 否 |
149
+ | 4 | d7ed7cf323dfb46d | 2498 | 否 |
150
+ | 5 | 94c27897b3d1d1d1 | 2488 | 否 |
151
+ | 6 | dea23f2c1a131551 | 2593 | 否 |
152
+ | 7 | 8a63f3a92652d60c | 2593 | 否 |
153
+ | 8 | 0451b2a6a51f67c8 | 2593 | 否 |
154
+
155
+ - cached 字段:probe usage 原文含 cache 字段
156
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":259,"outputTokens":94,"cacheReadTokens":768,"cacheWriteTokens":0,"totalTokens":1121}`;`{"inputTokens":1242,"outputTokens":852,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":3118}`;`{"inputTokens":265,"outputTokens":192,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":1481}`
157
+ - injected_ratio:2.000 (injected=14/produced=7,驱动器 snapshot 权威口径)
158
+
159
+ ### C2
160
+
161
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
162
+ |---|---|---|---|
163
+ | 1 | 902877ef221a22d9 | — | 否 |
164
+ | 2 | b21c7f9aca91d0e8 | 2319 | 否 |
165
+ | 3 | 7aad4c9afaa0e6b9 | 2483 | 否 |
166
+ | 4 | dda6d49b0907cd56 | 2596 | 否 |
167
+ | 5 | 18339eb1f2b35e29 | 2691 | 否 |
168
+ | 6 | d21ec2b1e3387db7 | 2786 | 否 |
169
+ | 7 | 48b1cf7bcdca8ea5 | 2882 | 否 |
170
+ | 8 | a2fcfbfe4cad99c0 | 2978 | 否 |
171
+ | 9 | f4d58b37d86aa7ec | 3093 | 否 |
172
+
173
+ - cached 字段:probe usage 原文含 cache 字段
174
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":156,"outputTokens":56,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1108}`;`{"inputTokens":350,"outputTokens":196,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":1570}`;`{"inputTokens":385,"outputTokens":593,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":2002}`
175
+ - injected_ratio:1.389 (injected=25/produced=18,驱动器 snapshot 权威口径)
176
+
177
+ ### C3
178
+
179
+ | seq | fullHash(16) | 与前请求公共前缀 bytes | identical |
180
+ |---|---|---|---|
181
+ | 1 | cb53058fe632b867 | — | 否 |
182
+ | 2 | b792b288c7f259e3 | 2270 | 否 |
183
+ | 3 | ec2bcd6181c5f1b7 | 2416 | 否 |
184
+ | 4 | 32d833ef321e675b | 2587 | 否 |
185
+ | 5 | 89271d06bc50ff81 | 2736 | 否 |
186
+ | 6 | 1f24cda68eb1fc97 | 2868 | 否 |
187
+
188
+ - cached 字段:probe usage 原文含 cache 字段
189
+ - usage 原文(前 3 条,全量见 metrics.json):`{"inputTokens":158,"outputTokens":59,"cacheReadTokens":896,"cacheWriteTokens":0,"totalTokens":1113}`;`{"inputTokens":463,"outputTokens":1205,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":2692}`;`{"inputTokens":252,"outputTokens":376,"cacheReadTokens":1024,"cacheWriteTokens":0,"totalTokens":1652}`
190
+ - injected_ratio:1.158 (injected=22/produced=19,驱动器 snapshot 权威口径)
191
+
192
+ ## 4. 复算命令(每个数字可重算)
193
+
194
+ ```powershell
195
+ node eval/tools/runner.cjs --arm baseline --stamp 2026-11-15-v02 --tasks all # 基线臂(重跑)
196
+ node eval/tools/runner.cjs --arm stream --stamp 2026-11-15-v02 --tasks all # 对照臂(重跑)
197
+ node eval/tools/replay-check.cjs --stamp 2026-11-15-v02 # M5 回放一致性(回填 metrics.json)
198
+ node eval/tools/gen-results.cjs --stamp 2026-11-15-v02 # 本文件重生成
199
+ # 单任务初算数据:eval/runs/<stamp>/<arm>/<TASK>/metrics.json
200
+ # 原始取证:probe/probe.jsonl(逐请求 options+usage 原文)、session-log/session.v4.jsonl.zstd(原样存档)、driver-*.json(对照臂 snapshot)
201
+ ```
202
+
203
+ ## 5. 口径与如实声明
204
+
205
+ - 调用次数主口径 = eval-probe 逐请求计数(两臂同装,METRICS.md v1.1/E6);基线臂括注 session log 对账值。
206
+ - 单位任务 token = Σ(input + cacheRead + cacheWrite + output)(METRICS.md E3);usage 原文逐条留存于 metrics.json。
207
+ - injected_ratio 权威口径 = 06 驱动器 snapshot(07 号 §3.2);obs-broker counters 为旁证不进本表。
208
+ - 标题旁路请求已剔除(METRICS.md E5),剔除计数见 metrics.json M2.titleExcluded。
209
+ - 泄漏扫描 leak 记账(原生 tool_call 全文回灌)对应 06 号 §3.2 v1 限制,单列不计入命题判定。
210
+ - 原始证据链:tasks.json(任务文本写死)→ fixtures(逐字节固定)→ probe/session log(原样存档)→ metrics.json(初算)→ 本文件。
211
+
212
+ ## 6. 0.3.0 复算(M1/M3,2026-11-17 追加;脚本为权威计算器)
213
+
214
+ > 本节由 0.3.0 的 M1/M3 交付脚本对既有 probe/session log 复算得出;0.3.0 自身的 R3 重跑
215
+ > (新协议/新命令面)待真机批次,跑完由 `summarize.cjs` 回填,不用本节数字顶替。
216
+
217
+ ### 6.1 M1 四分量复算(summarize.cjs,逐请求 usage 原文求和)
218
+
219
+ | 臂 | 输入 | 缓存读 | 缓存写 | 输出 | 全量合计 | 请求数 | checks |
220
+ |---|---|---|---|---|---|---|---|
221
+ | baseline(原生 loop) | 33,028 | 393,728 | 0 | 19,654 | **446,410** | 50 | 29/36 |
222
+ | stream(本插件) | 42,782 | 58,112 | 0 | 28,284 | **129,178** | 59 | 33/36 |
223
+
224
+ - 全量口径 T1 = 129,178 / 446,410 = **28.9%**(本 stamp);缓存写分量两臂均为 0(深航缓存未触发写)。
225
+ - 复算命令:`node eval/tools/summarize.cjs --stamp 2026-11-15-v02 --md`(逐任务留档在 `eval/runs/2026-11-15-v02/summary.json`,已入库,可离线复算)。
226
+ - 如实说明:v0.2.0-baseline.md 记的 22.3%(840,138 → 187,290)来自更早批次;两批数字不可混用,
227
+ R3 重跑时以同批双臂复算为准(同一 `summarize.cjs` 口径)。
228
+
229
+ ### 6.2 M3 回放一致性(replay-check.cjs 修复后,v02 stamp)
230
+
231
+ - 修复的两个根因(对照臂 replay 0/10 → 10/10):
232
+ 1. 提取正则要求 `path` 属性在 `id` 之前——模型输出属性序无关时 0 命中;改为引号感知头部扫描 + 通用属性解析;
233
+ 2. `text-delta` 增量字段按 `text` 读取(旧代码读 `textDelta` 永远命不中)。
234
+ - 对照臂(stream):**10/10 通过**(树哈希 == 实跑,含 W3 的 64 次写入回放)——M3 交付目标 ≥9/10 达成。
235
+ - 基线臂(原生 loop):4/10 —— v4 session log 中原生 write 调用未以可解析形态出现在
236
+ assistant/attempt 流(取证面受限,如实标注"不可回放",不做假通过);基线臂写入正确性
237
+ 由 checks 直接判定。
238
+ - 零写入任务(R3/R4 等):种子树 == 结果树即通过,不再因 0 操作判失败(alpha.1 语义)。
239
+
240
+ ### 6.3 M2 T3 三格(工具就绪,数字待同批真机)
241
+
242
+ - 采集脚本:`eval/tools/t3-cells.cjs --stamp <新批> [--cell-a1b <目录>]`;
243
+ A-1a 臂 patch:`patches/eval-stream-code-on.yml`;A-1b 臂 patch:`patches/eval-stream-code-off.yml`;
244
+ B 格用 v0.2.1 tag 产物 + `patches/eval-stream.yml`。三格同批跑,禁止拼历史数字。
245
+ - 代码事实:tf-code 协议段(DEFAULT_CODE_PROTOCOL_SECTION)实测 1,175 字符;
246
+ K1 主张门槛 = 该段占 B 首请求 ≥10% 才可写"下降",否则如实写"持平"。