@sema-ai/core 1.276.0 → 1.277.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (147) hide show
  1. package/README.md +2 -5
  2. package/dist/bench/metrics.js +1 -1
  3. package/dist/bench/metrics.js.map +1 -1
  4. package/dist/core/auto-mode.d.ts.map +1 -1
  5. package/dist/core/auto-mode.js +14 -1
  6. package/dist/core/auto-mode.js.map +1 -1
  7. package/dist/core/cache-break-detector.js +0 -0
  8. package/dist/core/cache-break-detector.js.map +1 -1
  9. package/dist/core/task-registry.d.ts +6 -0
  10. package/dist/core/task-registry.d.ts.map +1 -1
  11. package/dist/core/task-registry.js +30 -0
  12. package/dist/core/task-registry.js.map +1 -1
  13. package/dist/tools/fs/index.d.ts.map +1 -1
  14. package/dist/tools/fs/index.js +5 -2
  15. package/dist/tools/fs/index.js.map +1 -1
  16. package/dist/tools/gitea-issue.d.ts +1 -1
  17. package/dist/tools/gitea-issue.d.ts.map +1 -1
  18. package/dist/tools/scheduler-tools.d.ts.map +1 -1
  19. package/dist/tools/scheduler-tools.js +8 -6
  20. package/dist/tools/scheduler-tools.js.map +1 -1
  21. package/package.json +3 -5
  22. package/CHANGELOG.md +0 -5444
  23. package/docs/A1-ATTRIBUTION-ROUND1-2026-07-09.md +0 -181
  24. package/docs/AB-ORACLE-GATE-VERDICT-2026-07-10.md +0 -100
  25. package/docs/ANCHOR-GAP-INVENTORY-2026-07-09.md +0 -143
  26. package/docs/ARCHITECTURE.md +0 -125
  27. package/docs/BUGHUNT-2026-07-05-NIGHT.md +0 -98
  28. package/docs/BUILD.md +0 -63
  29. package/docs/CANCEL-ASYNC-ATTRIBUTION-2026-07-09.md +0 -98
  30. package/docs/CC-198-VS-201-DRIFT-2026-07-09.md +0 -70
  31. package/docs/CC-BASELINE-FAKE-ZERO-AUDIT-2026-07-09.md +0 -51
  32. package/docs/CC-DRIFT-198-206-AGENT-TYPES-2026-07-10.md +0 -82
  33. package/docs/CC-DRIFT-198-206-CHANGELOG-2026-07-10.md +0 -82
  34. package/docs/CC-DRIFT-198-206-REMINDERS-2026-07-10.md +0 -96
  35. package/docs/CC-DRIFT-198-206-ROADMAP-2026-07-10.md +0 -110
  36. package/docs/CC-DRIFT-198-206-TOOL-INVENTORY-2026-07-10.md +0 -53
  37. package/docs/CC-DRIFT-198-206-USAGE-CONSTANTS-2026-07-10.md +0 -64
  38. package/docs/CC-DRIFT-198-206-WORKFLOW-2026-07-10.md +0 -83
  39. package/docs/CC-PARITY-CHECKLIST.md +0 -220
  40. package/docs/CC-PARITY-DEEP-SWEEP-2026-07-07.md +0 -149
  41. package/docs/CC-SUBAGENT-PROMPT-STUDY-2026-07-09.md +0 -219
  42. package/docs/CC-TASK-REMINDER-CADENCE-STUDY-2026-07-09.md +0 -396
  43. package/docs/CC-TOOL-PARITY-SWEEP-2026-07.md +0 -56
  44. package/docs/CC-TOOL-PROMPT-DEEP-DIFF-2026-07-08.md +0 -274
  45. package/docs/CC-TOOLSURFACE-DEEP-DIVE-2026-07-07.md +0 -197
  46. package/docs/CC206-OBSERVER-ANCHORS-2026-07-11.md +0 -463
  47. package/docs/CC207-CORE-SWEEP-BACKLOG-2026-07-12.md +0 -155
  48. package/docs/CENTER-CONTROL-PLANE-SEAM.md +0 -86
  49. package/docs/CLEANUP-CONTRACT-ANCHOR-2026-07-09.md +0 -83
  50. package/docs/COLD-START-RSI-2026-07-09.md +0 -72
  51. package/docs/COMPACTION-LIVE-AUDIT-2026-07-09.md +0 -114
  52. package/docs/CONTEXT-lifecycle-extension-points-and-stop-attribution.md +0 -71
  53. package/docs/COREWARS-POLYGLOT-TRIAGE-2026-07-09.md +0 -85
  54. package/docs/DEADTARGET-OVERFULL-HBOX-2026-07-10.md +0 -92
  55. package/docs/DEADTARGET-PATH-TRACING-REVERSE-2026-07-10.md +0 -87
  56. package/docs/DEADTARGET-WINNING-AVG-COREWARS-2026-07-10.md +0 -96
  57. package/docs/DEEPSEEK-API-LIMITS-PROBE-2026-07-09.md +0 -118
  58. package/docs/DESIGN-140-MOCK-VERIFY-2026-07-11.md +0 -79
  59. package/docs/DESIGN-140-VERIFICATION-2026-07-11.md +0 -43
  60. package/docs/DESIGN-DRAFT-workflow-collab-2026-07-11.md +0 -56
  61. package/docs/DESIGN-ORACLE-GROUNDING-GATE-2026-07-10.md +0 -167
  62. package/docs/DESIGN-TFRAG-RECONCILE-SCAFFOLD-2026-07-09.md +0 -102
  63. package/docs/EXP-PA2-PE-DESIGN-2026-07-11.md +0 -220
  64. package/docs/EXT-DOGFOOD-2026-07-12.md +0 -50
  65. package/docs/FINAL-VERIFY-SURFACE-AUDIT-2026-07-09.md +0 -44
  66. package/docs/FRAG-RECON-INVESTIGATION-2026-07-09.md +0 -183
  67. package/docs/HANDOFF.md +0 -121
  68. package/docs/KNOWN-ISSUES.md +0 -96
  69. package/docs/LEGW-WINDOW-TAX-2026-07-10.md +0 -82
  70. package/docs/LIVE-PROBE-BATCH-2026-07-11.md +0 -207
  71. package/docs/M2-CERT-ATTRIBUTION-2026-07-10.md +0 -61
  72. package/docs/M25-LEG-VARIANCE-ATTRIBUTION-2026-07-10.md +0 -81
  73. package/docs/MAILMAN-TIMEOUT-ATTRIBUTION-2026-07-10.md +0 -88
  74. package/docs/MEMORY-BACKEND-DIALECT-NOTES.md +0 -69
  75. package/docs/MTEB-ESCAPE-HATCH-ATTRIBUTION-2026-07-09.md +0 -57
  76. package/docs/MTEB-LEADERBOARD-ATTRIBUTION-2026-07-10.md +0 -134
  77. package/docs/ORACLE-GATE-NEGATIVE-SAMPLE-2026-07-11.md +0 -28
  78. package/docs/PARITY-CONTEXT-TRANSACTIONS-2026-07-10.md +0 -67
  79. package/docs/PARITY-PROGRESS-MATRIX-2026-07-10.md +0 -37
  80. package/docs/PARITY-SPOT-AGENT-TYPES-2026-07-10.md +0 -70
  81. package/docs/PARITY-SPOT-REMINDERS-2026-07-10.md +0 -144
  82. package/docs/PARITY-SPOT-TOOL-INVENTORY-2026-07-10.md +0 -61
  83. package/docs/PARITY-SPOT-USAGE-CONSTANTS-2026-07-10.md +0 -95
  84. package/docs/PARITY-SPOT-WORKFLOW-2026-07-10.md +0 -93
  85. package/docs/PASSWORD-RECOVERY-PANEL-VERDICT-2026-07-10.md +0 -62
  86. package/docs/R8-R9-FINALIZE-COORDINATION-2026-07-09.md +0 -124
  87. package/docs/REPL-CODE-MODE-EVALUATION-2026-07-10.md +0 -187
  88. package/docs/REPORT-1249-TARGETED.md +0 -48
  89. package/docs/RESEARCH-3P-MEMORY-SWAP-2026-07-12.md +0 -273
  90. package/docs/ROADMAP.md +0 -111
  91. package/docs/RSI-CLOUD-DEPLOY-2026-07-06.md +0 -289
  92. package/docs/RSI-PROCESS-AI-COLDSTART-2026-07-11.md +0 -68
  93. package/docs/S18-THOROUGHNESS-AUDIT-2026-07-09.md +0 -113
  94. package/docs/SERVICE-INTEGRATION-GUIDE.md +0 -298
  95. package/docs/SUBAGENT-STREAM-RESILIENCE-PARITY-2026-07-10.md +0 -118
  96. package/docs/SWEBENCH-PRO-RECON-2026-07-11.md +0 -31
  97. package/docs/TB-EFFICIENCY-TELEMETRY-2026-07-08.md +0 -114
  98. package/docs/TB-FAILURE-AUTOPSY-2026-07-05-RERUN.md +0 -67
  99. package/docs/TB-FAIRNESS-AUDIT-2026-07-08.md +0 -141
  100. package/docs/TB-FULL-1257-2026-07-08.md +0 -77
  101. package/docs/TB-LEG-GAP-ATTRIBUTION-1261-1263-2026-07-11.md +0 -154
  102. package/docs/TB-REGRESSION-DAEMON-KILL-2026-07-08.md +0 -58
  103. package/docs/TB-RSI-CROSSCHECK-2026-07-06.md +0 -68
  104. package/docs/TB-RSI-LEDGER.md +0 -30
  105. package/docs/TB-STABLE-SET-2026-07-08.md +0 -127
  106. package/docs/TB21-RECON-2026-07-11.md +0 -28
  107. package/docs/TEST-DESIGN-BATCH-1-2-3.md +0 -97
  108. package/docs/THIRD-PARTY-INTEGRATION.md +0 -45
  109. package/docs/TOKEN-ESTIMATE-CALIBRATION-LIVE-2026-07-09.md +0 -102
  110. package/docs/audit-2026-06-10-/347/254/254/344/272/214/350/275/256-/347/251/272/347/231/275/345/214/272/344/270/216/345/277/230/346/216/245/347/272/277.md +0 -147
  111. package/docs/audit-2026-06-10-/350/256/241/347/256/227bug/346/211/253/346/217/217.md +0 -163
  112. package/docs/audit-2026-06-11-/344/277/256/345/244/215/345/244/215/345/256/241/344/270/216/345/233/236/345/275/222/344/270/223/346/211/253.md +0 -95
  113. package/docs/audit-2026-06-12-design71-P1/346/275/234/344/274/217/351/235/242/350/243/201/345/206/263/344/270/216/345/220/236/351/224/231/345/256/241/350/256/241.md +0 -45
  114. package/docs/audit-2026-06-12-/345/205/254/345/274/200/346/227/213/351/222/256/346/264/273/346/200/247/344/270/216vendored/346/255/273/350/267/257.md +0 -63
  115. package/docs/audit-2026-06-15/ADDENDUM-second-pass.md +0 -88
  116. package/docs/audit-2026-06-15/ARCHITECTURE-AND-ROADMAP.md +0 -187
  117. package/docs/audit-2026-06-15/DOC-CORRECTIONS.md +0 -105
  118. package/docs/audit-2026-06-15/INDEX.md +0 -49
  119. package/docs/audit-2026-06-15/ORCHESTRATION-STATUS.md +0 -98
  120. package/docs/audit-2026-06-15/PRODUCTION-ISSUES.md +0 -189
  121. package/docs/audit-2026-06-15/REFERENCES-literature.md +0 -139
  122. package/docs/audit-2026-06-15/VENDOR-REFACTOR-PLAN.md +0 -96
  123. package/docs/cc-probe-198/README.md +0 -72
  124. package/docs/cc-probe-198/STABILITY-AUDIT.md +0 -118
  125. package/docs/cc-probe-198/live-schema-monitor-worktree-2026-07-09.json +0 -56
  126. package/docs/cc-probe-198/mount-variants.json +0 -536
  127. package/docs/cc-probe-198/plan-mode-run.json +0 -1
  128. package/docs/cc-probe-198/probe-bash-bg.json +0 -224
  129. package/docs/cc-probe-198/probe-edit-mismatch.json +0 -120
  130. package/docs/cc-probe-198/probe-read-missing.json +0 -62
  131. package/docs/cc-probe-198/probe-search-empty.json +0 -127
  132. package/docs/cc-probe-198/probe-task-family.json +0 -227
  133. package/docs/cc-probe-198/probes.status +0 -6
  134. package/docs/cc-probe-198/raw-capture-interactive.json +0 -948
  135. package/docs/cc-probe-198/raw-capture-print.json +0 -787
  136. package/docs/cc-probe-198/raw-capture2-interactive.json +0 -948
  137. package/docs/cc-probe-198/raw-capture2-print.json +0 -787
  138. package/docs/cc-probe-198/system-prompt.txt +0 -135
  139. package/docs/cc-probe-198/tools-array.json +0 -962
  140. package/docs/durability-boundary.md +0 -63
  141. package/docs/fix-2026-06-10-/350/256/241/347/256/227bug/344/277/256/345/244/215-search/346/211/271.md +0 -75
  142. package/docs/fix-2026-06-11-/347/254/254/344/272/214/350/275/256-/344/277/256/345/244/215-search/346/211/271.md +0 -62
  143. package/docs/parity-sweep/REPORT-DYNAMIC.md +0 -97
  144. package/docs/parity-sweep/REPORT-STATIC-GGB.md +0 -127
  145. package/docs/parity-sweep/REPORT-STATIC-RWE.md +0 -133
  146. package/docs/vendor-history.md +0 -385
  147. package/docs/vendored-upstream-diff-2026-07.md +0 -83
@@ -1,154 +0,0 @@
1
- # TB 两腿分差归因 · workflow 原始输出转录(1.261.0 vs 1.263.0)
2
-
3
- > 本文件为归因 workflow(`tb-leg-gap-attribution`,19 agent:计分复核 + 17 差异题逐题取证 + 机器税配对)的**原始结构化输出忠实转录**,不含任何二次判读或主观结论。
4
- > 中性口径:题目一律以「T<序号> + 中性功能类别」呈现,原始题名不入本文件;个别技术描述按中性措辞转录(不改变事实与数字)。
5
- > 运行标识:腿A = 引擎 1.261.0(测试机,`m3-1261-fb`)· 腿B = 引擎 1.263.0(sc-03,`m3-1263-sc03`)· 同日同窗 · 模型服务 deepseek-v4-pro。
6
- > 数据源:workflow run `wf_c3868fca-533`(2026-07-11)。
7
-
8
- ---
9
-
10
- ## 一、计分复核(recount)
11
-
12
- | 字段 | 值 |
13
- |---|---|
14
- | 腿A 通过 | 60 / 89 |
15
- | 腿B 通过 | 55 / 89 |
16
- | 与初账一致 | 是 |
17
- | 差异题总数 | 17(B 挂 11 + A 挂 6) |
18
-
19
- **完整性说明(原文转录)**:复核方法 = 远端单条 python 一把梳遍历(非逐题 cat):腿A 60/89、腿B 55/89,与初账完全一致(A 挂 29 全为 0 分;B 挂 34 = 33 个 0 分 + 1 个因运行超时无判定记录、按挂计)。完整性:两腿各恰 89 个互不重复的题目目录,去后缀基名亦 89 个唯一且两腿题集完全一致,`result.json` 无缺失;时间戳全落本次运行窗——腿A 起始 05:20:35Z~收尾 09:59:16Z(今日),腿B 05:21:09Z~09:49:16Z(今日),文件修改时间与之吻合,无上次运行残留。版本双证:腿A 89 份结果内嵌引擎版本全部 = 1.261.0,且运行日志与机上安装包 `sema-ai-core-1.261.0.tgz` 相符;腿B 89 份全部 = 1.263.0,机上存在 `sema-ai-core-1.263.0.tgz`,均与腿标签一致。抽查:腿A 5 题 + 腿B 3 题满分样本逐一核对判定器产物(得分文件 = 1、结构化测试汇总全通过、测试执行输出可见真实逐条通过记录),确认 1.0 为真实判定非解析伪影。差异集 11 + 6 = 17 题与初账一致,已落盘本地映射文件。
20
-
21
- ### 差异集清单
22
-
23
- | T# | 中性类别 | 挂腿 |
24
- |---|---|---|
25
- | T1 | 统计建模类:网络模型参数拟合与修改 | B |
26
- | T2 | 算法求解类:棋局最优着法计算 | B |
27
- | T3 | 数据库类:预写日志数据恢复 | B |
28
- | T4 | 构建类:指令集解释器构建与实现 | B |
29
- | T5 | 机器学习类:由模型输出重建网络参数 | B |
30
- | T6 | 机器学习类:文本检索评测流程 | B |
31
- | T7 | 凭据配置类:凭据文件生成与配置 | B |
32
- | T8 | 文档排版类:排版溢出修正 | B |
33
- | T9 | 生物信息类:序列组装计算 | B |
34
- | T10 | 统计建模类:概率编程代码跨语言移植 | B |
35
- | T11 | 机器学习类:文本分类模型训练 | B |
36
- | T12 | 并发编程类:异步任务取消处理 | A |
37
- | T13 | 生物信息类:序列插入操作 | A |
38
- | T14 | 服务配置类:邮件列表服务搭建配置 | A |
39
- | T15 | 图形计算类:光线路径渲染实现 | A |
40
- | T16 | 虚拟化配置类:虚拟机系统与远程访问服务配置 | A |
41
- | T17 | 算法求解类:程序对弈平均得分优化 | A |
42
-
43
- ---
44
-
45
- ## 二、差异题逐题裁决(verdicts)
46
-
47
- ### 汇总表
48
-
49
- | T# | 挂腿 | 死形 | 分类 | 置信 | 挂腿用时(s) | 过腿用时(s) |
50
- |---|---|---|---|---|---|---|
51
- | T1 | B | verifier-fail-质量 | variance_likely | high | 214 | 326 |
52
- | T2 | B | verifier-fail-质量 | variance_likely | med | 806.6 | 757.7 |
53
- | T3 | B | timeout-walltime | variance_likely | high | 928 | 139 |
54
- | T4 | B | verifier-fail-质量 | variance_likely | high | 1747 | 1674 |
55
- | T5 | B | timeout-walltime | variance_likely | med | 896.3 | 743.2 |
56
- | T6 | B | verifier-fail-质量 | variance_likely | med | 56.5 | 186.1 |
57
- | T7 | B | verifier-fail-质量 | variance_likely | high | 65.1 | 109.9 |
58
- | T8 | B | verifier-fail-质量 | variance_likely | med | 247.9 | 577.9 |
59
- | T9 | B | verifier-fail-质量 | variance_likely | med | 1469 | 1330 |
60
- | T10 | B | verifier-fail-质量 + timeout-walltime | variance_likely | med | 1797 | 1666 |
61
- | T11 | B | timeout-walltime | variance_likely | high | 3598 | 2864 |
62
- | T12 | A | verifier-fail-质量 | variance_likely | med | 126 | 454 |
63
- | T13 | A | verifier-fail-质量 | variance_likely | high | 882.5 | 737.1 |
64
- | T14 | A | verifier-fail-质量 | variance_likely | med | 374 | 392 |
65
- | T15 | A | verifier-fail-质量 | variance_likely | med | 1649.6 | 1796.6 |
66
- | T16 | A | timeout-walltime | variance_likely | med | 896.7 | 896.3 |
67
- | T17 | A | verifier-fail-质量 | variance_likely | med | 3352 | 1913 |
68
-
69
- 分类计:variance_likely 17 / 17 · version_signature 0 · machine_env 0 · harness_budget 0。
70
- 置信计:high 6(T1/T3/T4/T7/T11/T13)· med 11。
71
-
72
- ### 逐题详情
73
-
74
- #### T1 — 统计建模类:网络模型参数拟合与修改(挂 B · high)
75
- **evidence**:两腿均正常完赛(status=completed,非超时)。腿A(过):agent 执行 326.4s,31 轮 32 次工具调用,tokens 779k,verifier 9/9 通过。腿B(挂):agent 执行 213.9s,30 轮 33 次工具调用,tokens 634k,verifier 7/9 通过,仅挂 2 项且同一根因——一条边的方向写反(输出 M 为父、R 为子,应为反向)。腿B transcript 末尾自述用「字母序在前 = 子节点」的判定规则来定该边方向,但实际应用时把父子写反了(同规则对另一条边 Y/D 却应用正确);腿A 对同一规则应用正确。两腿行为形态高度相似(轮数 31 vs 30、工具调用 32 vs 33、均零工具报错、机制足迹完全一致),差异仅在单点推理落子,属采样方差。
76
- **versionSignals**:none——a) bash 输出截断标记:两腿 transcript 均未出现,该题工具输出量小未触及 20K/30K 上限;b) repetition 防护事件:两腿均 0;c) 压缩(compaction)事件:两腿均 0;d) 1200s/墙钟:两腿远未触顶(326s/214s);e) 工具报错:两腿 events 均无 is_error=true;两腿 done 行机制足迹完全一致(mech=+capShrinks:1,degraded=no)。
77
-
78
- #### T2 — 算法求解类:棋局最优着法计算(挂 B · med)
79
- **evidence**:两腿均正常完赛且远未触顶(墙钟预算 900s):腿A agent 执行 757.7s、24 轮、25 次工具调用、tokens 946671、cacheHitRate 0.969;腿B 806.6s、27 轮、27 次工具调用、tokens 1231970、cacheHitRate 0.986。两腿零工具报错、零重复防护、degraded=no、机制计数完全相同(finalize+capShrinks:1+toolClamps:2)。失败根因:腿B 从棋盘图像重建局面(像素分析→FEN)时识别有误——其重建局面被引擎评估为全负值、未呈现「一步双杀」结构,故只写入引擎 bestmove 一个着法 g2g4;校验器断言 sorted(move)==['e2e4','g2g4'],实得 ['g2g4'],差一个着法判 0。腿A 正确重建局面(黑王被困),找到两个一步杀着并全部写入(且在 +750s 收到 finalize 截止提醒后仍及时落盘),判 1.0。两腿行为管线形态一致(图像解析→局面重建→引擎验证→写文件),分歧点纯在图像感知采样落点,属采样方差而非引擎版本可归因行为差。
80
- **versionSignals**:腿B(1.263)events.jsonl 出现一次「truncated — 30082 chars total. Call ReadToolResult with ref=…」形态的 30K 截断标记(1.261 为 20K 上限,腿A 未见此形态);但该截断作用于引擎分析类长输出,bestmove 仍被正确提取,与失败点无因果。其余全 none:压缩事件两腿同为字段级提及(compactionMicroUsd×2)、重复防护 0/0、工具报错 0/0、无 1200s agent 上限或墙钟顶死(双腿均 <810s/900s 预算)。
81
-
82
- #### T3 — 数据库类:预写日志数据恢复(挂 B · high)
83
- **evidence**:同题同模型(deepseek-v4-pro)。腿A(1.261)过:reward 1.0,trial 139s(agent 114s),13 轮/15 次工具调用,输入 207K tokens;开局先对数据文件做十六进制转储,识别出日志文件经单字节编码变换、需还原后读取,在 /tmp 副本验证后收官。腿B(1.263)挂:reward 0,trial 928s(agent 896s),57 轮/79 次工具调用,输入 2.47M tokens;开局第 ~7s 将「对主库执行查询」与「转储日志文件」放入同一并行批,查询先执行导致数据库引擎在打开时清除了头部无效的日志文件(环境固有的不可逆陷阱),此后 ~880s 全部耗在容器权限受限的底层块级找回尝试(7/79 工具报错均为权限类),于 ~895s 触发软墙钟截止(status=timeout, errorCode=limit.timeout,finalize 注入但未及产出有效答案)。分叉点是纯采样级工具排序选择,与已知引擎版本行为面差异无因果关联;终局死形(墙钟)是早期不可逆失误的下游结果。
84
- **versionSignals**:a) 腿B 出现一次 30K 形态截断标记(truncated — 30081 chars total. Call ReadToolResult with ref=...),与 1.263 的 30K 截断口径一致;腿A 仅一次一般性截断提及——但均出现在败因分叉点之后,非因果。b) repetition 防护:两腿均 0。c) compaction:两腿均 0(compactionMicroUsd=0)。d) 腿B 触发 ~896s 软墙钟(mech=finalize+nudges:1+capShrinks:1+callCutoffs:2+toolClamps:10);腿A 仅 capShrinks:1。e) 工具报错:腿B 7/79(全为容器权限类,环境预期);腿A 0/15。结论:版本差信号存在但均非本题败因。
85
-
86
- #### T4 — 构建类:指令集解释器构建与实现(挂 B · high)
87
- **evidence**:T4 两腿行为形态几乎同构:腿A(1.261,过)agent 执行 1673.6s、80 轮、88 次工具调用、压缩 1 次、工具报错 0、finalize 注入+nudge 1+capShrink 1,产出 642 行实现,自测已生成目标帧文件,verifier 3 项全过(1.11s)。腿B(1.263,挂)agent 执行 1747.3s、83 轮、101 次工具调用、压缩 1 次、工具报错 0、同样 finalize+nudge 1+capShrink 1,产出 939 行实现但收尾时自述遗留一个未解决的模拟正确性缺陷(非对齐写指令族修复后仍有内存表项数据被写坏,导致模拟程序初始化阶段死循环),verifier 3 项全挂(被测执行超时+目标帧文件缺失,30.1s)。两腿都用满 1800s 任务预算并在临近末尾被 finalize 收束(对称,非单腿预算差);token/成本也几乎一致(A 7.05M 入/0.294 USD vs B 7.23M 入/0.304 USD)。差异只在实现质量落点:同为高难度长实现题,一腿采样出正确实现、另一腿留下一个调不完的疑难缺陷,属采样方差。
88
- **versionSignals**:a) 截断标记:腿A transcript 含截断字样行 24/标记 7 处,腿B 8 行/标记 14 处,形态同族(20K vs 30K 截断阈值差未见影响该题关键路径);b) repetition 防护事件:两腿均 0(A 侧 2 处仅为正文用词);c) 压缩次数:两腿各 1 次;d) 无 1200s agent 上限触发,两腿均在 1800s 任务预算内自然收束(1673s/1747s),done status 均为 completed;e) 工具报错:两腿均 0。结论:无可归因引擎版本的行为面差异信号。
89
-
90
- #### T5 — 机器学习类:由模型输出重建网络参数(挂 B · med)
91
- **evidence**:T5(10 维单隐层)。腿A(1.261)过:11 轮/9 工具调用,agent 执行 743.2s(总 768.9s),status=completed,采用梯度中心差分+方向聚类,自报余弦相似度 1.000000,reward=1.0。腿B(1.263)挂:24 轮/22 工具调用,agent 执行 896.3s(总 980.0s),status=timeout,errorCode=limit.timeout(墙钟软截断,+895.0s 触发 walltime_cutoff_recovery),reward=0.0。两腿预算同为 900s。分叉根因 = 算法路径选择:B 选了更难的渐近斜率+符号(sign A2)判定路线,陷入符号恢复的分析死角,直到 +892s 才转向 2^20 暴力搜索,未及在墙钟前产出可用结果即被截断;A 选了可解且更省的路线并在 743s 内收敛。两腿墙钟/收束/压缩/工具报错等行为面一致,唯落点不同(一解一超时),符合采样轨迹方差特征而非可归因引擎版本的行为差。
92
- **versionSignals**:none material。两腿共享面完全一致:任务预算 TB_TIMEOUT_SEC=900 相同;cacheHitRate 均 0.988;工具报错率 0(A: 9/9 exit=0;B: 22/22 exit=0);压缩面相同(两腿 mech 均含 capShrinks:1);两腿均在中途收到同一 finalize/deadline 收束提示。bash 输出截断(20K vs 30K 上限差)对本题无功能影响——工具输出均为极小的 python 打印,截断标记计数(A≈298/B≈571)是推理省略号误命中,非真实输出截断。无 repetition 防护死形(grep 命中为推理里的普通 "repeat" 词)。B 尾部多出 callCutoffs:2+toolClamps:2,但均为 895s 墙钟收束区产物,非引擎版本行为差。
93
-
94
- #### T6 — 机器学习类:文本检索评测流程(挂 B · med)
95
- **evidence**:腿A(1.261,测试机)过:reward 1.0,agent 执行 186.1s,23 轮/23 工具调用,509,653 prompt tokens,0 工具报错,充分探索(含列举评测包任务清单)后得出正确行。腿B(1.263,sc-03)挂:reward 0.0,agent 执行仅 56.5s,7 轮/6 工具调用,80,810 prompt tokens,0 工具报错,status=completed 自行收工;verifier 2 项测试 1 过 1 挂——结果文件存在但内容错误(写入的行与期望的目标行不符,系其自算相似度排序中第 5 名落点偏差一个邻近项)。腿B 方法面:直接用句向量库按指定模型+revision 算归一化余弦,未走更完整的评测协议路径;其「独立复验」重复同一方法故无纠偏。两腿均远离 1200s 上限、无异常终止、无环境/资源/网络故障迹象(全部命令 exit 0,模型加载成功)。差异本质 = 解题路径深浅的采样分歧(56s 速解 vs 186s 深做),非引擎行为面差。
96
- **versionSignals**:none——逐项核:a) bash 截断:腿A 1 次小截断([+3729 chars],远低于 20K/30K 上限差可影响区),腿B 0 次;b) repetition 防护事件:两腿 0;c) compaction:两腿 0(compactionMicroUsd=0);d) 1200s agent 上限/墙钟:186s vs 56s,均远离;e) 工具报错率:A 0/23,B 0/6。两腿 mechanisms 完全同形(capShrinks:1,finalVerifyInjected:1)。
97
-
98
- #### T7 — 凭据配置类:凭据文件生成与配置(挂 B · high)
99
- **evidence**:腿B(1.263)agent 执行 65.1s、24 次工具调用、无异常终止,自检 3 次通过后正常收工;verifier 6 项过 5,唯一挂点 = agent 写的 Python 校验脚本 import 了一个第三方解析库,agent 曾在自己会话内 pip 安装该库并本地验证通过,但 verifier 在独立 python 环境运行该脚本时缺该模块(ModuleNotFoundError)报错退出。腿A(1.261)agent 执行 109.9s、同样 24 次工具调用,校验脚本改用纯标准库 subprocess 调标准命令行工具,环境无依赖,6/6 全过。挂点根因 = 模型采样出的解法依赖选型不同(第三方库+会话内安装 vs 标准库可移植方案),属非密闭依赖踩了 agent 环境与 verifier 环境的隔离缝;两腿引擎行为面(工具数、报错、截断、时长)高度相似,无版本可归因信号。token:腿A 输入 277K/输出 6.1K,腿B 输入 201K/输出 3.7K。
100
- **versionSignals**:none——两腿均:0 截断标记(输出量远低于 20K/30K 线,截断差异不构成影响)、0 repetition 防护事件、0 实际压缩事件、0 工具报错、均远低于 1200s agent 上限(65s/110s)。腿B 有 1 条 todo_reminder steering 注入,属常规提醒非异常。
101
-
102
- #### T8 — 文档排版类:排版溢出修正(挂 B · med)
103
- **evidence**:腿B(1.263)reward=0:agent 247.9s/18 轮/19 次工具调用/0.46M input tokens 自宣完成,自报全部替换合规;verifier 3/4 过,唯一挂项 = 输入文件一致性比对(检出至少一处替换不在允许词族内),编译与溢出检查本身通过。腿A(1.261)reward=1:577.9s/40 轮/63 次工具调用/1.37M input tokens,4/4 过。两腿终局形态相同(均自宣完成、无超时、无报错,B 仅用 750s 预算的 33%),差异在 B 少做约一半轮次的逐词核验后错判合规 = 采样落点差异;无可归因引擎版本的行为差。
104
- **versionSignals**:两腿均:截断标记 0、repetition 防护 0、压缩事件 0、工具报错 0、无 agent 上限/墙钟顶死。唯一痕迹:腿A done 行 mech=+capShrinks:1+toolClamps:3 vs 腿B mech=+capShrinks:1(toolClamps 差与已知 20K/30K 截断上限差方向一致),但 clamp 发生在过腿且未致害,与挂点无因果。
105
-
106
- #### T9 — 生物信息类:序列组装计算(挂 B · med)
107
- **evidence**:挂腿 = B(引擎 1.263.0,rewards.reward=0.0),对照过腿 = A(引擎 1.261.0,reward=1.0)。挂腿死形 = 自宣完成但产物质量不达标:agent 以 status:completed 收尾并输出 "gBlock is complete and verified" 的自信总结,产物文件通过结构性断言(单行、仅 ATCG、≤3000nt=2649nt),但语义约束断言失败——test_outputs.py:42 AssertionError:融合蛋白顺序 flag<donor<dhfr<acceptor<snap 不满足,donor 子蛋白索引 = -1(未按要求编码/定位),即某子蛋白序列错误。两腿行为面高度相似、落点不同:A 走 Bash 重路径(Bash 49 / WebFetch 14,71 轮,1330s),B 走 WebFetch 重路径(WebFetch 55 / Bash 18,44 轮,82 工具调用,1469s);两腿工具报错 0、无输出截断、无 repetition 防护、无墙钟顶死,均自然 task.end completed。挂腿输入 token 2.45M/输出 84467、过腿输入 4.95M/输出 61747,B 更早(44 轮)自宣完成即提交错误产物。该题重度依赖外部生物数据库(pdb/fpbase API,55 次 WebFetch 全部成功无报错)。差异根因 = 模型在多约束硬题上的解法/采样落点差异,非引擎版本行为面差。
108
- **versionSignals**:none — 无引擎版本行为面差异信号:两腿 bash 截断标记 truncated:true=0(挂腿 bash 调用仅 18 次,截断阈值 20K/30K 差异未触及);repetition 防护事件 0/0;compaction 无真实压缩事件(仅推理文本含 compact 字样),挂腿 mechanisms.capShrinks=1 属常规思考预算收缩;工具报错 isError=true 均为 0/82 与 0/72;两腿均自然 done、未被 1200s agent 上限或墙钟顶死(A=1330s、B=1469s 均超 1200s 却均跑到 status:completed)。
109
-
110
- #### T10 — 统计建模类:概率编程代码跨语言移植(挂 B · med)
111
- **死形**:verifier-fail-质量(叠加 timeout-walltime:1796.8s 触 1800s 软墙钟,输出文件已写全但 2/6 精度检查未过)。
112
- **evidence**:两腿在同一环境约束上分岔:均在采样 100%(8000/8000)完成后遭容器 8GB cgroup 内存限制终止(exit 137,A 腿 ~1045s/B 腿 ~1200s)。A 腿(1.261)诊断出 cgroup 限制后重构模型代码(大矩阵移出保存域),保持采样参数不变,重跑后 1665.7s 完成,50 轮/54 次工具调用零报错,6/6 检查过,reward 1.0。B 腿(1.263)选择将每链样本数 1000→500 以避内存限制,牺牲了采样等价性;末次运行 1794.9s 写完全部输出文件,1796.8s 触 1800s 软墙钟(done status=timeout, errorCode=limit.timeout),49 轮/51 次工具调用零报错;verifier 4/6:两项向量精度检查失败,reward 0。两腿压缩 0 次、repetition 防护 0 次、工具报错 0;失败根因 = 修复策略选择差异(降采样 vs 内存优化)+过腿仅剩 7.4% 墙钟余量,形态相似落点不同,判采样方差为主。
113
- **versionSignals**:截断标记形态符合已知版本差:A 腿(1.261)为行内 [+N chars truncated] 形态(约 20K 档),B 腿(1.263)为 [truncated — 30081 chars total. Call ReadToolResult ref=...] 30K 形态;均未阻碍任务。B 腿终局机制面出现 callCutoffs:2/toolClamps:2(墙钟切断机构),A 腿无。压缩/repetition 事件两腿均 0。以上均非本题成败因。
114
-
115
- #### T11 — 机器学习类:文本分类模型训练(挂 B · high)
116
- **evidence**:腿A(1.261)2864s/27 轮/30 工具调用 status=completed reward=1.0:首个完整训练配置(dim=100,epoch=5,lr=1.0,wordNgrams=2,minn=3,maxn=6 含子词特征)即达 0.6237,量化后 2.9MB@0.6229 双指标过线。腿B(1.263)3598s 顶到 3600s 软墙钟,23 轮/25 工具调用 status=timeout errorCode=limit.timeout,末尾 walltime_cutoff_recovery+2 次 call cutoff;其训练迭代始终停在 0.56-0.585 区间(加 epoch 反降、trigram 更差、autotune 未果),落盘最优模型私测 0.5798<0.62(验证器:体积项过、精度项挂)。两腿预算一致(TB_TIMEOUT_SEC=3600),差异根源 = 模型采样到的训练策略不同(腿A 一步选中子词特征配置,腿B 始终未找到),属采样方差;死形是墙钟顶死+落盘产物质量差一层复合,以墙钟为终局形态。
117
- **versionSignals**:截断标记形态两腿如预期不同:腿A(1.261)为朴素 "truncated" 标记 ×6;腿B(1.263)为 "truncated — ~30214 chars total, Call ReadToolResult with ref=…" ×3(mech 含 toolClamps:2)。但截断均落在训练日志输出上,不在因果路径。压缩事件两腿均 0;repetition 防护事件均 0;真实工具报错均 0(腿B 4 条 error 行全部为终局墙钟 cutoff 的 stop=error 空调用);无 1200s agent 上限,两腿同为 3600s 墙钟。结论:有版本行为面形态差异但与本题成败无因果 — 实质 none。
118
-
119
- #### T12 — 并发编程类:异步任务取消处理(挂 A · med)
120
- **evidence**:腿A(1.261):agent 92.5s、10 轮、7 次工具调用、status=completed,自检后宣布全部要求达成;verifier 5/6 通过、1 项失败(排队任务数超过并发上限时发送中断信号的场景:已启动任务的清理块未执行,断言 0==2),reward=0,总时长约 126s。腿B(1.263):agent 415.2s、31 轮、29 次工具调用,深入测了真实中断信号场景并加入屏蔽式(asyncio.shield)处理,reward=1.0。两腿同模型 deepseek-v4-pro、均正常收尾、均远低于时限。差异本质是采样轨迹的验证深度(10 轮浅自检 vs 31 轮边界穷举),挂腿方案确实缺失该边界处理 = 质量失败,无引擎面可归因信号。
121
- **versionSignals**:none — 两腿均:截断标记 0、repetition 防护事件 0、compaction 0(compactionMicroUsd:0 各 2 处统计字段)、工具报错 0、无 1200s/墙钟顶点(92s vs 415s)、mech 均为 +capShrinks:1;bash 20K/30K 截断差异未在该题出现任何截断,不构成信号。
122
-
123
- #### T13 — 生物信息类:序列插入操作(挂 A · high)
124
- **evidence**:确定性正误型任务。腿A(1.261.0)result.json 嵌套 rewards.reward=0.0,腿B(1.263.0)=1.0。两腿终局形态均为 status=completed 且智能体自报「全部约束通过」的正向结论——非超时、非工具报错、非墙钟顶死。死形 = 智能体自宣完成并交付 primers.fasta,但交付物在校验器判为不达标(质量/正误面失败)。用时:腿A 智能体执行 882.5s,腿B 737.1s,二者均远低于 1800s 任务预算与有效上限,无墙钟压力。轮数/调用:腿A 33 轮/31 次工具调用/输入 146.1 万 token;腿B 18 轮/17 次/输入 53.6 万 token——腿A 走了近两倍长的推理路径,最终落在与腿B 不同的引物退火长度方案(腿A 报 fwd 17nt/rev 36nt,腿B 报 fwd 16nt/rev 43nt),自报 5/5 grounding 校验通过却被判 0.0 = 过度自信的错误自证。引擎版本行为面差专项全部无差异化信号:(a)输出截断——腿A 单次工具输出最大 16851 字符 <20K 截断阈,腿B 最大 7496 字符 <30K 阈,两侧截断均未触发,截断阈差(20K vs 30K)未被行使;(b)重复防护——腿A 有 1 次 repetitionSpared(turn14,char-run 64 空格,action=spared 即豁免未罚),腿B 无,属非因果性微差;(c)压缩——两腿 compactionMicroUsd 均为 0,均无压缩;(d)1200s 智能体上限/墙钟——两腿均未触及;(e)工具报错率——腿A 0/31,腿B 0/17,均为 0。机制面(capShrinks=1、finalVerify 注入、attachments 注入)两腿一致触发。结论:两腿机制行为面高度一致,唯一分歧在模型对该硬正误任务的解题路径落点(对 vs 错),无任何可归因于 1.261↔1.263 版本差的行为信号驱动该挂腿 = 采样方差。
125
- **versionSignals**:none(专项核查:截断阈差 20K/30K 两侧均未触发——腿A 最大输出 16851<20K、腿B 7496<30K;压缩两腿均 0 次;工具报错两腿均 0;墙钟/1200s 上限两腿均未触及。唯一版本面微差 = 腿A 有 1 次 repetitionSpared[turn14,64 空格,action=spared 豁免未罚],腿B 无,判为非因果)。
126
-
127
- #### T14 — 服务配置类:邮件列表服务搭建配置(挂 A · med)
128
- **evidence**:腿A(1.261.0)agent 正常完成:执行 374s、38 轮、55 工具调用、0 工具报错、无截断/压缩/重复防护事件,agent 自测报告三项检查全过;verifier 复跑 2/3 过,第三项(加入-公告-退出流程)在 2+6+18+54s 递增重试后公告消息计数为 0(期望 1),verifier 用时 87s。腿B(1.263.0)行为面几乎相同:执行 392s、43 轮、57 工具调用、0 工具报错,verifier 13s 内 3/3 全过。两腿 mechanisms 统计完全一致(capShrinks 1/finalVerify 1),均远未触及 1200s 上限。差异只落在 verifier 时刻消息投递链是否及时生效,属服务队列处理的时序性落点差异;两腿 agent 行为形态一致,判为采样方差。机器负载因素不能完全排除,置信度取 med。
129
- **versionSignals**:none(两腿均无截断标记、无 repetition 防护、无 compaction、0 工具报错;轮数/工具数/时长近同:A 38 轮/55 调/374s vs B 43 轮/57 调/392s)。
130
-
131
- #### T15 — 图形计算类:光线路径渲染实现(挂 A · med)
132
- **evidence**:阈值 = 相似度 0.99。挂腿A(1.261):46 轮/47 工具调用,1649.6s(预算 1800s,余 ~150s)自然 finalize 收尾,自报相似度 0.806 并如实列出差距(光照模型假设偏差);verifier 5 项过 3 挂 2(输出生成+相似度),reward 0。过腿B(1.263):51 轮,1796.6s 顶到软墙钟(limit.timeout+写出窗口保全),末次自测 0.891 仍在修阴影几何,最终写盘版本 5/5 全过,reward 1.0。两腿 token/轮数接近(3.45M vs 3.98M tokens),工具报错均 0,行为形态一致 = 同一迭代逼近轨迹,落点一边过线一边未过线,判采样方差。
133
- **versionSignals**:无门槛级版本信号。A(1.261):compaction×1、capShrinks:1、toolClamps:1、截断标记 0、repetition 事件 0;B(1.263):compaction 0、toolClamps:3、callCutoffs:2、walltime_cutoff_recovery(1.263 写出窗口机制)被触发但仅发生在过腿,且挂腿根本没顶到墙钟,故非致挂因素。20K/30K bash 截断差异:两腿 transcript 均无截断标记,none。
134
-
135
- #### T16 — 虚拟化配置类:虚拟机系统与远程访问服务配置(挂 A · med)
136
- **evidence**:两腿终局形态几乎同构:都以 status=timeout 收尾(任务墙钟预算 TB_TIMEOUT_SEC=900,双腿 agent 执行均 ~896s 触发 walltime cutoff + walltime_cutoff_recovery)。差异在墙钟内的推进效率:挂腿A(1.261)62 轮/64 工具调用/194 万 tokens,反复迭代多套启动脚本方案(5 次 Write 脚本、后台任务 TaskOutput/TaskStop 各 1),直到 +869s 才启动最终后台配置脚本并进入 90s 等待,+896s 被切断时服务尚未就绪,verifier reward=0;过腿B(1.263)30 轮/31 调用/51 万 tokens,+822s 已确认网络与服务连通、+830s 完成核验,cutoff 时环境态已达标,reward=1.0。两腿工具报错均为 0(A:64/64 ok,B:31/31 ok),无 repetition 防护事件、无 compaction、无输出截断标记(A 中唯一 truncated 字样是模型自述而非引擎标记)。两腿 mech 签名同形(finalize+capShrinks:1+callCutoffs:2;toolClamps A=3/B=1)。引擎行为面无可归因版本差,差异为同一 900s 预算内采样轨迹收敛快慢,判 variance_likely;因 A 轮数/tokens 约 2-3.8 倍膨胀而非某单一机制事件,置信 med。
137
- **versionSignals**:行为面信号 none:两腿均无截断标记事件、无 repetition 防护、无 compaction;bash 截断阈值差(20K/30K)未在本题触发。唯一版本可见差为 harness 适配层:腿A trial.log 的 missing-optional 列表多出 TB_CONTEXT_WINDOW/TB_MAX_OUTPUT_TOKENS 两项(适配器版本差,未生效于运行)。
138
-
139
- #### T17 — 算法求解类:程序对弈平均得分优化(挂 A · med)
140
- **evidence**:腿A(1.261)agent 执行 3352s/预算 3600s,97 轮、105 次工具调用全部 0 报错,status=completed 正常自结;终局 agent 自测 2/5 阈值达标(57%、0%、6% 三项不达标),诚实报告后收尾,reward 0。腿B(1.263)1912s、55 轮、87 次工具调用 0 报错,自测 5/5 达标,reward 1.0。两腿行为形态一致:同样的「写程序→批量对弈自测→迭代」循环、各 1 次压缩、各 1 次 capShrink、均注入 finalVerify、均无截断标记、均未触顶预算。差异本质 = 求解路线采样不同:挂腿选定的设计路线迭代到天花板仍不达标,过腿采到可全达标的另一路线并较早收敛。属采样方差,非引擎版本或环境可归因。
141
- **versionSignals**:none——a) 输出截断标记:两腿 transcript 均 0 条(20K/30K 差未触发);b) repetition 防护:腿A 1 次事件(turn 3,action=spared,未干预输出),腿B 0 次,无实际影响;c) 压缩次数两腿各 1;d) 无 1200s cap/墙钟顶死(挂腿 3352s<3600s 自然完结);e) 工具报错率两腿均 0%。
142
-
143
- ---
144
-
145
- ## 三、机器/环境税配对测算(tax)
146
-
147
- | 字段 | 值 |
148
- |---|---|
149
- | 配对题数(两腿共同通过) | 49 |
150
- | 总时长比 B/A 中位 | 1.067 |
151
- | 触时限计数 A | 15 |
152
- | 触时限计数 B | 13 |
153
-
154
- **verdict(原文转录)**:无显著机器税。配对 49 题(两腿共同通过)总时长比 B/A 中位 1.067(agent 执行段中位 0.977),低于 1.15 显著线;符号检验 p≈0.39;时长比分布 Q1=0.66/Q3=1.25 双向宽散,属逐题运行方差非系统性偏移。输出 token 速率两腿持平(58.3 vs 59.1 tok/s,配对每 token 用时比中位 1.005),独立证实模型服务端对两腿等同。触时限计数 A=15 vs B=13,B 反少 2,未达「多 3+」线。每题固定开销 B 高约 3-6 秒(环境/准备/判分段),可忽略;全量 89 题时长中位 B 还略快(373s vs 463s)。B 独挂 11 题中 4 题(T4/T9/T10/T11)在 B 腿触时限,但 A 腿同题同为长尾低空掠过,且 A 腿对称有 2 题(T15/T17)超长跑挂而 B 过——机器差最多可解释 0~1 题分差。5 题净差主体归运行方差叠加引擎版本差(1.261 vs 1.263),数据不支持 sc-03 相对测试机系统性变慢。
@@ -1,58 +0,0 @@
1
- # TB 翻红回归案:run 收尾击杀留驻 daemon(1.257.3 → 1.258.1 修)
2
-
3
- > 方法论:clay 拍的翻红回归闭环——稳定集(CC 任一轮 PASS ∩ 1249 PASS=50 题)∩ 1257 FAIL = 高信号翻红;
4
- > opus workflow 双轨迹归因 + 独立对抗复核 + 我亲核(只看机制面,过滤题面叙事);每修带 CC 锚。
5
-
6
- ## 判决
7
-
8
- **系统性引擎回归,立案成立**(同失败模式 ≥3 题,[417] 方差纪律豁免不适用)。
9
-
10
- - 中途配对(70/89 已出时):双 PASS 25 / 双 FAIL 29 / 翻红 14 / 翻绿 2;翻红 14 题全部 ∈ 稳定集。
11
- - 抽查 8 题,8/8 对抗复核 agree:**3 题 engine_regression(同一根因)** + 5 题 capability_variance(轨迹帧干净,模型自写逻辑错/越界编辑,PASS 轮也磕绊)。
12
-
13
- ## 根因(3 题铁证)
14
-
15
- `TaskRegistry.settleKilledForOwner`(1.257.3,飞轮 [506]③ kill-before-receipt)在 run 收尾 finally 对 owner 名下
16
- 仍在跑的 `run_in_background` bash 走 `env.killBackground()` **显式杀路径**——绕过了 design/128 T1-1 的 retain 闸
17
- (`disposeBackgroundShells` 的 `if (this.retainBackgroundProcesses) return` 是当时唯一的 gate,注释自述
18
- "this single gate is the whole retain semantic")。sema-tb 部署声明 `retainBackgroundProcesses: true`
19
- (sema-tb.ts:384,T1-1「交付活体服务」模式),1.249 上 daemon 孤儿化存活到 verifier;1.257.3 起被收尾清扫击杀。
20
-
21
- | 题(中性 id) | 铁证 |
22
- |---|---|
23
- | configure-git-webserver | run 结束前 3.4s 服务 curl 200;结束后 0.16s verifier HTTP 000。复核确认 0 次 TaskStop,模型无 teardown 动作 |
24
- | hf-model-inference | 自测三路 200/400 全绿;agent 收笔 3.4s 后 verifier 全 ConnectionRefused。1249 靠命令内层 `&` 二次脱离逃过收割(协同放大项) |
25
- | kv-store-grpc | done 帧 server 仍 status:running;0.2s 后端口 111 拒绝。复核腿源码 bisect:settleKilledForOwner 引入于 commit 14ce269=1.257.3,1.249 零出现 |
26
-
27
- 未抽的 6 题翻红(pypi-server / qemu-alpine-ssh / qemu-startup / reshard-c4-data / schemelike-metacircular-eval / tune-mjcf)
28
- 中 server/daemon 类疑同族,1.258.1 后单题复跑验证。
29
-
30
- ## CC 锚(双重)
31
-
32
- 1. **活体**(最高等级):稳定集本身 = CC(2.1.198 系)同 harness 同容器跑出的 PASS——CC 在这三题的后台
33
- daemon 存活过 agent 进程退出,verifier 探到活端口。
34
- 2. **静态**(cc-2.1.198 pretty.js):agent 收尾清理表的 `shellTasks` 项(nka=杀 agent 名下 running shell,
35
- L422458)带 `keepaliveGated:!0`,收尾循环 `if (Pt && Tn.keepaliveGated) continue`(L422461)跳过;
36
- `Pt = o && Re && !aborted && (EGa || tka)`(L422356),其中 `tka`(L281882)= **该 agent 名下有 running
37
- backgrounded local_bash/monitor 即真**。即 CC 语义:**正常收尾 + 有活后台任务 ⇒ 不杀(daemon 存活)**;
38
- abort / 无后台任务 ⇒ nka 收割孤儿。与活体证据合缝。
39
-
40
- ## 修法(1.258.1)
41
-
42
- retain 声明上浮到能力面,自动收割路径全族门控(修类不修点):
43
-
44
- - `BackgroundShellCapability.backgroundCapabilities.retainBackgroundProcesses?: boolean`(声明不猜,对齐 supportsDetach)
45
- - `settleKilledForOwner`:retain env 的 bash/monitor 行**整体跳过**(不杀、不发 killed 回执——没死就不撒谎);
46
- 行随后走 `clearBackgroundForOwner` 正常 evict(清 watcher、进程留活 = 1.249 形态)
47
- - `reapSessionBackground`(session release 自动清扫,同族):retain env 只结算 watch,进程留活
48
- - 不受影响:显式 TaskStop/KillShell、per-shell timeout 硬墙(host 在世期间照常)、非 retain env 的
49
- [506]③ killed 回执语义(CC 的 abort 收割面 = 我们非 retain settle,parity 保持)
50
-
51
- 行为锁:test/teardown-killed-receipt.test.ts「T1-1 retain」两案(daemon 活过 settle 清扫 + 显式杀仍有效;
52
- session reap 只结算 watch)。E2E 验收 = 海外机三题单题复跑翻绿(不进门,只作端到端)。
53
-
54
- ## 方差面(不立案,记档)
55
-
56
- 5 题 capability_variance(bn-fit-modify / cancel-async-tasks / extract-elf / merge-diff-arc-agi-task / overfull-hbox):
57
- 全部 verifier 判 0 于产物逻辑(不可辨识定向 tie-break 未回收 / 排队取消盲区假绿 / 基址重复叠加 / 归纳规则错 /
58
- 越界冠词修正),两轨迹引擎帧无差异,PASS 轮同样磕绊。归入 [417] 方差账,不修(teaching to the test 红线)。
@@ -1,68 +0,0 @@
1
- # TB 结论复审:国内 RSI 账本 × 海外对照(2026-07-06)
2
-
3
- > **背景**:前一个(降智)AI 整夜在共享节点 172.30.228.8 跑 RSI 调参循环(账本 `RSI-CLOUD-DEPLOY-2026-07-06.md`),
4
- > 收尾把 k3s 节点并发拖挂。clay 不信其结论。所幸 service 独立在**独占海外机**跑了同版本对照
5
- > (`ai-agent-service/docs/TB-OVERSEAS-1239-REPORT.md`)。本文用两份数据做交叉复审,逐条裁前 AI 的结论。
6
-
7
- ## 0. 决定性对照(自然实验)
8
-
9
- 同引擎 1.239.2、同模型、同预算 0.85×、同 -n5、同 adapter,**唯一变量=部署环境**:
10
-
11
- | 腿(1.239.2) | 国内:共享节点·无外网 | 海外:独占快机·全出网 | Δ |
12
- |---|---|---|---|
13
- | **pro** | 37/89 (0.42) | **49/89 (0.551)** | **+12** |
14
- | **flash** | 39/89 (0.44) | 48/89 (0.539) | +9 |
15
-
16
- **一句话**:环境本身值 +9~+12 分(≈0.10 reward),**比前 AI 整夜调的所有参数(预算/prompt/turn)加起来大一个数量级**。
17
- 前 AI 在一个被巨大混淆变量污染的环境里精调噪声,还把 flash>pro 的**环境 artifact 误当成了模型判决**。
18
-
19
- ## 1. 逐条裁决(前 AI 六大结论)
20
-
21
- ### ❌ 证伪:"部署该上 flash 不是 pro"(前 AI 头号结论)
22
- - 前 AI 依据:国内 flash 39 > pro 37(**差 2 分,n=1**)。
23
- - 海外反证:独占快机+全出网下 **pro 49 ≥ flash 48**;且 pro 从环境改善中获益**更多**(+12 > flash +9)。
24
- - 根因坐实(海外报告 §4 印证前 AI 自己的 pro/flash 病理):pro 主要死于 **wall-clock timeout**——共享慢节点**惩罚**慢模型,快机把它**解放**了。flash 之所以在国内"反超",纯粹因为它快、逃过了 timeout,不是能力更强。
25
- - **正解**:能力上限 pro 略高(干净环境仅差 1 题);flash 的优势是**性价比**(海外快 21 分钟、成本低一档、只差 1 题)。部署判决应表述为:**默认 flash(性价比档),pro 留给算力充足的深度档**——不是"flash 更强"。
26
-
27
- ### ✅ 站得住 + 被海外强化:"env-blocked 任务可回收是最大确定性杠杆"
28
- - 前 AI:国内无外网,verifier 现装 uv 走 github 停滞→用 `-ve` 镜像串定点修,实测 3/3 解卡,估 +2.5~3 分/腿。
29
- - 海外:直接**全出网**,前 AI 尸检的 13 个国内失败里 **5 个(38%)当场回收**(hf-model-inference/reshard-c4-data/winning-avg-corewars/llm-inference-batching/arch-extract(归档解压) 全 PASS)。
30
- - **两份独立数据指向同一结论=强信号**:生产部署给沙箱**受控出网**(或镜像),稳定回收 ~5~9 分/腿。这是**真·最大杠杆**(远大于任何引擎调参)。前 AI 的 `-ve` 镜像串是"没出网时的 workaround",海外全出网是"根治"。**这条前 AI 做对了,只是低估了它的地位。**
31
-
32
- ### 🟡 方向真、幅度被严重高估:"design/130 引擎病理 = 最大分数杠杆"
33
- - 前 AI:P1(单-call 不受剩余墙钟约束)/P2(墙钟硬砍 in-flight 作废)/P4(无进展侦测),4 个 opus agent"收敛"→称最大杠杆。
34
- - 复审:①**4 agent 收敛≠4 份独立证据**——它们读的是同一批国内转录,是同源转录的**伪独立印证**;②海外好环境下引擎自停仍有 17 例(NonZeroAgentExit),说明 P1/P2 **确是真引擎缺陷**,但③海外一把把大半"timeout 腿"用环境消掉了(+9~12 分),**证明分数瓶颈的主因是环境不是引擎**。
35
- - **正解**:design/130 是**真的、值得做的中价值引擎硬化**(17 例引擎终局是实打实的),但**不是**前 AI 吹的"最大杠杆"。优先级排在"部署给出网/算力"之后。P1 到底是引擎缺陷还是 TB harness 预算配置的耦合问题,需独立重验(不能只凭国内转录)。
36
-
37
- ### 🟡 依然弱:"1.237-1.240 无引擎回归"
38
- - 前 AI:5 个"回归"经查是 n=1 方差/瞬时网络,判无回归。
39
- - 复审:海外**只跑了 1239 一版**,不能做跨版本对照,**既不加强也不削弱**这条。结论仍建立在 n=1 上。
40
- - **正解**:保留"未发现确凿回归"的措辞,但这是**弱信号不是安心结论**;真要下"无回归"判断得同机同环境跑 1236 vs 1240 各≥3 次。
41
-
42
- ### ✅ 站得住:"绝对分是可信的第三方口径成果"
43
- - 海外 **0.551(pro)/0.539(flash)** 是独占机、全出网、官方源、0.85× 原生预算的干净分。
44
- - 显著 > 第三方榜 V3.2×Terminus2 的 0.396(注:不同模型,V4 vs V3.2,不能纯归功引擎);< 厂商主场 0.679(其用 3h 宽松预算,非同口径)。
45
- - **正解**:0.55 可作为 sema-core×V4 的对外可引用分。这是今晚**真正的正面成果**,且来自海外腿不是国内腿。
46
-
47
- ### ✅ 教训成立:"无人值守起腿过激拖挂节点"
48
- - 6~7 并发 harbor(30+ docker 容器)→ 共享 k3s 内存/docker daemon 过载→sshd 无法握手。CPU(64核)不是瓶颈,**内存+容器数**才是。
49
- - **正解**:并发≤4;更重要的教训——**别在共享 k3s 上跑重基准**。海外独占机 32 核跑双腿 load<3、3h 出全量干净分。基准就该上独占机。
50
-
51
- ## 2. 真正的结论(排序后的部署建议)
52
-
53
- 1. **部署环境 = 第一杠杆(+9~12 分)**:沙箱**受控出网** + **独占算力**。这两件比引擎调参重要一个数量级。生产跑真活优先保证这两点。
54
- 2. **模型选型**:默认 **flash**(性价比:快、省一档、能力仅差 1 题);**pro** 用于算力充足的"深度/顶格"档。**不是** flash 能力更强。
55
- 3. **预算**:0.85× 原生已是诚实且够用的口径;前 AI 的 1.275× 宽预算腿**从未跑完对账**,其 +4 分预测**仍是未验证假设**,不要当结论用。
56
- 4. **引擎硬化 design/130(中价值,非最大)**:P1 单-call 动态 max_tokens / P2 软 deadline graceful finalize / P4 反修复循环早停。真缺陷,但需在**受控环境独立重验**再定优先级,别只信国内同源转录。
57
- 5. **对外分**:0.55(海外干净口径)可引用。
58
-
59
- ## 3. 仍是"未验证假设"、不能当结论的(明确标注)
60
- - 前 AI"宽预算 +4 分"(R1/R1b 腿节点挂前从未跑完)。
61
- - 前 AI"prompt 前缀翻盘 pro"(R3 腿从未收;且该实验给 agent 喂了任务外的部署 profile 指令,**是否构成对基准的污染需单独判**——严格基准不应改 agent prompt)。
62
- - "verifier -ve 修 +2.5~3 分/腿"的**幅度**(只实测 3 个任务,外推到 33 例乐观)。海外用出网侧证了**方向**,但幅度未在国内全量坐实。
63
- - "1.237-1.240 无回归"(n=1)。
64
-
65
- ## 4. 下一步(可选,等 clay 拍)
66
- - **无需再上 k3s 跑 TB**:海外独占机已给出干净分。若要收敛最优,直接在海外机跑一腿 **flash × 1.240.1 × 全出网 × 0.85×**(不必宽预算/不必 prompt 前缀,先拿干净基线),对齐 1240 vs 1239 是否有变化。
67
- - **design/130** 若要推进,先在海外机做**受控 A/B**(同环境 1240 baseline vs 打了 P1/P2 补丁的 build),用同环境隔离引擎变量——这才是判 P1 是引擎缺陷还是 harness 配置的唯一干净法。
68
- - 节点 172.30.228.8 需 clay 重启恢复(与本复审结论无关,数据已够)。
@@ -1,30 +0,0 @@
1
- # TB RSI 轮账(回归 → 归因 → 修复 → 复跑)
2
-
3
- > 每轮一行的 TB 回归自愈闭环台账。逐 run 数据单源 → `bench/tb-matrix/results.jsonl`;
4
- > 归因判决 → `bench/tb-matrix/verdicts.jsonl`;schema 与追加纪律 → `bench/tb-matrix/README.md`。
5
- > 纪律:append-only,轮号只增;每轮落「触发数据 → 判决 → 动作 → 验证结果」四件,派生统计现算不另存。
6
-
7
- | 轮 | 日期 | 版本 | 事件 | 数据 | 判决 / 后续 |
8
- |---|---|---|---|---|---|
9
- | 0 | 2026-07-08 | 1.257.4 | 全量对照发现方向性回归 | `full-pro-1257-fb` = **38/89** vs 基线 1.249.0 = 51/89,Δ=−13 远超 [417] ±5 噪声带;翻红 15 题全落稳定集(CC 任一轮 PASS ∩ 1249 PASS),零异常 + verifier 判 0 聚类 | 立案成立(非方差)。抽查 8 案对抗复核 8/8 agree:3 engine_regression(1.257.3 `settleKilledForOwner` 收尾击杀 retain-env 后台 daemon,绕过 T1-1 retain 闸)+ 5 capability_variance(归 [417] 方差账,不修)。详账:`docs/TB-FULL-1257-2026-07-08.md`、`docs/TB-REGRESSION-DAEMON-KILL-2026-07-08.md` |
10
- | 1 | 2026-07-08 | 1.258.1 | daemon 修复批发版 + 单题复跑 | 修法:retain 声明上浮 `BackgroundShellCapability.backgroundCapabilities.retainBackgroundProcesses` + `settleKilledForOwner`/`reapSessionBackground` 全族门控(修类不修点),行为锁 `test/teardown-killed-receipt.test.ts` | daemon 族 6 题单题复跑(`retest-daemon-1258-fb`)= **5/6 翻绿**:configure-git-webserver / hf-model-inference / kv-store-grpc / pypi-server / qemu-startup PASS;qemu-alpine-ssh 仍 0(该题 1257 轮 761s≈765s 预算顶收尾,疑时长预算面非 daemon 族,待单独归因)。其余翻红 9 题复跑待排;全量复跑视单题结果定 |
11
- | 2 | 2026-07-08 | 1.258.2 | 飞轮 [519] envDying 收窄发版(TOC local timeout 锚复活)+ N=5 方差桶重跑**中间账(已被轮 3 终判取代)** | 方差桶 8 短题 × N=5 @1.258.1 全铺开 = **5/40**(bn-fit 0/5 · cancel-async 0/5 · schemelike 0/5 · tune-mjcf 0/5 · extract-elf 1/5 · merge-diff 1/5 · overfull 1/5 · reshard 2/5)——远低于「方差」预期(1249 单次 8/8 + CC PASS ⇒ 真方差应 ~40-60% 率) | ⚠️ 疑似 daemon 案外**第二系统性因素**,三变量混杂(引擎版本/40 并发铺开/模型服务端日期)。仲裁腿在跑:1.249.0 同机同并发同日期同 8 题 N=5(`rerun-n5-1249ctl-fb`)。1249ctl 也塌 ⇒ 版本无罪(并发/服务端);1249ctl 仍高 ⇒ 坐实 1.250→1.258 隐性行为面回退(不留异常帧型)。long 腿(rstan/qemu ×5)另跑中 |
12
- | 3 | 2026-07-08 | 1.258.2 | **三腿并发对照终判(方差桶闭案 + 测量纪律修正)** | ①1249 **4 并发** N=3 = **20/24(83%)** ②1249 40 全铺开 N=5 = 13/40(33%)③1258.1 混杂并发 = 26/40 短题(65%)+ qemu-alpine-ssh 1/5(5 trial 全顶 765s 预算)+ rstan 0/5(OOM-137 族) | **①并发=测量污染源**:同版本同日同机 83% vs 33%,DeepSeek 服务端高并发降质;评测腿并发硬帽 4(design/139 §3.5 已回滚全铺开口径),全铺开仅限侦察。**②方差桶 8 题闭案**:低并发 83% ≈ 1249 单次全过形态,坐实 capability_variance(1257 单次 FAIL=采样落点),无第二引擎回退。**③qemu-alpine-ssh 改判 harness 预算面**:5/5 顶死 765s(sema-tb 砍 85% 预算留写出窗 vs CC 拿满 900s,违同变量原则)→ 修复候选:预算对齐 100%+软死线自管(CC 锚=CC 腿满预算)。④rstan OOM 族另案(容器内存面)。M1 验收=全量 89 @1.258.2 4 并发定档腿 |
13
- | 4 | 2026-07-09 | 1.258.2→1.258.5 | **A1 差异集轮①六账收官 + 归因→落修→发版全弧(RSI 转轮①②修复段闭合)** | ①差异集 16 题 N=5 @1.258.2 = 16/80(portfolio 5/5 移出;硬差异 0/5 共 8 题)②qemu-t1100 1/3(三注全打满 1096-1099s——1100s=边际预算,改判**预算+效率税混合**)③rstan-solo 独占 1/3(一败仍 OOM 标记——改判**内存边际面,并发=放大器**)④conc8 标定 **16/16**(判据达成,稳定集腿可提 8 并发)⑤L1 烟集 1.258.3 = **2/3 翻红**(overfull-hbox FAIL,发布链红灯,死因核查在飞)⑥ceiling3 @1.258.4 = path-tracing 1/5 / reverse 1/5 / circuit-fibsqrt 2/5(判据 ≥3/5 未达,但三题全部脱离 0/5=方向性)。数据:`bench/tb-matrix/a1-round1.json` | **归因轮①**(wf 12 腿 opus,对抗复核推翻率 3/6):agreed 落修 2(db-wal prompt_surface + mteb verification_discipline)→ **1.258.5 发版**(role.base snapshot-before-mutate + 收尾第三方契约探针,cc-198 双锚;同车 stale 锚新鲜度门 SEMA-ONLY 18x 活体欺骗修 + verify 双修 thinkingSignature/rule5 naturalTrigger;三轨复审 opus PASS × codex fix-first → verify wf 裁决 2 refuted/2 partial)。**窗口修判读**:未实锤,第二轮升「有效行为 parity」候选(path-tracing-reverse 峰值 226k>200k 仍压)。后续:full-89 @1.258.5 判决腿今夜自动接力(M1 判据);L1 翻红指认前 1.258.3 不再作为部署基版;A1 两纪律修增益并入 full-89 与下轮差异集复跑读数 |
14
- | 4b | 2026-07-09 | 1.258.3 | **L1 翻红定谳:方差非回归,红灯解除** | overfull-hbox FAIL 死因=verifier 断言(逐词同族精确匹配,模型用屈折形式替换即红),引擎行为面全干净(无异常/无超时/工具零报错/无 daemon/压缩/hook 接触点);同题 N=5 基线 2/5(~40%)本就高方差。口径修正:1.258.1 首验腿(055511)轮换题不含 overfull-hbox,「同门 3/3」不构成对照 | ①1.258.3 解除「不作部署基版」限制②围栏改进:overfull-hbox 移出 L1 轮换池(模型语义门≠引擎行为门,不适合 3/3 二值硬门;L3 保护集按率记账保留)③full-89 @1.258.5 同题结果作免费加注并入方差样本 |
15
- | 5 | 2026-07-09 | 1.258.4 | **归因轮②(ceiling3 三题同版本 PASS-vs-FAIL 双轨迹,wf 6 腿 opus,复核 3/3 agree)= 效率线定谳收官 + 病根迁移 walltime** | 三题 15 注全量核证:压缩全部仅 1 次且健康(140-151k 触发≈200k 的 72%,after 35-55k,无二次压缩)、峰值 promptTokens 93-153k **从不逼近 200k**、压缩点估算与端侧真值差 <5%(**无 stale 虚高**)。判决:path-tracing=model_variance(1530s 墙 × 模型延迟抖动:PASS 注 median 5.3s→88 turns vs FAIL 13-26s→34-58 turns)/ path-tracing-reverse=**budget_ceiling**(3/4 FAIL 纯墙钟腰斩全顶 1526-1527s≈1530s 硬帽,PASS 仅早 1.5min;1/4=模型答错)/ circuit-fibsqrt=model_variance(3060s 墙偏紧+路线三分死法) | **①转轮①效率线收官**:窗口修生效,抬窗 1M/反应式压缩/stale 门对三题判「无收益」,压缩子系统出清。**②新病根=walltime 自削**:TB_TIMEOUT_SEC=0.85×task_timeout vs CC 拿满,违同变量原则(轮 3 ③ qemu 前案同族,现三题铁证)→ **adapter 默认 ratio 0.85→1.0 已改**(机上 sema_agent.py 带案由;写出 cushion 由引擎软死线自管 design/130-P2b)。⚠️ 口径切换点:≤full-1258.5 各腿均为 0.85 口径(与 1249 基线可比);**下轮判决腿起 1.0 口径**,跨口径对比须注记。③三题下轮 1.0 口径 N≥10 加注复跑=收复判据;black 板知会 service 改 adapter 源头 |
16
- | 6 | 2026-07-09 | 1.258.5 | **full-89 判决腿收账:46/89,M1 未达(-5)+ 条件公平性探针三分解** | 对照:1257.4=38(+8 回血)/1249=51/CC=54。翻转:**新 PASS 6**(break-filter-js/circuit-fibsqrt/dna-insert/password-recovery/portfolio/query-optimize,抽查 3 题=修的真功劳非条件差)/**新 FAIL 11**(全 verifier-fail 零崩溃零超时:9 题早死 73-257s 自宣完成被拒 + qemu-alpine/rstan 长跑质量)。探针腿条件矩阵:**0.85 口径 258=1249 同变量(条件面占 0 题)**;跑期/并发差=方差源;vs CC 口径税坐实 **4/6 题被 0.85 墙偷走**(path-tracing×2 高置信+eigenval/polyglot 边际)。A1 落修 2 题 k=1 未翻绿(纪律修=N 复跑验证口径,不算失败)。daemon 修守住 5/6。数据:bench/tb-matrix/full-1258.5.json | -5 分解:方差 3-5 题 + 真回退候选 1-3 题(9 枚自宣完成早死=下轮归因头号靶:1.258.5 收尾自检为何没拦错误自宣)+ 条件 0。**转轮③复跑腿(1.0 新口径)**:17 题×N=5=①11 枚新 FAIL(≥4/5=噪声/≤1/5=真回退)②口径税 4 题(预期 +3~4)③A1 落修 2 题增益验证。M1 期望路径:46+口径税 3~4+方差回填 3~5 ≈ 51-55 |
17
- | 7 | 2026-07-09 | 1.258.5 | **转轮③ r3-rerun 收账(17 题×N=5 @1.0 新口径)+ cancel 归因翻案 = 1.258.5 对 1249 零真回退定谳** | 三组判据:①11 枚新 FAIL:噪声 4(reshard 5/5·sqlite 5/5·bn-fit 4/5·merge-diff 4/5)+方差带 4(pov-ray/count/financial/qemu 各 3/5)+候选 3 全洗清——cancel-async 0/5 经归因=**model_variance**(三实现族真值:TaskGroup 2/2·sighandler 1/1·gather-兜底 1/16,1249「基线 PASS」=抽中 TaskGroup 运气,1249ctl 自己 3/3 gather 全灭;经验复现+跨版本形态分布无漂移,引擎无罪,无锚不修,docs/CANCEL-ASYNC-ATTRIBUTION);overfull 合并 N=10=3/10 极端方差;rstan 1/4=内存边际已知。②口径税:path-tracing **3/5 收复实锤**+largest-eigenval 3/5+reverse 2/5 方向性+polyglot 0/5 落空,实收 +2~2.5(预测 +3~4 方向对)。③A1 修:db-wal 1/5=snapshot-before-mutate **首个增益信号**;mteb 0/5 无信号 | **-5 差距终判:方差+口径,零能力回退**。快环外推 52-54≥51 → **M1 认证腿触发**(全量 89 @1.258.6 @1.0 口径 k=1,兼验 1.258.6 验证面修)。纪律固化:快慢环收紧(修复验收=单题 N=3 两段式,全量=里程碑公证处,clay 拍);cancel 类题验收看实现形态分布非 pass 计数 |
18
- | 8 | 2026-07-09 | 1.258.6 | **M1 认证腿收账(full-89 @1.0 口径 k=1 n=4):50/89,M1 差 1 未达;验证面修坐实真增益** | 对照:1258.5=46(**+4**)/1249=51(-1)/CC r3=54(-4)。翻转 vs 46:**收复 10**——验证面四原则修(1.258.6)9 题靶子中 **4 收复**(count-dataset-tokens/reshard-c4-data/sqlite-with-gcov/build-pov-ray,全是轮 6「自宣完成早死」成员=修真功劳非方差)+ A1 db-wal 再确认(第 2 次)+ qemu-alpine-ssh 收复(轮 5 口径税兑现)+ adaptive-rejection/build-cython/extract-moves/largest-eigenval;**丢失 6**——其中 **4 题=轮 6「新 PASS 6」的回摆**(break-filter-js/dna-insert/password-recovery/query-optimize,同题两轮一绿一红=~50% 方差带铁证)+ extract-elf(轮 7 N=5 已判 1/5 方差带)+ sparql-university(先验方差:1.258.6 仅动 final-verify 文案,无回归面)。守成:daemon 族 5/5 全守 · circuit-fibsqrt/portfolio 守住。仍红:验证面 5 题(cancel/bn-fit/financial/merge-diff/overfull)· mteb 双题(判据修在 1.259.0 未上车,预期内)· path-tracing 双题(效率税)。数据:`bench/tb-matrix/m1-cert-12586.json` | **M1 差 1 = 方差带内**(丢失 6 题先验全方差,期望回摆 +2~3 即越线),不立回归案。判决:①验证面修=本轮最大增量来源(9 靶收 4),四原则 prompt 修的增益曲线与预测一致②方差带 ~8-10 题(两轮翻转对称:上轮 +6 新 PASS,本轮 4 题回吐再收 10)=当前分数波动主体,M1 稳定越线要靠 1.259.0 增量(mteb 判据修+G 批)非重跑。**后续**:1.259.0 发版(闸序走起)→ 快环点名 @1.259.0:mteb 双题 N=5(判据修验收)+ 验证面仍红 5 题 N=3(修的第二段甄别)+ 丢失 6 题不点名(方差定性,省预算)。M2 路径:50+mteb 2+验证面残余 1~2+方差回摆 ≈ 53-55 |
19
- | 9 | 2026-07-09 | 1.259.0 | **CC-diff 12 题围剿收账(siege 双腿+并发阶梯 L8)= 1.259.0 增益坐实 + 8 并发标稳 + rstan 大翻转** | 围剿终账(@1.259.0 @1.0 口径):**稳收 3**——financial-document-processor **3/3**·merge-diff-arc-agi-task **3/3**(两题=验证面修靶,k=1→k=3 复确认)·**rstan-to-pystan 3/3**(独占 n=1 跑法,历史最好 1/4,内存边际+并发放大器判决的正确性实证);**改善 4**——overfull-hbox 2/3(历史 3/10)·extract-elf 2/3+L8 2/2=4/5·sparql-university 2/3+L8 2/2=4/5·path-tracing-reverse 1/3(1.0 口径下首绿);**方差带 2**——bn-fit 1/3·corewars 1/3;**稳定死 3**——password-recovery **0/3(轮 8「方差回摆」先验被推翻,升归因靶)**·polyglot-rust-c 0/3(归因档:模型面解法低效,cleanup 契约锚核=不可锚不修,docs/COREWARS-POLYGLOT-TRIAGE+CLEANUP-CONTRACT-ANCHOR)·path-tracing 0/3。**mteb 判据修验收**:retrieve 2/5(历史 0/5=真增益未稳)/leaderboard 0/5(无信号,另归因);注:mteb 双题 CC 也 FAIL,收益面在 M3 并集非 CC-diff。**并发阶梯**:L8@1.259.0=**15/16 判稳**(clay 拍 8 下限成立,16 trial 仅 11min),L12/L24 在跑。数据:jobs/siege-*-1259-fb + conc8-1259-fb | **判决**:1.259.0 增益=真(验证面修 k=3 复确认+judge 判据修方向对+rstan 翻转),外推全量 54-56=M2 射程。**M2 认证腿已挂**(full-89 @1.259.0 k=1 **n=8**,标定背书,watcher 等阶梯清场自动跑,预期 ~6h 出分)。**后续**:①password-recovery 深归因(新靶,0/3 稳定死)②mteb-leaderboard 与 retrieve 死因分叉归因③L12/L24 出分定并发上限(单 key 塌→提多 key 方案)④M2 出分后给 service 滚版单(≥1.149.0+v4-pro worker)。**K8S 基建**:用法(b) 全链 PASS(CA 校验+kata 真 VM+零残留,[416]);两范式 adapter 债记档低优先 |
20
- | 10 | 2026-07-10 | 1.259.0→1.260.0 | **M2 认证 47/89 判 confounded + rbv3 四格分离实验定谳 + 进攻面三靶全落码(1.260.0)** | ①M2=47/89(@1.259.0 n=8) vs M1=50(@1.258.6 n=4)=版本+并发同变,判 confounded(docs/M2-CERT-ATTRIBUTION);回摆 12 题逐题历史核对:仅 4 稳过+schemelike 并发敏感=真信号,7 题历史常挂=均值回归。②**rbv3 四格**(取代已撤 2×2,4 机分布式:测试机 V-old/V-new/K8+sc-03 R/P):**版本无罪**(1.258.6=22/25 vs 1.259.0=22/25 @n=4 N=5 同机)/**并发污染坐实且题型选择性**(n=8: schemelike 80%→33%·sqlite-gcov 60%→33%,其余 3/3 不掉)/**K3S 跑腿可信**(sc-03 14/15≈测试机,API 端无污染,4 机产能解锁;sc-02 永不碰=etcd 兜底,任务容器禁 -p)/**7 常挂题真率 38%**(M1 含 ~3-4 分运气)。③打平线重定(clay 拍):CC 57=r1∪r2 合并 best-of-2(两轮 21 题翻转),阶梯=M2 单发≥54→**M2.5 同版本 best-of-2 ≥58**→M3 66。④password-recovery 5-fable 评审团:「永远过不了」证伪(两边高方差),杠杆=oracle 接地;mteb-leaderboard 判 parked(取数死路,CC 同形态死) | **判决:M2 净−3 全额分解为并发+方差,零能力回退;认证纪律=判决腿锁 n=4+重型题按题配并发**。进攻面落码(全走宪法两闸+双轨复审):**task#51 cadence 四口径**(①写才复位③kill-switch④思考轮+**口径⑤ BLOCK 级时钟**——复审+活体探针双腿独立逮到 CC cadence 单位=逐非思考 content block,修后活体六场景 CC 逐请求同;探针资产 bench/probes/task51-cadence-live)+**oracle 接地闸 step A**(R9→cap=2 相位化重入+确定性结构信号 grounding-signal.ts;行为类锚=6 形态×≥2 题;双轨复审 11 findings 全处置含 walltime 护栏/effectiveMaxTurns/resume transcript 播种)+载体对账句+TB 窗口 env seam。**1.260.0 发版在飞**。在飞验证:winprobe 腿C(full-89@1.259.0@n4=M2 干净复认证+对 M1 版本净效应)+腿W(300K/64K 窗口税,DeepSeek 真限 1M/384K clay 拍)/oracle A/B 验收腿(3 题+负样本 N=5 双版本,sc-03,等 1.260.0 tgz)。后续:滚版单(腿C 分出后带受控数字发) |
21
- | 11 | 2026-07-11 | 1.260.0→1.262.0 | **三连发收账(进攻面 1.260 + repetition/parity 五维 1.261 + 残局五面/未动工全清七批 1.262)+ publish-dual shasum 漂移根治 + 实验判决四件 + M2.5 并集 57/89 差 1** | ①**发版三连**(细账→CHANGELOG 对应条):**1.260.0**=进攻面批(task#51 cadence 四口径+口径⑤ BLOCK 级时钟 3f4a314+8373f28 · oracle 接地闸 step A cap=2 相位化重入+grounding-signal.ts bd093db+dd7fc1f · 载体对账句 6100aa5 · TB 窗口 env seam 8b22a04;4946 绿);**1.261.0**=repetition 修复批(规则2 合法重复豁免+规则1 阈值 60→200=corewars 病理修 2e1c161,反事实 4红→13/13绿 · 结构化遥测 inspectDegenerate 87093f4 豁免事件也采)+DEFAULT_MAX_TURNS 100→500(clay 拍,同车 tb adapter 120→500 b8d9f4f)+parity 五维落码批(止血 1c838c5/截断分表 ae93e08/workflow M/L 190ec8a,进度矩阵口径落码 23 项;4998 绿;板 [562] shasum 57bd7a9e);**1.262.0**(2026-07-11)=残局可观测五面 core 半场(48e481b,板 [558] A-E:recentSteps/editedFiles/currentAction/AgentTranscript 拉面/resumable)+**parity 未动工全清批七批**(954e59e AskUserQuestion bounds · d4b4c96 反再委派句+Read seeded 去重 · 38af1fd M1 PTL error-withholding · 28c0032 strict structured-output · 8a5fa4e 206 auto-mode transcript 防篡改+rm -rf fail-closed · b2faf01+9baa808 SR-3 budget_usd/SR-7 孤儿后台聚合/SR-4 · 2f30c62 agent-types F1 内置 Explore/Plan+F4/F7/F8)+fork 帧 Z4t "default to forking" 承重句恢复 393c534+export REGEN ca96ce1;三件锚核不出如实 N/A(ScheduleWakeup/never-auto-continue/PreToolUse 措辞);5107 绿;shasum 27510472 双腿,板 [574]。②**publish-dual 根治(acb4663)**:1.261.0 案两腿 shasum 漂移根因=per-leg publishConfig 重写 package.json→字节必然不同;修=单次 pack 双腿发同一 tarball+验证段 shasum parity 硬断言(本轮 sema-release 曾先发旧 tarball,DELETE 204 重发对齐)。③**实验判决四件**:A/B oracle 闸=**净+1 中性**(正样本 12/23→13/23 唯一 Δ=password-recovery;负样本 nginx 5/5→5/5 零误arm不拖慢;<+2 不达门→M2.5 基座维持 1.259.0;机制订正=闸按设计精确触发,证据在 sidecar finalVerifyInjections 非 transcript,docs/AB-ORACLE-GATE-VERDICT-2026-07-10)/ 腿W 300K/64K=**窗口税 net−3**(51 vs 54:64K 输出膨胀 timeout 9→14,「新 PASS 6」查实为方差;钉死 200K/32K,docs/LEGW-WINDOW-TAX-2026-07-10)/ **三死靶合议**(9-agent workflow,docs/DEADTARGET-*×3:overfull-hbox=方差题(CC 25% vs sema 31%,同签名死法跨引擎)· path-tracing-reverse=方差题(sema 5/28,腿C 已过,oracle 闸同向覆盖)· corewars=混合+**真引擎病理**=repetition 规则2 误判合法 redcode 重复切流三振→1.261.0 修;三题「稳定死」前提全被亲数分布证伪)/ **腿C/腿2 归因=服务端负载污染(混合型)**(recipe 89/89 三方核对全一致;腿2 paired sec/turn x1.19+tokens/s −22.5%+timeout 9→14,11 翻负中 6 死于时钟;8 分差≈3-5 负载税+3-5 方差,docs/M25-LEG-VARIANCE-ATTRIBUTION-2026-07-10)。④**parity 战线**:五维抽查 5 档(docs/PARITY-SPOT-*)+198→206 漂移调研 7 档(docs/CC-DRIFT-198-206-*:204 已 GA 待对齐项本轮全清,REPL=DEFER)+上下文事务取证(压缩×subagent 返回=结构性互斥零缺口,CC 队列快照 vs 我方单线程 turn 循环判等价,8 事务点对照,docs/PARITY-CONTEXT-TRANSACTIONS-2026-07-10)+进度矩阵(≈58 项/落码 23+本轮七批/严格口径 VERIFIED=0,docs/PARITY-PROGRESS-MATRIX-2026-07-10) | **判决:M2.5 并集=57/89 差 1**(腿C 54+腿2 46,腿2 独中 extract-elf/mteb-leaderboard/qemu-alpine-ssh 3 题)。**新认证纪律**(负载归因落地):打分腿锁低负载窗(对齐腿C 窗口 UTC 22:00–02:30)+机制验证腿白天随跑+窗口空转填彩票腿。三腿在飞:legD 白天彩票+腿3 提前接跑+corewars×6 修复验收@sc-03。**教训入册**:①并发同文件交叉编辑事故×2(d4b4c96 吞邻居在飞编辑)→同文件域必须串行,零重叠才并行(分批只看文件冲突域);②黑板 [570]→[573] 跳号→校号看 tail 全量非增量;③fork 身份混淆活体案→FORK_DIRECTIVE_FRAME 承重句恢复(393c534)=逐字锚句不得自作主张裁剪的实证。**最大欠账=活体探针批**:落码未验 30+ 项(1.261.0 23 项+1.262.0 七批)按宪法严格口径 VERIFIED=0,已开工转 VERIFIED(优先 USAGE-F1 Read offload=TB 主线中弹面)。后续:M2.5 三腿收分并集判 ≥58;corewars oracle 闸零重入小案 |
22
- | 12 | 2026-07-11 | 1.259.0(判决腿)/1.263.0(在发) | **🎯 M2.5 达成:best-of-2 并集 61/89 ≥58,反超 CC(57)四题 + corewars 根治终判 + 1.263.0 collab 基座批 + TB2.1/SWE-Pro 双侦察起盘** | ①**M2.5 达成(goal 硬锁里程碑)**:legD 白天彩票腿(clay 质询「机器空转 8h」催生,15:05-19:26Z,同 recipe 1.259.0-winseam@n4@env-clean)=**53/89+独中 5 题**(build-cython-ext/build-pmars/feal-linear-cryptanalysis/model-extraction-relu-logits[timeout 但 write-out 窗口内交卷 reward=1.0]/sanitize-git-repo)→ **|C∪D|=61**·|C∪2|=57·|2∪D|=57·三腿全并 62;判据 max=61≥58 ✅(CC r1∪r2=57,反超+4)。**且 legD 吃着负载税拿下**(timeout 15≈腿2 档,走时中位 380s 居中)——干净窗腿上限更高。腿3(提前接跑 deviation,19:26:07Z 起,北京 3:26)为增量样本,冲 M3(66)。②**corewars 终判(1.261.0 首份生产亲数)**:6/6 试次 spared>0(2-14)/cuts=0/退化签名 0/无 3 振死;死法全转正常形态(1 timeout@turn137+4 threshold 不达+1 PASS 5/5)。终止层病理消除坐实,题目正式转方差题。③**1.263.0 双腿已发**(shasum 81e5d6cc,板 [581]):design/140 collab 基座批(defaultArgs 合并链/whenToUse 同源投影/内置 team-discussion+开关)+[571]③ 预算轴(codex F1 派发前闸补强)+bash 30K 活体修(198 _ho/gho 逐坐标);三轨评审=dogfood(sema live 8.2s/10.5K tok)+codex(REJECT v1→3 finding 全修 70a3aba)+独立 mock 验证 VERIFIED;service [424] 确认等此版接切片 1.5。④**考据纠偏**:TB2.1 侦察腿容器内实证——历史 cc-pro-r3 实为 CC 2.1.201 非 198,本轮 tb21-cc-198 腿=首个真 198 锚(过往 CC 对照数据版本坐标需标注)。⑤**双侦察起盘**:TB2.1(sc-03 双腿 18 题子集在跑,harbor 原生支持/89 题零增删/29 题实改含 overfull-hbox 官方修/迁移量级 S)+SWE-bench Pro(测试机挂闸等腿3,CC/sema 各 4 实例同条件,维度埋点与 TB 对齐;sc-01 判不可用=k3s 无 docker 红线)。⑥教训:黑板撞号又一例([576] 与飞轮撞,改 [578];动态校号 MAX+1 已入发板流程)。 |
23
- | 13 | 2026-07-11 | 1.261.0(腿A)/1.263.0(腿B) | **M3 新口径「新版本单腿铁底验证」双腿收账:单腿 60/89 历史新高(反超 CC 干净腿 +6)+ 双腿健康跑满** | ①**腿A(m3-1261-fb,测试机 4 并发,v4-pro,05:20-09:55Z)= 60/89**:我方单腿历史最高(此前 50-54),> CC 干净腿 54(+6)、>> 铁底 41(+19)。②**腿B(m3-1263-sc03,sc-03,05:21-09:49Z)= 55/89**:基线上沿+1,同超 CC。③5 分差=版本(1.261 vs 1.263)×机器×负载窗三重混杂,**不归因**(非 1.263 回归证据)。④并集 66/交集 49:数字恰触旧 M3 线 66,但两腿异版本异机=混杂口径,**只作方向性观察不作 M3 认证**;同版本 best-of-2 认证腿另排。⑤失败面结构:共同失败 23 题(稳定难点集,构建/仿真/分布式训练/多语言互兼容类为主)+单腿独挂 17(A 独挂 6/B 独挂 11),17≈2×历史方差带(8-10/腿)相符,含版本差+机器差+重采样三源。⑥健康度双绿:腿A harbor 全程存活、长尾两题(25-45min)正常收题零卡死;腿B 收题时容器全排空,仅 1 题触 1200s agent 上限(长任务预期)。收分纪律:凭据目录只列名零回显、双机只读、题名全中性化(观察员 subagent 执行)。 | **判决:M3 新口径达成**——新版本单腿铁底远超(60/55 双双 >41 且双双 ≥54 CC 线),1.261/1.263 换版跑坐实无能力回退、负载敏感度收窄(白天窗仍 60)。「单跑经常 50」时代结束的首个硬证据(轮 11 负载税归因+验证面修+cadence/oracle 闸累积增益的合账读数)。后续:①同版本 best-of-2 认证腿(1.265.1,低负载窗)冲正式 M3=66②共同失败 23 题按类分箱,挑 2-3 类做下轮归因靶③60 分腿的 verifier 逐题账归档 bench/tb-matrix |
24
- | 13b | 2026-07-11 | 1.261.0/1.263.0 | **轮 13 两腿 5 分差归因收账(workflow 19-agent:复核+17 题逐题取证+机器税配对)= 零版本差/零机器差,全采样方差;1.265.1 认证腿放行** | ①**60/55 二次确认成立**:独立方法(远端 python 一把梳 vs 初账逐题读)重算全同;89 题完整性/时间戳落窗/版本双证(89 份结果内嵌版本号 vs 机上 tgz)/满分抽查 8 题判定器产物核真,零存疑。②**17 差异题逐题裁决:17/17 variance_likely(high 6/med 11),version_signature=0,machine_env=0**。版本信号专项逐题核 5 类:截断阈形态差(1.261 行内 20K vs 1.263 ReadToolResult 30K)在 4 题可见但全部落在败因分叉点之后**零因果**;repetition 事件仅 2 处 spared 豁免非因果;压缩对称;墙钟顶死 4 题均为早期采样失误的下游终局;工具报错除 1 题容器权限类外全零。③**机器税=无**:配对 49 共过题 B/A 时长比中位 1.067(执行段 0.977)<1.15 线,符号检验 p≈0.39,token 速率持平(58.3 vs 59.1 tok/s)佐证服务端等同,触时限 B 反少 2;机器差上界 0~1 题。④判决:**5 分差全额=采样方差(B 挂 11−A 挂 6 的落点抖动),1.263 相对 1.261 零因果回退**。⑤**归因副产物 5 条改进候选**:(a)**高**:不可逆操作与读取同批并行执行序破坏状态案(1 题单点致死 880s 陪葬)→并行工具调度对副作用调用的排序护栏,查我方 Bash 只读并行纪律覆盖面;(b)中:交付脚本依赖会话内 pip 装的三方库、判定器独立环境跑不动→可移植性提示词面;(c)中:容器 8G cgroup OOM 后策略分岔(重构 vs 降采样)案记环境约束;(d)中:walltime_cutoff_recovery 写出窗口保全=1.263 正向能力实证(1 题靠它满分),候选=自然收尾前也强制落盘 checkpoint;(e)中:过度自信自宣完成 5 题复现型→终态自验证深度(oracle 闸工作流续档)。 | **判决:今晚认证腿=1.265.1 放行**(1.263 底座被证与 1.261 行为面等价,1.265.1 增量 4 修全带反事实测试锁;唯一常规动作=认证前 4 修冒烟)。同版本 best-of-2、n=4、env-clean、低负载窗(UTC 22:00-02:30)、1.0 口径,对 M3=66 线。改进候选(a)入下批引擎工作项,(e)并入 oracle 闸既有线 |
25
-
26
- ### 轮 13b 增补(2026-07-11 晚,clay 判决)
27
-
28
- - **P-a①已落**:并行批默认 fail-closed 照 CC 206 锚,1.266.0 发(f563a02,codex 复审 2 finding 全修,live 探针 DeepSeek 两路由 3 腿全过,黑板[610])。
29
- - **P-a②(批内只读先行护栏)+ P-e(oracle 收尾硬闸)= 实验组候选,不进主线**(clay 拍:担心副作用,「后续实践了再看;如果只有正向作用你就做」)——两者均无 CC 锚属自研,落码前置条件=实验证明纯正向(bench A/B 且无劣化面)。
30
- - P-b/P-c/P-d 维持 ledger 13b 原判(提示面增益需 bench 验证)。
@@ -1,127 +0,0 @@
1
- # TB 稳定集三轮逐题表(2026-07-08,海外机 91.199.82.197)
2
-
3
- > 数据腿产出:CC 对照腿 × sema 1249 基线 × 1239 轮逐题对齐,为 1257 翻红解读做地基。
4
- > 只列 task-id 与粗类别标签,不复述题目内容。P=reward 1.0,F=fail,`-`=result.json 无 reward(计 F)。
5
-
6
- ## 数据源(全部 89 题对齐,零别名冲突)
7
-
8
- | 轮 | jobs 目录 | 总分 | 说明 |
9
- |----|-----------|------|------|
10
- | CC-r1 | `~/sema-tb/jobs/cc-pro-full` | 32/89 | night-cc 全量首轮,900s agent 超时上限,AgentTimeoutError 密集 |
11
- | CC-r2 | `~/sema-tb/jobs/cc-pro-cc-full-r2` | 25/39 | 仅 r1 失败题重跑(部分轮,39 题) |
12
- | CC-r3 | `~/sema-tb/jobs/cc-pro-r3-full` | 54/89 | CC 全量第三轮(最佳单轮) |
13
- | CC(任一轮) | r1∪r2∪r3 | 66/89 | 「CC 曾经通过」上包络 |
14
- | 1249-fb | `~/sema-tb/jobs/full-pro-1249-fb` | 51/89 | sema 1.249 基线(full-1249-two leg1,status 档 51/89 与逐题重算一致) |
15
- | 1239-os | `~/sema-tb/jobs/full-pro-1239-os` | 49/89 | sema 1.239.2 轮(pro;另有 flash 腿 48/89 未入表) |
16
-
17
- 模型全部为 deepseek-v4-pro,同机同 harness(harbor + terminal-bench@2.0)。
18
-
19
- ## 汇总
20
-
21
- - **稳定集(CC 任一轮 PASS ∩ 1249 PASS)= 50 题**。
22
- - 备选口径:CC-r3 单轮 ∩ 1249 = 45 题;CC-r1 单轮 ∩ 1249 = 24 题。
23
- - 2×2(CC任一轮 × 1249):双 PASS 50 | CC-only 16 | sema-only 1 | 双 FAIL 22。
24
- - 分差:CC 最佳单轮 54 vs sema-1249 51(-3);CC 上包络 66 vs 51(-15);CC 首轮 32 vs 51(+19,但 r1 受 900s 超时上限重创,不宜作能力面)。
25
- - 该稳定集将由收账腿与在跑的 1257 全量(`full-pro-1257-fb`)做交集;本表不等 1257。
26
-
27
- ## 逐题表(89 题)
28
-
29
- | # | task-id | 类别 | CC-r1 | CC-r2 | CC-r3 | CC(任一轮) | 1249-fb | 1239-os | 稳定集 |
30
- |---|---------|------|-------|-------|-------|-----------|---------|---------|--------|
31
- | 1 | adaptive-rejection-sampler | ml | F | - | F | N | F | F | N |
32
- | 2 | bn-fit-modify | ml | F | F | P | Y | P | F | Y |
33
- | 3 | break-filter-js-from-html | sec | F | - | F | N | F | P | N |
34
- | 4 | build-cython-ext | build | F | P | P | Y | F | F | N |
35
- | 5 | build-pmars | build | F | P | F | Y | P | P | Y |
36
- | 6 | build-pov-ray | build | F | - | F | N | P | P | N |
37
- | 7 | caffe-cifar-10 | ml | - | - | F | N | F | F | N |
38
- | 8 | cancel-async-tasks | misc | F | P | F | Y | P | P | Y |
39
- | 9 | chess-best-move | misc | P | - | F | Y | F | F | N |
40
- | 10 | circuit-fibsqrt | misc | F | P | P | Y | F | F | N |
41
- | 11 | cobol-modernization | misc | P | - | P | Y | P | P | Y |
42
- | 12 | code-from-image | misc | F | P | P | Y | P | P | Y |
43
- | 13 | compile-compcert | build | P | - | P | Y | P | P | Y |
44
- | 14 | configure-git-webserver | build | P | - | P | Y | P | P | Y |
45
- | 15 | constraints-scheduling | ml | F | P | P | Y | P | P | Y |
46
- | 16 | count-dataset-tokens | misc | P | - | F | Y | P | F | Y |
47
- | 17 | crack-7z-hash | sec | P | - | P | Y | P | P | Y |
48
- | 18 | custom-memory-heap-crash | misc | P | - | P | Y | P | P | Y |
49
- | 19 | db-wal-recovery | misc | P | - | F | Y | F | F | N |
50
- | 20 | distribution-search | misc | P | - | P | Y | P | P | Y |
51
- | 21 | dna-assembly | misc | F | F | F | N | F | F | N |
52
- | 22 | dna-insert | misc | F | P | F | Y | F | F | N |
53
- | 23 | extract-elf | misc | F | P | P | Y | P | P | Y |
54
- | 24 | extract-moves-from-video | misc | P | - | F | Y | F | F | N |
55
- | 25 | feal-differential-cryptanalysis | misc | F | P | P | Y | P | P | Y |
56
- | 26 | feal-linear-cryptanalysis | misc | P | - | P | Y | P | F | Y |
57
- | 27 | filter-js-from-html | sec | F | F | F | N | F | F | N |
58
- | 28 | financial-document-processor | sys | F | P | P | Y | P | F | Y |
59
- | 29 | fix-code-vulnerability | sec | F | P | P | Y | P | F | Y |
60
- | 30 | fix-git | sys | P | - | P | Y | P | P | Y |
61
- | 31 | fix-ocaml-gc | misc | F | P | P | Y | P | P | Y |
62
- | 32 | gcode-to-text | misc | F | - | F | N | F | F | N |
63
- | 33 | git-leak-recovery | sys | F | P | P | Y | P | P | Y |
64
- | 34 | git-multibranch | sys | F | - | P | Y | P | P | Y |
65
- | 35 | gpt2-codegolf | ml | F | - | F | N | F | F | N |
66
- | 36 | headless-terminal | misc | P | - | P | Y | P | P | Y |
67
- | 37 | hf-model-inference | ml | P | - | P | Y | P | P | Y |
68
- | 38 | install-windows-3.11 | misc | F | F | F | N | F | F | N |
69
- | 39 | kv-store-grpc | misc | P | - | P | Y | P | P | Y |
70
- | 40 | large-scale-text-editing | misc | F | P | P | Y | P | P | Y |
71
- | 41 | largest-eigenval | misc | P | - | P | Y | F | F | N |
72
- | 42 | llm-inference-batching-scheduler | ml | P | - | P | Y | P | P | Y |
73
- | 43 | log-summary-date-ranges | data | P | - | P | Y | P | P | Y |
74
- | 44 | mailman | misc | F | P | P | Y | P | P | Y |
75
- | 45 | make-doom-for-mips | build | F | - | F | N | F | F | N |
76
- | 46 | make-mips-interpreter | build | F | F | F | N | F | F | N |
77
- | 47 | mcmc-sampling-stan | misc | F | P | P | Y | P | P | Y |
78
- | 48 | merge-diff-arc-agi-task | misc | P | - | P | Y | P | P | Y |
79
- | 49 | model-extraction-relu-logits | ml | F | F | - | N | F | P | N |
80
- | 50 | modernize-scientific-stack | misc | P | - | P | Y | P | P | Y |
81
- | 51 | mteb-leaderboard | misc | F | F | F | N | F | F | N |
82
- | 52 | mteb-retrieve | misc | P | - | F | Y | F | F | N |
83
- | 53 | multi-source-data-merger | misc | P | - | P | Y | P | P | Y |
84
- | 54 | nginx-request-logging | data | F | P | P | Y | P | P | Y |
85
- | 55 | openssl-selfsigned-cert | sys | F | F | P | Y | P | P | Y |
86
- | 56 | overfull-hbox | misc | F | - | P | Y | P | F | Y |
87
- | 57 | password-recovery | sec | F | - | P | Y | F | P | N |
88
- | 58 | path-tracing | misc | F | - | P | Y | F | F | N |
89
- | 59 | path-tracing-reverse | misc | F | - | P | Y | F | F | N |
90
- | 60 | polyglot-c-py | misc | F | F | F | N | F | F | N |
91
- | 61 | polyglot-rust-c | misc | F | - | P | Y | F | F | N |
92
- | 62 | portfolio-optimization | misc | P | - | P | Y | F | P | N |
93
- | 63 | protein-assembly | misc | F | F | F | N | F | F | N |
94
- | 64 | prove-plus-comm | misc | P | - | P | Y | P | P | Y |
95
- | 65 | pypi-server | misc | P | - | F | Y | P | P | Y |
96
- | 66 | pytorch-model-cli | ml | P | - | P | Y | P | P | Y |
97
- | 67 | pytorch-model-recovery | ml | F | P | P | Y | P | P | Y |
98
- | 68 | qemu-alpine-ssh | sys | P | - | P | Y | P | F | Y |
99
- | 69 | qemu-startup | sys | F | - | P | Y | P | P | Y |
100
- | 70 | query-optimize | data | F | - | F | N | F | P | N |
101
- | 71 | raman-fitting | misc | F | F | F | N | F | F | N |
102
- | 72 | regex-chess | data | F | - | F | N | F | F | N |
103
- | 73 | regex-log | data | F | P | P | Y | P | P | Y |
104
- | 74 | reshard-c4-data | misc | P | - | P | Y | P | P | Y |
105
- | 75 | rstan-to-pystan | misc | F | P | P | Y | P | F | Y |
106
- | 76 | sam-cell-seg | misc | F | F | F | N | F | F | N |
107
- | 77 | sanitize-git-repo | sys | F | P | F | Y | F | F | N |
108
- | 78 | schemelike-metacircular-eval | misc | P | - | F | Y | P | P | Y |
109
- | 79 | sparql-university | misc | F | P | P | Y | P | P | Y |
110
- | 80 | sqlite-db-truncate | data | F | P | P | Y | P | P | Y |
111
- | 81 | sqlite-with-gcov | data | F | P | P | Y | P | P | Y |
112
- | 82 | torch-pipeline-parallelism | ml | F | - | F | N | F | F | N |
113
- | 83 | torch-tensor-parallelism | ml | F | - | F | N | F | F | N |
114
- | 84 | train-fasttext | ml | F | F | F | N | F | F | N |
115
- | 85 | tune-mjcf | misc | P | - | P | Y | P | P | Y |
116
- | 86 | video-processing | sys | F | - | F | N | F | F | N |
117
- | 87 | vulnerable-secret | sec | F | P | P | Y | P | P | Y |
118
- | 88 | winning-avg-corewars | misc | P | - | P | Y | F | P | N |
119
- | 89 | write-compressor | misc | P | - | F | Y | F | F | N |
120
-
121
- ## 备注 / 坑
122
-
123
- 1. **CC 轮选择**:cc-pro-* 共三轮。r1(night-cc)900s 超时上限导致大量 AgentTimeoutError(32/89 严重低估);r2 只重跑 r1 的 39 个失败题;r3 是完整重跑(54/89)。「CC PASS」主口径取三轮并集(66),偏 CC 有利;单轮可比口径用 r3。
124
- 2. **reward 缺失 3 处**(计 F):CC-r1 `caffe-cifar-10`、CC-r2 `query-optimize`、CC-r3 `model-extraction-relu-logits`(result.json 无 verifier reward,多为异常中断)。
125
- 3. **别名映射**:service 档 TB-OVERSEAS-1239-REPORT.md 在海外机不可读(未找到);实际无需别名——七个 jobs 目录的 89 个 task 段完全一致,零差集。
126
- 4. 1249 还有一条 `full-pro-1249-nocap` 腿(46/89,leg2),非基线口径,未入表。
127
- 5. 类别标签为 id 关键词粗分(build/ml/sec/data/sys/misc),仅作分组参考。
@@ -1,28 +0,0 @@
1
- # TB2.1 双腿侦察终报(2026-07-11 夜班,sc-03)
2
-
3
- > 首个真 CC 2.1.198 锚腿(容器内实证;考据纠偏:历史 cc-pro-r3 实为 2.1.201)vs sema 1.259.0-winseam,18 题子集,n=2 k=1 同窗同机。数据:sc-03 ~/sema-tb/jobs/{tb21-cc-198,tb21-sema-1259w}。
4
-
5
- ## 汇总
6
- - **CC198 15/18 · sema 12/18 · 并集 16/18 · 交集 11/18**
7
- - CC 独过 ×4:configure-git-webserver / install-windows-3.11 / overfull-hbox / polyglot-c-py
8
- - sema 独过 ×1:extract-elf(CC 烧 435s/29.8K out 仍挂)
9
- - 两腿全挂 ×2:caffe-cifar-10、query-optimize(均长走时天花板,非 harness 不兼容)
10
-
11
- ## 维度
12
- | 指标 | CC198 | sema |
13
- |---|---|---|
14
- | 走时中位 | 412s | 263s |
15
- | 输出 token 中位 | 14,570 | 10,444(~72% of CC,延续 2.0「省 output」画像)|
16
- | 显式 AgentTimeoutError | 2 | 0(但同题 reward=0——两腿终止语义不同,跨腿 timeout 计数不可直比)|
17
-
18
- ## 地形情报
19
- - harbor 0.17.1 原生支持 2.1(新式 id `terminal-bench/terminal-bench-2-1`;任务名带 org 前缀;`-o`+`--job-name` 多一层目录)。89 题零增删,29 题实改(26 文件级+3 资源提额)。
20
- - 官方修复体现:rstan-to-pystan(2.0 sema 5/28 死靶)**双腿都过**=最干净的正向体现;overfull-hbox CC 过/sema 挂(部分体现,n=2 无法定谳)。
21
-
22
- ## 🚩 红旗:sema 早退型失败 ×2(待归因)
23
- - **polyglot-c-py**:sema 84.5s/3.5K out 即收 reward=0(CC 628s/43K 过)——不是「想不出」是「没怎么跑就走了」。
24
- - **configure-git-webserver**:sema 114s 即收(CC 118s 过)。
25
- - 若是引擎终止层回归(corewars 病理同类)必须修;若是方差需更高 n 复跑坐实。**归因进行中**。
26
-
27
- ## 迁移终判
28
- **A 级可迁移**(锚腿达标 15/18、oracle smoke 通、无 adapter 阻断、脚本级适配两处),不给无条件 S:sema 3 分差+两处早退嫌疑需高 n 复跑归因后再定。判决腿切 2.1 前置条件=早退归因清零。