@sema-ai/core 1.277.0 → 1.277.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (134) hide show
  1. package/README.md +2 -5
  2. package/dist/bench/metrics.js +1 -1
  3. package/dist/bench/metrics.js.map +1 -1
  4. package/dist/core/cache-break-detector.js +0 -0
  5. package/dist/core/cache-break-detector.js.map +1 -1
  6. package/dist/tools/gitea-issue.d.ts +1 -1
  7. package/dist/tools/gitea-issue.d.ts.map +1 -1
  8. package/package.json +1 -6
  9. package/CHANGELOG.md +0 -5455
  10. package/docs/A1-ATTRIBUTION-ROUND1-2026-07-09.md +0 -181
  11. package/docs/AB-ORACLE-GATE-VERDICT-2026-07-10.md +0 -100
  12. package/docs/ANCHOR-GAP-INVENTORY-2026-07-09.md +0 -143
  13. package/docs/ARCHITECTURE.md +0 -125
  14. package/docs/BUGHUNT-2026-07-05-NIGHT.md +0 -98
  15. package/docs/BUILD.md +0 -63
  16. package/docs/CANCEL-ASYNC-ATTRIBUTION-2026-07-09.md +0 -98
  17. package/docs/CC-198-VS-201-DRIFT-2026-07-09.md +0 -70
  18. package/docs/CC-BASELINE-FAKE-ZERO-AUDIT-2026-07-09.md +0 -51
  19. package/docs/CC-DRIFT-198-206-AGENT-TYPES-2026-07-10.md +0 -82
  20. package/docs/CC-DRIFT-198-206-CHANGELOG-2026-07-10.md +0 -82
  21. package/docs/CC-DRIFT-198-206-REMINDERS-2026-07-10.md +0 -96
  22. package/docs/CC-DRIFT-198-206-ROADMAP-2026-07-10.md +0 -110
  23. package/docs/CC-DRIFT-198-206-TOOL-INVENTORY-2026-07-10.md +0 -53
  24. package/docs/CC-DRIFT-198-206-USAGE-CONSTANTS-2026-07-10.md +0 -64
  25. package/docs/CC-DRIFT-198-206-WORKFLOW-2026-07-10.md +0 -83
  26. package/docs/CC-PARITY-CHECKLIST.md +0 -220
  27. package/docs/CC-PARITY-DEEP-SWEEP-2026-07-07.md +0 -149
  28. package/docs/CC-SUBAGENT-PROMPT-STUDY-2026-07-09.md +0 -219
  29. package/docs/CC-TASK-REMINDER-CADENCE-STUDY-2026-07-09.md +0 -396
  30. package/docs/CC-TOOL-PARITY-SWEEP-2026-07.md +0 -56
  31. package/docs/CC-TOOL-PROMPT-DEEP-DIFF-2026-07-08.md +0 -274
  32. package/docs/CC-TOOLSURFACE-DEEP-DIVE-2026-07-07.md +0 -197
  33. package/docs/CC206-OBSERVER-ANCHORS-2026-07-11.md +0 -463
  34. package/docs/CC207-CORE-SWEEP-BACKLOG-2026-07-12.md +0 -155
  35. package/docs/CENTER-CONTROL-PLANE-SEAM.md +0 -86
  36. package/docs/CLEANUP-CONTRACT-ANCHOR-2026-07-09.md +0 -83
  37. package/docs/COLD-START-RSI-2026-07-09.md +0 -72
  38. package/docs/COMPACTION-LIVE-AUDIT-2026-07-09.md +0 -114
  39. package/docs/CONTEXT-lifecycle-extension-points-and-stop-attribution.md +0 -71
  40. package/docs/COREWARS-POLYGLOT-TRIAGE-2026-07-09.md +0 -85
  41. package/docs/DEADTARGET-OVERFULL-HBOX-2026-07-10.md +0 -92
  42. package/docs/DEADTARGET-PATH-TRACING-REVERSE-2026-07-10.md +0 -87
  43. package/docs/DEADTARGET-WINNING-AVG-COREWARS-2026-07-10.md +0 -96
  44. package/docs/DEEPSEEK-API-LIMITS-PROBE-2026-07-09.md +0 -118
  45. package/docs/DESIGN-140-MOCK-VERIFY-2026-07-11.md +0 -79
  46. package/docs/DESIGN-140-VERIFICATION-2026-07-11.md +0 -43
  47. package/docs/DESIGN-DRAFT-workflow-collab-2026-07-11.md +0 -56
  48. package/docs/DESIGN-ORACLE-GROUNDING-GATE-2026-07-10.md +0 -167
  49. package/docs/DESIGN-TFRAG-RECONCILE-SCAFFOLD-2026-07-09.md +0 -102
  50. package/docs/EXP-PA2-PE-DESIGN-2026-07-11.md +0 -220
  51. package/docs/EXT-DOGFOOD-2026-07-12.md +0 -50
  52. package/docs/FINAL-VERIFY-SURFACE-AUDIT-2026-07-09.md +0 -44
  53. package/docs/FRAG-RECON-INVESTIGATION-2026-07-09.md +0 -183
  54. package/docs/HANDOFF.md +0 -121
  55. package/docs/KNOWN-ISSUES.md +0 -96
  56. package/docs/LEGW-WINDOW-TAX-2026-07-10.md +0 -82
  57. package/docs/LIVE-PROBE-BATCH-2026-07-11.md +0 -207
  58. package/docs/M2-CERT-ATTRIBUTION-2026-07-10.md +0 -61
  59. package/docs/M25-LEG-VARIANCE-ATTRIBUTION-2026-07-10.md +0 -81
  60. package/docs/MAILMAN-TIMEOUT-ATTRIBUTION-2026-07-10.md +0 -88
  61. package/docs/MEMORY-BACKEND-DIALECT-NOTES.md +0 -69
  62. package/docs/MTEB-ESCAPE-HATCH-ATTRIBUTION-2026-07-09.md +0 -57
  63. package/docs/MTEB-LEADERBOARD-ATTRIBUTION-2026-07-10.md +0 -134
  64. package/docs/ORACLE-GATE-NEGATIVE-SAMPLE-2026-07-11.md +0 -28
  65. package/docs/PARITY-CONTEXT-TRANSACTIONS-2026-07-10.md +0 -67
  66. package/docs/PARITY-PROGRESS-MATRIX-2026-07-10.md +0 -37
  67. package/docs/PARITY-SPOT-AGENT-TYPES-2026-07-10.md +0 -70
  68. package/docs/PARITY-SPOT-REMINDERS-2026-07-10.md +0 -144
  69. package/docs/PARITY-SPOT-TOOL-INVENTORY-2026-07-10.md +0 -61
  70. package/docs/PARITY-SPOT-USAGE-CONSTANTS-2026-07-10.md +0 -95
  71. package/docs/PARITY-SPOT-WORKFLOW-2026-07-10.md +0 -93
  72. package/docs/PASSWORD-RECOVERY-PANEL-VERDICT-2026-07-10.md +0 -62
  73. package/docs/R8-R9-FINALIZE-COORDINATION-2026-07-09.md +0 -124
  74. package/docs/REPL-CODE-MODE-EVALUATION-2026-07-10.md +0 -187
  75. package/docs/REPORT-1249-TARGETED.md +0 -48
  76. package/docs/RESEARCH-3P-MEMORY-SWAP-2026-07-12.md +0 -273
  77. package/docs/ROADMAP.md +0 -111
  78. package/docs/RSI-CLOUD-DEPLOY-2026-07-06.md +0 -289
  79. package/docs/RSI-PROCESS-AI-COLDSTART-2026-07-11.md +0 -68
  80. package/docs/S18-THOROUGHNESS-AUDIT-2026-07-09.md +0 -113
  81. package/docs/SERVICE-INTEGRATION-GUIDE.md +0 -298
  82. package/docs/SUBAGENT-STREAM-RESILIENCE-PARITY-2026-07-10.md +0 -118
  83. package/docs/SWEBENCH-PRO-RECON-2026-07-11.md +0 -31
  84. package/docs/TB-EFFICIENCY-TELEMETRY-2026-07-08.md +0 -114
  85. package/docs/TB-FAILURE-AUTOPSY-2026-07-05-RERUN.md +0 -67
  86. package/docs/TB-FAIRNESS-AUDIT-2026-07-08.md +0 -141
  87. package/docs/TB-FULL-1257-2026-07-08.md +0 -77
  88. package/docs/TB-LEG-GAP-ATTRIBUTION-1261-1263-2026-07-11.md +0 -154
  89. package/docs/TB-REGRESSION-DAEMON-KILL-2026-07-08.md +0 -58
  90. package/docs/TB-RSI-CROSSCHECK-2026-07-06.md +0 -68
  91. package/docs/TB-RSI-LEDGER.md +0 -30
  92. package/docs/TB-STABLE-SET-2026-07-08.md +0 -127
  93. package/docs/TB21-RECON-2026-07-11.md +0 -28
  94. package/docs/TEST-DESIGN-BATCH-1-2-3.md +0 -97
  95. package/docs/THIRD-PARTY-INTEGRATION.md +0 -45
  96. package/docs/TOKEN-ESTIMATE-CALIBRATION-LIVE-2026-07-09.md +0 -102
  97. package/docs/audit-2026-06-10-/347/254/254/344/272/214/350/275/256-/347/251/272/347/231/275/345/214/272/344/270/216/345/277/230/346/216/245/347/272/277.md +0 -147
  98. package/docs/audit-2026-06-10-/350/256/241/347/256/227bug/346/211/253/346/217/217.md +0 -163
  99. package/docs/audit-2026-06-11-/344/277/256/345/244/215/345/244/215/345/256/241/344/270/216/345/233/236/345/275/222/344/270/223/346/211/253.md +0 -95
  100. package/docs/audit-2026-06-12-design71-P1/346/275/234/344/274/217/351/235/242/350/243/201/345/206/263/344/270/216/345/220/236/351/224/231/345/256/241/350/256/241.md +0 -45
  101. package/docs/audit-2026-06-12-/345/205/254/345/274/200/346/227/213/351/222/256/346/264/273/346/200/247/344/270/216vendored/346/255/273/350/267/257.md +0 -63
  102. package/docs/audit-2026-06-15/ADDENDUM-second-pass.md +0 -88
  103. package/docs/audit-2026-06-15/ARCHITECTURE-AND-ROADMAP.md +0 -187
  104. package/docs/audit-2026-06-15/DOC-CORRECTIONS.md +0 -105
  105. package/docs/audit-2026-06-15/INDEX.md +0 -49
  106. package/docs/audit-2026-06-15/ORCHESTRATION-STATUS.md +0 -98
  107. package/docs/audit-2026-06-15/PRODUCTION-ISSUES.md +0 -189
  108. package/docs/audit-2026-06-15/REFERENCES-literature.md +0 -139
  109. package/docs/audit-2026-06-15/VENDOR-REFACTOR-PLAN.md +0 -96
  110. package/docs/cc-probe-198/README.md +0 -72
  111. package/docs/cc-probe-198/STABILITY-AUDIT.md +0 -118
  112. package/docs/cc-probe-198/live-schema-monitor-worktree-2026-07-09.json +0 -56
  113. package/docs/cc-probe-198/mount-variants.json +0 -536
  114. package/docs/cc-probe-198/plan-mode-run.json +0 -1
  115. package/docs/cc-probe-198/probe-bash-bg.json +0 -224
  116. package/docs/cc-probe-198/probe-edit-mismatch.json +0 -120
  117. package/docs/cc-probe-198/probe-read-missing.json +0 -62
  118. package/docs/cc-probe-198/probe-search-empty.json +0 -127
  119. package/docs/cc-probe-198/probe-task-family.json +0 -227
  120. package/docs/cc-probe-198/probes.status +0 -6
  121. package/docs/cc-probe-198/raw-capture-interactive.json +0 -948
  122. package/docs/cc-probe-198/raw-capture-print.json +0 -787
  123. package/docs/cc-probe-198/raw-capture2-interactive.json +0 -948
  124. package/docs/cc-probe-198/raw-capture2-print.json +0 -787
  125. package/docs/cc-probe-198/system-prompt.txt +0 -135
  126. package/docs/cc-probe-198/tools-array.json +0 -962
  127. package/docs/durability-boundary.md +0 -63
  128. package/docs/fix-2026-06-10-/350/256/241/347/256/227bug/344/277/256/345/244/215-search/346/211/271.md +0 -75
  129. package/docs/fix-2026-06-11-/347/254/254/344/272/214/350/275/256-/344/277/256/345/244/215-search/346/211/271.md +0 -62
  130. package/docs/parity-sweep/REPORT-DYNAMIC.md +0 -97
  131. package/docs/parity-sweep/REPORT-STATIC-GGB.md +0 -127
  132. package/docs/parity-sweep/REPORT-STATIC-RWE.md +0 -133
  133. package/docs/vendor-history.md +0 -385
  134. package/docs/vendored-upstream-diff-2026-07.md +0 -83
@@ -1,92 +0,0 @@
1
- # overfull-hbox 双挖掘者+对抗复核合议档(2026-07-10)
2
-
3
- > 两个独立 fable5 挖掘者各自上测试机归因,本档=第三方对抗复核官现场抽验(全量 reward 重数+轨迹逐步取证)后的合议判决。
4
-
5
- ## 〇、结论先行
6
-
7
- 1. **"稳定死"前提=FALSE(复核官亲数坐实)**:全量 41 个 run,CC 1/4 PASS(25%),sema 侧 11/36 PASS(30.6%,1 个 infra None 剔除)。**我方通过率不低于 CC**。M1/M2/腿C 三连挂在 ~31% 通过率下是正常方差(P(三连挂)≈0.33)。
8
- 2. **归因=混合:题面对抗陷阱 × 模型语法先验(双边共享)× 采样方差,无引擎机制缺口**。28 个 FAIL 里 25 个已把 compile+no-overfull+main.tex 未动三项测试全过,只死在约束字面性(test_input_file_matches);CC 的 3 个 FAIL 与我方主流死法**逐字同签名** `assert ('an' == 'a')`。
9
- 3. **本题应从 CC-diff 靶心降级为双边方差题**;best-of-n 口径下我方已过(siege-a 2/3、rerun 系多次 PASS)。
10
- 4. **弱杠杆存在(prompt/oracle 面,中低置信)**:受限编辑任务的"约束字面审计"习惯(编辑前留原件快照+收尾机械 token-diff 对照白名单),恰好是 1.260.0 oracle 接地闸 grounding-signal 可投影的形态;需 N≥5 A/B。**不建议任何冠词/同义词特判**。
11
-
12
- ## 一、题面与陷阱结构(复核官核实)
13
-
14
- - instruction(`~/.cache/harbor/tasks/ca36CXF7yAdWnRdpyfoihT/overfull-hbox/instruction.md`)显式声明:**"the only edits you may make are to replace words in input.tex with their specified synonyms in synonyms.txt"**——约束是明示的,verifier 字面执法是公平的(对抗但不阴)。
15
- - verifier(`tests/test_outputs.py` ~L102-110):逐 token zip 比对,token 数必须相等、前后缀标点全等、`assert w == w_agent or (w in synonyms and w_agent in synonyms[w])`。
16
- - **陷阱几何**(synonyms.txt 110 行,复核官核实):
17
- - **无 a/an 族**(grep 整词 a/an = 0 命中)→ 冠词一个字都不能动;
18
- - `intimate` 族=close/personal/familiar/confidential——**全辅音开头**,而原文有 "**an** intimate revelation was quivering"(盖茨比开篇)→ 换掉 intimate 后语法过硬的模型必然想把 an→a"顺手修正"=必死;
19
- - `extraordinary` 族含元音开头的 `amazing`——"an extraordinary gift" 位点存在合法出路;
20
- - `younger` **不在表内**(younger/newer 均无)→ 任何 "younger"→"newer" 替换必死;`revelations` 族有 discoveries 但自造复数 "discoverys" 必死。
21
- - 过题三条路:①不碰冠词位点(CC 唯一 PASS 走的路)②选元音开头同义词凑冠词(amazing)③接受病句 "an close epiphany"(siege-a 赢家走的路)。
22
-
23
- ## 二、两票摘要
24
-
25
- | 票 | 前提核查 | 根因 | 杠杆 |
26
- |---|---|---|---|
27
- | A | CC 1/4=25%;sema 29 run 11 PASS≈38% | 双边共享模型语法先验:an→a 顺手修正撞 verifier 逐词对照;CC/sema 死法逐字相同 | 主判无杠杆;次级=prompt 面通用"编辑前快照+token-diff 自检"习惯(低置信) |
28
- | B | CC 1/4=25%;sema 36 run 11 PASS≈31% | 验收面字面主义陷阱×模型语法本能;FAIL 分类=冠词 18+词形 6+其它 3+真能力 1 | 无引擎鸿沟;弱杠杆=final-verify 约束字面审计(1.260.0 grounding-signal 可投影形态),N≥5 A/B |
29
-
30
- **两票冲突点及裁决**:
31
- 1. **sema 样本数 29 vs 36**:复核官全量 find(maxdepth 4)重数=**B 对**(非 CC 侧 37 目录,36 有分+1 None;A 的 29/18 内部算术也不自洽:其自列 FAIL 明细实为 20 项)。A 漏了浅层目录的 fence-l1/codewhale/flash/ohmypi/unleashed 等。方向不受影响(两票都得出 sema≥CC)。
32
- 2. **m2-cert 致命步编号 A=tool#16 vs B=[31]**:按 tool_start 序数=**#16(A 对)**,B 的 [31] 为其他计数口径;**内容两票一致且属实**(见下)。
33
- 3. **CC PASS 决定步**:A 说 step 6 'an extraordinary gift'→'an amazing gift'=真;B 说复数位点在 step 16=实为 **step 17**(差 1),revert 在 step 16(B 说 13-15,实际 13-14 编译发现+16 revert)。实质均成立。
34
- 4. **B 的 FAIL 分类微修**(复核官全量签名扫描):冠词 **17**(an→a 16 + a→an 1=full-pro-1257)、younger/newer **4**、discoverys **1**、**token 数不齐 3**(assert 939==938:full-pro-1244/rerun-ctl-iwUHH6S/targeted-1249,吞并 token 也是字面性失守)、overfull 残留 **3**(纯能力挂仅 unleashed-fails__Ba8Axqc,另 2 个 r3-rerun__Phd8p7c/rerun-1258__LuYD2m4 双挂)。共 28 FAIL。
35
-
36
- ## 三、复核官现场取证(全部亲验)
37
-
38
- ### 3.1 全量 reward 分布(41 run,reward=result.json:verifier_result.rewards.reward)
39
-
40
- | 侧 | PASS | FAIL | infra | 通过率 |
41
- |---|---|---|---|---|
42
- | CC(claude-code 2.1.198 + deepseek-v4-pro) | 1(cc-pro-r3-full__uRfk2Uy) | 3(cc-pro-full__ZSHUZGr/cc-pro-fails__7STevhr/cc-pro-smoke__5qV6Typ) | 0 | **25%** |
43
- | sema 全引擎系 | 11 | 25 | 1(rerun-n5-1249ctl__FdSs8j6=None) | **30.6%** |
44
-
45
- sema PASS 11:full-pro-1249-fb__TincXQX、r3-rerun-1258.5__fpMu64F、rerun-n5-1249ctl__{3xn7Qkv,aHQsfjp}、rerun-n5-1249lowc__{i5kE5di,T4FdjCk}、rerun-n5-1258__{FrDZuag,PuAsZ7b}、sema-pro-unleashed-fails-r2__JbDcH6y、siege-a-1259__{2C5KKRr,36wFiy6}。
46
- sema FAIL 25:fence-l1__4xeVJoZ、full-1258.5__BRYn2j4、full-codewhale-pro__QKB9SsM、full-flash-1239-os__WdhuiZW、full-pro-1239-os__cq8GPtD、full-pro-1244__P67K9ic、full-pro-1249-nocap__myruUxB、full-pro-1257__GbyRxMm、m1-cert__PK7SE3F、m2-cert__vBB8sWP、ohmypi-pro-full__gHLLcMZ、r3-rerun×4(9Dke8DB/kamHoE6/Phd8p7c/rtbjkTE)、rerun-ctl×2(iwUHH6S/wqmSFYH)、rerun-lowc__UhoeZtf、rerun-1258×3(DWSf4PH/LuYD2m4/wjsyMGA)、unleashed-fails__Ba8Axqc、siege-a__P22F8gX、targeted-1249__SpB34EU、win-ctl__46vCoLE。
47
- 同版本 1.259 内部:siege-a 2/3 PASS vs m2-cert/win-ctl 双挂=纯采样噪声。
48
-
49
- ### 3.2 失败模式同一性(亲验 6 个关键 run 的 verifier/test-stdout.txt)
50
-
51
- cc-pro-full、cc-pro-fails、cc-pro-smoke、m1-cert、m2-cert、win-ctl 六个 run **全部**=`E assert ('an' == 'a'`,且 `1 failed, 3 passed`(compile/no-overfull/main.tex 未动全绿)。**codewhale(QKB9SsM)和 v4-flash(WdhuiZW)也同死 'an'=='a'**——冠词修正先验跨模型存在,进一步排除引擎归因。
52
-
53
- ### 3.3 轨迹逐步取证
54
-
55
- - **CC 唯一 PASS**(cc-pro-r3-full__uRfk2Uy/agent/trajectory.json,24 步):21 次 Edit(19 净替换+step12 'plagiaristic'→'copied' 引发级联 overfull 后 step16 原样 revert);step 6 含 'an extraordinary gift'→'an amazing gift'(元音兼容);**全轨迹机械 token-diff 扫描=零冠词变更**;单数陷阱位点 "an intimate revelation was quivering" 全程未碰(step 17 只改了 'the intimate revelations of young' 复数位点,冠词是 the);step 21-22 仅 pdflatex 验证,**无任何约束自检**。判决:赢在窄编辑面+替换选择恰好冠词兼容,不是识破陷阱,不是引擎机制。
56
- - **CC 3 FAIL 致命步**(亲验):cc-pro-fails step 12 段落级 Edit 内 "…sign that an intimate revelation was quivering"→"…sign that **a close revelation** was quivering";cc-pro-smoke step 5 同位点→"**a close exposure**";cc-pro-full step 6 **整文件 Write**(4960 字符)内嵌 "…mark that **a close epiphany** was quivering"。
57
- - **sema 代表 FAIL**:m2-cert__vBB8sWP events.jsonl tool_start#16=Edit 'an intimate revelation was quivering'→'**a** close exposure was quivering'(#14 已 replace_all intimate→close,#16 是"回头修语法"的有意识致命步);win-ctl__46vCoLE tool_start#40=Edit 'an intimate revelation'→'**a** close revelation',完全同构。
58
- - **win-ctl 自检未遂(重要证据)**:#47 python3 → exit 127(容器无 python3),#48 python → exit 127,#49 退化 bash 检查逻辑有 bug 全量假 FAIL(#50 的 grep 证明那些词对其实都在族内),#50 仅验"替换词∈词族"**对冠词编辑结构性盲**(原始 input.tex 只在 /tests 不可见,agent 无编辑前副本可 diff)。模型有自检意愿、缺方法论。
59
- - **sema PASS 反证**(siege-a__36wFiy6):#32 Edit 'an remarkable'→'an amazing'(用元音同义词自救此前造出的病句),#57 Edit 'an intimate revelation'→'**an** close epiphany'(**明知病句仍守约束**)。同模型能自发悟到正确姿势=提升上限有限的直接证据。
60
-
61
- ## 四、合议判决
62
-
63
- - **归因类别:混合**(题面对抗陷阱设计 × 模型语法先验双边共有 × 采样方差)。**排除引擎机制缺口**:①死法逐字同签名跨 CC/sema/codewhale/flash;②CC 通过率(25%)不高于我方(30.6%);③CC 唯一 PASS 无任何 sema 缺失的机制(无约束自检,纯 pdflatex 循环);④同版本 siege-a 2/3 过而 m2/win-ctl 挂=版本内方差。
64
- - **CC 制胜机制**:不存在。唯一 PASS=窄编辑面策略+替换选择运气(避开单数冠词位点+amazing 元音兼容),CC 自己 3/4 死在同一坑。
65
- - **我方失败机制**:与 CC 完全同款——模型在合法同义词替换后按语法本能"顺手修正"冠词(或自造词形/吞并 token),违反明示的编辑白名单;唯一纯能力挂(overfull 没清完)仅 1/36。
66
- - **M1/M2/腿C 三连挂定性**:~31% 通过率下的正常方差,不构成机制信号,不应作为 CC-diff 靶投入单题工程。判决口径应用 best-of-n。
67
-
68
- ## 五、候选杠杆
69
-
70
- - **主判:无引擎杠杆(高置信)**。排除依据见判决①-④。**禁止**冠词/同义词/本题任何特判(过拟合)。
71
- - **弱杠杆(prompt/oracle 面,中低置信,通用形态)**:当 instruction 含显式编辑白名单时,养成两个通用习惯——
72
- 1. **编辑前快照**:动手前 `cp` 原件副本(win-ctl 的自检若有快照+正确 diff 就能逮到 an→a 并回滚,该 run 前 3 测试全绿只差这一步);
73
- 2. **收尾约束字面审计**:结束前对自己全部 diff 做机械 token 级对照白名单复查(冠词/大小写/词形变化均算违规),加一条通用 heuristic"verifier 通常字面执法,禁止白名单外的顺手语法修正"。
74
- 形态恰好落在 1.260.0 oracle 接地闸 step A(grounding-signal 确定性结构信号投影)射程内。**预期收益有限**(同模型已能自发悟到,siege-a 证),**必须 N≥5 双版本 A/B 坐实才可算增益**。
75
-
76
- ## 六、诚实边界
77
-
78
- - 通过率估计基于 CC n=4 / sema n=36,CC 侧样本极小,25% vs 31% 无统计显著差异——只能说"无证据表明 CC 更强",不能说"我方更强"。
79
- - sema 36 run 混多版本/多并发档/少量非 v4-pro 模型(codewhale/flash/ohmypi 3 个);剔除后 v4-pro 系 11/33=33%,结论不变。
80
- - 弱杠杆的增益上限未量化;冠词死 14 个(sema 侧)理论可翻,但快照+diff 习惯能否被模型稳定执行本身就是采样问题。
81
- - 两票的证据实质全部核实为真;数字层面 A 票样本数(29/18)与 B 票 FAIL 分类(18/6/3/1)各有小误,均不影响方向。
82
-
83
- ## 七、证据坐标(全部为复核官亲验)
84
-
85
- - 全量分布:`ubuntu@91.199.82.197:~/sema-tb/jobs/**/overfull-hbox__*/result.json:verifier_result.rewards.reward`(41 目录,find maxdepth 4,本档 §3.1 逐 run 列表)
86
- - 失败签名扫描:各 FAIL run `verifier/test-stdout.txt` 首条 `E assert`(§二·裁决4 分类)
87
- - 题面/verifier/词表:`~/.cache/harbor/tasks/ca36CXF7yAdWnRdpyfoihT/overfull-hbox/{instruction.md,tests/test_outputs.py(~L102-110),tests/synonyms.txt}`
88
- - CC PASS:`cc-pro-r3-full/overfull-hbox__uRfk2Uy/agent/trajectory.json` step 5-22(21 Edit 全列+ARTICLE-DELTA 扫描=0;step 6 'an extraordinary gift'→'an amazing gift';step 12/16 copied 回退对;step 21-22 仅 pdflatex)
89
- - CC FAIL:`cc-pro-fails__7STevhr` step 12、`cc-pro-smoke__5qV6Typ` step 5(段落 Edit 内 an→a 逐字摘录见 §3.3)、`cc-pro-full__ZSHUZGr` step 6(Write /app/input.tex 4960B 含 'a close epiphany')
90
- - sema FAIL:`m2-cert-1259-fb/full89/overfull-hbox__vBB8sWP/agent/events.jsonl` tool_start#14/#16/#17;`win-ctl-1259-fb/full89/overfull-hbox__46vCoLE` tool_start#40(致命)+#47-50(自检三重失效,#47/#48 exit 127 输出逐字核过)
91
- - sema PASS 反证:`siege-a-1259-fb/siegea/overfull-hbox__36wFiy6/agent/events.jsonl` tool_start#32/#57
92
- - 唯一纯能力 FAIL:`sema-pro-unleashed-fails/overfull-hbox__Ba8Axqc`(仅 test_no_overfull_hboxes 挂)
@@ -1,87 +0,0 @@
1
- # path-tracing-reverse 对抗复核合议档(2026-07-10)
2
-
3
- > 两位独立挖掘者(极简 prompt 无预设角度)分头上测试机挖机制根源;本档 = 对抗复核官现场抽验证据坐标 + 亲手重数双边历史分布后的合议判决。
4
-
5
- ## 〇、结论先行
6
-
7
- 1. **"稳定死"前提被证伪(高置信,亲手重数)**:双边都是高方差低通过率题。CC 1/3 PASS,sema pro 引擎 5/28 PASS(全历史,含 1.259.0 同版本腿C PASS)。M1/M2 双挂 = 从 ~18-23% 通过率里连抽两次 FAIL 的正常样本。
8
- 2. **归因类别 = 模型面/采样方差(主)**:同模型 deepseek-v4-pro 在双方 harness 下都出现过"转向经验拟合/全图量具迭代"(赢)与"反汇编惯性到死"(输)两种采样;胜负由 30 分钟 walltime 竞速内的策略选择决定,非引擎机制鸿沟。
9
- 3. **无引擎杠杆**;次级 prompt/oracle 面卫生信号存在(completed-but-wrong 族 2 例 = 抽点自验收误判"identical"),**与在飞 1.260.0 oracle 接地闸(grounding-signal)完全同向,不需要为本题新开工程**,只需把本题纳入 1.260.0 A/B 验收腿观察集。
10
- 4. 本题在 M2.5 best-of-2 口径下已天然覆盖(腿C tQ9ML5C@1.259.0 PASS)。
11
-
12
- ## 一、两票摘要
13
-
14
- | 票 | 前提核查 | 根因 | 杠杆判断 |
15
- |---|---|---|---|
16
- | 挖掘者1 | 证伪:CC 1/3,sema 近期 5/21 | 30min walltime 收敛竞速;胜负=是否早转向"经验参数拟合+快速单像素/单行探针";M2 死于反汇编惯性(28% 预算泡 objdump、全程 2 次全图对比零改进、最后 4 秒盲写未验证稿) | 主判无杠杆(高置信);次级=mid-budget 进度自检 steering + finalize 加"勿盲重写"(均低置信,CC 无此机制) |
17
- | 挖掘者2 | 证伪:CC 1/3,sema pro 5/27 | 同上收敛竞速;FAIL 两族:①主族 timeout 切死迭代中途 ②次族 completed-but-wrong(抽点像素自验收把"差不多"当"identical"提前收工)=唯一非纯方差结构信号 | 主判无引擎杠杆(高置信);次级=把"identical"接地为"字节全同,先建全图确定性量具(md5/全图误差)再迭代",直接救 7ZeMAnf/fYiXqWK 两例,与 oracle 接地闸同向(中置信) |
18
-
19
- 两票核心结论一致,无实质冲突;差异仅在分母口径(21 vs 27)与次级杠杆侧重(steering 时机 vs oracle 量具接地)。复核官亲数裁决分母见下。
20
-
21
- ## 二、复核取证(对抗抽验,全部现场重取)
22
-
23
- ### 2.1 双边分布亲手重数(全量 find,36 个目录,非挖掘者2所称 37)
24
-
25
- reward 判定路径统一用 `result.json → verifier_result.rewards.reward`,与 `verifier/reward.txt` 交叉一致。
26
-
27
- **CC 侧(3 run,其余 cc-pro-{cc-fails-r2,cc-full-r2,fails-r3,smoke} 均 0 个本题目录,亲核)**:
28
-
29
- | run | reward | 备注 |
30
- |---|---|---|
31
- | cc-pro-full/eiCRWME | 0.0 | AgentTimeoutError;verifier 死在 `chroot /jail_clean /reverse` 渲染残稿(exit≠0,CalledProcessError,亲核 test-stdout.txt) |
32
- | cc-pro-fails/Z5FhS2o | 0.0 | sim=0.9132163998792588(亲核)|
33
- | cc-pro-r3-full/22acJoq | **1.0** | 也有 exception.txt=AgentTimeoutError,靠盘上已持久化合格稿得分 |
34
-
35
- **CC = 1/3 ≈ 33%**。
36
-
37
- **sema pro 引擎侧(30 目录,28 个有 verifier 数据;排除 full-flash-1239-os=flash 模型、full-codewhale-pro/ohmypi-pro-full=他模型)**:
38
-
39
- | 桶 | run(reward) |
40
- |---|---|
41
- | PASS ×5 | ceiling3-1258.4/DBqkK8o=1;r3-rerun-1258.5/{7JqLTtX=1(completed),cU27JxW=1(**timeout 仍得分**)};siege-b1-1259/QrPh6pb=1;**win-ctl-1259(腿C@1.259.0)/tQ9ML5C=1** |
42
- | FAIL-sim 族 | a1-ccdiff/SkRVzWb;ceiling3/{5C77ksu,7ZeMAnf=0.7858,J8pRvzg,PmWawbz};full-pro-1239/ECYheKh;full-pro-1249/AgWUPsn;m1-cert-12586/udJ2Usj=**0.9629**;m2-cert-1259/CHJrGXo=**0.8992**;r3-rerun/{4wLM3T8,cAiUJfB,Tz7ebGk};siege-b1/{cxRepqo,fYiXqWK=0.9260} |
43
- | FAIL-残稿族(无 sim 行,编译/chroot/无文件) | a1-ccdiff/{7hCGBZA,eQdvhby,ETCXTZ6,sFNTMpa};full-1258.5/RoNvU5U;full-pro-1244/TqEA8WL;full-pro-1249-nocap/jV5o6HT;full-pro-1257/tGY7w7P;sema-pro-unleashed-fails/toGfh9n |
44
- | 无 verifier 数据(infra)×2 | full-pro-12582/pAWnjzr(CancelledError);win-300k/n5CwFHc |
45
-
46
- **sema pro = 5/28 ≈ 17.9%;近期(≥1.258.4)= 5/22 ≈ 22.7%**(挖掘者1 的 5/21、挖掘者2 的 5/27 均为分母小误,方向不变)。CC 1/3 vs sema 5/28:n=3 误差带巨大,统计上不可区分 → **stable_dead=false,cc_stable_pass=false**。
47
-
48
- ### 2.2 关键轨迹抽验(逐字对上)
49
-
50
- - **CC 赢法(22acJoq trajectory.json,50 步)**:step22(19:28:50)"write the C ray tracer based on my analysis and verify it matches";step40 "write a test program that outputs a single row so I can quickly iterate";step41 "the disassembly analysis is too time-consuming... extract the actual ray parameters by probing";step48 "light direction matches the camera direction normalize(1,1,-1)";step50 "Only 47 pixels differ"。**挖掘者1 五处引文全部逐字坐实**。
51
- - **M2 死法(CHJrGXo events.jsonl)**:done={status:timeout,tMs:1796130,errorCode:limit.timeout,turns:51,toolCalls:64,outputTokens:146436};deadline_nudge tMs=1475519、finalize tMs=1713757(preview 逐字亲核);objdump 工具事件 27 次,**nudge 之后仍持续到 tMs=1616660**;末次 mystery.c 写入 tMs=1792770(cutoff 前 ~3.4s),**其后工具事件 = 0(亲数)= 最后盲写稿从未编译验证即被判分**,sim=0.8992。
52
- - **我方赢法(7JqLTtX,completed)**:tool_end 输出 `e866fa2c851f4a9da736b4ed3ba3912e /app/image.ppm`(md5 对齐法,tMs=547639 已首现)——胜局配方在我方轨迹内。
53
- - **护栏有效(两案)**:cU27JxW status=timeout 但 reward=1(finalize 前盘上已持久化正确稿);腿C tQ9ML5C 有 AgentTimeoutError 仍 PASS,单像素探针 `test_tracer` 于 tMs=1324644 首现(挖掘者1 所称 t=1324s 坐实)。walltime/finalize 护栏机制无缺口。
54
- - **completed-but-wrong 族(结构信号)**:7ZeMAnf(completed,sim 0.7858)、fYiXqWK(completed,sim 0.9260)——status=done:completed 亲核,自验收抽点像素误判"已 identical"提前收工。2/28,非主死因但真实存在。
55
- - **判分面**:`~/.cache/harbor/tasks/5CV2XfZKatcdbEk2ctQQAF/path-tracing-reverse/tests/test_outputs.py` `assert similarity >= 0.995`(容差型);task.toml:timeout_sec=1800,expert_time_estimate_min=120,difficulty=hard(全亲核)。
56
-
57
- ## 三、合议判决
58
-
59
- - **归因类别:模型面/采样方差(主),混一条低权重 prompt/oracle 结构信号**。这题=30 分钟 walltime 对 2 小时专家任务的收敛竞速,双边打法同构(objdump 反汇编 + rodata 浮点解码 + 编译-渲染-对比迭代),胜负取决于采样出的策略节奏:早建全图确定性量具 + 早弃穷尽反汇编转经验拟合者赢。
60
- - **CC 制胜机制**:非引擎机制——模型自发的显式元认知转向(step41 弃坑宣言)+ 高频"改稿→gcc→渲染→全图对比"闭环 + 单行探针加速迭代。同款打法我方腿C/7JqLTtX 都复现并赢过,且 7JqLTtX 的 md5 字节全同对齐比 CC 打得更狠。CC 自己 2/3 也死(1 次超时残稿 chroot 死 + 1 次 0.913 差口气)。
61
- - **我方失败机制**:M2=反汇编策略惯性(nudge 后仍 objdump,全程仅 2 次全图对比且 diff 从 18.03%→19.10% 零改进,最后 3.4 秒盲写未验证稿);M1=参数猜测式微调拖死(sim 0.963)。均为采样级策略选择,引擎护栏(nudge/finalize/timeout 保稿)全部按设计工作。
62
- - **排除依据(为何判无引擎杠杆)**:①同引擎同版本(1.259.0 腿C)已 PASS;②护栏被 cU27JxW(timeout 仍得分)与 tQ9ML5C 双案实证有效;③CC 无任何我方缺失的引擎机制(其 PASS 亦是 timeout 保稿形态);④双边通过率统计不可区分。
63
-
64
- ## 四、候选杠杆(不为本题单独动工)
65
-
66
- 1. **oracle 量具接地(中置信,已在飞)**:把"identical"类验收接地为"先建全图确定性量具(md5/全图误差和/余弦)再迭代,抽点像素不作为收工依据"。直接救 completed-but-wrong 两例(7ZeMAnf/fYiXqWK),且全图量具反馈梯度强于抽点、可能整体加速收敛。**这就是 1.260.0 oracle 接地闸(grounding-signal.ts)的形态,行动项=把本题纳入其 A/B 验收腿观察集,不新开工程。**
67
- 2. **finalize 卫生句(低置信,通用非本题)**:"优先保留已编译验证的版本,勿在最后秒盲重写未验证代码"。注:即使生效也翻不了 M2 该 run(已测稿 sim 0.899 同样过不了 0.995),纯卫生改进。
68
- 3. **mid-budget 进度自检 steering(低置信,不建议)**:CC 无此机制仍靠模型自发转向;加注入未必改变采样且有全局副作用。
69
-
70
- ## 五、诚实边界
71
-
72
- - CC 侧 n=3(其中 cc-pro-fails 为 fails 复跑桶),置信区间极宽;"CC 33% vs sema 18-23%"的差值在此样本量下无意义。
73
- - 两挖掘者分母小误(21/27 vs 亲数 22/28)与目录总数(37 vs 36)不影响任何结论方向。
74
- - 挖掘者2 所引 7JqLTtX"步74/79 md5"步号未逐一复核(md5 值与文件本体已亲核在案,tMs=547639 首现);不影响判决。
75
- - 2 个 infra 缺数 run(pAWnjzr/n5CwFHc)按无数据处理,未计入任何分子分母。
76
-
77
- ## 证据坐标(全部亲核)
78
-
79
- - 分布全量:`find ~/sema-tb/jobs -maxdepth 4 -type d -name "path-tracing-reverse__*"` = 36 目录,逐一取 `result.json → verifier_result.rewards.reward`(见 §2.1 表)
80
- - CC PASS:`cc-pro-r3-full/path-tracing-reverse__22acJoq/agent/trajectory.json` step22/40/41/48/50 + exception.txt=AgentTimeoutError + reward=1.0
81
- - CC FAIL:`cc-pro-full/path-tracing-reverse__eiCRWME`(verifier test-stdout:chroot /jail_clean /reverse CalledProcessError);`cc-pro-fails/path-tracing-reverse__Z5FhS2o`(sim 0.9132163998792588)
82
- - M2 死法:`m2-cert-1259-fb/full89/path-tracing-reverse__CHJrGXo/agent/events.jsonl`(done timeout tMs=1796130/51turns/64tools/146k out;nudge 1475519;finalize 1713757;objdump×27 至 1616660;末写 1792770 后零工具事件)+ verifier sim=0.8991891742797053
83
- - M1:`m1-cert-12586-fb/full89/path-tracing-reverse__udJ2Usj` sim=0.9628778585578166
84
- - 我方赢法/护栏:`r3-rerun-1258.5-fb/r3/path-tracing-reverse__7JqLTtX`(completed,md5 e866fa2c…tMs=547639);`…__cU27JxW`(timeout,reward=1);`win-ctl-1259-fb/full89/path-tracing-reverse__tQ9ML5C`(reward=1,test_tracer tMs=1324644,AgentTimeoutError 仍 PASS)
85
- - completed-but-wrong:`ceiling3-1258.4-fb/ceiling3/path-tracing-reverse__7ZeMAnf`(completed,0.7857618849191528);`siege-b1-1259-fb/siegeb1/path-tracing-reverse__fYiXqWK`(completed,0.9260206589013094)
86
- - 判分面:`~/.cache/harbor/tasks/5CV2XfZKatcdbEk2ctQQAF/path-tracing-reverse/tests/test_outputs.py`(similarity≥0.995)+ task.toml(1800s/120min/hard)
87
- - CC 其余 job 无本题:cc-pro-cc-full-r2 / cc-pro-cc-fails-r2 / cc-pro-fails-r3 / cc-pro-smoke 各 0 目录
@@ -1,96 +0,0 @@
1
- # winning-avg-corewars 对抗复核合议档(2026-07-10)
2
-
3
- > 两位独立挖掘者(视角A=CC/sema 轨迹逐步对比、视角B=全量分布+终止层病理)+ 本档=第三方对抗复核官现场取证裁决。复核官亲自上测试机重数全量 reward 分布、抽验双方关键坐标、并对两票冲突处独立取证。
4
-
5
- ## 〇、结论先行
6
-
7
- 1. **"稳定死"前提=证伪**(双票一致,复核官重数坐实):sema(deepseek-v4-pro)计分 17 run = **7 PASS / 10 FAIL(41.2%)**;CC 2/2 PASS(n=2,不足以断言 CC 稳过)。M1/M2/腿C 三连挂在 ~59% 单发挂率下 P≈20%,均值回归假象。
8
- 2. **归因=混合**:~3/10 FAIL 是真能力挂(押注弱 archetype 诚实交卷),**其余 ~6-7/10 死于引擎终止层病理**,其中最重的一条是本次复核官新钉死的:
9
- 3. **★ 复核官独立定谳(推翻两票的机制解释)**:2 例 `output.degenerate` 死法的真因是 **`looksDegenerate` 规则2 对合法重复内容的假阳性**——redcode 的 boot/paper 代码天然就是同一行 `mov <src, <dst` 逐字重复 6-8 次(≈138 chars ≥ MIN_COVER=120、reps ≥ MIN_REPS=6,精确落入 `src/brain/repetition.ts:47-57` 检测窗)。模型在正确地写 warrior,流被检测器切断→3 strikes→整任务 143s 即死,`my_warrior.red` 从未落盘。**不是** A 说的"provider 错误被误分类为退化",**也不是** B 说的"stop-token/流处理交互"——三个 error turn 期间 reasoning_delta 流完整存在,内容就是重复的 redcode 行;usage=0 是流被中途 cancel 所致。CC 同模型写同类代码不死=CC 无此流切检测器,双边差异确凿归引擎面。
10
- 4. **策略-结局相关性=铁**(A 的核心论点,复核官在 A 未见过的 run 上验证通过):8 个抽验 run 零反例——PASS 末版全是 G2-Clear/core-clear 家族变体(含 A 漏数的 `full-pro-1249-nocap__MXc6qdE`:";strategy G2-Clear style gate-clear with optimized step"),FAIL 末版全是从零异型(Rave scanner / vamp+bomber+imp / TriFork / 8-way bomber),snake 全线 0-12%。
11
- 5. **但 A 的量化断言被证伪**:"对手互打 pmars PASS=11-17 vs FAIL 0-5"不稳健——统一口径重数,FAIL 的 win-ctl=31 次、full-1258.5=17 次互打照样押错家族。互打测绘≠成败判别器,**末版 archetype 才是**。故 prompt 面"先测绘"杠杆降级为中低置信。
12
-
13
- ## 一、双边历史分布(复核官逐 run 亲数,reward=verifier_result.rewards.reward)
14
-
15
- | run | reward | 备注 |
16
- |---|---|---|
17
- | cc-pro-full__rbV3AY4 | **1** | CC,108步,300轮终验 |
18
- | cc-pro-r3-full__e6mrr3F | **1** | CC,66步 |
19
- | full-pro-1239-os__DkwbmZN | **1** | G2-Clear-inspired |
20
- | full-pro-1244-fb__rNKndXY | **1** | G2-Clear+backup imp |
21
- | full-pro-1249-fb__YJncsZQ | 0 | 8-way stone bomber(能力挂) |
22
- | full-pro-1249-nocap__MXc6qdE | **1** | G2-Clear style(A 漏数) |
23
- | full-pro-1257-fb__6zqLwU4 | 0 | limit.timeout 墙钟软切 |
24
- | full-pro-12582-fb__4FkFZfy | — | INFRA:exception.txt SIGTERM,不计分 |
25
- | full-1258.5-fb__SHyuD4j | 0 | TriFork vampire(能力挂) |
26
- | a1-ccdiff-1258-fb__3XipN9h | **1** | |
27
- | a1-ccdiff-1258-fb__c4DHKeR | 0 | limit.timeout |
28
- | a1-ccdiff-1258-fb__FL6qAFs | **1** | |
29
- | a1-ccdiff-1258-fb__sPxMzrJ | 0 | **output.degenerate 假阳性**(paper replicator 重复行) |
30
- | a1-ccdiff-1258-fb__ZktvrmB | **1** | |
31
- | m1-cert-12586-fb__5TQLDeq | 0 | 假完成(亲见 3/5 未达标仍 completed) |
32
- | m2-cert-1259-fb__BAXa59C | 0 | **output.degenerate 假阳性**(boot 代码重复行),warrior 未写出 |
33
- | siege-a-1259-fb__FVRij5v | 0 | snake 单门挂 |
34
- | siege-a-1259-fb__Hq9dGU7 | 0 | limit.max_turns@120 |
35
- | siege-a-1259-fb__vD753rv | **1** | EnhancedClear=G2-inspired |
36
- | win-ctl-1259-fb__GkHGaR4 | 0 | limit.max_turns@120(墙钟还剩21分) |
37
- | win-300k-1259-fb__44GE2iS | — | verifier 目录空=未完成,不计分 |
38
- | 旁证:codewhale__FRaDzYa=1 / flash__YS77AjQ=0 / ohmypi__5B2zxqi=0 | | 非 v4-pro 主对照 |
39
-
40
- **sema v4-pro:7/17=41.2%;CC:2/2。两票计数勘误:A=6/10(漏 nocap PASS)、B=7/9(FAIL 少数 1)→ 正确=7/10。**
41
-
42
- ## 二、两票摘要与复核裁决
43
-
44
- | 争点 | 视角A | 视角B | 复核裁决 |
45
- |---|---|---|---|
46
- | output.degenerate 真因 | provider 错误重试被误分类为退化 | deepseek 退化特性 × 我方 stop-token/流处理交互 | **均不准确**。现场取回三个 error 窗口的 delta 流:模型在流畅写 redcode,重复行=合法内容,`repetition.ts` 规则2 假阳性切流(见〇-3)。两票方向(引擎面高置信杠杆)对,机制错 |
47
- | CC 制胜机制 | 元测绘→锁定 g2-clear 改造(元层捷径) | 无 120 turn 顶+迭代验证纪律,活着搜到强 archetype | **B 为主、A 为辅**。CC r3 步11 先押 imp 混合、步62 才回归 G2(非一枪命中);互打计数不判别成败(win-ctl 31 次互打照样失败)。但"复用 g2-clear 资产"作为最终收敛点=事实(两 CC PASS 末版均 clear 家族) |
48
- | 假完成(m1) | oracle 接地缺失,4/10 FAIL | finalize 收下自认 3/5 交卷 | **双票一致,坐实**:sema.txt 行7335 亲见"3 of 5 thresholds met"仍行7323 宣告"Final Verification Summary... present on disk",verifier 分数与自测逐字同(63/73/81/12/44)=无 flip、验收面无陷阱(B 对) |
49
- | max_turns=120 | 次级杠杆,方向已错提顶未必翻盘 | 高置信杠杆:turn 顶先于墙钟 21 分钟绑定 | **B 的事实+A 的保留都对**:GkHGaR4 t=2332.8s(60min 预算)turns=120 死于 sed IVAL 扫描中途,盘上=任意扫描点(自测最优 stone 72 vs verifier 56);但该 run snake=8,方向错,提顶≠翻盘,**best-artifact 落盘才是真损失点** |
50
-
51
- ## 三、复核官现场取证(抽验坐标)
52
-
53
- - **m2__BAXa59C**:events.jsonl 三个 brain.call stopReason=error(tMs=71313/98738/143020,latency 63s/26s/43s,usageMissing)+ loop.recovery reason=degenerate_output_recovery ×2 + task.end errorCode=output.degenerate turns=5;**三个窗口 delta 流尾部**分别为 `mov <src, <dst` ×6、`mov <sptr, {sptr` ×8、`mov <bootsrc, {bootdst` ×7(逐字重复的合法 boot 代码);verifier "my_warrior.red file not found"
54
- - **a1__sPxMzrJ**:同款签名,末窗口尾=paper replicator `mov <psrc, <pdst` ×6+,task.end output.degenerate turns=22
55
- - **win-ctl__GkHGaR4**:task.end limit.max_turns turns=120 durationMs=2332810;sema.txt 行6123"OFFSET=168: 72% against stone"、行6159"even with the best OFFSET, the scanner only reaches 72%";verifier stone 56/vampire 98/paper 75/snake 8/g2 77(stone+snake 双挂)
56
- - **m1__5TQLDeq**:sema.txt 行7330-7335 自测表(Stone 63❌ Snake 12❌ Vampire 73❌)→行7323-7324 宣告 completed(mech=finalize+nudges:1);verifier 63/73/81/12/44 逐字同
57
- - **CC r3__e6mrr3F**:trajectory 66 步;步9=对手互打矩阵表、步11="clear picture of the meta"(先押 imp 混合)、步62=回归测 G2-Clear 变体;reward=1
58
- - **CC r1__rbV3AY4**:108 步;步23=paper 对各家战绩分析、步103="ALL REQUIREMENTS MET! Final 300-round results"全表过线;reward=1
59
- - **archetype 抽验**:MXc6qdE/DkwbmZN/vD753rv/rNKndXY 末版 strategy 行全=G2/clear 家族;5TQLDeq/GkHGaR4/SHyuD4j/YJncsZQ 全=异型
60
- - **引擎源**:`src/brain/repetition.ts:21-57`(MIN_REPS=6/MIN_COVER=120/规则2 精确匹配短单元重复;头注释"normal code won't false-positive"被本题证伪)、`src/core/runner/runtask.ts:2240`(detect=errorMessage===DEGENERATE_MESSAGE)
61
-
62
- ## 四、合议判决
63
-
64
- - **归因类别:混合**(引擎机制缺口为主 + 高方差题底色 + 少量真能力挂)。
65
- - **CC 制胜机制**:①无流切退化检测器(写重复结构代码不死)②无 120 turn 硬顶,搜索循环自然跑完 ③收尾大样本(300 轮)全门槛复验纪律 ④最终收敛到题目自带的最强资产(g2-clear)做基底微调。CC 不是更聪明的一枪,是"活着搜完+验完才交"。
66
- - **我方失败机制**(10 FAIL 分解):退化检测器假阳性整任务死 ×2、max_turns=120 提前掐死+任意中间态落盘 ×2、墙钟软切 ×2、假完成/oracle 缺失合并真能力挂(弱 archetype+自知未达标交卷)×4。
67
-
68
- ## 五、候选杠杆(按置信度)
69
-
70
- 1. **[引擎/高置信/新发现] repetition 假阳性修**:`looksDegenerate` 规则2 需对合法重复内容免疫——最小修=检测命中时若尾部处于 code fence 内或重复单元是语法上像代码行(含缩进+操作数结构),提高 MIN_REPS/MIN_COVER 阈值或跳过;更稳=degenerate 三振改为"finalize 抢救(把当前最好成果落盘)"而非硬 abort。直接救 2/10 FAIL(其一连文件都没写出)。**同类横扫**:ASCII art、SQL fixture、重复测试用例等场景同样会触发([[feedback-sweep-the-class-not-instance]])。
71
- 2. **[引擎/高置信/在飞] oracle 接地/finalize 闸**:agent 亲见自测 3/5 未达标仍宣告 completed(m1 案)——正在飞的 oracle 接地闸(grounding-signal+finalize 护栏,1.260.0)正对此症。**本题=优质 A/B 验收题**(自测数与 verifier 数逐字同、无验收面噪声)。
72
- 3. **[引擎/中置信] max_turns 与墙钟对齐 + best-artifact 落盘纪律**:120 turn 顶在墙钟前 21 分钟先绑定;更关键的是被掐断时盘上=任意扫描中间态(72→56 落差)。finalize 应含"恢复已知最优配置再结束"。提顶单独不保翻盘(被砍两 run 方向已错)。
73
- 4. **[prompt/中低置信] 资产复用倾向**:PASS/FAIL 的完美判别器是末版 archetype 而非测绘行为;"评估题目自带资产作为基底候选"的通用引导可能有增益,但 CC n=2 + 互打计数被证伪,不足以断言脚手架因果,标观察项。
74
-
75
- ## 六、诚实边界
76
-
77
- - 本题底色=高方差搜索题(verifier 重跑 100 局随机布阵,门槛 75/75/75/33/33),**即便杠杆全修也不保单发必过**;期望=把 41% 抬向 CC 档,而 CC 的 100% 本身是 n=2 小样本。
78
- - 杠杆①②的增益须 N≥5 双版本 A/B 坐实(本题+负样本),不能当确定性修复。
79
- - 互打 pmars 计数口径粗(grep 命令行,含 reasoning 内重复),两位挖掘者与复核官三套口径互不精确可比;但"计数不判别成败"的证伪结论在任何口径下成立(win-ctl 31 次 vs A 声称 FAIL≤5)。
80
- - CC 侧无 fails 套件样本,cc-pro-r2 不含此题(find 全量枚举坐实仅 2 个 CC 目录)。
81
-
82
- ## 七、落码与 backlog(2026-07-10 追加)
83
-
84
- - **✅ 杠杆① 已落码(fix(repetition),devendor,进下一班车非 1.260.0)**:`looksDegenerate` 双向豁免——规则1 符号/空白 run(ASCII 分隔线)阈值升 200(字母/数字/CJK 保持 60);规则2 code-line-shaped 单元(整行重复+≥2 结构字符或缩进)豁免,但**饱和 backstop**保真退化(reps≥16 且填满整个 400 字符检测窗仍逮);p=1/全同字符单元划归规则1 管辖(堵符号 run 经 p≥2 倍周期回流规则2)。双向对抗测试:4 假阳性场景(redcode boot/SQL fixture/缩进代码/ASCII 分隔线)修前红→修后绿(反事实验证),3 真阳性锁(窗口饱和代码循环/250 符号 run/带逗号散文循环)+全部既有真阳性不回归。
85
- - **🗂 backlog:三振→finalize 抢救**:`src/engine/loop/agent-loop.ts:723-748` degenerate 恢复 cap(maxContinues=2)满后落 error 终端(assemble→output.degenerate+salvage),整任务死。改"cap 满改走 finalize 抢救(把当前最好成果落盘再结束)"需 run-loop 错误终端分流进 finalize 机制=状态机改动,本批不硬做。假阳性修后此路径触发率应大降,待 A/B 数据决定是否还值得。
86
- - **🗂 backlog:max_turns 与墙钟对齐 + best-artifact 落盘**(杠杆③,中置信):120 turn 顶先于墙钟 21 分钟绑定;被掐断时盘上=任意扫描中间态(自测最优 72→verifier 56)。finalize 应含"恢复已知最优配置再结束"。提顶单独不保翻盘(被砍两 run 方向已错),等 oracle 闸 A/B 与假阳性修的增量数据再定优先级。
87
-
88
- ## 证据坐标(全部经复核官现场验证)
89
-
90
- - 分布:24 目录 find 全量枚举 + 逐 run result.json `verifier_result.rewards.reward`(见第一节表)
91
- - 退化假阳性:`m2-cert-1259-fb/full89/winning-avg-corewars__BAXa59C/agent/events.jsonl`(3×brain.call stopReason=error + 窗口 delta 流尾=重复 redcode 行 + task.end output.degenerate)、`a1-ccdiff-1258-fb/long/winning-avg-corewars__sPxMzrJ` 同款;`src/brain/repetition.ts:47-57`
92
- - 假完成:`m1-cert-12586-fb/full89/winning-avg-corewars__5TQLDeq/agent/sema.txt` 行7323-7335 + verifier vs 行
93
- - turn 顶:`win-ctl-1259-fb/full89/winning-avg-corewars__GkHGaR4/agent/sema.txt` 行6123/6159/6170+[done] 行 + verifier vs 行
94
- - CC:`cc-pro-full/winning-avg-corewars__rbV3AY4/agent/trajectory.json` 步23/103;`cc-pro-r3-full/winning-avg-corewars__e6mrr3F` 步9/11/62
95
- - archetype:各 run agent/sema.txt(或 claude-code.txt)`;strategy` 尾行
96
- - infra:`full-pro-12582-fb/winning-avg-corewars__4FkFZfy/exception.txt`;`win-300k-1259-fb/.../44GE2iS/verifier/`=空
@@ -1,118 +0,0 @@
1
- # DeepSeek v4-pro API 真实硬上限实探(2026-07-09)
2
-
3
- > 目的:公平性审计里「max_tokens 8192 vs ~32000」「context 64k vs 200k 级」是**端侧硬帽**还是**我们自缚**?
4
- > 方法:海外机 `ubuntu@91.199.82.197` 上直接 curl/python 打 `api.deepseek.com`,两方言各探。
5
- > 模型:`deepseek-v4-pro`(sema/ohmypi/codewhale 三腿实际用的 model 名,核对自 `tb/harbor_adapter/*.py`)。
6
- > 密钥:`DEEPSEEK_API_KEY`,仅在远端机使用,未落任何回复/文件。
7
- > 成本:所有请求 prompt 短小或 max_tokens 探测即停;总花费几万 token 级。
8
-
9
- ---
10
-
11
- ## 1. OpenAI 方言(`/chat/completions`)
12
-
13
- ### 1a. max_tokens 上限
14
- 请求参数:`model=deepseek-v4-pro`, 极短 prompt(数数),max_tokens 逐档。
15
-
16
- | max_tokens 请求值 | 结果 |
17
- |---|---|
18
- | 8192 | HTTP 200 |
19
- | 16384 | HTTP 200 |
20
- | 32768 | HTTP 200 |
21
- | 65536 | HTTP 200 |
22
- | 131072 | HTTP 200 |
23
- | 200000 | HTTP 200 |
24
- | 500000 | **HTTP 400** `Invalid max_tokens value, the valid range of max_tokens is [1, 393216]` |
25
- | 1000000 | HTTP 400(同上) |
26
-
27
- **端侧硬帽 = 393216(384k)**,错误信息逐字泄露了 valid range。
28
-
29
- **真实截断验证**(强制超长输出、关思考让预算全给正文):
30
- | max_tokens | finish_reason | completion_tokens |
31
- |---|---|---|
32
- | 8192 | `length` | 8192(被我们的 cap 截断) |
33
- | 20000 | `length` | **20000**(输出真的超过 8192) |
34
-
35
- → 8192 **不是端侧硬帽**:端点欣然生成了 20000 output token。8192 是我们自缚。
36
-
37
- ### 1b. 真实 context window
38
- Needle-in-haystack(密码埋在超长 filler 里,两端各测,要求原样召回):
39
-
40
- | prompt_tokens | needle@start | needle@end |
41
- |---|---|---|
42
- | 99026 | 召回 ZQ7714 ✅ | 召回 ✅ |
43
- | 129026 | ✅ | ✅ |
44
- | 199025 | ✅ | ✅ |
45
-
46
- 纯尺寸探边界:
47
- | prompt_tokens | 结果 |
48
- |---|---|
49
- | 399005 | HTTP 200 |
50
- | 699005 | HTTP 200 |
51
- | 1099024 | **HTTP 400** `This model's maximum context length is 1048565 tokens` |
52
-
53
- **端侧真窗 ≈ 1,048,565 token(~1M)**,错误信息逐字泄露。且 199k 处 needle 双端召回成功,证明是真读全上下文,非静默截断。
54
-
55
- → 64k **不是端侧真窗**,是我们保守设置。真窗 ~1M,比我们设置大一个数量级以上。
56
-
57
- ### 1c. reasoning 字段与推理控制
58
- - 默认响应含 `reasoning_content` 且 `completion_tokens_details.reasoning_tokens>0` → **推理默认开**。
59
- - `reasoning_effort` 参数**被接受**;400 错误泄露了合法枚举:`high, low, medium, max, xhigh`(试 `minimal` → 400 unknown variant)。
60
- - `thinking:{type:"disabled"}`(即便在 OA 方言里)**被接受(200)且真关推理**:reasoning_tokens=None、has_reasoning_content=False。
61
-
62
- → OA 方言可控面丰富:`reasoning_effort`(5 档)+ `thinking` 开关都吃。
63
-
64
- ---
65
-
66
- ## 2. Anthropic 方言(`/anthropic/v1/messages`)
67
-
68
- 请求头:`x-api-key` + `anthropic-version: 2023-06-01`。
69
-
70
- ### max_tokens 上限
71
- | max_tokens | 结果 |
72
- |---|---|
73
- | 8192 | HTTP 200 |
74
- | 16384 | HTTP 200 |
75
- | **32000(CC 用值)** | **HTTP 200** stop=end_turn |
76
- | 32768 | HTTP 200 |
77
- | 65536 | HTTP 200 |
78
- | 131072 | HTTP 200 |
79
- | 393216 | HTTP 200 |
80
- | 393217 | HTTP 200 |
81
- | 500000 | HTTP 200 |
82
-
83
- Anthropic 代理**未强制** OA 侧那个 393216 硬帽(500000 也 200 —— 要么接受要么静默 clamp,总之不 400)。**CC 的 32000 被真实接受**,远在任何上限之下。
84
-
85
- ### thinking 参数
86
- | 请求 | 结果 |
87
- |---|---|
88
- | 无 thinking 参数(默认) | 200,content_types=['thinking','text'] → **默认开思考** |
89
- | `thinking:{type:"enabled",budget_tokens:2000}` | **200**,返回 thinking 块 |
90
- | `thinking:{type:"disabled"}` | **200**,content_types=['text'] → 思考被关掉 |
91
-
92
- → Anthropic 方言的 extended-thinking 形态被完整接受(enabled/budget/disabled 都吃)。**不是 400**。
93
-
94
- ---
95
-
96
- ## 3. 官方规格交叉
97
- 错误信息即端侧权威规格泄露,无需另查文档:
98
- - max_tokens 硬帽(OA 方言):**[1, 393216]**
99
- - context 硬帽:**1,048,565 token(~1M)**
100
-
101
- ---
102
-
103
- ## 判定结论
104
-
105
- ### ① max_tokens:8192 是我们自缚,非端侧硬帽
106
- - 端侧真上限:OA 方言 393216;Anthropic 方言更宽松(≥500k 不拒)。
107
- - 实测端点在 max_tokens=20000 时真生成了 20000 output token(finish=length),8192 只是我们的 cap 在截断。
108
- - **CC 的 32000 在 Anthropic 方言真被接受(HTTP 200,stop=end_turn),非被 clamp。** 我们把 sema 腿卡在 8192 = 单方面缩小了输出预算,公平性上对我们不利。
109
-
110
- ### ② context:64k 是我们保守设置,非端侧真窗
111
- - 端侧真窗 ~1,048,565 token(~1M),错误信息逐字确认。
112
- - 199k prompt 处 needle 双端召回成功,证明真读全上下文而非静默截断。
113
- - 我们的 64k 设置比端侧真窗小约 16 倍。审计里「200k 级 vs 64k」两边其实都低于端侧 ~1M 真窗;差距完全是配置差,不是端侧能力差。
114
-
115
- ### ③ thinking/推理:两方言都吃服务端 + 都可控,「都吃服务端默认」成立但可被覆盖
116
- - 两方言默认都开推理(OA 有 reasoning_content;ANT 有 thinking 块)。
117
- - 两方言都提供显式覆盖:OA 侧 `reasoning_effort`(high/low/medium/max/xhigh 五档)+ `thinking` 开关;ANT 侧 `thinking:{enabled,budget_tokens}` / `{disabled}`。
118
- - 「双方都吃服务端默认」成立(不显式传参时行为一致、都开思考);但这是可控的,不是不可控硬约束。若要 parity 可两边同样传参对齐。
@@ -1,79 +0,0 @@
1
- # design/140 三件 · 第三方独立验证(mock brain 真跑,2026-07-11)
2
-
3
- - **验证官**:独立第三方(非落码者)。**被验对象**:devendor HEAD `28a5453`(feat(140) 一期三件:1a defaultArgs 合并链 / 1b whenToUse 消费投影 / 1c 内置 team-discussion+开关)。
4
- - **方法纪律**:不复跑落码者的测试文件、不用其 fake(recordingRunner / capturingRunner / `tool.execute` 直调)。自写消费者视角 harness 于 scratchpad(`d140-verify/harness.mts`、`live.mts`、`edge-barestring.mts`),走**真链路**:真 `Runner` + `prepareTask` auto-mount(`selfOrchestration:true` + hard sandbox 门)→ 真 Workflow 工具 → 真 dev-vm 脚本执行(re-badge `safeForUntrustedScripts:true`,仓内测试先例)→ 内置脚本的 `agent()` 真回到 `runner.runTask` 派子任务(与 host 共享同一 scripted mock brain,按内容路由角色)→ 真 notifier / InMemoryWorkflowRunStore 收口。harness 断言 26 项 + live 1 发,**全 PASS**。
5
- - **结论先行**:三件(1a/1b/1c)在消费者真链路下全部成立;发现 **1 个真类型错(测试文件内,F1)** 与 2 个观察项(O1/O2),只报坐标不修。
6
-
7
- ## 0. 健康门
8
-
9
- | 项 | 做法 | 观测 | 判定 |
10
- |---|---|---|---|
11
- | 全量 typecheck | `npx tsc --noEmit`(仓根 tsconfig) | exit 0,零输出 | PASS(但见 F1 的覆盖面警示) |
12
- | 落码者自报绿 | `npx vitest run test/design140-workflow-profiles.test.ts` | **26/26 passed**(334ms) | PASS,自报属实 |
13
- | 指定 diagnostics 复核 | 对该测试文件单独跑 tsc(同仓 compilerOptions) | `test/design140-workflow-profiles.test.ts(36,46): error TS2353: Object literal may only specify known properties, and 'default' does not exist in type 'ToolPolicy'.` | **真错**,见 F1 |
14
-
15
- **F1(真类型错,测试文件,不阻塞 runtime)**:`test/design140-workflow-profiles.test.ts:36` 写 `const denyPolicy: TaskSpec["toolPolicy"] = { default: "deny" }`,而 `ToolPolicy`(src/core/tool-policy.ts:81)只有 `check(req, signal)` 方法,无 `default` 属性 → TS2353。**为什么三道门都没拦住**:①仓根 `tsconfig.json` 的 `include` 只有 `src/**/*.ts`,`npm run typecheck` 根本不覆盖 `test/`;②vitest 走 esbuild 转译不做类型检查;③测试运行期该 policy 从未被真正 `check()`(子 agent 走 fake runner),所以 26/26 照绿。IDE diagnostics 报的就是这个,**不是陈旧诊断**。语义上作者显然想要 deny-all policy,写成了不存在的对象形态——运行期等价于"无效但未被消费的对象"。坐标:`test/design140-workflow-profiles.test.ts:36:46`。修法(供落码者):`{ check: () => ({ action: "deny", reason: "test" }) }`;顺带提示 `test/` 不在任何 tsc 门内是个复发面。
16
-
17
- ## 1. 场景1 — 零配置路径(1c 主面)
18
-
19
- **做法**:不注册任何 store、不给结构化 args,host mock brain 第一轮发 `Workflow({name:"team-discussion", args:"讨论:引擎是否应默认开启并行工具执行"})`(裸字符串),第二轮调 wait 工具压住 host 直到 notifier 触发。成员/综合官子任务由同一 brain 按内容路由:成员回 `CONTRIB[role-rN]` 标记文本,综合官(检测到 `StructuredOutput` 工具在场)提交 schema 化 verdict。
20
-
21
- **观测**(9/9 PASS):
22
- - host `completed`;notifier `completed`,summary=`workflow "team-discussion" completed in 0s — agents 5/5 done`。
23
- - **轮次真发生**:成员调用序列恰为 `[advocate-r1, skeptic-r1, advocate-r2, skeptic-r2]`(默认 2 成员×2 轮,顺序轮转);r1 首发 objective 含 `(none yet - you open the discussion)`;**r2 两个 objective 都真含 r1 两条贡献原文**(转录重喂坐实)。
24
- - **综合官真调**:恰 1 次,objective 含全部 4 条贡献;其 structuredOutput 原样落到结果 `verdict`。
25
- - **结果形状**:`{topic, rounds:2, members:["advocate","skeptic"], transcript(4条), verdict{decision,keyPoints}}`;裸字符串确实成为 topic。
26
- - run store:`status=completed`,`agents=5` 全 completed,**`effectiveArgs === 裸字符串`**(1a 的 parse-time 快照对裸字符串路径也成立)。
27
- - 工具卡(模型视角 ctx.tools 实拍)含 `- team-discussion: Use for a genuinely contested question…`(1b 投影零注册也在,含负向边界文案)。
28
-
29
- **判定:PASS**。
30
-
31
- ## 2. 场景2 — defaultArgs 合并链实测(1a)
32
-
33
- **做法**:`createFileWorkflowScriptStore` 注册 `panel.js`(即 TEAM_DISCUSSION_SCRIPT)+ 兄弟文件 `panel.args.json` = `{rounds:1, members:[{role:"engine-architect",…},{role:"cost-auditor",…}]}`;两次真跑。
34
-
35
- **观测**(7/7 PASS):
36
- - **2a 调用只给 topic** → 成员=[engine-architect-r1, cost-auditor-r1](注册层生效,rounds=1 也来自注册层);子 agent prompt 里实拍出现 `You are "engine-architect"` 与注册的 prompt 原文;`run.effectiveArgs` = 合并值(topic 调用层 + members/rounds 注册层)。
37
- - **2b 调用显式给 members=[solo-critic]** → 成员=[solo-critic-r1],注册的 2 人整体消失(数组 wholesale 覆盖),rounds 仍取注册层 1;`effectiveArgs.members` 长度 1。
38
-
39
- **判定:PASS**——调用层 > 注册层 > 脚本兜底三级链在真链路成立,且快照进 run 可观测。
40
-
41
- ## 3. 场景3 — SHADOW + `builtinWorkflows:false` 双面(1c/1b)
42
-
43
- **做法**:(a) file store 注册同名 `team-discussion.js`(可辨识 override 脚本,`return {marker:"DEPLOYED-OVERRIDE-RAN"}`)+ 部署侧同步 `list()`;(b) 关开关、零注册,同名调用。
44
-
45
- **观测**(5/5 PASS):
46
- - **(a) 两面一致**:卡片行=`- team-discussion: USE-DEPLOYED-VERSION for everything` 且内置文案(genuinely contested question)消失(按名 overlay,一行不双列);resolve 真执行部署脚本(结果 marker 命中、内置 5-agent 讨论零派发)、run.description=部署版。
47
- - **(b) 双面消失**:卡片无 `Named workflows available` 区块;`{name:"team-discussion"}` 调用收结构化错误 `named workflows require a deployment workflow script store — none is wired (and built-in workflows are disabled)…`,notifier 零触发。
48
- - 注:file store 本身不带 `list()`(方向正确——目录混放 per-run 持久化脚本,枚举会把历史 run 全当 named workflow 广告),卡片 overlay 要部署侧自供同步 list;seam 注释已如实写明,验证按此消费。
49
-
50
- **判定:PASS**。
51
-
52
- ## 4. 场景4 — 预算截断实测(1c 预算行)
53
-
54
- **做法**:`workflowLimits.budget=20`(mock 每子任务 15 tokens),调用请求 `rounds:5`(期望满打 10 member 发 + 1 综合官)。
55
-
56
- **观测**(5/5 PASS):
57
- - 实际 member 派发 **1**(advocate r1 后 spend=15,skeptic 触发引擎 `workflow.budget_exceeded` 被脚本捕获)→ `truncated="budget exhausted at skeptic, round 1"`(确定性截断,轮数被砍);综合官同样越轴被捕获,`verdict=null`。
58
- - **优雅返回非裸 throw**:notifier `status=completed`,结果带 1 条转录 + truncated 标记;run store `status=completed`。引擎 budget 硬顶(backstop)与脚本内早停/捕获(优雅面)分工与设计一致。
59
-
60
- **判定:PASS**。
61
-
62
- ## 5. 场景5 — live 加分项(Qwen3.5-35B 网关,全真)
63
-
64
- **做法**:`createOpenAIBrain()` + 网关 `172.30.228.10:8000`,host/4 成员/综合官全真模型;host objective 明确 opt-in 并指令用内置 name 调用,零配置 args。
65
-
66
- **观测**:**LIVE-PASS**。host 27s 完成;workflow **23s、agents 5/5 done**;transcript 4 条,轮次/综合官全真发生。round-1 advocate 输出质量高(结构化论证:延迟收益、独立性论据、opt-in 摩擦、带 max_concurrent/依赖感知调度/降级策略的具体提案)——1c 样板在真模型下产出真讨论,非空转。
67
- - **O2(live 逮到的 ergonomics 观察,非本批回归)**:真模型把 args 传成了**字符串化 JSON**(`args:'{"topic": "应该把…"}'`),工具 `args: Type.Unknown()` 不做归一化,裸字符串语义使 `topic` 原样成为该 JSON blob 字符串。讨论仍正常进行(成员把它当题面复述),但题面带包裹噪音。工具卡对 args 只说 "a JSON value";script 面有 stripCodeFences 归一,args 面没有对应的 JSON-string 归一。属 LLM 常见习惯面,建议记 backlog(坐标:`src/orchestration/run-workflow-tool.ts:399` args 参数定义 + `builtin-workflows.ts` 裸字符串分支),不定性为 bug。
68
-
69
- ## 6. 发现汇总(带坐标,均不修)
70
-
71
- | # | 级别 | 坐标 | 内容 |
72
- |---|---|---|---|
73
- | F1 | MED(测试卫生/门覆盖) | `test/design140-workflow-profiles.test.ts:36:46` | 真 TS2353:`{default:"deny"}` 不是 `ToolPolicy`(应为 `{check(){…}}`)。根因链:tsconfig `include` 不含 `test/` + vitest 不查类型 → `npm run typecheck` 绿是假覆盖。建议落码者修该行,并考虑给 test/ 加类型门 |
74
- | O1 | LOW(语义足枪,锁定行为非 bug) | `src/orchestration/workflow-script-store.ts:77`(mergeWorkflowArgs)+ 卡片措辞 `run-workflow-tool.ts:188` | 实测确认:注册了 defaultArgs 的 named workflow 用**裸字符串 args** 调用 → 注册默认**整体丢弃**(non-object wholesale 语义)。对 team-discussion 这种"裸字符串=topic"的人机工学脚本,注册层默认成员/轮数会被一个裸 topic 静默清空;卡片只说 "a top-level key you pass wins wholesale",没提非对象 args 全丢的面 |
75
- | O2 | LOW(live ergonomics) | `run-workflow-tool.ts:399` / `builtin-workflows.ts:43-50` | 见场景5:真模型传 JSON-string args 未归一,topic 吃进 blob 原文 |
76
-
77
- ## 7. 判决
78
-
79
- design/140 一期三件 **VERIFIED**(第三方真链路 26 断言 + live 1 发全绿):零配置内置 workflow 真跑通、合并链三级语义与 effectiveArgs 快照成立、SHADOW/开关卡片-执行两面一致、预算确定性截断优雅返回、live 真模型输出质量达标。F1 是测试文件真类型错(附门覆盖缺口),O1/O2 记 backlog 候选。
@@ -1,43 +0,0 @@
1
- # design/140 真实性实证:「collab=workflow profile 零新机制」逐条对码验证(2026-07-11)
2
-
3
- > 方法:不信设计文档,信跑出来的结果。两条链:①mock 链(真 tool+真 store+真 vm 脚本执行+recording runner,全链除 LLM)②live 链(同链换真 Runner+本地 Qwen 网关,2 成员×2 轮 team-discussion 真跑)。实验脚本在 session scratchpad(不入仓);全部运行输出摘录于此,坐标=file:line@HEAD(c6b109c)。
4
-
5
- ## 终判决(一句话)
6
-
7
- **回合制协作本体(name 解析→args→轮次循环→跨轮重喂→综合→预算硬顶)今天真的零新机制,live 8.2s/10.5K tokens 跑通且第二轮真回应第一轮**;但 design/140 §4 的「配置=注册表数据」有 **3 个真开发项**:center 默认 args 层、whenToUse 的 LLM 列表投影、builtinWorkflows 样板+开关——都是 S 量级,但不是「纯 profile 打包活」,是要落码的。
8
-
9
- ## 表 1:今天就能(带证据)
10
-
11
- | # | 能力 | 代码证据 | 运行证据(mock 链,除注明 live) |
12
- |---|---|---|---|
13
- | 1 | 命名 workflow 注册+`Workflow({name})` 解析 | store seam `resolveName` src/orchestration/workflow-script-store.ts:25,59-64;tool 三态解析(scriptPath>script>name)src/orchestration/run-workflow-tool.ts:359-379 | `persist("team-discussion", script)` 后 `{name:"team-discussion"}` 调用 → `status:started`,agents 真跑;未知 name → 结构化错误 `unknown workflow name: "no-such-wf"`(:375) |
14
- | 2 | 调用时 args 传入+覆盖脚本内置默认(两层合并) | args 直通 run-workflow-tool.ts:353→421;脚本内 `Object.assign({}, defaults, args\|\|{})` | 带 args:`cfgUsed:{topic:"TEST-TOPIC-ARGS",rounds:1,memberRoles:["alpha","beta"]}`;不带 args:脚本收 `args===undefined`,内置默认(2 成员×2 轮)生效,5 agents 跑齐 |
15
- | 3 | 回合制 2 成员×2 轮+综合官全流程 | 纯脚本内容:for 轮次循环+transcript 重喂进 objective+finalizer agent | **live**:5/5 agents completed,轮 2 objective 携带轮 1 全文(recording runner 逐字核过);见下 B 面记录 |
16
- | 4 | 在飞成员注入 `steer()`(fenced+trusted 契约) | WorkflowAgentHandle.steer src/orchestration/workflow.ts:495-510(接口)/1470-1480(实现:delimitUntrusted 单次包裹+trusted:true 框架+marker 回执);既有测试 test/workflow-caps.test.ts:169-212 | 脚本级真调(startWorkflow+ctx.agentStream):marker `steer-1` 返回;steer 文本含 `"[steer-1]"` 标记、内容被 `<<<UNTRUSTED…>>>` 围栏、注入的 `</system-reminder>` 伪造闭合标签被消毒(零宽符拆解) |
17
- | 5 | 治理边界:脚本传 control-plane 字段被结构性剥除 | WHITELIST_KEYS(8 个 work 字段,无 sessionId/toolPolicy/principal)src/orchestration/workflow-governance.ts:58-67;complete-by-construction :205-220 | 脚本 `agent({sessionId:"victim-session", toolPolicy:{default:"allow"}, principal:"root"})` → child spec 实测 `sessionId=undefined, toolPolicy={"default":"deny"}(baseline), principal=tenant-A(baseline)` |
18
- | 6 | `meta.whenToUse` 可声明可解析 | parseWorkflowMeta src/orchestration/workflow-meta.ts:313-315;WorkflowMeta 类型 workflow-script-runner.ts:80 | team-discussion 脚本带 whenToUse(含负向边界)→ parse 后 `present in WorkflowMeta`(但见表 2 #2:无消费面) |
19
- | 7 | scriptPath 落盘迭代面+越界拒读 | persist/load+containment workflow-script-store.ts:41-57;tool 返回 scriptPath run-workflow-tool.ts:462-471,602 | 每次调用返回 `scriptPath: persisted`;(containment 已有测试 test/workflow-parity-ml-batch.test.ts:170-179) |
20
- | 8 | 预算/硬顶(budget/maxAgents/totalTimeoutMs/per-child clamp) | WorkflowLimits run-workflow-tool.ts:78-99;clampResourceLimits workflow-governance.ts:177-190 | live 链传 `limits:{totalTimeoutMs:900_000, perAgentTimeoutSec:240}` 正常;(细粒度行为由既有 workflow-caps.test.ts 覆盖,本次未重测) |
21
-
22
- ## 表 2:真开发项(带缺口证据+量级)
23
-
24
- | # | 缺口 | 证据(为什么今天不行) | 量级 |
25
- |---|---|---|---|
26
- | 1 | **注册表默认 args 层不存在**(design §4 合并链「调用时>center 配置默认>内置默认」的中间层缺位) | ①`WorkflowScriptStore` 接口只有 `persist/load/resolveName`,`resolveName(name)→string`(纯脚本文本,无 metadata/args 通道)workflow-script-store.ts:16-26;②tool 内 args 零合并:`const scriptArgs = rawArgs.args` 直通 run-workflow-tool.ts:353→421;③全仓 grep `defaultArgs\|default_args` = 0 命中。实测:`{name}` 不带 args → 脚本收 `undefined`,没有任何注册表层注入。**变通**=把默认烤进脚本文本(单源但改默认=改脚本源;center 下发默认无落点) | **S**(store 接口扩 `resolveName→{script, defaultArgs?}`+tool 内深合并+测试);若含 default/locked 治理标注(tighten-only KeyContract)则 **M** |
27
- | 2 | **whenToUse 的 LLM 可见列表面不存在** | `meta.whenToUse` 只 parse 进 WorkflowMeta,全仓零消费者(grep `.whenToUse` 在 orchestration/ 只有 parse 三行);store 无 `list()` 方法(接口三方法而已);Workflow 工具卡(run-workflow-tool.ts:242-314)不含已注册 workflow 清单。**agents 侧有现成先例可照抄**:`agentWhenToUseText`(src/agents/subagent.ts:898)+ CC `tIl` 行状(src/core/runner/turn-attachments.ts:700) | **S~M**(store 加 list seam+工具卡/attachment 投影+lean 变体) |
28
- | 3 | **builtinWorkflows 内置样板+退出开关不存在**(design §6-1 本体) | grep `builtinWorkflows` = 0 命中;`builtinAgents` 先例在(src/agents/builtin-agents.ts,GA default-on+opt-out)可照抄 | **S**(team-discussion 脚本资产+挂载/开关+whenToUse 负向边界文案) |
29
- | 4 | (边界确认,v1 **无需开发**)脚本内无 SendMessage/无跨轮私有 session | isolate 原语面实测(vm 内 typeof 探测):`agent/parallel/pipeline/phase/log/budget` = function/object,**`agentStream/steer/SendMessage/sendMessage/workflow/ctx` 全 = undefined**;whitelist 无 sessionId(表 1 #5);buildWorkflowPrimitives 注释明示 "the SCRIPT never receives the handle"(src/orchestration/workflow-primitives.ts:88-96)。SendMessage=主 agent harness 工具(subagent.ts),workflow 脚本层结构性不可达 | v1 零影响(agent() 重喂 live 已证够用);真要脚本级 continuation=路线二(design §2 已 DEFER),**L** |
30
-
31
- ## B 面 live 运行记录
32
-
33
- - 链路:`createRunWorkflowTool`(name 解析经 file store)→ dev vm 脚本执行 → `Runner({brain: createOpenAIBrain()})` → 本地网关 `172.30.228.10:8000/v1` Qwen3.5-35B(key 走 env,未回显)。治理:baseline.base 携带 model+`toolPolicy:{default:"deny"}`(纯讨论零工具)。
34
- - 结果:runId `2d471f90-…`,**status completed,墙钟 8.2s,tokens 10,500(5 turns)**;agents 5/5 全绿:optimist-r1 1672tok | skeptic-r1 1885tok | optimist-r2 2058tok | skeptic-r2 2226tok | finalizer 2659tok。
35
- - ①流程:轮次→综合全跑完,phases(round-1/round-2/synthesis)按 meta 预注册渲染。②质量:**第二轮真回应第一轮**——optimist-r2 逐点回应 skeptic-r1 的 "dogma"/"exit barrier" 指控("Those are valid concerns, but they miss the architecture…"),skeptic-r2 反驳 optimist-r2 的 "composable primitives"("just means users must understand the composition layer…")——真互动非独白,质量可用。③量级:~2K tokens/成员/轮,10.5K/discussion(2×2+综合,本地模型零成本;换商用模型按此估价)。
36
- - 诚实注记:live 用 dev vm runner 翻 `safeForUntrustedScripts` 旗跑(实验环境);生产 LLM-authored 路径需部署侧 hard runner(isolated-vm),core 的 fail-closed 断言(run-workflow-tool.ts:221-225)实测在位。mock 链(recording runner)已独立验证同一链路的机械结构,live 缺口=无。
37
-
38
- ## 对 design/140 的修订建议
39
-
40
- 1. **§4 合并链**:明确「center 配置默认」层今天**不存在**(表 2 #1),是切片 1 的真落码项(store seam 扩展+tool 内合并),不是纯数据打包;并写明烤进脚本的变通及其漂移代价。
41
- 2. **§4 两投影**:`meta.whenToUse` 的 LLM 面列表投影同为开发项(表 2 #2),建议直接照抄 agents 侧 `whenToUse/whenToUseLean`+`tIl` 先例。
42
- 3. **§1 表格 steer 行加注主体**:steer 在 LLM-authored/named workflow 的脚本 isolate 内**不可达**(handle 只进部署侧 `onAgentSpawn` sink,run-workflow-tool.ts:180-182);「在飞成员注入」的主体=部署/操作员(经 sink)或 dev-authored `startWorkflow` 脚本(经 ctx.agentStream),不是 profile 脚本本身。v1 回合制不受影响,但别让读者以为 team-discussion 脚本能自己 steer 成员。
43
- 4. **§6-1 措辞**:`builtinWorkflows` 开关+样板=新码(机制小但非零);连同 #1/#2 三项 S 级落码合计仍远小于任何新 continuation 原语——**终判决「零新机制」对回合制运行时成立,对配置面应改口「三个 S 级小落码项」**。