@sema-ai/core 1.276.0 → 1.277.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +2 -5
- package/dist/bench/metrics.js +1 -1
- package/dist/bench/metrics.js.map +1 -1
- package/dist/core/auto-mode.d.ts.map +1 -1
- package/dist/core/auto-mode.js +14 -1
- package/dist/core/auto-mode.js.map +1 -1
- package/dist/core/cache-break-detector.js +0 -0
- package/dist/core/cache-break-detector.js.map +1 -1
- package/dist/core/task-registry.d.ts +6 -0
- package/dist/core/task-registry.d.ts.map +1 -1
- package/dist/core/task-registry.js +30 -0
- package/dist/core/task-registry.js.map +1 -1
- package/dist/tools/fs/index.d.ts.map +1 -1
- package/dist/tools/fs/index.js +5 -2
- package/dist/tools/fs/index.js.map +1 -1
- package/dist/tools/gitea-issue.d.ts +1 -1
- package/dist/tools/gitea-issue.d.ts.map +1 -1
- package/dist/tools/scheduler-tools.d.ts.map +1 -1
- package/dist/tools/scheduler-tools.js +8 -6
- package/dist/tools/scheduler-tools.js.map +1 -1
- package/package.json +3 -5
- package/CHANGELOG.md +0 -5444
- package/docs/A1-ATTRIBUTION-ROUND1-2026-07-09.md +0 -181
- package/docs/AB-ORACLE-GATE-VERDICT-2026-07-10.md +0 -100
- package/docs/ANCHOR-GAP-INVENTORY-2026-07-09.md +0 -143
- package/docs/ARCHITECTURE.md +0 -125
- package/docs/BUGHUNT-2026-07-05-NIGHT.md +0 -98
- package/docs/BUILD.md +0 -63
- package/docs/CANCEL-ASYNC-ATTRIBUTION-2026-07-09.md +0 -98
- package/docs/CC-198-VS-201-DRIFT-2026-07-09.md +0 -70
- package/docs/CC-BASELINE-FAKE-ZERO-AUDIT-2026-07-09.md +0 -51
- package/docs/CC-DRIFT-198-206-AGENT-TYPES-2026-07-10.md +0 -82
- package/docs/CC-DRIFT-198-206-CHANGELOG-2026-07-10.md +0 -82
- package/docs/CC-DRIFT-198-206-REMINDERS-2026-07-10.md +0 -96
- package/docs/CC-DRIFT-198-206-ROADMAP-2026-07-10.md +0 -110
- package/docs/CC-DRIFT-198-206-TOOL-INVENTORY-2026-07-10.md +0 -53
- package/docs/CC-DRIFT-198-206-USAGE-CONSTANTS-2026-07-10.md +0 -64
- package/docs/CC-DRIFT-198-206-WORKFLOW-2026-07-10.md +0 -83
- package/docs/CC-PARITY-CHECKLIST.md +0 -220
- package/docs/CC-PARITY-DEEP-SWEEP-2026-07-07.md +0 -149
- package/docs/CC-SUBAGENT-PROMPT-STUDY-2026-07-09.md +0 -219
- package/docs/CC-TASK-REMINDER-CADENCE-STUDY-2026-07-09.md +0 -396
- package/docs/CC-TOOL-PARITY-SWEEP-2026-07.md +0 -56
- package/docs/CC-TOOL-PROMPT-DEEP-DIFF-2026-07-08.md +0 -274
- package/docs/CC-TOOLSURFACE-DEEP-DIVE-2026-07-07.md +0 -197
- package/docs/CC206-OBSERVER-ANCHORS-2026-07-11.md +0 -463
- package/docs/CC207-CORE-SWEEP-BACKLOG-2026-07-12.md +0 -155
- package/docs/CENTER-CONTROL-PLANE-SEAM.md +0 -86
- package/docs/CLEANUP-CONTRACT-ANCHOR-2026-07-09.md +0 -83
- package/docs/COLD-START-RSI-2026-07-09.md +0 -72
- package/docs/COMPACTION-LIVE-AUDIT-2026-07-09.md +0 -114
- package/docs/CONTEXT-lifecycle-extension-points-and-stop-attribution.md +0 -71
- package/docs/COREWARS-POLYGLOT-TRIAGE-2026-07-09.md +0 -85
- package/docs/DEADTARGET-OVERFULL-HBOX-2026-07-10.md +0 -92
- package/docs/DEADTARGET-PATH-TRACING-REVERSE-2026-07-10.md +0 -87
- package/docs/DEADTARGET-WINNING-AVG-COREWARS-2026-07-10.md +0 -96
- package/docs/DEEPSEEK-API-LIMITS-PROBE-2026-07-09.md +0 -118
- package/docs/DESIGN-140-MOCK-VERIFY-2026-07-11.md +0 -79
- package/docs/DESIGN-140-VERIFICATION-2026-07-11.md +0 -43
- package/docs/DESIGN-DRAFT-workflow-collab-2026-07-11.md +0 -56
- package/docs/DESIGN-ORACLE-GROUNDING-GATE-2026-07-10.md +0 -167
- package/docs/DESIGN-TFRAG-RECONCILE-SCAFFOLD-2026-07-09.md +0 -102
- package/docs/EXP-PA2-PE-DESIGN-2026-07-11.md +0 -220
- package/docs/EXT-DOGFOOD-2026-07-12.md +0 -50
- package/docs/FINAL-VERIFY-SURFACE-AUDIT-2026-07-09.md +0 -44
- package/docs/FRAG-RECON-INVESTIGATION-2026-07-09.md +0 -183
- package/docs/HANDOFF.md +0 -121
- package/docs/KNOWN-ISSUES.md +0 -96
- package/docs/LEGW-WINDOW-TAX-2026-07-10.md +0 -82
- package/docs/LIVE-PROBE-BATCH-2026-07-11.md +0 -207
- package/docs/M2-CERT-ATTRIBUTION-2026-07-10.md +0 -61
- package/docs/M25-LEG-VARIANCE-ATTRIBUTION-2026-07-10.md +0 -81
- package/docs/MAILMAN-TIMEOUT-ATTRIBUTION-2026-07-10.md +0 -88
- package/docs/MEMORY-BACKEND-DIALECT-NOTES.md +0 -69
- package/docs/MTEB-ESCAPE-HATCH-ATTRIBUTION-2026-07-09.md +0 -57
- package/docs/MTEB-LEADERBOARD-ATTRIBUTION-2026-07-10.md +0 -134
- package/docs/ORACLE-GATE-NEGATIVE-SAMPLE-2026-07-11.md +0 -28
- package/docs/PARITY-CONTEXT-TRANSACTIONS-2026-07-10.md +0 -67
- package/docs/PARITY-PROGRESS-MATRIX-2026-07-10.md +0 -37
- package/docs/PARITY-SPOT-AGENT-TYPES-2026-07-10.md +0 -70
- package/docs/PARITY-SPOT-REMINDERS-2026-07-10.md +0 -144
- package/docs/PARITY-SPOT-TOOL-INVENTORY-2026-07-10.md +0 -61
- package/docs/PARITY-SPOT-USAGE-CONSTANTS-2026-07-10.md +0 -95
- package/docs/PARITY-SPOT-WORKFLOW-2026-07-10.md +0 -93
- package/docs/PASSWORD-RECOVERY-PANEL-VERDICT-2026-07-10.md +0 -62
- package/docs/R8-R9-FINALIZE-COORDINATION-2026-07-09.md +0 -124
- package/docs/REPL-CODE-MODE-EVALUATION-2026-07-10.md +0 -187
- package/docs/REPORT-1249-TARGETED.md +0 -48
- package/docs/RESEARCH-3P-MEMORY-SWAP-2026-07-12.md +0 -273
- package/docs/ROADMAP.md +0 -111
- package/docs/RSI-CLOUD-DEPLOY-2026-07-06.md +0 -289
- package/docs/RSI-PROCESS-AI-COLDSTART-2026-07-11.md +0 -68
- package/docs/S18-THOROUGHNESS-AUDIT-2026-07-09.md +0 -113
- package/docs/SERVICE-INTEGRATION-GUIDE.md +0 -298
- package/docs/SUBAGENT-STREAM-RESILIENCE-PARITY-2026-07-10.md +0 -118
- package/docs/SWEBENCH-PRO-RECON-2026-07-11.md +0 -31
- package/docs/TB-EFFICIENCY-TELEMETRY-2026-07-08.md +0 -114
- package/docs/TB-FAILURE-AUTOPSY-2026-07-05-RERUN.md +0 -67
- package/docs/TB-FAIRNESS-AUDIT-2026-07-08.md +0 -141
- package/docs/TB-FULL-1257-2026-07-08.md +0 -77
- package/docs/TB-LEG-GAP-ATTRIBUTION-1261-1263-2026-07-11.md +0 -154
- package/docs/TB-REGRESSION-DAEMON-KILL-2026-07-08.md +0 -58
- package/docs/TB-RSI-CROSSCHECK-2026-07-06.md +0 -68
- package/docs/TB-RSI-LEDGER.md +0 -30
- package/docs/TB-STABLE-SET-2026-07-08.md +0 -127
- package/docs/TB21-RECON-2026-07-11.md +0 -28
- package/docs/TEST-DESIGN-BATCH-1-2-3.md +0 -97
- package/docs/THIRD-PARTY-INTEGRATION.md +0 -45
- package/docs/TOKEN-ESTIMATE-CALIBRATION-LIVE-2026-07-09.md +0 -102
- package/docs/audit-2026-06-10-/347/254/254/344/272/214/350/275/256-/347/251/272/347/231/275/345/214/272/344/270/216/345/277/230/346/216/245/347/272/277.md +0 -147
- package/docs/audit-2026-06-10-/350/256/241/347/256/227bug/346/211/253/346/217/217.md +0 -163
- package/docs/audit-2026-06-11-/344/277/256/345/244/215/345/244/215/345/256/241/344/270/216/345/233/236/345/275/222/344/270/223/346/211/253.md +0 -95
- package/docs/audit-2026-06-12-design71-P1/346/275/234/344/274/217/351/235/242/350/243/201/345/206/263/344/270/216/345/220/236/351/224/231/345/256/241/350/256/241.md +0 -45
- package/docs/audit-2026-06-12-/345/205/254/345/274/200/346/227/213/351/222/256/346/264/273/346/200/247/344/270/216vendored/346/255/273/350/267/257.md +0 -63
- package/docs/audit-2026-06-15/ADDENDUM-second-pass.md +0 -88
- package/docs/audit-2026-06-15/ARCHITECTURE-AND-ROADMAP.md +0 -187
- package/docs/audit-2026-06-15/DOC-CORRECTIONS.md +0 -105
- package/docs/audit-2026-06-15/INDEX.md +0 -49
- package/docs/audit-2026-06-15/ORCHESTRATION-STATUS.md +0 -98
- package/docs/audit-2026-06-15/PRODUCTION-ISSUES.md +0 -189
- package/docs/audit-2026-06-15/REFERENCES-literature.md +0 -139
- package/docs/audit-2026-06-15/VENDOR-REFACTOR-PLAN.md +0 -96
- package/docs/cc-probe-198/README.md +0 -72
- package/docs/cc-probe-198/STABILITY-AUDIT.md +0 -118
- package/docs/cc-probe-198/live-schema-monitor-worktree-2026-07-09.json +0 -56
- package/docs/cc-probe-198/mount-variants.json +0 -536
- package/docs/cc-probe-198/plan-mode-run.json +0 -1
- package/docs/cc-probe-198/probe-bash-bg.json +0 -224
- package/docs/cc-probe-198/probe-edit-mismatch.json +0 -120
- package/docs/cc-probe-198/probe-read-missing.json +0 -62
- package/docs/cc-probe-198/probe-search-empty.json +0 -127
- package/docs/cc-probe-198/probe-task-family.json +0 -227
- package/docs/cc-probe-198/probes.status +0 -6
- package/docs/cc-probe-198/raw-capture-interactive.json +0 -948
- package/docs/cc-probe-198/raw-capture-print.json +0 -787
- package/docs/cc-probe-198/raw-capture2-interactive.json +0 -948
- package/docs/cc-probe-198/raw-capture2-print.json +0 -787
- package/docs/cc-probe-198/system-prompt.txt +0 -135
- package/docs/cc-probe-198/tools-array.json +0 -962
- package/docs/durability-boundary.md +0 -63
- package/docs/fix-2026-06-10-/350/256/241/347/256/227bug/344/277/256/345/244/215-search/346/211/271.md +0 -75
- package/docs/fix-2026-06-11-/347/254/254/344/272/214/350/275/256-/344/277/256/345/244/215-search/346/211/271.md +0 -62
- package/docs/parity-sweep/REPORT-DYNAMIC.md +0 -97
- package/docs/parity-sweep/REPORT-STATIC-GGB.md +0 -127
- package/docs/parity-sweep/REPORT-STATIC-RWE.md +0 -133
- package/docs/vendor-history.md +0 -385
- package/docs/vendored-upstream-diff-2026-07.md +0 -83
|
@@ -1,181 +0,0 @@
|
|
|
1
|
-
# A1 硬差异集 · 双轨迹归因 · 第一轮(对抗复核收账)
|
|
2
|
-
|
|
3
|
-
> 2026-07-09 · 不 commit(工作稿)
|
|
4
|
-
> workflow run: **wf_cabd9704-8fd** · **731408** token · 12 腿(6 归因 opus + 6 独立对抗复核 opus)
|
|
5
|
-
> 数据源:`w4wuz4i1b.output`(workflow 事件流 JSONL,末尾完成对象 `agreed[3] + disputed[3]`)
|
|
6
|
-
> 口径:每题两轨迹(sema core 1.258.2 FAIL vs CC 2.1.201 PASS),同模型 deepseek-v4-pro,差异纯在 agent 壳。归因 opus 定 divergence_class + engine_surface + fix,复核 opus 上机(ssh)逐条对轨迹核证 agree/false。
|
|
7
|
-
>
|
|
8
|
-
> **敏感纪律**:本文只记机制面(工具序 / 操作纪律 / API 协议 / 文件操作 / 预算),不复述题目任务的具体叙事;cc_anchor_hint 里的文件坐标 / 命令为机制证据,予以保留。**题名均为近似化名**(轨迹路径中的题名段同步按化名书写,trial ID 保持原样,可据 ID 回查真实目录);安全相关词汇已作中性化改写。
|
|
9
|
-
|
|
10
|
-
---
|
|
11
|
-
|
|
12
|
-
## 1. 摘要表
|
|
13
|
-
|
|
14
|
-
| 题名 | 归因 class | conf | 对抗复核 agree | 最终判定 | 是否落修 |
|
|
15
|
-
|---|---|---|---|---|---|
|
|
16
|
-
| db-journal-repair | prompt_surface | high | ✅ agree | **prompt_surface** | ✅ **落修** |
|
|
17
|
-
| text-embed-rank | verification_discipline | high | ✅ agree | **verification_discipline**(主体保留;jxbScgN 细分 error_recovery_robustness) | ✅ **落修**(prompt 纪律 + N 复跑验证,勿当确定性修) |
|
|
18
|
-
| seq-primer-opt | model_luck | high | ✅ agree | **model_luck** | ❌ 并入天花板题 N=5 复跑 |
|
|
19
|
-
| board-move-solve | verification_discipline | high | ❌ **推翻** | **model_luck**(感知 / 棋盘重建方差) | ❌ 不落修 |
|
|
20
|
-
| build-codec | loop_control | high | ❌ **推翻** | **budget_asymmetry + model_reasoning_variance**(次:loop_control) | ❌ 不落修(方向部分成立,中心论点被证伪) |
|
|
21
|
-
| dual-lang-rust-c | verification_discipline | high | ❌ **推翻** | **mixed**: verification_discipline 2/5 + deadline/latency budget 3/5(其一零交付) | ❌ 不落修(2/5 成立但整体过度概括) |
|
|
22
|
-
|
|
23
|
-
**分布**:落修 **2** 题(db-journal-repair + text-embed-rank)· model_luck / 方差 **1** 题(seq-primer-opt,复核 agree)· 对抗复核**推翻 3** 题(board-move-solve / build-codec / dual-lang-rust-c,推翻率 **3/6**)。
|
|
24
|
-
|
|
25
|
-
---
|
|
26
|
-
|
|
27
|
-
## 2. 可落修清单(复核通过且非 model_luck)
|
|
28
|
-
|
|
29
|
-
### 2.1 db-journal-repair — `prompt_surface`(复核 agree,None 改判)
|
|
30
|
-
|
|
31
|
-
- **CC 制胜机制**:全程把任务输入产物当只读只读勘验材料。开局仅用 `ls`/`file`/`xxd` 等非侵入读命令勘验字节 → 识别文件头缺失预期 magic → 推出单字节 XOR 变换参数 → 先 `mkdir` 隔离工作目录 + `cp` 主库 + 把还原出内容旁路写入副本目录 → **只对副本目录里的拷贝运行数据库引擎查询**,原始产物文件从头到尾未被任何数据库引擎打开。制胜机制 = 先勘验-再快照-再对副本做可能有副作用的操作的**操作序纪律**(snapshot-before-mutate / treat-input-as-read-only),而非诊断能力本身。
|
|
32
|
-
- **sema 失败机制**(5/5 一致签名,系统性非方差):每条在开局前 1-3 次工具调用内、且在任何备份之前,就直接用数据库引擎 CLI 对活体主库跑读查询作为探测。该库处于 WAL 模式且 WAL 文件被字节级变换,引擎打开时把"损坏"的 WAL 丢弃/删除 → 唯一数据来源在解码前不可逆丢失。5/5 都能从 `ls` 前后差异推断出是自己那次引擎探测删掉了文件,≥4/5 在文件消失前后仍独立推出正确 XOR 变换参数(诊断全到位、唯独产物已不可再生);此后每条把剩余 650-700s 耗在不可能的删除文件恢复(overlayfs / debugfs / inode / 裸块设备),deadline finalize 强制下写出错误猜测。
|
|
33
|
-
- **引擎面指认**:脚手架 / 系统提示词面 —— `role.base` 常量块。实测 `prompt.assembled` blocks = `role.base`(6971 chars)+ `harness.context`(1666)+ `env.context`(199),totalChars=8836;全 prompt 文本内**无** snapshot-before-mutate / treat-input-as-read-only / 备份优先 任何纪律条款。缺"把任务输入产物当只读、对可能有副作用的操作先快照/在副本上操作"的开局操作纪律。
|
|
34
|
-
- **CC 锚坐标**(cc_anchor_hint 原文):
|
|
35
|
-
> CC PASS = cc-pro-full/db-journal-repair__azvg49V(非题目指定的 r3 yvxXHba,后者已超时 FAIL,reward=0)。CC 制胜逐字锚:jsonl idx25 `cd /tmp && mkdir -p recovery && cp /app/main.db /tmp/recovery/... 且仅对 /tmp/recovery 副本 sqlite3`;sema 丢失点逐字锚:sema.txt 各 trial 开局 1-3 调用内 `sqlite3 /app/main.db "SELECT..."` → 随后 `FileNotFoundError: '/app/main.db-wal'`(Dw6sECg L22→L84,hK7jrxV L10-12,iaposfM L11,PgMB5bV L23,uCPpsBK 的引擎探测同族)。引擎面锚=prompt.assembled blocks[role.base],缺 snapshot-before-mutate 纪律。
|
|
36
|
-
- **修复建议原文**:
|
|
37
|
-
> 在 role.base(或收尾/操作纪律段)加一条开局操作纪律:遇到需修复/恢复/勘验的输入产物时,先只读勘验字节,任何可能改写或触发引擎副作用(尤其数据库打开、原地写、格式化工具)的操作前,先把原始产物复制到隔离工作目录,只对副本执行——即"snapshot-before-mutate / 输入产物默认只读"。落码建议附 CC 锚:CC PASS 轨迹逐字机制=`cp` 主库到 /tmp/recovery 后仅对副本 sqlite3 查询,原产物零引擎打开。可用现成的收尾自检脚手架同一注入点扩一条前置纪律,并加一条定向测试:构造"引擎打开即丢失输入"的场景验证 agent 先备份。此修属通用操作纪律,非 teaching-to-the-test(适用任意"输入不可再生+存在有副作用的探测路径"的任务族)。
|
|
38
|
-
- **复核确认要点**(上机 ssh 逐条,全通过,反驳未成立 —— reason 全文):
|
|
39
|
-
> 上机核对全部通过,反驳未能成立,归因经得起对抗复核。逐条坐实:
|
|
40
|
-
>
|
|
41
|
-
> 前提校验:5/5 sema(Dw6sECg/hK7jrxV/iaposfM/PgMB5bV/uCPpsBK)verifier/reward.txt 全=0;CC azvg49V reward=1;题目指定的 CC r3(yvxXHba)reward=0(确为 FAIL)。任务=同模型 deepseek-v4-pro,差异纯在 agent 壳。premise 成立。
|
|
42
|
-
>
|
|
43
|
-
> ① 机制差有硬轨迹证据,非脑补:
|
|
44
|
-
> - CC 制胜(claude-code.txt Bash 命令序,逐条):ls→file→xxd/xxd→python3 只读读文件→python3 XOR 探(仍只读文件)→`cd /tmp && mkdir -p recovery && cp /app/main.db /tmp/recovery/main.db && python3 解码WAL写入副本 && sqlite3 /tmp/recovery/main.db "SELECT count(*)"` 返回 11→`sqlite3 /tmp/recovery` 取全records→写 /app/recovered.json。CC 全程首个也是唯一的 sqlite3 引擎调用打在副本 /tmp/recovery/main.db 上,原始 /app/main.db 从未被引擎打开。逐字锚与 cc_anchor_hint 完全一致。
|
|
45
|
-
> - sema 丢失点(5/5 一致签名,非各败各样):首个引擎操作即裸 `sqlite3 /app/main.db "SELECT..."` 打活体主库,之前无任何 cp 备份;随即 main.db-wal 消失(Dw6sECg turn2 sqlite3 探→turn3 `FileNotFoundError: /app/main.db-wal`;PgMB5bV L23 探→L63 同错;iaposfM L11 探→随后 wal 消失;hK7jrxV L10-12 探;uCPpsBK L194 探,exit=0 只回 5 records,wal 静默 checkpoint 删除)。sema 与 CC 的 XOR 变换参数推理逐行相同(同模型),唯一行为分叉=操作序:CC 先 cp 后开,sema 先开原库。
|
|
46
|
-
>
|
|
47
|
-
> ② engine_surface 指认未过度:实际读 events.jsonl 的 prompt.assembled——role.base 6971 chars,harness.context 1666,env.context 199,totalChars=8836,与归因数字一致;全 prompt 文本内无 snapshot-before-mutate/treat-input-as-read-only/备份优先 任何纪律条款(搜到的 "snapshot" 命中全是模型自己事后的 overlayfs 恢复尝试,非 prompt 内容)。故"role.base 缺开局操作纪律"是可证实的事实指认,非把模型行为硬安到引擎头上。诚实保留:近因是模型的操作排序行为,而同模型在 CC 壳内做了安全动作——即差异确实经由系统提示词/工具指引塑形(正是 prompt_surface 类),指认方向站得住,fix 注入点(role.base)合理且可测。
|
|
48
|
-
>
|
|
49
|
-
> ③ 更简单解释被排除:5/5 相同失败签名=系统性非方差;两侧同模型/同任务/同 docker 环境=非配置非环境;分叉方向与 prompt 内容差(CC 有勘验式只读+副本习惯 vs sema role.base 无)一致且 5/5 确定性复现。
|
|
50
|
-
>
|
|
51
|
-
> 唯一措辞松动(不改判决):"1-3 次调用内"对 uCPpsBK 偏松(其 sqlite3 探针实为第 ~4 个 Bash 调用、+75.7s),但载重命题"对不可再生输入先做有副作用的引擎探测、且备份之前"5/5 全成立。divergence_class=prompt_surface、fix(role.base 加 snapshot-before-mutate 前置纪律+定向测试)、confidence=high 均判 agree。
|
|
52
|
-
|
|
53
|
-
---
|
|
54
|
-
|
|
55
|
-
### 2.2 text-embed-rank — `verification_discipline`(复核 agree,主体保留)
|
|
56
|
-
|
|
57
|
-
- **CC 制胜机制**:CC 与 sema 走了近乎相同的 API 探索弧(`mteb.get_model` 裸名 401 → `BAAI/` 前缀解析成功 → 包装器 encode 需 task_name → 回落到底层 `.model` SentenceTransformer)。制胜差异 = CC 多做一次"模型自曝协议"探针:检视 `model.model_prompts`,发现该嵌入模型对查询侧有一段**非对称指令前缀**(query 侧加、docs 侧不加),最终编码按此协议施加(query 用 `prompt_name="query"`、docs 不加)→ 相似度排序正确 → 命中正确项。CC 收尾还做了一次独立第二段脚本"重算校验",但决定性的是编码协议探针本身。
|
|
58
|
-
- **sema 失败机制**(5 条共同,一致):全部在同一探索弧上收敛出一个"自洽但错误"的编码管线 —— **从未检视 model_prompts**、对 query 与 docs 做对称的裸 encode(部分加 normalize 仍无指令前缀)→ 排序系统性偏移、取错。关键佐证:①预算 1530s,5 条全在 39–113s 结束、输出 1.3k–4.6k token,余量 >90% → 排除超时/截断/循环失控;②sema 做了收尾读文件动作,但是浅层自检(仅重读自己刚写的 result.txt,未把排序方法回校到模型自曝的 API 协议)。属领域知识/探针深度 + 验证纪律缺口。
|
|
59
|
-
- **引擎面指认**:收尾自检脚手架提示词段(design/132 收尾验收机制 / task#18)。现有收尾自检只驱动"产出物存在/格式"核对(sema 重读 result.txt 且过 test_result_exists),不驱动"方法正确性回校到工具/库自曝的契约"。缺一条"对第三方 API/模型,先探其自曝的用法协议(prompts/signature/registry)再定管线,勿用默认对称假设"的探针纪律。
|
|
60
|
-
- **CC 锚坐标**(cc_anchor_hint 原文):
|
|
61
|
-
> CC PASS 轨迹坐标 ~/sema-tb/jobs/cc-pro-full/text-embed-rank__EcY2N4u/agent/sessions/.../b82eed43-*.jsonl:检视 model.model_prompts(自曝 query 指令前缀)后,最终编码用 st_model.encode([query], prompt_name="query")、docs 不加前缀,排序正确;对照 sema events.jsonl 最终 encode 为对称裸 encode 无 prompt_name。引擎侧锚:收尾自检脚手架(design/132 + task#18)——补「第三方 API 协议探针优先 + 方法正确性回校」纪律。
|
|
62
|
-
> (注:归因原选 cc-pro-full/__EcY2N4u,因指定的 cc-pro-r3-full/__ejCrfah 该题 reward=0 FAIL)
|
|
63
|
-
- **修复建议原文**:
|
|
64
|
-
> 在引擎默认收尾/方法自检脚手架里补一条「协议探针优先」纪律(中性表述):当任务依赖第三方库/模型的既定用法且首选调用签名报错时,在采信任何回落实现前,先检视该对象自曝的用法元数据(如 *_prompts / model_prompts / signature / 注册表),按其声明的非对称/指令化协议施加,勿默认对称裸调用;收尾自检需覆盖「方法正确性」而非仅「产出物存在+格式」,即把结果回校到工具自曝的契约而非只重读自己写的文件。此杠杆方向可复现(CC 多一步探针即翻绿),但边际接近 model_luck(是否走这步取决于模型当轮选择),建议以 prompt 纪律 + bench N 复跑验证增益,勿当确定性修。CC 锚线索:cc-pro-full/text-embed-rank__EcY2N4u trajectory 中 `model.model_prompts` 检视步 → `st_model.encode([query], prompt_name="query")`。
|
|
65
|
-
- **复核确认要点**(agree=true,主体保留 + 一处事实修正 + jxbScgN 细分 —— reason 全文):
|
|
66
|
-
> 上机核查(ssh 测试机)逐条对轨迹,核心归因成立、非叙事脑补,但发现一处需修正的事实性过度概括。
|
|
67
|
-
>
|
|
68
|
-
> 【核心机制 — 证据支撑,VERIFIED】
|
|
69
|
-
> CC PASS(cc-pro-full/text-embed-rank__EcY2N4u,reward=1.0)轨迹 b82eed43-*.jsonl 确凿:检视 `model.model_prompts` → 自曝 `{'query': '为这个句子生成表示以用于检索相关文章:'}`(BAAI/bge 非对称查询指令前缀),最终编码 `st_model.encode([query], prompt_name="query")` + `doc_embeddings = st_model.encode(documents)`(docs 不加)。归因描述与轨迹逐字吻合。
|
|
70
|
-
> 决定性佐证:verifier 是**正确性判据**(test_data_matches),expected=`"MTEB: Massive Text Embedding Benchmark"`;5 条 sema FAIL 全部产出**同一个错误答案** `"HumanEval: ..."` → 系统性排序偏移,与「缺查询前缀」高度自洽。CC docs 侧确不加前缀,归因这点也对。
|
|
71
|
-
>
|
|
72
|
-
> 【需修正的事实错误 — 归因过度概括,不足以推翻主结论但必须点名】
|
|
73
|
-
> 归因声称「5 条 FAIL 共同机制一致:全部从未检视 model_prompts、从未施加非对称前缀」——对 1/5(jxbScgN)为**假**:该轨迹 model_prompts 命中 8 次、prompt_name 命中 39 次,明确看到了同一个中文前缀,但最终 encode 用 `prompt_name=None`(query+docs 对称)。真实路径:它走 wrapper 的 task-name 通道踩到 `KeyError: 'Retrieval' not found`(+ `encode() missing task_name`),随后回落到底层模型时把已看到的 query 协议一并丢弃。所以 jxbScgN 的失败是「探针到手后中途放弃/回落错误」而非「从未探针」。另 4 条(FmkpgBE/gYWahUD/QAFUv4H/UCT77Bf)确为对称裸 encode、零前缀,符合归因。
|
|
74
|
-
>
|
|
75
|
-
> 【为何仍 agree】
|
|
76
|
-
> ①end-state 机制对全 5 条成立(最终编码都缺查询前缀 → 同一错答),主结论=「CC 施加非对称查询协议、sema 未施加」经证据站得住;②归因自身诚实标注 confidence 边际≈model_luck、建议 N 复跑验证而非当确定性修,已恰当抑制过度归因;③engine_surface(收尾自检回校方法正确性)方向可辩,但对 jxbScgN 略失焦——那更像 wrapper 报错后的回落/恢复鲁棒性缺口,而非「自检只验产出物存在」。
|
|
77
|
-
>
|
|
78
|
-
> 【建议修正措辞(不改判决,只纠事实)】
|
|
79
|
-
> sema_failing_mechanism 的「5 条全从未检视 model_prompts」应改为「4/5 从未探针走对称裸 encode;1/5(jxbScgN)已探到协议但踩 wrapper KeyError 后回落丢弃(prompt_name=None)」;divergence_class 对 jxbScgN 宜补「错误回落时未保留已发现协议」的鲁棒性面,不宜全部归到 verification_discipline 单一桶。engine_surface 指认「收尾自检」略过具体:更简单且互补的解释=模型域知识/中途放弃,非引擎循环控制缺陷——这点归因也已承认(非引擎 finalize 缺陷),故不构成把模型行为差硬安到引擎头上的严重误指。未见方差/配置/环境的更简替代解释(5 条同一错答排除随机方差;预算余量>90% 排除超时;同 task_checksum 排除配置漂移)。
|
|
80
|
-
- **落修口径**:补 prompt 纪律(协议探针优先 + 方法正确性回校),但**以 bench N 复跑验证增益,勿当确定性修**(归因自陈边际接近 model_luck)。jxbScgN 那一条的失败面细分为 `error_recovery_robustness`(探到协议后踩 wrapper KeyError 回落时丢弃已发现的非对称前缀),不全归 verification_discipline。
|
|
81
|
-
|
|
82
|
-
---
|
|
83
|
-
|
|
84
|
-
## 3. 判 model_luck / 被推翻的题(4 题)
|
|
85
|
-
|
|
86
|
-
> 这部分是「A1 差异集里多少是真能力缺口 vs 方差」的证据:6 题里 **1 题归因即判 model_luck(复核 agree)+ 3 题归因判能力缺口但被对抗复核推翻**,即 4/6 落在方差/预算轴。
|
|
87
|
-
|
|
88
|
-
### 3.1 seq-primer-opt — 归因 `model_luck`,复核 **agree**(维持)
|
|
89
|
-
|
|
90
|
-
- **原归因**:判 model_luck。CC 并未系统性赢下此题 —— CC 侧 1 PASS/3 FAIL、sema 侧 1 PASS/4 FAIL,两侧最主导败因是**同一处近失约束**(某数值差 5.44 vs 阈值 5,逐位相同),通过率同为约 1/4。高方差数值优化题,不宜按引擎面归因或"照 CC 锚拍修"。engine_surface=none。若日后收窄方差,唯一有正向证据的杠杆是 verification_discipline 层的通用提示强化(交付前用外部工具、按评分器会采用的重构口径独立复算关键数值约束),但因两侧同败、N 小,先归 model_luck、并入天花板题 N=5 复跑,不单独立修。
|
|
91
|
-
- **CC 锚坐标**(cc_anchor_hint 原文):
|
|
92
|
-
> 无引擎锚(判 model_luck)。若日后走 verification_discipline 强化:锚在收尾自检脚手架的提示段(任务#18),做法=提示模型交付前按"从最终产物反推被测区间"的口径用外部工具独立复算数值约束,而非信任中途手挑子串。轨迹坐标:CC PASS=cc-pro-cc-full-r2/seq-primer-opt__6fM9dpS(step19-20 终写前重算);sema PASS=a1-ccdiff-1258-fb/short/seq-primer-opt__WxDQQAU(oligotm 21 次);sema 典型败=DEo29aG/PtCyv6j(自检称 0°C 实评 5.44°C)。
|
|
93
|
-
- **复核维持要点**(agree=true —— reason 全文):
|
|
94
|
-
> 上机抽查 9 条轨迹的 verifier ctrf/test-stdout + agent 事件,逐点验证均支撑 model_luck 判决,未能反驳。
|
|
95
|
-
>
|
|
96
|
-
> 通过率核实(ctrf summary):CC 侧 1 PASS(6fM9dpS)/3 FAIL(Bqaq9wa=Tm 5.44、vtjp3wP=Tm 7.09、nUo5QeS=未生成文件),sema 侧 1 PASS(WxDQQAU)/4 FAIL——与归因字面一致,两侧均约 1/4。
|
|
97
|
-
>
|
|
98
|
-
> ① 机制差有硬证据非脑补:归因称"两侧最主导败因是同一处近失约束(Tm 差 5.44 vs 阈 5,逐位相同)"——verifier 逐位坐实:sema DEo29aG/PtCyv6j 与 CC Bqaq9wa 产出完全相同的失败数值 fwd_tm=68.194043 / rev_tm=62.750252 → 5.44379099999999,同一断点。sema ZR7VXps=7.67、CC vtjp3wP=7.09 亦同族(同一 fwd 68.194,rev 边界不同)。"自检称 0°C 实评 5.44"经证实:DEo29aG agent 事件含自检文本"difference 0.003 °C",与评分器重构口径 5.44 冲突=模型用了与评分器非同构的重算口径,属模型自检行为非引擎面。
|
|
99
|
-
>
|
|
100
|
-
> ② engine_surface 未过度具体:归因正确置 engine_surface=none,明确拒绝按引擎面归因或"照 CC 锚拍修",未把模型行为安到引擎头上。
|
|
101
|
-
>
|
|
102
|
-
> ③ 无更简单的引擎解释,方差解释被证据加强:成败与自检强度(oligotm 调用次数)正相关且两侧区间重叠——CC PASS=57、sema PASS=37 vs CC FAIL=27~30、sema FAIL=18,跨引擎交叠,非引擎系统差。且 CC 的 nUo5QeS 败因是 CC harness UnknownApiError(claude 命令 exit 1 崩溃、oligotm 仅 1 次)=CC 侧崩溃,反而不构成对 sema 的不利证据,进一步坐实"CC 未系统性赢下此题"。
|
|
103
|
-
>
|
|
104
|
-
> 诚实标注:fix_recommendation 提出的 verification_discipline 杠杆(交付前按评分器"从最终产物反推被测区间"口径用外部工具独立复算)在本题有真实正向证据(败例自报 0.003°C vs 实 5.44,通过例做了远多的 oligotm 复算);归因已恰当地把它列为可选未来杠杆而非本题特判,主判决保持 model_luck 并入天花板题 N=5 复跑,样本 N=5/4 偏小的自陈也成立。逐轴复核均支撑,故 agree。
|
|
105
|
-
|
|
106
|
-
---
|
|
107
|
-
|
|
108
|
-
### 3.2 board-move-solve — 归因 `verification_discipline`,复核**推翻 → `model_luck`**
|
|
109
|
-
|
|
110
|
-
- **原归因**:共同失败机制=对规格完整性的收尾自检缺位(premature closure)+ 软死线吃掉写出窗口。分两类:(A)3 条只写单一制胜解并主动合理化终止,未对"若有多个则全列"做枚举校验;(B)2 条 timeout 在 FEN 重建循环里耗尽墙钟、未写出。engine_surface=收尾验收纪律脚手架(design/132 收尾验收强制 + 收尾自检默认脚手架,任务#18/#26)为主;软死线 finalize / 写出 cushion(design/130-P2b,任务#17/#21)为次。
|
|
111
|
-
- **复核推翻要点**(agree=false,改判 model_luck —— reason 全文):
|
|
112
|
-
> 上机核证后,归因的 headline(divergence_class=verification_discipline + engine_surface 指向 design/132 收尾验收/完整性自检脚手架)与轨迹证据相矛盾,应改判 model_luck(感知/棋盘重建方差)。逐条:
|
|
113
|
-
>
|
|
114
|
-
> 事实错项:①run 分类错。归因说"3 completed 单着 + 2 timeout";实测 result.json/[done] 行显示真实分布=2 completed(mHPqVH2 +715s、NvRP4ru +694s)+ 3 timeout(3Df5x6J +760.8s、NaEZcaV +760.8s、wPd4auZ +806.2s,均 errorCode=limit.timeout)。归因把 wPd4auZ 当作 completed 单着(桶A),实为 timeout。②5 条 result.json 全部 exception_info:null 且都跑到 verifier;verifier 真相=真解是 g2g4 与 e2e4 两个 mate-in-one。写出情况:mHPqVH2 写 e2e4(单)、NvRP4ru 写 g2g4(单)、wPd4auZ 写 e2e4(单)、3Df5x6J/NaEZcaV 无 move.txt(FileNotFoundError)。
|
|
115
|
-
>
|
|
116
|
-
> 机制误判(核心):③归因主因判"完整性收尾自检缺位(premature closure),需引擎补完整性硬门"。但 mHPqVH2 在 +711.5s 明确引用规格"Multiple winning moves should all be included",随后仍判"Qe4# is the unique best move / No other moves are needed"——自检做了、答错了,因为它自己像素重建出的棋盘只容纳一个 mate。NvRP4ru 直接自陈"Piece identification was done through pixel color analysis... some uncertainty... whether c6 and d5 are both bishops",并据此棋盘用 Stockfish 判"g4+ is the only winning move"。wPd4auZ:"only if my identification of pieces is correct... e2e4 is the unique checkmate"。即失败根因=像素→FEN 重建不可靠(每条 run 落在不同的错/欠验证棋盘上),不是纪律脚手架缺失。补一条"完整性硬门"提示词对着错棋盘照样只吐一个 mate,修不了。④CC 制胜机制被误述。CC 不是靠"逐候选独立判定的完整性纪律",而是正确重建棋盘后跑 `for move in board.legal_moves: if board_copy.is_checkmate(): mates.append(...)` 程序化枚举,完整性是"正确棋盘+引擎枚举"的副产品。实测:5 条 sema run 跑 legal_moves 枚举循环次数全=0;CC 真 FEN=r1bq1r2/1p3pp1/p1n1p3/3nPkbP/8/P1N5/1P2QPP1/R1B1K2R w,枚举出 e2e4/g2g4 两着并双写。⑤timeout 腿的 finalize 机制虽真触发(steer source=finalize + mech=finalize+callCutoffs),但 3Df5x6J 在 +753–760s 是在困惑地反复自查"is g2g4 even a check?"、NaEZcaV 在 +755–759s 手验自己的 Ng3+/Rh4 线——墙钟耗在手工棋盘重建+单着手工核验上,不是耗在"多解完整性枚举"上,归因的 premature-closure 框架对 timeout 桶方向反了。
|
|
117
|
-
>
|
|
118
|
-
> 更简单解释成立:同引擎同模型,像素→FEN 重建是随机的,5 条 run 各自落在不同的错误/欠验证棋盘(3 种不同结论),属 model_luck/感知方差轴,非引擎脚手架缺陷。归因诚实处:正确记了 reward=0 结果、finalize 机制触发、并对 NvRP4ru 自标了"掺入感知误差"——但这条自我限定恰恰揭穿了 headline:感知误差正是主因而非次因。engine_surface 过度具体(把感知方差安到 design/132 收尾脚手架头上),fix_recommendation 的"完整性对账硬门"对该失败无效。
|
|
119
|
-
>
|
|
120
|
-
> 方法论保留:置信度不到满分——我用 CC PASS(6YqqkX6,reward 1)对照,归因也已声明未采用的 usPedo3 实为 FAIL,采样口径一致;但 N=5 sema 小样本,"perception-variance vs 某种可提示词修复的行为差"需更大样本才彻底定谳。不过就本证据,verification_discipline + design/132 engine_surface 站不住,故 agree:false。
|
|
121
|
-
- **一句话**:归因把"感知/像素→FEN 重建方差"误安到 design/132 收尾脚手架;补完整性硬门对着错棋盘无效。真因 = model_luck。
|
|
122
|
-
|
|
123
|
-
---
|
|
124
|
-
|
|
125
|
-
### 3.3 build-codec — 归因 `loop_control`,复核**推翻 → `budget_asymmetry + model_reasoning_variance`(次:loop_control)**
|
|
126
|
-
|
|
127
|
-
- **原归因**:5 条 FAIL 共同机制=单轮推理时长失控吃满 wall-clock,验收环来不及收敛即被 timeout 截断(全 5 条 timeout 769-840s)。reasoning_delta 极端集中在开局 1-2 个巨型 turn(单轮 13k-21k deltas),工具间存在 100-440s 纯推理空档,死线 finalize steer 触发过晚且触发后未强制立即结束。CC=think-short-then-act 稳定往复。engine_surface=循环控制/推理预算摊分(单轮推理无软上限);fix=给单轮推理引入软预算/节奏门 + 死线 finalize 语义收紧(触发后禁开新长推理)。
|
|
128
|
-
- **复核推翻要点**(agree=false —— reason 全文):
|
|
129
|
-
> 上机核对 5 条 sema FAIL 与 CC PASS/CC r3 FAIL 的 events.jsonl / trajectory.json,归因的「测量事实」大多属实,但其核心「对比机制」被证据反驳,且低估了一个更简单的混淆项。
|
|
130
|
-
>
|
|
131
|
-
> 属实部分(证据支撑):①5 条 sema 全 ~765s timeout,开局 turn1/turn2 巨型推理 burst(HoVQ9nX turn2=21497 deltas;bRub5M6 16538;YBukKaj 13264;Whxx3Gz 20195)——VERIFIED。②工具间大空档(HoVQ9nX 439s;bRub5M6 425.6s;Whxx3Gz 379.7s;YBukKaj 234.6s;UyBgBoT 141.6/177/229.8s)——VERIFIED。③auto compaction 时间戳=span 末尾(全 5 条 compact_ts==last_ts)——VERIFIED。④单条 finalize steer 落在 429-583s——VERIFIED。⑤纯 C 的 HoVQ9nX 仍 5 工具 timeout,证语言次要——VERIFIED。⑥CC PASS 的验收环机械形态(探 gcc/python→Write comp.c→gcc 编译→运行→cat data.comp|/app/decomp→diff→Edit→重编重验→尺寸核对→清理)逐步属实——VERIFIED。
|
|
132
|
-
>
|
|
133
|
-
> 反驳点一(核心机制误述):归因称 CC PASS 走「短推理—即行动 稳定往复 / 每个思考块只中等长度」。轨迹反证:gELrHsa step3=68723 reasoning chars/345.4s gap,step4=48184/206.4s——两个巨型 burst 独占 553s(全程 753s),与 sema 的前置巨型推理同形。CC 全程 reasoning=152292 字符,远多于 sema 单条(22k-34k),CC 不是「推理更短更分散」,而是总量更大。「think-short-then-act」是叙事,非证据。CC 之所以 PASS,是因为两个前置 burst 之后 step5-16 恰好都短(3-24s)、尾部刚好塞进预算,而非节奏本质不同。
|
|
134
|
-
>
|
|
135
|
-
> 反驳点二(更简单的混淆项被低估):sema 与 CC 有效 wall-clock 预算不等。trial.log 明写 sema 端「task timeout 900.0s → TB_TIMEOUT_SEC=765」,即 sema 自削 135s;CC 跑满 900s。gELrHsa 最后一次工具 rel_s=750.6、753.1s 结束——仅在 sema 765s 预算内 ~14s 余量落地。也就是说 CC PASS 几乎用尽全部 900s 才收敛,若同受 765s 约束只是险过。预算不等(765 vs 900)是与「引擎单轮推理无软上限」并列甚至更前置的解释;归因的 fix 建议②本身要上调 finalize cushion,已隐含承认预算是承重项。
|
|
136
|
-
>
|
|
137
|
-
> 反驳点三(engine_surface 过度具体/把模型行为安到引擎头上):CC 自己的 r3 FAIL(HiCbVMP)同样 timeout(step3=81052/343.8s + 后段 19k/24k/25k bursts,853s→900s)。这说明「开局把整套算法先在内部推完」是 deepseek-v4-pro 的模型行为,CC 侧同样存在、同样会 timeout;CC 只在尾部恰好塞进时才赢。因此「sema 引擎单轮无软上限」并非 CC 所无的 sema 专属缺陷,divergence 实质是 模型推理前置 + 预算不对称 + 尾部是否命中 的方差,而非一个 CC 没有的 sema 循环控制缺陷。归因把 divergence_class 定为 loop_control 并将 engine_surface 具体指认到 sema,是把 model-behavior/budget 混淆项收敛成了引擎结论。
|
|
138
|
-
>
|
|
139
|
-
> 结论:归因的测量层可靠,但其核心区分机制(CC=短推理往复)被 CC 轨迹直接证伪,且未充分权衡「CC 多 135s 预算 + CC 自己也以同形态 timeout」这一更简单解释。方向(推理前置/预算摊分)不算全错,fix ②③也确有价值,但中心论点不成立、对引擎面归因过度,故 agree:false。轨迹坐标已核:sema events.jsonl per-turn reasoning_delta + tool_start tMs 空档全部实测;CC=trajectory.json steps(reasoning_content 字符 + timestamp gap)。
|
|
140
|
-
- **一句话**:测量层可靠,但"CC=短推理往复"被 CC 轨迹证伪(CC 反而总推理量更大);真因 = **预算不对称(sema 765s vs CC 900s)+ 模型推理前置方差 + 尾部是否命中**,loop_control 仅为次因。⚠️ **budget_asymmetry(TB_TIMEOUT_SEC=765 自削 135s)是可查的测量口径项,值得单独复核是否为公平对照的系统偏差。**
|
|
141
|
-
|
|
142
|
-
---
|
|
143
|
-
|
|
144
|
-
### 3.4 dual-lang-rust-c — 归因 `verification_discipline`,复核**推翻 → `mixed`(verification_discipline 2/5 + deadline/latency budget 3/5)**
|
|
145
|
-
|
|
146
|
-
- **原归因**:5 条 FAIL 共同机制完全一致 —— 验收自检只覆盖"功能正确"维度,遗漏"交付范围/目录清单"维度,且收尾动作反而制造/保留违规产物(动态 finalize 最后一步"rm 旧二进制后立刻重编译回来",再生成导致失败的产物)。engine_surface=`src/prompts/default.ts` Verification 段(lines 60-69)+ Verification & reporting 段(lines 530-533),只框功能维度、缺"交付范围/工作区形态"子句。fix=补交付范围/工作区卫生子句(锚 CC PASS 收尾清理行为)。
|
|
147
|
-
- **复核推翻要点**(agree=false,改判 mixed —— reason 全文):
|
|
148
|
-
> 上机抽查 5 条 sema FAIL 轨迹 + CC PASS 轨迹后,归因的核心机制对 2/5 成立但整体过度概括,3/5 归错类。
|
|
149
|
-
>
|
|
150
|
-
> 已证实(非脑补)的部分:①verifier 失败确为交付范围维度,非功能维度——test_outputs.py 断言 `os.listdir("/app/duallang")==["main.rs"]`,8afYrZq 报 found ['cmain','main','main.rs']。②CC 末条 bash 逐字为 `rm -f /app/duallang/main /app/duallang/cmain /tmp/test_*`(显式清理,终局工具调用);sema 8afYrZq/b77p7r2 末条为 `rm -f /app/duallang/X && rustc/g++ ... -o /app/duallang/X`(删后立刻重造,留 main+cmain)。③engine_surface 指认属实:default.ts Verification 段(58-69/530-533)确实只框"最终产物功能/行为正确",无交付范围/工作区卫生子句。CC 与 sema 都把二进制编进 /app/duallang,唯一差异是收尾清理有无——这点站得住。
|
|
151
|
-
>
|
|
152
|
-
> 反驳(致命):归因最强的断言"5条FAIL共同机制完全一致(非各败各样)/这不是模型随机性/差一步"被数据证伪。逐条 done 状态:8afYrZq=completed(留产物,匹配)、b77p7r2=completed(留产物,匹配)、cBLN89U=limit.timeout turns=6 toolCalls=4(留 test_macro 探针,但系被墙钟死线中途截断)、Dpi93pS=limit.timeout turns=3 **toolCalls=0**(35518 个 reasoning_delta 死磕注释嵌套语义,从未写 main.rs,verifier 报 **FileNotFoundError: /app/duallang 不存在**,纯死线/延迟爆掉,零交付物)、iRnZJmk=limit.timeout turns=24 toolCalls=27(留 18 个探针文件,同为中途截断)。
|
|
153
|
-
>
|
|
154
|
-
> 即:干净的"completed 但留产物"=纯 verification_discipline 机制仅 2/5;3/5 死于 `limit.timeout`(延迟/死线预算,与验收纪律正交),其中 Dpi93pS 根本没产出任何交付物——补一条清理子句无法修一条超时前就没写文件的 trial。cBLN89U/iRnZJmk 的"目录残留探针"被 timeout 中途截断混淆,把"缺卫生"与"被截断"两因归成一因。task 指令本身要求把 main/cmain 编进 /app/duallang(cmain 就是 prompt 指定的输出名),故"sema 弄脏目录"=任务预期行为,真正判别项只有收尾清理有无——而三条超时 trial 压根没走到 finalize。CC PASS 是 5 轮 ~15s 轻松收尾。
|
|
155
|
-
>
|
|
156
|
-
> 机制真实、fix 方向合理,但归因实质性夸大同质性并把 3/5(超时/延迟,含一条零交付)误分成同一 verification_discipline 机制。按"不确定就 agree:false",不同意。
|
|
157
|
-
- **一句话**:干净的"completed 但留产物"= 纯 verification_discipline 仅 **2/5**;**3/5 死于 limit.timeout**(延迟/死线预算,与验收纪律正交,其中一条 toolCalls=0 零交付)。补清理子句修不了超时腿。整体过度概括 → 改判 mixed。
|
|
158
|
-
|
|
159
|
-
---
|
|
160
|
-
|
|
161
|
-
## 4. 方法论小结
|
|
162
|
-
|
|
163
|
-
- **对抗复核推翻率 3/6**(board-move-solve / build-codec / dual-lang-rust-c),外加 1 题归因即判 model_luck(seq-primer-opt)、2 题归因保留(db-journal-repair 直接 agree、text-embed-rank 主体保留 + 事实修正)。即:归因 opus 单独产出的 6 条里,**只有 2 条能力缺口结论经独立上机对抗复核站住**。
|
|
164
|
-
- **双轨迹归因 + 独立复核的价值 = 防叙事脑补**。三条推翻全部因为同一类错误:归因 opus 把"叙事框架"(如 build-codec 的"CC=短推理往复"、board-move-solve 的"完整性收尾自检缺位")当结论,而复核上机读轨迹后发现:
|
|
165
|
-
- **CC 自己也以同形态失败**(build-codec 的 CC r3 同样 timeout;board-move-solve 的 CC 制胜是"正确棋盘 + 引擎枚举"的副产品,非纪律),说明归因指认的"sema 专属引擎缺陷"实为跨壳共有的模型行为。
|
|
166
|
-
- **run 桶分类经不起 result.json 核对**(board-move-solve 把 timeout 当 completed;dual-lang-rust-c 把 3/5 timeout 误并入 verification_discipline;其中一条 toolCalls=0 零交付)。
|
|
167
|
-
- **更简单的混淆项被低估**:预算不对称(build-codec 的 sema 765s vs CC 900s)、感知/像素重建方差(board-move-solve)、限时截断(dual-lang-rust-c)。
|
|
168
|
-
- **结论对 A1 的意义**:A1 硬差异集 6 题里,真正可用引擎面/提示词修收窄的能力缺口 = **2 题**(db-journal-repair 的 role.base snapshot-before-mutate 前置纪律,可确定性修;text-embed-rank 的收尾协议探针纪律,须 N 复跑验证)。其余 4 题落在方差 / 预算 / 感知轴,不宜"照 CC 锚拍修"。这印证了纪律:**中途叙事别当结论,per-trajectory 上机核证 + 独立复核是防 teaching-to-the-test 的必需闸**。
|
|
169
|
-
|
|
170
|
-
---
|
|
171
|
-
|
|
172
|
-
## 5. 数据坐标
|
|
173
|
-
|
|
174
|
-
- **workflow run id**:`wf_cabd9704-8fd`
|
|
175
|
-
- **总 token**:731408
|
|
176
|
-
- **腿数**:12 腿(6 归因 opus + 6 独立对抗复核 opus)
|
|
177
|
-
- **源文件**:`w4wuz4i1b.output`(workflow 事件流 JSONL,388 行;解析法=从末尾 `"agreed"` 前最近的 `{` 起用 `json.JSONDecoder().raw_decode`)
|
|
178
|
-
- **完成对象**:`{agreed:[text-embed-rank, db-journal-repair, seq-primer-opt], disputed:[board-move-solve, build-codec, dual-lang-rust-c]}`(agreed=复核 agree=true,disputed=agree=false)
|
|
179
|
-
- **对照基线**:sema core 1.258.2(FAIL)vs CC 2.1.201(PASS),均 deepseek-v4-pro,差异纯在 agent 壳
|
|
180
|
-
- **CC PASS 轨迹选择注**:多题指定的 r3 目录实为 reward=0 FAIL,归因均改用 cc-pro-full 的真 PASS 轨迹(db-journal-repair→azvg49V、text-embed-rank→EcY2N4u、board-move-solve→6YqqkX6、build-codec→gELrHsa、seq-primer-opt→6fM9dpS;dual-lang-rust-c 仍用 r3 的 jS67VTt PASS)
|
|
181
|
-
- **上机核证**:复核 opus 逐题 ssh(如 测试机)读 verifier ctrf / result.json / events.jsonl / trajectory.json 对轨迹逐条核证,非纸面复读
|
|
@@ -1,100 +0,0 @@
|
|
|
1
|
-
# A/B oracle 接地闸验收腿判决 — 1.259.0 vs 1.260.0(sc-03)
|
|
2
|
-
|
|
3
|
-
> 2026-07-10 · 收分判决 subagent · M2.5 基座版本决策判据(clay 拍的阶梯)
|
|
4
|
-
> 数据:sc-03 `~/sema-tb/jobs/ab-oracle-{1259,1260}-fb`(亲数逐 trial,非抄 status)
|
|
5
|
-
> reward 路径:`verifier_result.rewards.reward`(0/1);errored/timeout/无 reward 记 0 并标记
|
|
6
|
-
> 逐 trial 明细:`bench/tb-matrix/ab-oracle-1259-1260.json`
|
|
7
|
-
|
|
8
|
-
---
|
|
9
|
-
|
|
10
|
-
## 判决先行(三态)
|
|
11
|
-
|
|
12
|
-
**净增益 = +1 < +2 → 中性档(不达阶梯门)。M2.5 基座维持 1.259.0,不换 1.260/1.261。**
|
|
13
|
-
|
|
14
|
-
- 正样本 4 题合计:1.259.0 = **12/23** → 1.260.0 = **13/23**,**净 Δ = +1**。
|
|
15
|
-
- 唯一变动来自 password-recovery(1/5→2/5,Δ+1);其余三正样本(extract-elf 5/5、reshard-c4-data 4/5、corewars 2/3)**逐题 Δ=0**。
|
|
16
|
-
- N=5 下单题 ±1 属方差纪律内噪声,不构成信号。合计 +1 落在 **<+2** 区间 → 1.260.0 oracle 闸在本腿**未产生可分辨净收益**。
|
|
17
|
-
- 负样本 nginx **无降质**(5/5→5/5),walltime +12.3s(+9%,单题 N=5 小样本,不构成拖慢证据)。
|
|
18
|
-
- 结论:oracle 接地闸不掉分、不拖慢,但本腿**没测出 ≥+2 的正向净效应**,不足以支撑基座上迁。等更大 N 或第二腿直接用 1.259.0 跑。
|
|
19
|
-
|
|
20
|
-
**版本核实**:A tgz package.json = `1.259.0`,B = `1.260.0`(逐 tgz 解包核对,非信版本号 label)。
|
|
21
|
-
|
|
22
|
-
---
|
|
23
|
-
|
|
24
|
-
## 逐题通过率表(题 × 版本,x/N)
|
|
25
|
-
|
|
26
|
-
| 题 | 类 | 1.259.0 (A) | 1.260.0 (B) | Δ |
|
|
27
|
-
|---|---|---|---|---|
|
|
28
|
-
| password-recovery | POS | 1/5 | **2/5** | **+1** |
|
|
29
|
-
| extract-elf | POS | 5/5 | 5/5 | 0 |
|
|
30
|
-
| reshard-c4-data | POS | 4/5 | 4/5 | 0 |
|
|
31
|
-
| winning-avg-corewars | POS | 2/3 | 2/3 | 0 |
|
|
32
|
-
| **正样本合计** | | **12/23** | **13/23** | **+1** |
|
|
33
|
-
| nginx-request-logging | NEG | 5/5 | 5/5 | 0 |
|
|
34
|
-
|
|
35
|
-
**亲数 trial 数核对**(启动方案 = 两趟 `-k 5` + `-k 3`):全部落盘齐,无少跑。
|
|
36
|
-
- 两组各:password-recovery/extract-elf/reshard-c4-data/nginx = **5**,corewars = **3**。总 23 + 23 = **46 trial**。
|
|
37
|
-
- 46 trial 全部 `verifier_result.rewards.reward` 有值,**零 exception/timeout/errored**(无 0-记标记条目)。
|
|
38
|
-
|
|
39
|
-
逐 trial reward:
|
|
40
|
-
- pw-recovery 1259=[0,0,1,0,0] 1260=[1,1,0,0,0]
|
|
41
|
-
- extract-elf 1259=[1,1,1,1,1] 1260=[1,1,1,1,1]
|
|
42
|
-
- reshard-c4 1259=[1,1,1,1,0] 1260=[1,1,0,1,1]
|
|
43
|
-
- corewars 1259=[0,1,1] 1260=[1,0,1]
|
|
44
|
-
- nginx 1259=[1,1,1,1,1] 1260=[1,1,1,1,1]
|
|
45
|
-
|
|
46
|
-
---
|
|
47
|
-
|
|
48
|
-
## 负样本 nginx 对比(oracle 闸不该拖慢/降质无结构题)
|
|
49
|
-
|
|
50
|
-
| | 通过率 | 平均 walltime |
|
|
51
|
-
|---|---|---|
|
|
52
|
-
| 1.259.0 | 5/5 | 136.0s |
|
|
53
|
-
| 1.260.0 | 5/5 | 148.3s |
|
|
54
|
-
|
|
55
|
-
- 通过率无变化(闸不误伤无结构题)。walltime +12.3s(+9%)——单题 N=5、且 nginx 本身极短(百秒级),此差落在正常波动内,**不判定拖慢**。oracle 闸设计为「漏报无害/误 arm 至多多一轮」,与观察一致。
|
|
56
|
-
|
|
57
|
-
---
|
|
58
|
-
|
|
59
|
-
## 机制验证抽验(B 组)
|
|
60
|
-
|
|
61
|
-
**oracle 接地闸 = 1.260.0 新模块,真存在**:
|
|
62
|
-
- `dist/core/runner/grounding-signal.js` **仅 B(1.260.0)含**(4 refs),A(1.259.0)tgz 中**完全不存在**。已 wire 进 `runtask.js` 的 final-verify 门(injection #2 = 至多一次 grounding re-entry,注入 cap=2)。
|
|
63
|
-
- 模块头注释坐实设计:纯确定性、只看 tool-call ARGS(byte-level/结构 tell:checksum-family 命令等)、宁严勿宽、无单题脚手架、漏报降级为 design/132 one-shot。
|
|
64
|
-
|
|
65
|
-
**password-recovery 抽 2 trial(arming 条件核对)**:
|
|
66
|
-
- `jyBnN37`(reward 1):checksum-family tool 调用 = 10 → **gate 会 arm**。
|
|
67
|
-
- `RitC3JG`(reward 1):checksum-family = 3 → **arms**。
|
|
68
|
-
- 两 trial 结构信号充沛,注入的 R9 二次门条件满足。
|
|
69
|
-
|
|
70
|
-
**corewars 抽 1(假完成拦截)**:
|
|
71
|
-
- `ANabQA2`(reward 1)/`PrvhsYu`(reward 0)/`zkgJKb8`(reward 1):pmars/redcode 结构 tell 充沛(132/237/147),gate 会 arm。
|
|
72
|
-
|
|
73
|
-
**⚠️ 运行时触发无法从 transcript witness(如实报)**:
|
|
74
|
-
- 注入的确切句 `<system-reminder>[final verification] Your tool calls in this run worked with raw bytes, structural parsing...` 在**所有 B trial 的 sema.txt / events.jsonl 中零命中**;连 design/132 基础 `[final verification]` 注入句也是 0。
|
|
75
|
-
- 原因:harbor adapter 的 transcript 只记录**模型输出 / reasoning / tool 事件**,不记录服务端注入的 system-reminder。故闸的实际触发/拦截行为**不可从落盘 transcript 直接判读**。
|
|
76
|
-
- sema.txt 里出现的 "final verification" 文字是**模型自发 reasoning**(A/B 两版都有,非注入)——不能当作闸触发证据。
|
|
77
|
-
- 定谳:**模块代码在位 + arming 条件满足是确证的;运行时闸是否真触发/是否真拦住假完成,本腿的落盘 transcript 无法证实也无法证伪**。若需 witness 触发,须在 harbor adapter 侧打开注入-reminder 记录,或 core 侧加 `grounding_gate_fired` 结构化事件。
|
|
78
|
-
|
|
79
|
-
---
|
|
80
|
-
|
|
81
|
-
## 落盘
|
|
82
|
-
|
|
83
|
-
- 逐 trial:`bench/tb-matrix/ab-oracle-1259-1260.json`
|
|
84
|
-
- 本判决:`docs/AB-ORACLE-GATE-VERDICT-2026-07-10.md`
|
|
85
|
-
|
|
86
|
-
---
|
|
87
|
-
|
|
88
|
-
## 机制订正(主会话终审,2026-07-10)
|
|
89
|
-
|
|
90
|
-
收分腿报「运行时触发无法从 transcript witness」——**订正:证据层找错了**。触发证据不在 transcript 文本(harbor 不落服务端注入),在 sema-tb telemetry sidecar(agent/events.jsonl)的 `stats.mechanisms.finalVerifyInjections` 计数。B 组(1.260.0)全 23 trial 亲数:
|
|
91
|
-
|
|
92
|
-
| 题 | inj=2(oracle 闸重入) | inj=1(常规 R9) | inj=0 |
|
|
93
|
-
|---|---|---|---|
|
|
94
|
-
| password-recovery | 3/5 | 1/5 | 1/5 |
|
|
95
|
-
| extract-elf | 3/5 | 2/5 | 0 |
|
|
96
|
-
| reshard-c4-data | 1/5 | 4/5 | 0 |
|
|
97
|
-
| winning-avg-corewars | 0/3 | 3/3 | 0 |
|
|
98
|
-
| nginx-request-logging(负样本) | **0/5** | 5/5 | 0 |
|
|
99
|
-
|
|
100
|
-
**机制判决:闸精确按设计工作**——①结构题选择性重入(password/extract-elf 高触发=checksum/ELF 结构信号最强);②**负样本零误 arm**(nginx 全 inj=1,不重入不拖慢);③corewars 零重入待查(可能 R9 后无再 grounding 信号=服从,或 arming 窗口错过——单独小案)。效果判决不变(净 +1=中性,N=5 方差内),但机制面从「无法证」升级为「触发面精确、效果未转化为分」——下一步杠杆在 R9 文案的说服力/接地动作的强制力,非触发条件。
|
|
@@ -1,143 +0,0 @@
|
|
|
1
|
-
# 锚定缺口盘点(2026-07-09)
|
|
2
|
-
|
|
3
|
-
> 目的:可派单的锚源双轨盘点。**A 部分**=引擎「注入给模型的所有文本面」的锚源审计(CC-verbatim / CC-derived / hand-written SEMA-only 三分类);**B 部分**=CC 198 逐工具深对比(`docs/CC-TOOL-PROMPT-DEEP-DIFF-2026-07-08.md`)HIGH/MED 判决的已处置/未处置余量盘点。
|
|
4
|
-
> 背景教训:final-verification 文案曾手写无行为锚,直到 full-89 丢 9 题才补锚(`docs/FINAL-VERIFY-SURFACE-AUDIT-2026-07-09.md`)——**SEMA-only 机制的 prompt 面若无 CC 行为锚,失败要等 TB 桶暴露才被发现**。本盘点即穷举这类面,提前把「无锚」标出来。
|
|
5
|
-
|
|
6
|
-
---
|
|
7
|
-
|
|
8
|
-
## A. 手写 prompt 面盘点(锚源双轨审计)
|
|
9
|
-
|
|
10
|
-
方法:穷举引擎「注入给模型的文本面」,两类都盘 —— **(1) prompt.assembled 静态块**(system prompt 组装,`src/prompts/default.ts` + `supervisor.ts`);**(2) 运行时注入**(turn-boundary system-reminder / steer / 收尾 nudge / 子代 preamble / 工具卡片文案)。每面判分类 + 行为锚可得性 + TB 暴露 + 优先级。
|
|
11
|
-
|
|
12
|
-
分类图例:✅ **CC-verbatim**(逐字 port,有源码锚)· ⚠️ **CC-derived**(改写自 CC,有部分锚,注明偏离点)· 🔴 **hand-written SEMA-only**(手写,无 CC 逐字锚)。
|
|
13
|
-
|
|
14
|
-
### A.1 静态 system prompt 块(`src/prompts/default.ts` / `supervisor.ts`)
|
|
15
|
-
|
|
16
|
-
| # | 注入面 | 坐标 | 分类 | 行为锚可得性 | TB 暴露 | 优先级 |
|
|
17
|
-
|---|---|---|---|---|---|---|
|
|
18
|
-
| S1 | `DEFAULT_SYSTEM_PROMPT`(Truth/Action/Tool use/Verification/Hierarchy/Final answer) | default.ts:26-88 | ⚠️ CC-derived | 蒸馏自 CodeWhale「宪法」+ Anthropic「right altitude」,非 CC 逐字;结构对齐但措辞 SEMA 自拟 | 间接(neutral base,TB 用 CODE_AGENT/FULL_BODY) | 低(已稳定基座) |
|
|
19
|
-
| S2 | `CODE_AGENT_PROMPT`(Engineering/Care/Tool/Git/Verification&reporting) | default.ts:485-548 | ⚠️ CC-derived | 蒸馏自 CC 生产 coding prompt(去品牌);其中 **Git 段**(:530-536)= e9f6885 从 CC198 Bash 卡迁入(逐字锚),**snapshot-before-mutate**(:517)= A1 归因批 cc-198 逐字锚(db-journal-repair PASS trace),**Verification 段**(:540)= CC-derived | 是(A1 归因 db-journal 族) | 低(主体已锚过) |
|
|
20
|
-
| S3 | `MEMORY_SAFETY` / `MEMORY_HYGIENE` | default.ts:98-122 | ⚠️ CC-derived | 改写自 CodeWhale `memory_guidance.md`;非 CC | 否 | 低 |
|
|
21
|
-
| S4 | `CYBER_RISK` | default.ts:137 | ✅ CC-verbatim | CC `cyberRiskInstruction.ts` 逐字(Safeguards-owned) | 否 | — |
|
|
22
|
-
| S5 | `URL_SAFETY` | default.ts:144 | ✅ CC-verbatim | CC `prompts.ts:183` 逐字 | 否 | — |
|
|
23
|
-
| S6 | `SUMMARIZE_TOOL_RESULTS` | default.ts:151 | ✅ CC-verbatim | CC `constants/prompts.ts:841` 逐字 | 否 | — |
|
|
24
|
-
| S7 | `EXECUTION_ENVIRONMENT`(隔离/权限契约) | default.ts:161-171 | ⚠️ CC-derived | CC sandbox prompt 的 SEMA 适配(CC 的 Seatbelt/allowedHosts 是产品特定,SEMA 换成 managed-container/policy-gate 契约);逐条有 CC 概念锚但措辞自拟 | 是(TB 无 egress 沙箱烧预算,黑板 [442]) | 低(已带部署事实) |
|
|
25
|
-
| S8 | `WORKTREE_NOTICE` | default.ts:179-180 | 🔴 SEMA-only | **自撰(clean-room)**;CC # Environment 有 worktree 短句(:440 已 port),但这段完整 NOTICE 是 SEMA 手写 | 否 | **低-中**(isolation:worktree 才挂;行为锚=CC # Environment worktree 句已有,可考据补齐但非缺失) |
|
|
26
|
-
| S9 | `PROJECT_CONTEXT_FRAMING` | default.ts:190-191 | 🔴 SEMA-only | **自撰**;design/113 §4.5,活体验证驱动(Qwen3.5 project-passive 现象)。CC 无对等(CC 的 CLAUDE.md 注入是 data-only 无此 framing) | 否 | 低(小模型专属;有 SEMA 自证据但无 CC 锚) |
|
|
27
|
-
| S10 | `harnessContext`(system-reminder/untrusted/context-mgmt/hooks 行) | default.ts:203-236 | ⚠️ CC-derived | design/64 §6.2/§6.3;system-reminder+untrusted 两句概念来自 CC,context-management 两态句 SEMA 自拟(§25 诚实两态) | 否 | 低 |
|
|
28
|
-
| S11 | `buildScratchpadSection`(# Scratchpad Directory) | default.ts:309-324 | ✅ CC-verbatim | CC 2.1.198 `MZn` bundle L590674,活体 byte-match | 否 | — |
|
|
29
|
-
| S12 | `buildGitSnapshot`(# git status 快照) | default.ts:341-375 | ✅ CC-verbatim | CC 2.1.198 bundle pretty.js:229300-229312,template+截断文案逐字 | 否 | — |
|
|
30
|
-
| S13 | `buildEnvironmentContext`(# Environment 逐行) | default.ts:415-472 | ⚠️ CC-derived | CC `computeSimpleEnvInfo` 对齐;多数逐行有 CC 锚(worktree 句 :440 逐字),sandbox 族(:448-463)= 黑板 [442] SEMA 自撰(egress/pkg-source/capabilities 无 CC 对等) | 是(sandbox egress=none 句治 TB 下载烧预算) | 低(已带事实且已锚过) |
|
|
31
|
-
| S14 | `AUTONOMY_SELF_AUDIT` / `ANTI_VERBOSITY` / `TOOL_PARAM_JSON` | default.ts:560-576 | ⚠️ CC-derived | design/102,de-brand 自 CC `autonomy_append`/`anti_verbosity`/`tool_param_json` | 否 | 低 |
|
|
32
|
-
| S15 | `SUPERVISOR_PROMPT` | supervisor.ts:26 | 🔴 SEMA-only | design/80 supervisor,人在环监督;CC 无对等(CC 无 supervisor 角色面) | 否(supervisor 场景非 TB 主跑面) | 低 |
|
|
33
|
-
| S16 | `ORCHESTRATION_GUIDANCE`(run_workflow how-to) | supervisor.ts:73 | ⚠️ CC-derived | design/98 S8a;概念来自 CC Workflow/Task 编排,措辞 SEMA 自拟 | 间接(见 B 部分 HIGH-1) | 低(工具卡已带 opt-in 闸) |
|
|
34
|
-
| S17 | `GOAL_COMPLETION_GUIDANCE` | supervisor.ts:141 | 🔴 SEMA-only | design/96 S7 goal 模式;CC 无对等专段 | 否 | 低 |
|
|
35
|
-
| S18 | `ORCHESTRATION_AWARENESS`(high-intensity nudge) | supervisor.ts:158 | 🔴 SEMA-only | design/96 §D/S4 ultra 档;CC 无对等(CC 无按推理档注入的 thoroughness 段) | **可能**(高推理档 TB 题;thoroughness/self-verify 与 final-verify 失败族相邻) | **中**(见 top3) |
|
|
36
|
-
|
|
37
|
-
### A.2 运行时注入面(turn-boundary system-reminder / 收尾 nudge / 子代 preamble)
|
|
38
|
-
|
|
39
|
-
| # | 注入面 | 坐标 | 分类 | 行为锚可得性 | TB 暴露 | 优先级 |
|
|
40
|
-
|---|---|---|---|---|---|---|
|
|
41
|
-
| R1 | `TODO_REMINDER_BASE` / `TASK_REMINDER_BASE`(工具未用提醒) | turn-attachments.ts:386-392 | ✅ CC-verbatim | CC 2.1.198 attachments 逐字(尾句 drop 已双证 G1-tail capture) | 否 | — |
|
|
42
|
-
| R2 | `renderChangedFiles`(外部改动重读提醒) | turn-attachments.ts:422-428 | ⚠️ CC-derived | CC getChangedFiles 语义;list-only v1(CC 有 snippet),两句 load-bearing 指令对齐、整体措辞 SEMA 自拟 | 否 | 低 |
|
|
43
|
-
| R3 | `renderBackgroundTasks`(post-compact 后台任务通告) | turn-attachments.ts:440-460 | ⚠️ CC-derived | per-task 状态短语 CC 2.1.198 `vbl` 逐字(:445-452);**header 句 SEMA 自撰**(CC 渲染器是 UI 面板无 model-facing header) | 否 | 低 |
|
|
44
|
-
| R4 | `renderToolsDelta`(deferred 工具就绪) | turn-attachments.ts:472-478 | ⚠️ CC-derived | CC `deferred_tools_delta` template;**中段有意反转**(CC 宣告 discoverable/schema 仍 deferred,SEMA 宣告 materialized/schema 已 live) | 否 | 低(偏离已记档) |
|
|
45
|
-
| R5 | `AGENT_CONCURRENCY_NOTE` / agent_listing headers | turn-attachments.ts:481-493 | ✅ CC-verbatim(**并发句条件除外,见注**) | CC 2.1.198 `agent_listing_delta` 逐字(考据档 showConcurrencyNote)。**⚠️ 订正(AGENT-TYPES 抽查 F6,PARITY-SPOT-AGENT-TYPES-2026-07-10.md):header 逐字对齐属实且「仅 isInitial 出并发句」这半边已对齐(CC pretty.js:479512+599212-599216 亲读同),但并发句的*出现条件*=sema 自定,非 CC 语义等价——CC 条件=`isInitial && Oi()!=="pro"`(订阅档,与 roster 大小无关),sema=`initial && entries.length>1`(roster 大小)。sema 无订阅概念属合理适配,但「考据档 showConcurrencyNote semantics」字样易被误读为语义完全等价 ⇒ 此为记档订正非代码修。** | 否 | — |
|
|
46
|
-
| R6 | `renderMcpInstructionsDelta` | turn-attachments.ts:555-571 | ⚠️ CC-derived | CC `mcp_instructions_delta` headers 逐字;有意偏离=untrusted fence(CC 注 raw) | 否 | 低 |
|
|
47
|
-
| R7 | `PLAN_MODE_FULL_BODY` / `PLAN_MODE_SPARSE_BODY` | turn-attachments.ts:576-581 | ⚠️ CC-derived | 首句 CC messages.ts:3407 逐字(含 CC 自己的 "supercedes" 拼写),尾句 SEMA 适配(ExitPlanMode→人审,CC plan-file 子句无对等) | 否 | 低 |
|
|
48
|
-
| R8 | **graceful-finalize nudge**(预算将尽,写出交付) | runtask.ts:1305 | 🔴 SEMA-only | design/130 P2;**手写无 CC 锚**(CC 无按 budget/wall-clock 注入的收尾催办段)。SEMA-specific 机制 | **可能**(预算面题;与 final-verify 早死族边界重叠) | **中**(见 top3) |
|
|
49
|
-
| R9 | **final-verification nudge**(收尾自检:REAL entry point + A/B/C/E 面选择) | runtask.ts:1980-2010 | 🔴 SEMA-only(**已补锚**) | design/132 机制 SEMA-only,但**文案已经历补锚**:主体 A1 归因 cc-198 逐字锚(text-embed-rank/db-journal PASS trace),A/B/C/E 面选择 = cc-pro-r3-full 6 题 PASS 收尾段跨题纪律(4c4f1c6);fresh-shell/逐维度独立复核=诚实排除 | **是(高)**:full-89 丢 9 题全出自此面(FINAL-VERIFY-SURFACE-AUDIT) | 低(**本轮已处置**,留 N=5 读数验增益) |
|
|
50
|
-
| R10 | `VERIFICATION_PROMPT` / `STATIC_VERIFICATION_PROMPT`(verifier 子代 role) | verify.ts:26-80 | ⚠️ CC-derived | CC `verification` agent 蒸馏(:14 注);「try to BREAK / 两失败模式 / 读代码≠验证」概念对齐,措辞 SEMA 扩写 | 是(verifier 是 TB 判分链关键) | 低(核心判分器,已多轮 dogfood) |
|
|
51
|
-
|
|
52
|
-
### A.3 🔴 hand-written SEMA-only 项汇总 + top3 高优先
|
|
53
|
-
|
|
54
|
-
**🔴 项共 8 个**(S8 WORKTREE_NOTICE / S9 PROJECT_CONTEXT_FRAMING / S15 SUPERVISOR_PROMPT / S17 GOAL_COMPLETION / S18 ORCHESTRATION_AWARENESS / R8 graceful-finalize / R9 final-verification〔已补锚〕/ 其中 S8 严格说是「CC 有短句锚、完整 NOTICE 手写」的边界项)。
|
|
55
|
-
|
|
56
|
-
**按「TB 暴露 × 无锚」排序的 top3 高优先**:
|
|
57
|
-
|
|
58
|
-
1. **R9 final-verification nudge**(runtask.ts:1980) — TB 暴露最高(full-89 丢 9 题全在此面),但**本轮已补锚并落修**(4c4f1c6,1.258.6)。→ 无需新派单,**只需等 N=5 复跑读数**验证 A/B/C/E 增益是否落地(≥4/5=收复 / ≤1/5=真缺口)。列 top1 是因它是「无锚→暴露→补锚」教训的原型,须闭环验收。
|
|
59
|
-
|
|
60
|
-
2. **R8 graceful-finalize nudge**(runtask.ts:1305) — 🔴 纯手写无 CC 锚,且与 R9 早死族**边界重叠**(都在收尾/预算将尽窗口触发)。风险:两个收尾 nudge 措辞若不协调,可能相互稀释或诱导「赶紧交付」压过「先验收」。**建议派单**:①盘 CC 有无 budget-approaching 行为模式可考据(大概率无→记 deliberate SEMA 机制);②与 R9 做协调审计(触发时序/措辞不冲突),写定向测试。
|
|
61
|
-
|
|
62
|
-
3. **S18 ORCHESTRATION_AWARENESS**(supervisor.ts:158) — 🔴 手写 high-intensity thoroughness nudge,高推理档挂载,主题(thoroughness/self-verify)与 final-verify 失败族相邻。TB 暴露=可能(高推理档题未逐一核 finalVerify 交互)。**建议派单**:核 CC 是否按推理档注入对等段(大概率无);若 SEMA-only 则确认它不与 R9/S2 verification 段重复表述、不诱导过度自证。
|
|
63
|
-
|
|
64
|
-
> **诚实标注**:S8/S9/S15/S17 四项虽 🔴,但**TB 暴露=否**(supervisor/goal/project-context/worktree 非 TB 主跑面),优先级低——不进 top3。它们的锚定缺口是「潜在」而非「已暴露」,记档待相应场景进 TB 再评。
|
|
65
|
-
|
|
66
|
-
---
|
|
67
|
-
|
|
68
|
-
## B. CC 198 工具面深对比余量盘点
|
|
69
|
-
|
|
70
|
-
源:`docs/CC-TOOL-PROMPT-DEEP-DIFF-2026-07-08.md`(HIGH 2 / MED 24)。对照 git log(0cb4161 及之后)标已处置/未处置。
|
|
71
|
-
|
|
72
|
-
**关键发现**:深对比后有**三批**处置,不止 0cb4161:
|
|
73
|
-
- `0cb4161`(CC 锚 port 批):HIGH-1 + M2/M4〔判保留〕/M5/M7/M8/M9/M12
|
|
74
|
-
- `e9f6885`(工具 desc 全面对齐 CC198,**推翻「保留长版」判决,CC=基准**):M3/M4〔改判跟随 CC〕/M10/M16/M18/M20/M21/M15〔首句〕
|
|
75
|
-
- `71c5b2a`(design/139 §4.5 记档):HIGH-2/M23/M11/M14〔核心语义〕+ Glob/Grep 负空间,全部**记档为 deliberate_divergence**(消记档真空)
|
|
76
|
-
- `47f498e`:M-邻(TodoWrite allDone 清空 + stale 白名单,checklist)
|
|
77
|
-
|
|
78
|
-
### B.1 逐项状态表
|
|
79
|
-
|
|
80
|
-
| # | 工具·维度 | 状态 | 处置 commit / 说明 |
|
|
81
|
-
|---|---|---|---|
|
|
82
|
-
| HIGH-1 | Workflow opt-in 闸 | ✅ **已处置** | 0cb4161;run-workflow-tool.ts:246 现有「ONLY call when explicitly opted into」+ 负向兜底转 Agent。**留 P3 探针**(乱触发率行为验证)未跑 |
|
|
83
|
-
| HIGH-2 | SendMessage 主语义 | ✅ **已处置(记档)** | 71c5b2a §4.5,判 deliberate_divergence(SEMA 无常驻多队友/main 回流,design/122 只建 completed-bg-resume 底座) |
|
|
84
|
-
| M2 | Read「勿重读刚编辑」负空间 | ✅ 已处置 | 0cb4161(fs/index.ts) |
|
|
85
|
-
| M3 | Edit info_density(4-bullet 精简) | ✅ 已处置 | e9f6885(砍短到 CC198 lean 卡) |
|
|
86
|
-
| M4 | Write info_density | ✅ 已处置(改判) | 初判保留长版,e9f6885 **推翻→跟随 CC lean**;*.md/emoji 戒律迁 CODE_AGENT_PROMPT 不丢 |
|
|
87
|
-
| M5 | NotebookEdit cell_id 锚 | ✅ 已处置 | 0cb4161(前提探针=P5,若 Read .ipynb 带 tag) |
|
|
88
|
-
| M6 | Agent→SendMessage 转介链 | ✅ 已处置 | 0cb4161(subagent.ts) |
|
|
89
|
-
| M7 | Agent error_recovery(子代消息转述) | ✅ 已处置 | 0cb4161 |
|
|
90
|
-
| M8 | TaskUpdate 闭环调度句 | ✅ 已处置 | 0cb4161(task-list.ts) |
|
|
91
|
-
| M9 | TaskUpdate `## Examples` 5 条 | ✅ 已处置 | 0cb4161(最高杠杆残差) |
|
|
92
|
-
| M10 | TaskUpdate owner-claim/addBlockedBy | ✅ 已处置 | e9f6885(Fields 段 + CC 逐字 bullets) |
|
|
93
|
-
| M11 | TaskStop agent-team/named 寻址 | ⚠️ **已记档不 port** | 71c5b2a;SEMA 无 agent-team 编制→deliberate_divergence。**留 P6 探针**(design/129 named-agent 是否支持) |
|
|
94
|
-
| M12 | TaskGet `## Tips` | ✅ 已处置 | 0cb4161 |
|
|
95
|
-
| M13 | TaskList 两节结构(认领判据显著度) | ⚠️ **部分/未决** | e9f6885 触碰 task-list.ts,但深对比要求「先跑 hardness bench 看单段 vs 分节」——**bench 未见记录** |
|
|
96
|
-
| M14 | CronList job.prompt | ✅ 已处置(记档) | 71c5b2a 核心语义不改(边界正确);**留 P9 壳侧探针** |
|
|
97
|
-
| M15 | CronCreate 7-day 告知句 | ⚠️ **部分** | e9f6885 对齐 Cron 首句;但「告知用户 N 天上限」句依赖 **P8 探针**(daemon 是否设 TTL)未跑 |
|
|
98
|
-
| M16 | SendMessage info_density 三件 | ✅ 部分处置 | e9f6885(summary maxLength:200);其余随 HIGH-2 deliberate 决策 |
|
|
99
|
-
| M17 | Monitor 双模式 schema | ❌ **未处置(needs_probe)** | 198 静态面无 Monitor(锚缺失)。P1/P2 探针 |
|
|
100
|
-
| M18 | WebSearch desc 瘦身 | ✅ 已处置 | e9f6885(砍到 CC198 lean);**留 P11 探针**验 DeepSeek 仍稳出 Sources |
|
|
101
|
-
| M19 | ExitWorktree discard 闸 | ❌ **未处置** | 能力收窄(SEMA 只 `keep?`)。**留 P12 探针**(CC discard 对脏树是否真 REFUSE)后决定补 `discardChanges?` |
|
|
102
|
-
| M20 | Worktree path/CWD 缓存句 | ✅ 已处置 | e9f6885(path 消误期句 + CWD 缓存) |
|
|
103
|
-
| M21 | Worktree `When NOT to Use` 三条 | ✅ 已处置 | e9f6885(三条 + Scope 块) |
|
|
104
|
-
| M22 | EnterWorktree path 入参(进已存在) | ❌ **未处置** | 能力面非措辞;有意未实现只 refuse。**留探针**评估模型是否真用 path-switch |
|
|
105
|
-
| M23 | ExitPlanMode allowedPrompts | ⚠️ **已记档不 port** | 71c5b2a §4.5;疑与 SEMA ToolPolicy/plan_review 同族,KeyContract 有雏形未建。deliberate_divergence + **P13 探针档** |
|
|
106
|
-
| M24 | ReportFindings 结构化工具 | ⚠️ **已记档不 port** | 架构偏离(review=带外 gate/role/council);建议记档已在 §4.5 覆盖。**留 P14**(需 host UI 消费方) |
|
|
107
|
-
|
|
108
|
-
### B.2 未处置余量统计
|
|
109
|
-
|
|
110
|
-
- **完全未处置(实质残差)**:**M17 / M19 / M22** — 3 项,全属 **worktree/Monitor 能力面**,且全部 `needs_probe`(198 静态锚缺失或需 CC 活体行为坐实)。
|
|
111
|
-
- **部分/未决(prompt 面已动、待 bench/探针闭环)**:**M13 / M15 / M18** — 3 项(M13 缺 hardness bench;M15/M18 prompt 已对齐但依附探针验证)。
|
|
112
|
-
- **已记档不 port(deliberate_divergence,非缺口)**:HIGH-2 / M11 / M14 / M23 / M24 — 5 项,已在 71c5b2a §4.5 消记档真空,**不入修复队列**。
|
|
113
|
-
- **已实质处置**:14 项(HIGH-1 + M2/M3/M4/M5/M6/M7/M8/M9/M10/M12/M16/M20/M21)。
|
|
114
|
-
|
|
115
|
-
> **口径**:严格「未处置且成立」= **M17/M19/M22(能力面)+ M13(bench 未跑)= 4 项实质余量**;M15/M18 是「prompt 已改、探针未跑」的 2 项验证余量。所有实质余量都**先过探针**才动工(深对比 §5 硬要求)。
|
|
116
|
-
|
|
117
|
-
### B.3 下一批工具面锚定批建议(按 TB 关联度排序)
|
|
118
|
-
|
|
119
|
-
深对比的实质余量**全部 TB 关联度低**(worktree/cron/monitor 均非 full-89 主跑面;TB 失败桶=shell-gap/verification-面/daemon 族,与这些工具面无交集)。因此下一批的排序**不是**按「工具面残差大小」,而是按「TB 关联度」——结论:**工具面残差批应让位给 A 部分 R8/R9/S18 收尾-验证面**,后者才碰 TB 失败桶。
|
|
120
|
-
|
|
121
|
-
**建议首批(3-5 项,TB 关联度降序)**:
|
|
122
|
-
|
|
123
|
-
1. **[A·R9 闭环] final-verification N=5 复跑读数验收** — TB 关联最高(丢 9 题源头),1.258.6 已落修,**只差读数**。首要动作。
|
|
124
|
-
2. **[A·R8+R9 协调] graceful-finalize × final-verify 收尾双 nudge 审计** — 中批;两个收尾窗口 SEMA-only nudge 的触发时序/措辞协调 + 定向测试。碰预算面 TB 桶。
|
|
125
|
-
3. **[A·S18] ORCHESTRATION_AWARENESS 与 verification 段去重审计** — 小修;高推理档 thoroughness nudge 是否与 R9/S2 重复表述。
|
|
126
|
-
4. **[B·M13] TaskList 单段 vs 分节 hardness bench** — 小批;深对比唯一「prompt 面未决且要求 bench」的项,多-agent 认领判据显著度。TB 关联=多-agent 场景(当前 TB 单代理为主,关联低)。
|
|
127
|
-
5. **[B·M17/M19/M22 探针腿] worktree/Monitor 能力面 CC 活体探针** — 中批;三项 needs_probe 合并一腿(现行 CC 会话取 Monitor schema + worktree discard/path 行为),坐实后再决定补否。TB 关联=低,可押后。
|
|
128
|
-
|
|
129
|
-
> **切片纪律**:1-3 是 A 部分收尾-验证面(碰 TB 桶,fable 亲改),4-5 是 B 部分工具面残差(不碰 TB 桶,可押后/探针先行)。首批优先跑满 1-3。
|
|
130
|
-
|
|
131
|
-
---
|
|
132
|
-
|
|
133
|
-
## 定谳(报告摘要)
|
|
134
|
-
|
|
135
|
-
**A 部分**:🔴 hand-written SEMA-only 项 **8 个**;top3 高优先(按 TB 暴露×无锚)=①**R9 final-verification**(暴露最高,本轮已补锚,待 N=5 读数闭环)②**R8 graceful-finalize**(纯手写无锚,与 R9 收尾族重叠,需协调审计)③**S18 ORCHESTRATION_AWARENESS**(高推理档 thoroughness,疑与 verification 段重复)。其余四项(S8/S9/S15/S17)🔴 但 TB 未暴露,优先级低。
|
|
136
|
-
|
|
137
|
-
**B 部分**:深对比 HIGH 2/MED 24 中,**实质未处置余量 = 4 项**(M17/M19/M22 worktree/Monitor 能力面 + M13 TaskList bench),另 2 项(M15/M18)prompt 已改待探针;5 项(HIGH-2/M11/M14/M23/M24)已记档为 deliberate_divergence 非缺口。**建议首批**(TB 关联降序)=①R9 N=5 读数验收 ②R8×R9 收尾双 nudge 协调审计 ③S18 去重审计 ④M13 TaskList hardness bench ⑤worktree/Monitor 探针腿。核心判断:**工具面残差 TB 关联全低,首批应押注 A 部分收尾-验证面**(唯一碰 TB 失败桶的面)。
|
|
138
|
-
|
|
139
|
-
---
|
|
140
|
-
**订正(2026-07-09,R8-R9-FINALIZE-COORDINATION 审计后)**:R8 graceful-finalize 分类从「🔴手写无锚」订正为「**deliberate SEMA-only** + CC 行为动机旁证(CC 跨 3 题 method-cost 收尾纪律的墙钟维度投影;CC 无 deadline 感知,满墙 PASS=迭代到被硬切,无 deadline 锚可取=诚实结论)+ TB 活体验证触发正确」。R8×R9 协调审计=互补非冲突(不同通道/正交内容/R8 前置内联 R9 回声承接极限预算降级;活体双 latch 同 task 证据)。遗留记档:R9 注入无 wire echo(events 流不可见,仅 stats latch)= B 探针候选。
|
|
141
|
-
|
|
142
|
-
**订正②(2026-07-09,S18-THOROUGHNESS-AUDIT 后)**:S18 从 top3 降级为无罪记档——①CC 确认无对等 prose 段(ultrathink 只注一句 effort meta,强度走 API 参数),S18=诚实的 SEMA-only 推理姿态补全,非 teaching-to-the-test;②措辞全为证伪/找失败/要证据方向,恰是自一致陷阱解药非放大器,与 R9 正交互补;③决定性:TB 抽 3 题(9 题早死集)prompt.assembled 均无 mode.awareness——full-89 非 ultra 档,S18 不在案发现场。遗留定向观察:未来 TB 增设 ultra 档腿时评 S18×R9 同场(预测互补低风险)。至此 A 部分 top3 全处置:R9 已修(1.258.6)/R8 定谳 deliberate+旁证/S18 无罪不在场;余 S9(旧模型特调未对 deepseek 复验)列低优观察。
|
|
143
|
-
|