dsh-cot-anchor 0.4.1 → 0.4.3
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +18 -99
- package/lib/index.js +670 -71
- package/lib/trace-runtime.js +26 -0
- package/lib/trace.js +292 -0
- package/package.json +1 -1
- package/tools/apply-softcut-port.mjs +23 -2
package/README.md
CHANGED
|
@@ -1,70 +1,39 @@
|
|
|
1
1
|
# dsh-cot-anchor
|
|
2
2
|
|
|
3
|
-
|
|
3
|
+
做这个插件的起因很直接:想弄清楚人不介入代码细节时,模型靠什么机制约束自己的思考,以及怎么验收它确实做对了。它盯生成途中那些「看着在忙、其实没往前走」的信号——原地重复、伪工具调用、无意义的数字流、过长的思维链,命中就切断当前生成、让回合从断点接着跑。判据全部落在本地能机械计算的字符串信号上,不额外调模型;判定阈值和误拦截是我反复调的部分,早期词典太宽会误截断正常思考,后来靠收紧词典、滑窗长度和匹配次数缓解。成本在一个约 924 万 token 的真实长会话上复算过,口径和复算方法都写在文档里;代码借助 AI 协作完成,装机实测由我逐版做。
|
|
4
4
|
|
|
5
|
-
|
|
5
|
+
DeepSeek Harness(DSH)插件,治的是一类特定的模型毛病:思考着思考,但没在推进。表现为反复重新推导已经得出的结论、把工具调用写成纯文本、原地重复同一段话、输出无意义的递增数字流。
|
|
6
6
|
|
|
7
|
-
|
|
8
|
-
2. **生成中途打断(软切)**:生成过程中每 32 个字符检查一次,发现打转 / 原地重复 / 伪工具调用 / 数字流就立即切断本次请求,把已生成部分作为正常消息落盘、排好结论锚点,让回合从断点续跑——不会因为一次误判丢掉整轮工作。
|
|
7
|
+
它做的事是在生成途中盯着这些信号:每生成一小段就按本地规则检查一次,命中就切断这一次生成,把已经写出来的部分作为正常消息落盘,让回合从断点续跑,不会因为一次误判丢掉整轮工作。判定不调用模型,也不改写会话里已有的内容。外部插件也可以向它请求软切,过长的思维链同样能触发。
|
|
9
8
|
|
|
10
9
|
它不解决一切长任务问题,只解决「单流内思考链极度冗余、结论反复重新发现」。跨步骤的折返跑(同一结论在十几步里重推)不在能力范围内,那是姊妹插件 [dsh-step-governor](https://github.com/JiewiW/dsh-step-governor) 的职责。
|
|
11
10
|
|
|
12
11
|
## 快速开始
|
|
13
12
|
|
|
14
13
|
```sh
|
|
15
|
-
dsh plugin --profile <你的profile> add github:JiewiW/dsh-cot-anchor#v0.
|
|
14
|
+
dsh plugin --profile <你的profile> add github:JiewiW/dsh-cot-anchor#v0.4.2
|
|
16
15
|
```
|
|
17
16
|
|
|
18
|
-
重启实例后设置页出现「COT
|
|
19
|
-
|
|
20
|
-
## 工作方式
|
|
21
|
-
|
|
22
|
-
```
|
|
23
|
-
模型思考 → 工具执行 → [插件] 摘出已成立的结论插回上下文 → 下一步思考
|
|
24
|
-
↑
|
|
25
|
-
只在工具边界注入
|
|
26
|
-
```
|
|
27
|
-
|
|
28
|
-
注入消息以 `user` 角色追加在工具结果之后、下一次请求之前,尾部追加写入会话日志,不改写已有内容,因此不会打穿前缀缓存。
|
|
17
|
+
重启实例后设置页出现「COT 锚点」标签即生效。软切需要内核支持,见[兼容性](#兼容性)。
|
|
29
18
|
|
|
30
19
|
## 成本
|
|
31
20
|
|
|
32
|
-
|
|
33
|
-
| --- | --- |
|
|
34
|
-
| 默认(结论注入开启,其余关闭) | 每个工具结果后一条短消息,上界 660 字符(3 条 × 220 字);无额外模型调用 |
|
|
35
|
-
| 命令执行纪律提醒 | 每轮一次、随运行时上下文快照("Current runtime context…")注入,位于记忆规则之后;单条全文固定约 380 token(字符估算),作为稳定前缀段参与上下文,不再随工具调用堆叠 |
|
|
36
|
-
| 开启 LLM 提炼结论(默认关) | 每个助手回合**多一次**小模型调用 |
|
|
37
|
-
| 开启打转 / 重复等判定 | 纯本地字符串计算,零 token 成本;可能增加少量回合数 |
|
|
38
|
-
| 开启 CoT 静默采集 | 每个助手回合留一条本地样本;默认关闭 |
|
|
39
|
-
|
|
40
|
-
注入消息会随之后续请求的上下文一同发送,因此持续占用少量上下文窗口。按中英混排估算,660 字符约合 200–500 token 量级——相对于一次工具往返的上下文可以忽略,但它在**每一步**都会累积。注入以尾部追加方式写入会话日志,不改写已有内容,因此不会打穿前缀缓存:除新追加的一块外,此前内容始终是稳定前缀。新追加块在其首次出现的那次请求上按未命中计费一次,此后转为缓存命中——这一点与文本是否固定无关。推理锚点每次不同,其排列顺序仅为内容组织上的一致性,不影响缓存行为(自 411cb74/v0.2.2 起命令执行纪律已改走运行时上下文快照的固定段,不再参与本次工具注入)。
|
|
21
|
+
判定本身是本地字符串计算,不额外调模型。少数需要写回上下文的消息采用尾部追加,不改写已有内容,因此不会打穿前缀缓存。
|
|
41
22
|
|
|
42
|
-
|
|
23
|
+
早期版本在一轮约 924 万 token 的真实长会话上复算过注入占比,那是旧机制下的历史数据;字符换算 token 用的是启发式估算,不是 tokenizer 实测。口径、修正与限定见 [docs/cot-anchor-prefix-cache-claim-correction.md](docs/cot-anchor-prefix-cache-claim-correction.md) 与 [RELEASE-NOTES.md](RELEASE-NOTES.md),不代表当前版本的开销。
|
|
43
24
|
|
|
44
|
-
##
|
|
25
|
+
## 能力边界
|
|
45
26
|
|
|
46
|
-
-
|
|
27
|
+
- 软切只看当前一次生成流,进入下一步计数归零。治得了单流内退化,治不了跨步骤折返跑。
|
|
47
28
|
- 软切不减少回合步数。长任务账单的大头是「步数 × 每步膨胀的上下文重读」,步数治理请用 step-governor。
|
|
48
|
-
-
|
|
49
|
-
-
|
|
50
|
-
|
|
51
|
-
> 以下统计数据自 **v0.2.1 之前的机制**采集:当时命令执行纪律是随每次工具执行后剥出的独立 `user` 消息(`source.summary = cot-anchor: exec-discipline`)与推理锚点同车注入。**自 v0.2.1 起(并入 411cb74 迁移后)**,纪律不再随工具注入,而是注册为运行时上下文快照的一个固定段(每轮出现一次、位于记忆规则之后、用户唠叨之前),不再按工具条数线性堆叠;下述注入量只是旧机制的上限参照。
|
|
29
|
+
- 模型可能知道自己在空转却停不下来——实测出现过思考中自述「I'm burning turns, let me stop」之后继续生成下一条探索路线。软切的前提是能机械识别出打转,自知不构成刹车。
|
|
30
|
+
- 每回合的软切次数有内核侧预算上限,打满后启发式判定不再触发,高置信的重复仍照常拦截,避免误判把一次正常生成反复掐断。预算事件在会话日志里可观测。
|
|
52
31
|
|
|
53
|
-
|
|
32
|
+
## 兼容性
|
|
54
33
|
|
|
55
|
-
|
|
34
|
+
0.1.5-rc.3 起内核移除了软切所需的 `agent/soft-cut` 钩子,这一能力会静默失效;插件在启动日志和设置页顶部明确提示当前内核是否支持,以设置页显示为准,不要凭开关是开的就认为在生效。
|
|
56
35
|
|
|
57
|
-
|
|
58
|
-
|
|
59
|
-
| 能力 | 支持的 DSH 版本 |
|
|
60
|
-
| --- | --- |
|
|
61
|
-
| --- | --- |
|
|
62
|
-
| 结论注入、设置页 | 0.1.5 起全部版本 |
|
|
63
|
-
| 生成中途打断(软切) | 仅 0.1.5-rc.1 / rc.2 开箱可用 |
|
|
64
|
-
|
|
65
|
-
0.1.5-rc.3 起内核移除了软切所需的 `agent/soft-cut` 钩子,该能力会静默失效;插件在启动日志和设置页顶部明确提示当前内核是否支持——**以设置页显示为准**,不要凭开关是开的就认为在生效。
|
|
66
|
-
|
|
67
|
-
新版内核可用随包工具把软切机构移植回去(带版本与哈希自检,幂等、可回滚,不符自动还原):
|
|
36
|
+
新版内核可以用随包工具把软切机构移植回去,带版本与哈希自检,幂等、可回滚,不符自动还原:
|
|
68
37
|
|
|
69
38
|
```sh
|
|
70
39
|
node node_modules/dsh-cot-anchor/tools/apply-softcut-port.mjs --check # 查看状态
|
|
@@ -75,64 +44,14 @@ node node_modules/dsh-cot-anchor/tools/apply-softcut-port.mjs # 应用
|
|
|
75
44
|
|
|
76
45
|
## 设置
|
|
77
46
|
|
|
78
|
-
设置页「COT
|
|
79
|
-
|
|
80
|
-
### 总开关
|
|
81
|
-
|
|
82
|
-
| 键 | 默认 | 说明 |
|
|
83
|
-
| --- | --- | --- |
|
|
84
|
-
| `enableToolInject` | 开 | 工具结果后注入结论锚点,本插件的主要价值,建议保持开启 |
|
|
85
|
-
| `enableSoftCut` | 开 | 允许生成中途打断;内核不支持时自动无效 |
|
|
86
|
-
| `enableExecDisciplineBlock` | 开 | 随锚点同车注入命令执行纪律提醒;与锚点注入共用去重节奏,关闭后锚点注入行为不变 |
|
|
87
|
-
|
|
88
|
-
### 五项软切判定
|
|
47
|
+
设置页「COT 锚点」按用途分组,常调的是几项软切判定的开关和阈值:伪工具调用、原地重复、反复重新分析、转折句、数字流,以及各自的匹配次数与滑窗长度。每项在页面里有内联说明,键名、默认值和分组以设置页与源码为准。
|
|
89
48
|
|
|
90
|
-
|
|
91
|
-
|
|
92
|
-
| 键 | 识别什么 | 注意 |
|
|
93
|
-
| --- | --- | --- |
|
|
94
|
-
| `enablePseudoTool` | 把工具调用写成普通文本(如 `<seed:tool_call>...`) | 只能识别已知文本形态 |
|
|
95
|
-
| `enableRepeat` | 逐字节相同的内容反复吐出 | 换措辞的重复抓不到 |
|
|
96
|
-
| `enableChurn` | 措辞不同但反复「重新分析」 | 启发式判定,遇到未闭合代码块自动让路 |
|
|
97
|
-
| `enableTransition` | 「接下来我要……」类转折句 | **最容易误判**:正常分阶段思考也有转折句;若频繁在正常思考中切断,先关它(v0.3.0 起已要求转折词后跟随执行动词、并剥离已注入锚点后再判定,误判面已显著收窄) |
|
|
98
|
-
| `enableNumberRunaway` | 无意义递增数字流 | 要求数字流足够长(≥ 500 字符跨度等阈值) |
|
|
99
|
-
|
|
100
|
-
打断太频繁时:先关 `enableTransition`,其次调高判定阈值(`churnMinHits` 默认 18 等)。
|
|
101
|
-
|
|
102
|
-
自 v0.2.4 起,转折句判定自带「结论-转折间距」守卫(`softCutGapThreshold`,默认 80):当尾部扫描窗口内最后一个结论开启词(如「所以」)与最后一个转折宣告(如「接下来」)间距超过阈值时,判定为「子阶段小结论 + 后续分析 + 转折宣告」而非阶段边界,拒绝软切——避免「所以 X 是根因」这类中途小结论与后续转折词各自命中检测器、把一次正常分析拦腰切断。
|
|
103
|
-
|
|
104
|
-
自 v0.3.0 起,转折句判定叠加三层加固(详见[发行说明](RELEASE-NOTES.md)):① 已注入锚点按会话去重,同内容不再重复注入,命中时记录去重事件而非切断;② 「结论-转折间距」守卫在结论开启词缺失时由放行改为拒绝(fail-closed);③ 切句与转折识别改为引号感知——报告正文中引用的推理原文、正则文本不再被切成以「所以/现在」开头的伪句;同时转折宣告词后必须跟随执行动词(「现在写报告」命中、「Now I have the full chain.」这类状态陈述不命中),已注入锚点文本也先剥离再参与判定,阻断「锚点自我触发」的自反馈环。
|
|
105
|
-
|
|
106
|
-
### 锚点内容
|
|
107
|
-
|
|
108
|
-
| 键 | 默认 | 说明 |
|
|
109
|
-
| --- | --- | --- |
|
|
110
|
-
| `minReasoningChars` | 250 | 思考短于此长度不提取结论 |
|
|
111
|
-
| `maxPoints` | 3 | 最多保留几条结论 |
|
|
112
|
-
| `maxPointChars` | 220 | 单条结论字数上限 |
|
|
113
|
-
|
|
114
|
-
结论由规则从思考文本中摘句得到,不理解句子的语义角色,因此入池前会剔除两类无命题内容:纯话语标记句(剥掉 Actually / wait / Hmm / 其实 / 等等 等标记后实词不足 6 字符,如「Actually, wait.」「其实,等等。」)与路线意图宣告句(「the decisive route: ask the user…」)。标记词**领起但带事实命题**的句子(「Wait, the kernel never marks in verbose mode.」)照常保留。
|
|
115
|
-
|
|
116
|
-
注意:Wait / Actually / Hmm 等转折词在推理链中承担结构控制作用,插件**不从模型输出里删除它们**,只阻止它们被当成结论回灌。
|
|
117
|
-
|
|
118
|
-
### LLM 提炼与 CoT 采集(默认全关)
|
|
119
|
-
|
|
120
|
-
- `enableLlmRefine`:用一次小模型调用把整段思考压成摘要式结论,通常比规则摘句更准;provider/model 留空则跟随当前会话。
|
|
121
|
-
- `enableHarvest` / `enableAutoAnalyze` / `enableLearnedPatterns`:静默采集思考样本、自动归纳检测器看不见的打转形态、把学习成果用于判定。开启会在本地留存思考文本,启用前请自行评估隐私;学习模式默认有 20 轮影子期(`learnedShadowRounds`)防止一次误学永久改变判定。
|
|
49
|
+
打断太频繁时,先关转折句判定,其次调高重复判定的阈值。
|
|
122
50
|
|
|
123
51
|
## 隐私
|
|
124
52
|
|
|
125
|
-
-
|
|
126
|
-
-
|
|
127
|
-
- CoT 采集开启时,思考文本与工具轨迹只留存本地。
|
|
128
|
-
|
|
129
|
-
## 常见问题
|
|
130
|
-
|
|
131
|
-
**设置页显示「当前内核没有掐断能力」**
|
|
132
|
-
内核不提供软切钩子,结论注入不受影响。需要软切可停留在 0.1.5-rc.1/rc.2,或按上文移植。
|
|
133
|
-
|
|
134
|
-
**模型好像没收到提醒**
|
|
135
|
-
确认 `enableToolInject` 已开、且思考长度超过 `minReasoningChars`——思考过短本来就不提取。
|
|
53
|
+
- 软切与相关判定都在本地完成,不向外部服务发送数据。
|
|
54
|
+
- 开启 CoT 采集或自动归纳后,思考文本会留在本地;自动归纳还会把样本发给你指定的 provider(留空则跟随当前会话),启用前请自行评估隐私。
|
|
136
55
|
|
|
137
56
|
## 开发
|
|
138
57
|
|