dsh-skill-eval 0.0.0-stage → 1.20.3
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +718 -0
- package/LICENSE +21 -0
- package/README.md +207 -2
- package/README.zh.md +164 -0
- package/client.js +2791 -0
- package/cordis.patch.yml +9 -0
- package/docs/ACCEPTANCE.md +71 -0
- package/docs/AUDIT.md +82 -0
- package/docs/CODE-REVIEW.md +49 -0
- package/docs/COMPARISON.md +33 -0
- package/docs/DETAIL.md +468 -0
- package/docs/DEV-RELOAD.md +114 -0
- package/docs/ENTRYPOINTS.md +65 -0
- package/docs/RELEASE.md +44 -0
- package/docs/RRSI-NOTES.md +129 -0
- package/docs/SCENARIOS.md +91 -0
- package/docs/UI-REVIEW.md +115 -0
- package/docs/WORKFLOW.md +108 -0
- package/icon.svg +9 -0
- package/index.js +1173 -0
- package/lib/accept.js +350 -0
- package/lib/advice.js +557 -0
- package/lib/critic.js +101 -0
- package/lib/dev.js +148 -0
- package/lib/history.js +141 -0
- package/lib/html.js +17 -0
- package/lib/inspect.js +142 -0
- package/lib/integrity.js +46 -0
- package/lib/loop.js +195 -0
- package/lib/random.js +29 -0
- package/lib/recorder.js +644 -0
- package/lib/render.js +580 -0
- package/lib/report.js +689 -0
- package/lib/score.js +565 -0
- package/lib/settings.js +415 -0
- package/lib/snapshot.js +250 -0
- package/lib/steps.js +141 -0
- package/lib/store.js +240 -0
- package/lib/validity.js +125 -0
- package/locale/en.json +6 -0
- package/locale/zh.json +6 -0
- package/package.json +96 -4
- package/scripts/accept.mjs +227 -0
- package/scripts/build-client.mjs +59 -0
- package/scripts/build.mjs +81 -0
- package/scripts/doctor.mjs +234 -0
- package/scripts/lib.mjs +87 -0
- package/scripts/verify-live.mjs +178 -0
package/docs/RELEASE.md
ADDED
|
@@ -0,0 +1,44 @@
|
|
|
1
|
+
# Release checklist · 发布检查表
|
|
2
|
+
|
|
3
|
+
## 1. 代码与文案
|
|
4
|
+
|
|
5
|
+
- [ ] `npm run build` 全绿(format check、lint、client build、doctor、**258 tests**)
|
|
6
|
+
- [ ] `npm run build:pack` 产出 tarball 并通过 `doctor --release`
|
|
7
|
+
- [ ] `package.json` version 与 `client.js` 的 `DATA_VERSION` 一致(doctor 检查)
|
|
8
|
+
- [ ] CHANGELOG 有本次版本条目
|
|
9
|
+
- [ ] README / README.zh 的入口描述与 `docs/ENTRYPOINTS.md` 一致
|
|
10
|
+
|
|
11
|
+
## 2. 真实宿主验证
|
|
12
|
+
|
|
13
|
+
- [ ] `dsh-skill-eval-accept` PASS(17 项,含看板、配置页、回合快照、设置读写)
|
|
14
|
+
- [ ] `dsh-skill-eval-verify` PASS(7 项 + 2 项手动,确认宿主真的服务这一代代码)
|
|
15
|
+
- [ ] 打开侧边栏「技能评测」面板:五个标签(技能/轨迹/运行/MCP/开发者)、刷新、复制
|
|
16
|
+
- [ ] 设置 → 插件 → `dsh-skill-eval` → 配置:改一个值 → 保存 → 看到「已保存并立即生效」
|
|
17
|
+
- [ ] 在同一轮加载多个 skill:回合条显示每个 skill 的 chip 与各自 next fix
|
|
18
|
+
|
|
19
|
+
## 3. 打包
|
|
20
|
+
|
|
21
|
+
```bash
|
|
22
|
+
npm run build:pack # format/lint/client/doctor/tests + dist/<version>.tgz + doctor --release
|
|
23
|
+
npm publish --dry-run 2>&1 | tail -20 # confirm no bin warnings and note files/size
|
|
24
|
+
```
|
|
25
|
+
|
|
26
|
+
- [ ] `docs/ui/*.png` 不在 tarball 里(约 4 MB 的截图不应发布)
|
|
27
|
+
- [ ] LICENSE、README、README.zh、CHANGELOG、docs/*.md 在 tarball 里
|
|
28
|
+
|
|
29
|
+
## 4. 干净 profile 冒烟(安装产物,而不是源码目录)
|
|
30
|
+
|
|
31
|
+
```bash
|
|
32
|
+
dsh plugin --profile sevsmoke add "$PWD/dist/dsh-skill-eval-<version>.tgz"
|
|
33
|
+
# 启动该 profile 的 web 宿主,拿到端口后:
|
|
34
|
+
node scripts/accept.mjs http://127.0.0.1:<port>
|
|
35
|
+
node scripts/verify-live.mjs http://127.0.0.1:<port>
|
|
36
|
+
# 清理
|
|
37
|
+
dsh plugin --profile sevsmoke remove dsh-skill-eval
|
|
38
|
+
```
|
|
39
|
+
|
|
40
|
+
## 5. 已知遗留(不阻塞发布)
|
|
41
|
+
|
|
42
|
+
- 插件详情页展示英文 `README.md`;看板里的建议正文为英文(规则输出),中文界面下中英混排。
|
|
43
|
+
- 原生配置页在 README 之后,需向下滚动。
|
|
44
|
+
- 已安装插件列表无搜索(平台行为)。
|
|
@@ -0,0 +1,129 @@
|
|
|
1
|
+
# RRSI 调研笔记(Google Cloud AI Research)
|
|
2
|
+
|
|
3
|
+
> 调研时间:2026-11-15。用途:给 `dsh-skill-eval` 找"用评测信号驱动技能优化"的可借鉴机制。
|
|
4
|
+
> 证据状态:**一手资料** = 论文摘要页、GitHub README、项目页;**未读到** = 论文 3.3 省选公式细节、附录 D、Limitations 章、逐 benchmark 结果表(HTML 抓取被截断在 50k 字符)。文中凡未核实处均已标注。
|
|
5
|
+
|
|
6
|
+
## 1. 是什么
|
|
7
|
+
|
|
8
|
+
**RRSI = Regularized Recursive Self-Improvement of Agent Harnesses**
|
|
9
|
+
|
|
10
|
+
- 论文:arXiv:2609.24972(Peng Xia 等 14 人,Google Cloud AI Research + Stanford / WashU / UNC;2026-09-21 首版,2026-10-04 v3)
|
|
11
|
+
- 代码:<https://github.com/google-research/rrsi>(Apache 2.0;README 明确声明**不是** Google 官方支持产品)
|
|
12
|
+
- 项目页:<https://regularized-rsi.com/>
|
|
13
|
+
|
|
14
|
+
一句话:**不限制 harness 能改什么,而是正则化"改"这个搜索过程本身**,让 agent 的脚手架自我改进时不要把评测集的特性、噪声和复杂度一起学进去。
|
|
15
|
+
|
|
16
|
+
## 2. 要解决的问题:harness 自我进化的 adaptive overfitting
|
|
17
|
+
|
|
18
|
+
前提:模型权重冻结,agent 能力主要由 **harness** 决定——system/task prompt、控制流(何时规划/行动/反思/停止)、工具接口与描述、memory 与 skill 文件、上下文管理。
|
|
19
|
+
|
|
20
|
+
现有做法:用 LLM 反复提议候选 harness,在同一组 evolve 集上评估、取最优 → agent 系统层的递归自我改进(RSI)。
|
|
21
|
+
|
|
22
|
+
失效模式(论文明确列出三种,且相互耦合):
|
|
23
|
+
|
|
24
|
+
| 失效 | 含义 |
|
|
25
|
+
| ------------------------------ | ------------------------------------------------------------------------ |
|
|
26
|
+
| **benchmark-specific fitting** | 把评测集特有模式写进 harness(任务名、实体、答案、只对该套件成立的逻辑) |
|
|
27
|
+
| **noise chasing** | 把有限次运行的评估噪声当收益,选进了"运气好"的候选 |
|
|
28
|
+
| **complexity accumulation** | 复杂化本身在涨分,但没有换来可复用机制 |
|
|
29
|
+
|
|
30
|
+
后果:evolve 集收益很大,OOD 上缩水甚至归零;论文称部分 baseline 最终**还不如初始 harness H0**。
|
|
31
|
+
|
|
32
|
+
## 3. 形式化
|
|
33
|
+
|
|
34
|
+
agent `A = (π, H)`:π 冻结策略,H 是 harness。任务 x 产生轨迹 τ 与交付物,verifier 打分 `r(x,τ) ∈ [0,1]`(单测或 LLM judge)。
|
|
35
|
+
|
|
36
|
+
- 任务性能 `S(H;D) = E_x E_τ[r(x,τ)]`
|
|
37
|
+
- 成本 `C(H;D) = E_x E_τ[c(τ)]`,`c(τ)` = 轨迹消耗的 policy token 数
|
|
38
|
+
|
|
39
|
+
第 t 轮:从 `H_t` 提议候选集 `H_t = {H_t^(1)…} ~ P0(·|H_t, F_t)`,在 evolve 集上用 k 次试验估 `Ŝ`、`Ĉ`,取 `argmax S`。关键点:**同一个 evolve 集被反复自适应使用**,所以这是"在表达力极强的空间里做自适应经验优化",噪声与泄漏天然会被利用。
|
|
40
|
+
|
|
41
|
+
## 4. 方法:提议侧 + 省选侧
|
|
42
|
+
|
|
43
|
+
### 4.1 提议侧(控制搜索容量怎么花)
|
|
44
|
+
|
|
45
|
+
**L0 式退火编辑预算**:一个候选最多打包多少个"可独立归因的编辑",随轮次余弦退火:
|
|
46
|
+
|
|
47
|
+
```
|
|
48
|
+
b_t = ⌈ b_min + (b_max − b_min) · ½(1 + cos(π t / T)) ⌉
|
|
49
|
+
```
|
|
50
|
+
|
|
51
|
+
早期允许多处协同改动以发现新机制,后期逐步收紧到"一次一个可归因改动"。
|
|
52
|
+
|
|
53
|
+
**证据感知的信用分配**:每次评估写入 ledger(组件、假设、diff、分数变化、成本变化、裁决)。提议者读完整历史,**不重复重测已被证伪的假设**——避免把预算反复花在同一张牌上(adaptive data reuse 的经典问题)。
|
|
54
|
+
|
|
55
|
+
**结构化探索**:当进展停滞在噪声带内,把预算转向本轮**完全没碰过**的组件。
|
|
56
|
+
|
|
57
|
+
> 论文自己说明这三者是**类比**:编辑预算≈L0 基数约束、剪枝≈Lasso/L1 稀疏、复杂度感知接受≈Ridge/L2 收缩,并不是真在优化带惩罚项的目标函数。
|
|
58
|
+
|
|
59
|
+
### 4.2 省选侧(哪些收益允许成为永久状态)
|
|
60
|
+
|
|
61
|
+
| 机制 | 做法 |
|
|
62
|
+
| ---------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------- |
|
|
63
|
+
| **泄漏审查 critic** | 候选**在打分之前**先筛:任务名/实体/答案/评测集特有逻辑一律拒(domain 正则 denylist + LLM review,允许有界修复) |
|
|
64
|
+
| **噪声调整地板** | 增益必须超过"未改动基线 harness 上测出的方差",否则不接收;每个 instance 的噪声带固定(0.017 / 0.004 / 0.020),可用 `rrsi/calibrate.py` 重标定 |
|
|
65
|
+
| **成本规则** | 新增推理 token 必须由测得的增益**付账**,否则拒 |
|
|
66
|
+
| **剪枝** | 不再赚钱的组件被标记删除;剪枝集合交给提议者去删 |
|
|
67
|
+
| **novelty / within-band / argmax** | 结构新颖度(K_str = `client_tool`、`skill`、`memory`、`subagent` 四类组件中从未出现在获胜编辑里的)参与选择 |
|
|
68
|
+
|
|
69
|
+
### 4.3 工程实现(README 的 "Method to code" 表)
|
|
70
|
+
|
|
71
|
+
- 候选在**独立 git worktree** 里起草/筛查/评估,分支从 `evolve/<domain>` 拉出;接受即 fast-forward → **incumbent 永远是一个 commit**,可审计
|
|
72
|
+
- 同一套循环接三个 `Domain` 适配器:终端 agent(Terminal-Bench 2.1)、文档工作 agent(Harvey LAB)、工程设计 agent(EngDesign)
|
|
73
|
+
- 关键代码位置:`rrsi/schedule.py: edit_budget`、`rrsi/history.py: History/stall_flag/exploration`、`rrsi/critic.py`、`rrsi/selection.py`、`rrsi/components.py: novelty`、`rrsi/evaluate.py: aggregate`(缺 trial 按 0 计且分母不缩水)
|
|
74
|
+
- 结果可审计:ledger 每行一条编辑;proposer/analyst/critic 收到的 prompt 都是 `domains/<name>/` 下的纯文本文件
|
|
75
|
+
|
|
76
|
+
## 5. 结果(摘要 + 项目页口径)
|
|
77
|
+
|
|
78
|
+
- 8 个 benchmark / 3 个领域;每个领域只在一个 suite 上进化,其余**原封不动**跑
|
|
79
|
+
- evolve 集最多 **+6.0**;**5 个 OOD benchmark 全部提升**,最多 **+4.3**
|
|
80
|
+
- 最终 harness 比无正则化演化少用 **30% policy token**
|
|
81
|
+
- 论文 intro:OOD 上比"四个 baseline 的平均"最多高 **12.5%**;项目页写"比 prior average 最多高 **22.9%**"
|
|
82
|
+
⚠️ **两个来源数字不一致**,引用建议以论文结果表为准(本次未读到表格,未能核对)
|
|
83
|
+
- policy 固定为 Claude Opus 4.8(项目页);judge 口径:coding 用 pass rate,Harvey LAB / JobBench / APEX-Agents 用模型判分 rubric,GDPval 用对真人专家的胜率,EngDesign / Frontier-Eng 用冻结模拟器
|
|
84
|
+
|
|
85
|
+
## 6. 对 dsh-skill-eval 的意义
|
|
86
|
+
|
|
87
|
+
RRSI 的整个循环只需要两样东西:**可靠的任务级分数 S** 与**成本 C**(policy token)。RRSI 的可编辑组件里明确包含 **skill**(K_str 之一)。我们的插件产的正是**单 agent 运行时、按技能归因的 S 与 C 信号**——所以关系是:
|
|
88
|
+
|
|
89
|
+
> RRSI 是"消费者/优化器",`dsh-skill-eval` 是"传感器"。
|
|
90
|
+
|
|
91
|
+
### 6.1 机制对照与 backlog
|
|
92
|
+
|
|
93
|
+
| RRSI 机制 | 我们现在 | 建议落地 |
|
|
94
|
+
| --------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------ | --------- |
|
|
95
|
+
| 噪声调整地板 | ✅ 已有 CI + `ranking.significant=false`;**1.2.0 起建议层也接上了**(rate bootstrap,CI 未越过阈值的规则降为 info 并标注 "not outside noise yet") | ✅ 已完成 |
|
|
96
|
+
| 成本规则 | ✅ **1.2.0 起有真实 token**:`assistant/message.usage` 归因到窗口 → `tokensPerLoad`(cacheRead 按权重折算),进效率维度 + `token-cost` 建议 + 运行看板 | ✅ 已完成 |
|
|
97
|
+
| 泄漏审查 critic | ✅ **1.3.0**:`skill_eval_review` 工具 + `lib/critic.js`,拒/警/受三类裁决(写死答案、benchmark 名、task id 直接 reject) | ✅ 已完成 |
|
|
98
|
+
| 证据 ledger | ✅ **1.3.0**:每次 review 落 `{t:'edit', skill, hypothesis, verdict, reasons, diffHash}`,报告/inspect 的 `edits` 可读 | ✅ 已完成 |
|
|
99
|
+
| 剪枝 | ✅ **1.3.0**:`prune-candidate` 规则(≥6 次加载、分数 <60 且区间整体偏低 → critical) | ✅ 已完成 |
|
|
100
|
+
| 退火编辑预算 | ✅ **1.4.0**:`adviceBudget` 按已接受编辑数余弦退火(4→1),限制每轮可行动的修复条数 | ✅ 已完成 |
|
|
101
|
+
| novelty 探索 | ✅ **1.4.0**:ledger 记录编辑维度;连续 2 次同维度 → `exploration` 指令指向最久未动的维度 | ✅ 已完成 |
|
|
102
|
+
|
|
103
|
+
### 6.2 一个闭环形态(= RRSI 的循环换掉数据集)
|
|
104
|
+
|
|
105
|
+
`/skill-eval loop`(1.5.0):读建议 → 按退火预算选 ≤N 条 → 必须先过 `skill_eval_review` 泄漏审查 → 应用 → 重测下一轮;**只有「CI 外正收益 且 token 不变差」才保留**。等价于 RRSI 的循环,只是把 benchmark 集换成真实会话窗口。
|
|
106
|
+
|
|
107
|
+
这同时补掉我们之前的效度短板:不靠人工判断,而靠"改动前后区间是否分离"来判定技能是否真的变好。RRSI 用 benchmark 集做这件事,我们用真实会话的 skill 加载窗口做。
|
|
108
|
+
|
|
109
|
+
## 7. 未核实清单(避免过度引用)
|
|
110
|
+
|
|
111
|
+
- 论文 3.3 节省选的具体公式(噪声地板的精确判据、cost rule 的数学形式、within-band 规则、argmax 组合方式)
|
|
112
|
+
- 附录 D 算法细节、Limitations 章、搜索本身的算力/API 预算(跑了多少轮、多少花费)
|
|
113
|
+
- 逐 benchmark 结果表;"12.5% vs 22.9%" 差异原因
|
|
114
|
+
- 三个领域各自起始 harness 的内容与大小
|
|
115
|
+
|
|
116
|
+
## 8. 引用
|
|
117
|
+
|
|
118
|
+
```bibtex
|
|
119
|
+
@article{xia2026rrsi,
|
|
120
|
+
title={RRSI: Regularized Recursive Self-Improvement of Agent Harnesses},
|
|
121
|
+
author={Xia, Peng and Han, Rujun and Wang, Zifeng and Chen, Yanfei and Zhuang, Yufan and Lee, Yoonho and Huang, Chengsong and Yu, Han and CuiZhu, Zhongying and Ming, Yifei and Yao, Huaxiu and Gokturk, Burak and Pfister, Tomas and Lee, Chen-Yu},
|
|
122
|
+
journal={arXiv preprint arXiv:2609.24972},
|
|
123
|
+
year={2026}
|
|
124
|
+
}
|
|
125
|
+
```
|
|
126
|
+
|
|
127
|
+
- 论文:<https://arxiv.org/abs/2609.24972>
|
|
128
|
+
- 代码:<https://github.com/google-research/rrsi>
|
|
129
|
+
- 项目页:<https://regularized-rsi.com/>
|
|
@@ -0,0 +1,91 @@
|
|
|
1
|
+
# 场景清单:这套工具对什么问题负责
|
|
2
|
+
|
|
3
|
+
每个场景写清:**谁问**、**入口**、**看到什么**、**覆盖状态**。状态以本仓库测试与线上宿主为准;
|
|
4
|
+
标「边界」的是有意不做或数据不足做不了的事,不是待办。
|
|
5
|
+
|
|
6
|
+
## A. 单个技能
|
|
7
|
+
|
|
8
|
+
| # | 场景 / 问题 | 入口 | 看到什么 | 状态 |
|
|
9
|
+
| --- | ------------------------ | ----------------------------- | ---------------------------------------------------------------------- | -------- |
|
|
10
|
+
| A1 | 「这个技能怎么样?」 | `/skill-eval <skill>` | 4 维分数、等级、CI、样本数、建议全文 | ✅ |
|
|
11
|
+
| A2 | 「为什么分低?」 | 同上 | 维度分解 + 每条建议的证据(比率、样本) | ✅ |
|
|
12
|
+
| A3 | 「这个技能用得对吗?」 | `/skill-eval <skill>` | `dead-load`(加载后零调用)、`trigger-collision`(同窗口撞车) | ✅ |
|
|
13
|
+
| A4 | 「它越来越差了吗?」 | `/skill-eval history <skill>` | 逐次加载表 + 前后半段问题率趋势(improving/degrading/flat) | ✅ 1.9.0 |
|
|
14
|
+
| A5 | 「我上次改动有用吗?」 | `/skill-eval impact <skill>` | 每条被审查编辑前后的错误率对比与判定(improved/degraded/inconclusive) | ✅ 1.9.0 |
|
|
15
|
+
| A6 | 「描述写得好吗?」 | 报告 `staticQuality.checks` | 12 项静态检查(含反触发、kebab 命名、引用完整性) | ✅ |
|
|
16
|
+
| A7 | 「它引用的文件存在吗?」 | 同上 → `broken-references` | 缺失路径清单(critical) | ✅ 1.4.0 |
|
|
17
|
+
| A8 | 「该删掉它吗?」 | 报告 `prune-candidate` | ≥6 次加载且分数 <60、区间也低 → 删/合并建议 | ✅ 1.3.0 |
|
|
18
|
+
|
|
19
|
+
## B. 跨技能 / 全局
|
|
20
|
+
|
|
21
|
+
| # | 场景 | 入口 | 看到什么 | 状态 |
|
|
22
|
+
| --- | ------------------------------ | ------------------------------------------------------- | ------------------------------------------------- | --------- |
|
|
23
|
+
| B1 | 「哪个技能最好/最差?」 | `/skill-eval` | 按分数排序 + 排名显著性(区间重叠时明确说是平局) | ✅ |
|
|
24
|
+
| B2 | 「先修哪个?」 | `/skill-eval loop all` | 按「预期收益/√成本」排序,带 priority 与依据 | ✅ 1.7.0 |
|
|
25
|
+
| B3 | 「证据够不够下结论?」 | `/skill-eval validity` | 覆盖数、区间数、以及明确的 Cannot say yet 清单 | ✅ 1.8.0 |
|
|
26
|
+
| B4 | 「一次改几条合适?」 | 报告 `adviceBudget` | 按已接受编辑数从 4 退火到 1 | ✅ 1.4.0 |
|
|
27
|
+
| B5 | 「一直改同一维度怎么办?」 | 报告 `exploration` | 连续 2 次同维度 → 指向最久未用维度 | ✅ 1.4.0 |
|
|
28
|
+
| B6 | 「这轮加载了哪些技能?」 | 对话结果条 / `turnLoads` | 按 session+turn 分组 | ✅ 1.1.0 |
|
|
29
|
+
| B7 | 「把某一次执行的结果单独给我」 | `/skill-eval turns` → `reports/turns/<session>-t<N>.md` | 每次执行一个独立看板,可回看 | ✅ 1.15.0 |
|
|
30
|
+
|
|
31
|
+
## C. 改动治理
|
|
32
|
+
|
|
33
|
+
| # | 场景 | 入口 | 看到什么 | 状态 |
|
|
34
|
+
| --- | ------------------------ | ----------------------------------- | --------------------------------------------------------------------------- | -------- |
|
|
35
|
+
| C1 | 「改之前先查泄漏」 | `skill_eval_review` | reject/warn/accept + 原因码(写死答案、benchmark 名、task id、路径、日期…) | ✅ 1.3.0 |
|
|
36
|
+
| C2 | 「改动可追溯吗?」 | 报告 `edits` | 假设、维度、裁决、diff hash、时间 | ✅ 1.3.0 |
|
|
37
|
+
| C3 | 「改完怎么算改好?」 | `/skill-eval impact <skill>` | 前后错误率 + 判定规则(≥2 次/侧且 >15pp 才算) | ✅ 1.9.0 |
|
|
38
|
+
| C4 | 「改动有没有引入成本?」 | 报告 `token-cost` / `tokensPerLoad` | 真实 token 归因到窗口,超预算扣效率并出建议 | ✅ 1.2.0 |
|
|
39
|
+
|
|
40
|
+
## D. MCP
|
|
41
|
+
|
|
42
|
+
| # | 场景 | 入口 | 看到什么 | 状态 |
|
|
43
|
+
| --- | --------------------------- | -------------------------- | ------------------------------------------------- | --------- |
|
|
44
|
+
| D1 | 「哪个 MCP 服务器有问题?」 | `/skill-eval mcp` | 按服务器:调用、错误率、p50/p95、健康分、失败工具 | ✅ |
|
|
45
|
+
| D2 | 「是不是某个工具一直挂?」 | 同上 | 工具级失败清单 | ✅ |
|
|
46
|
+
| D2b | 「哪个 MCP 工具最慢?」 | `/skill-eval mcp` | 每个工具的 p50/p95 + `mcp-tool-slow` 警告 | ✅ 1.14.0 |
|
|
47
|
+
| D3 | 「MCP 拖慢了技能吗?」 | 技能窗口 `mcp` 分桶 + 耗时 | 窗口内 MCP 调用耗时计入效率维度 | ✅ |
|
|
48
|
+
|
|
49
|
+
## E. 运行 / 会话
|
|
50
|
+
|
|
51
|
+
| # | 场景 | 入口 | 看到什么 | 状态 |
|
|
52
|
+
| --- | --------------------------- | ----------------------- | ------------------------------------------------------ | ---- |
|
|
53
|
+
| E1 | 「这次会话用得怎样?」 | `/skill-eval runs` | 每 session:加载、调用、错误、纠正、MCP、评分 + CI | ✅ |
|
|
54
|
+
| E2 | 「子 agent 的加载算谁的?」 | — | 子 agent 窗口不计入 abandon 判定(有意) | 边界 |
|
|
55
|
+
| E3 | 「多开几个窗口会乱吗?」 | 窗口键 = session+callId | 并发技能窗口各自独立,同步骤内并列加载不互相 supersede | ✅ |
|
|
56
|
+
|
|
57
|
+
## F. 配置 / 部署
|
|
58
|
+
|
|
59
|
+
| # | 场景 | 入口 | 看到什么 | 状态 |
|
|
60
|
+
| --- | ------------------------ | --------------------------------------- | -------------------------------------------- | -------- |
|
|
61
|
+
| F1 | 「我想换评分权重」 | `weights` 配置 | 报告按新权重归一化,缺失维度按已用权重重排 | ✅ |
|
|
62
|
+
| F2 | 「阈值想改严一点」 | `thresholds` 配置 | 等级边界随之变化,并出现在报告 `scoring` 块 | ✅ |
|
|
63
|
+
| F3 | 「预算/成本规则调一下」 | `tokenBudgetPerLoad`、`cacheReadWeight` | 效率扣分与 `token-cost` 建议随之变化 | ✅ |
|
|
64
|
+
| F4 | 「装完能不能用?」 | `dsh-skill-eval-accept` | 14 项代次/数据一致性检查,端口自动发现 | ✅ |
|
|
65
|
+
| F5 | 「宿主跑的是新代码吗?」 | 同 F4 | `UNREACHABLE` 与 `stale generation` 分开报告 | ✅ 1.6.x |
|
|
66
|
+
| F6 | 「数据放哪?」 | `dataDir` 配置 | 默认 `~/.dsh/skill-eval/<profile>`,可覆盖 | ✅ |
|
|
67
|
+
|
|
68
|
+
## G. 明确不支持(边界)
|
|
69
|
+
|
|
70
|
+
| # | 场景 | 原因 |
|
|
71
|
+
| --- | ----------------------------- | ----------------------------------------------- |
|
|
72
|
+
| G1 | 执行技能里的脚本验证正确性 | 评测器不应运行被评对象的代码 |
|
|
73
|
+
| G2 | 读原始 frontmatter 逐字段校验 | DSH 只交付解析后的 summary(只做 id 形态检查) |
|
|
74
|
+
| G3 | 判断"回答内容对不对" | 没有任务级 verifier;有效性靠下一条用户消息推断 |
|
|
75
|
+
| G4 | 自动修改技能并提交 | 只给计划与审查,应用与回滚由人/agent 决定 |
|
|
76
|
+
| G5 | 跨机器汇总多份数据 | 单机单 profile 设计;多份数据需自行合并 |
|
|
77
|
+
| G6 | 精确到 token 的账单对账 | usage 归因到窗口,不是财务口径 |
|
|
78
|
+
|
|
79
|
+
## 场景 → 测试映射
|
|
80
|
+
|
|
81
|
+
- A1–A3、B1、B6、E1:`test/report.test.js`、`test/plugin.test.js`
|
|
82
|
+
- A4–A5、C3:`test/history.test.js`
|
|
83
|
+
- A6–A7:`test/score.test.js`、`test/integrity.test.js`
|
|
84
|
+
- A8、B4–B5:`test/advice.test.js`、`test/budget.test.js`、`test/report.test.js`
|
|
85
|
+
- B2:`test/loop.test.js`
|
|
86
|
+
- B3:`test/validity.test.js`
|
|
87
|
+
- C1–C2:`test/critic.test.js`、`test/plugin.test.js`
|
|
88
|
+
- C4:`test/score.test.js`、`test/recorder.test.js`
|
|
89
|
+
- D1–D3:`test/report.test.js`、`test/recorder.test.js`
|
|
90
|
+
- F1–F3、F6:`test/report.test.js`、`test/plugin.test.js`
|
|
91
|
+
- F4–F5:`test/accept.test.js`
|
|
@@ -0,0 +1,115 @@
|
|
|
1
|
+
# UI 实测记录 · Real GUI review
|
|
2
|
+
|
|
3
|
+
> 截图文件在源码仓库的 `docs/ui/`,不随 npm tarball 发布(tarball 里只保留 Markdown)。
|
|
4
|
+
|
|
5
|
+
覆盖版本:1.20.0(截图取自 1.17.0–1.17.5 的真实窗口)
|
|
6
|
+
|
|
7
|
+
日期:2026-11-15。方法:用 Orca computer-use 驱动**正在运行的 DeepSeek Harness 窗口**(前台/后台输入 + 截图 + 可访问性树),逐屏查看并操作。不是 DOM 测试,是真实界面。
|
|
8
|
+
|
|
9
|
+
## 我实际操作到的路径
|
|
10
|
+
|
|
11
|
+
| 步骤 | 操作 | 结果 | 截图(仓库内) |
|
|
12
|
+
| ---- | ------------------------------------------ | ------------------------------------------------------------------------------------- | --------------------------- |
|
|
13
|
+
| 1 | 侧边栏「技能评测」面板图标 | 点击后主面板打开看板 | `docs/ui/board-skills.png` |
|
|
14
|
+
| 2 | 切到「按运行」 | 4 条运行记录,分数带 95% 区间 | `docs/ui/board-runs.png` |
|
|
15
|
+
| 3 | 切到「MCP」 | context7 · 健康 88.9 B · 0% 错误 · p50/p95 2606ms | `docs/ui/board-mcp.png` |
|
|
16
|
+
| 4 | 切到「开发者」 | 评分权重、等级线、记录量、数据目录、插件版本 1.17.0 | `docs/ui/board-dev.png` |
|
|
17
|
+
| 5 | 设置 → 插件 → 已安装 → 技能评测 | 列表里能看到图标与中文描述 | `docs/ui/plugin-row.png` |
|
|
18
|
+
| 6 | 打开插件详情页 → 原生配置表单 | **第一次看到的表单是坏的** | `docs/ui/config-before.png` |
|
|
19
|
+
| 7 | 修复后再次进入 | 表单有标题、分组、中文标签、宽度受限 | `docs/ui/config-after.png` |
|
|
20
|
+
| 8 | 把「单次加载 token 预算」改成 25000 → 保存 | 出现「已保存并立即生效」,`/settings` 与 `settings.json` 都变成 25000;随后恢复 20000 | `docs/ui/config-saved.png` |
|
|
21
|
+
|
|
22
|
+
## 发现并修复的问题
|
|
23
|
+
|
|
24
|
+
1. **原生配置表单完全没样式。** 字段标签和数字框挤成一行(`min samples for an interval[3] max actionable fixes per report[3] bootstrap…`),无法扫读。原因:设置表单用了 `.sev-settings-*` 类,但样式表只在回合卡/弹窗里注入。
|
|
25
|
+
修复:`SettingsForm` 自己注入样式表。
|
|
26
|
+
2. **中英混排。** 分组标题是中文(评分权重与阈值 / 成本 / …),字段标签却是英文(`min samples for an interval`、`token budget per load`)。
|
|
27
|
+
修复:设置 API 返回 `labelZh`,客户端按 `useLang().lang` 选择;分组标题也随语言切换。
|
|
28
|
+
3. **表单横跨整个内容区**(约 1160px),标签与输入框隔太远。
|
|
29
|
+
修复:`max-width: 720px`,两列 `minmax(200px,1fr) / 180px`。
|
|
30
|
+
4. 顺带确认:面板标题「技能评测」、计数「6 个技能有遥测 · 3 个有待修问题」、刷新/复制按钮、四个标签在真实界面都正常。
|
|
31
|
+
|
|
32
|
+
## 1.20.0 面板与设置复查
|
|
33
|
+
|
|
34
|
+
参考「上下文洞察」补了面板信息密度:KPI 行(技能/加载/待修/平均分)、搜索框、
|
|
35
|
+
「仅看待修」筛选、右上「配置」入口、更新时间;截图 `docs/ui/board-1.20.0.png`。
|
|
36
|
+
设置页保持等宽分组表单,25 项字段中英标签随应用语言切换(`?lang=zh|en` 均验证)。
|
|
37
|
+
|
|
38
|
+
## 1.17.4 / 1.17.5 复查
|
|
39
|
+
|
|
40
|
+
中文建议与中文排名提示已在真实窗口复查:`docs/ui/board-zh-advice.png`
|
|
41
|
+
(标题、修复、排名提示均为中文;evidence 保留测量数字)。插件详情页顶部现在是
|
|
42
|
+
README.md 的「中文速览」段,配置表单更靠近顶部(README 已缩短)。
|
|
43
|
+
|
|
44
|
+
## 1.20.2 复查:MCP 标签与配置显示(2026-11-17)
|
|
45
|
+
|
|
46
|
+
方法:把线上 `/skill-eval/data/1.20.2` 载荷挂进 jsdom 渲染真实 `client.js`,再用
|
|
47
|
+
headless Chrome 按 520px 面板宽 / 900px 配置页截图比对;不是真实窗口截图,但也
|
|
48
|
+
不是只看代码。
|
|
49
|
+
|
|
50
|
+
**MCP 标签(改前 → 改后)**
|
|
51
|
+
|
|
52
|
+
- 改前:一张 SVG 图 + 裸 grid。`p50 2606 / p95 2606ms` 与阈值虚线重叠;末列被
|
|
53
|
+
截断成 `2606/260…`;表格没有容器、无行分隔,看起来像渲染残留。
|
|
54
|
+
- 改后:延迟卡(CSS 进度条:p50 实心、p95 浅色、阈值虚线标在轨道上,下方图例)+
|
|
55
|
+
服务器卡(等级 chip + `2.6s / 2.6s`,不再截断)+ 修复建议卡 + 出错工具卡;
|
|
56
|
+
没有调用时只留一张空卡,而不是「空图表 + 空表格」两张。
|
|
57
|
+
- 数据未改:仍来自 `mcpServers` / `mcpAdvice`,且阈值线跟随 `mcpP95Ms`。
|
|
58
|
+
|
|
59
|
+
**配置显示**
|
|
60
|
+
|
|
61
|
+
- 权重字段补 `%` 单位;等级线下限的说明不再重复标签(`A 级下限 / A 级下限。` →
|
|
62
|
+
「总分达到多少才算 A 级。」)。
|
|
63
|
+
- 中文界面的单位本地化:`loads → 次加载`、`edits → 次修改`、`tokens → token`。
|
|
64
|
+
- 面板内配置弹窗标题改为「配置」,副标题说明可改范围。
|
|
65
|
+
- 网页配置页深色模式的标题/说明对比度提高。
|
|
66
|
+
- 保存往返实测:网页表单 POST → 200「已保存并应用」,`settings.json` 同值保存后
|
|
67
|
+
字节不变;JSON 设置 API 把 `tokenBudgetPerLoad` 改 21000 → 立即生效 → 恢复
|
|
68
|
+
20000,文件 md5 回到原值。
|
|
69
|
+
|
|
70
|
+
**顺带修掉一个 CSS 冲突**:建议容器复用了 `.sev-sub`,而该类同时负责面板副标题,
|
|
71
|
+
后定义的那条规则一直在偷偷改头部排版;现在拆成 `.sev-advice-list` / `.sev-card`。
|
|
72
|
+
|
|
73
|
+
截图(headless Chrome 渲染发布中的 `client.js` + 线上载荷,不是真实窗口截图):
|
|
74
|
+
`docs/ui/board-mcp-1.20.2.png`(常态)、`docs/ui/board-mcp-advice-1.20.2.png`
|
|
75
|
+
(建议 + 出错工具)、`docs/ui/board-mcp-empty-1.20.2.png`(无调用)、
|
|
76
|
+
`docs/ui/config-dialog-1.20.2.png`(面板内配置)、`docs/ui/config-web-1.20.2.png`
|
|
77
|
+
(网页配置页)。
|
|
78
|
+
|
|
79
|
+
## 1.20.1 复查:右上三个按钮 + MCP / 开发者标签(2026-11-17)
|
|
80
|
+
|
|
81
|
+
方法:真实宿主路由(`curl`)+ 用 jsdom 挂载**线上真实载荷** `/skill-eval/data/1.20.1`
|
|
82
|
+
后逐个点击、切标签;宿主侧再用 `scripts/verify-live.mjs` 对照。不是截图,也不是只看代码。
|
|
83
|
+
|
|
84
|
+
| 控件 | 实测结果 | 结论 |
|
|
85
|
+
| ------------ | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------- |
|
|
86
|
+
| 配置 | 旧实现 `window.open('/skill-eval/board/<v>/config')`。DSH 桌面壳的 `setWindowOpenHandler` 只把 **https** URL 交给系统浏览器,其余一律 `deny`,而看板跑在 `http://127.0.0.1:<port>` → 点击**完全没有反应** | **已修**:改为面板内设置弹窗(复用 `SettingsForm`),Esc/点背景关闭,Tab 焦点限制在弹窗内;桌面壳里隐藏无法兑现的「在网页里打开」 |
|
|
87
|
+
| 刷新 | 点击后重新 GET `/skill-eval/data/<v>`,loading 期间禁用 | 正常 |
|
|
88
|
+
| 复制给 agent | 写入完整 report JSON(实测 249,630 字符),失败回退到「复制失败」 | 正常;**数据未到达前按钮禁用**(原先会复制 `{}` 并提示已复制) |
|
|
89
|
+
| MCP | 图表 + 表格 + 建议/出错工具;线上 context7:1 次调用、2606ms、0% 错误、88.9 B | 数值正确;阈值线原硬编码 3000ms,**改为跟随 `mcpP95Ms` 配置**(旧载荷仍回退 3000) |
|
|
90
|
+
| 开发者 | 原先只回显评分配置,且「数据接口」硬编码 `/skill-eval/data`,看不到真正的诊断 | **已修**:data 增加 `dev` 块(已加载模块/磁盘版本 + skew、路由与工具数、settings 文件、warning 数),标签显示版本化 URL 与「需要重启」 |
|
|
91
|
+
|
|
92
|
+
验证:`node scripts/verify-live.mjs http://127.0.0.1:55265` 对 1.20.1 全 PASS;
|
|
93
|
+
`node --test test/` **258 项全绿**(新增「配置按钮不再调用 window.open,改为面板内表单」用例)。
|
|
94
|
+
|
|
95
|
+
已知取舍(未改):**「复制给 agent」复制的是完整 JSON**(≈250KB,含 400 条步进记录)。
|
|
96
|
+
如果目标是让 agent 直接读,`buildMarkdown()` 的摘要更省上下文;但完整 JSON 便于排障,
|
|
97
|
+
两者取舍需产品确认,暂保持现状。
|
|
98
|
+
|
|
99
|
+
## 面板按钮的测试
|
|
100
|
+
|
|
101
|
+
- **刷新**:点击后无报错,界面保持(截图见 board-* 系列)。
|
|
102
|
+
- **复制给 agent**:第一次自动化点击后剪贴板为空(Chromium 的 async Clipboard API 要求真实用户手势)。已加入 `execCommand('copy')` 回退和失败提示,并在真实窗口里重新点了一次:按钮变成「已复制」,`pbpaste` 拿到了完整 JSON — `docs/ui/copy-verified.png`。**已验证可用**。
|
|
103
|
+
|
|
104
|
+
## 仍然存在的体验问题(未改,先记录)
|
|
105
|
+
|
|
106
|
+
- **插件详情页正文是英文 README**,而界面是中文;DSH 目前渲染 `README.md`。若要中文详情,需要额外提供本地化正文(还没做,需确认 DSH 的本地化机制)。
|
|
107
|
+
- ~~看板里的建议正文仍是英文~~:1.17.4 起规则建议的标题与修复为中文;1.17.5 起排名提示与效度断言也为中文。仅 evidence 中的测量 id/数字保留英文(数据本身)。
|
|
108
|
+
- **配置表单在 README 之后**,需要向下滚动较深才能看到;DSH 的 bundle config 位次就是"描述与组件之间",这是平台布局,不是我们能任意移动的。
|
|
109
|
+
- 插件市场/已安装列表**很长且无搜索**,找某个插件要滚动很久(平台行为)。
|
|
110
|
+
- 原生设置页的版本号显示的是插件市场里记录的快照(截图时 1.17.0),与热重载后的源码版本可能短暂不一致。
|
|
111
|
+
- 面板里的建议标题/证据/修复仍是英文,与中文界面混排。
|
|
112
|
+
|
|
113
|
+
## 验证命令(与 UI 无关的回归)
|
|
114
|
+
|
|
115
|
+
见 [ACCEPTANCE.md](ACCEPTANCE.md) 与 README 的 Quick self-check;本次 UI 修改后 `node --test test/` 仍为 208 项全绿。
|
package/docs/WORKFLOW.md
ADDED
|
@@ -0,0 +1,108 @@
|
|
|
1
|
+
# 工作流:从一次技能加载到一次可信的改进
|
|
2
|
+
|
|
3
|
+
一页说清这套插件怎么用、谁做什么、什么算"改好了"。机制来源见
|
|
4
|
+
[RRSI-NOTES.md](RRSI-NOTES.md)(Google 的 harness 自改进工作),评分口径见
|
|
5
|
+
[DETAIL.md](DETAIL.md),验收见 [ACCEPTANCE.md](ACCEPTANCE.md)。
|
|
6
|
+
|
|
7
|
+
## 一句话
|
|
8
|
+
|
|
9
|
+
**加载技能 → 收集真实遥测 → 评分 + 区间 → 只对显著信号出建议 → 改前做泄漏审查 →
|
|
10
|
+
改后用区间移动判断是否真变好。** 全程零模型 token(除了 agent 主动调工具时)。
|
|
11
|
+
|
|
12
|
+
## 流程
|
|
13
|
+
|
|
14
|
+
```
|
|
15
|
+
┌──────────────────────────────────────────────┐
|
|
16
|
+
人 / agent 加载技能 → recorder 抓窗口:调用/报错/纠正/loop/MCP/token │
|
|
17
|
+
└───────────────────┬──────────────────────────┘
|
|
18
|
+
↓
|
|
19
|
+
┌──────────────────────────────────────────────┐
|
|
20
|
+
│ 报告:4 维评分 + 95% bootstrap 区间 + 排名显著性 │
|
|
21
|
+
│ MCP 健康板 · 运行板 · 快照 · 对话结果条 │
|
|
22
|
+
└───────────────────┬──────────────────────────┘
|
|
23
|
+
↓
|
|
24
|
+
┌──────────────────────────────────────────────┐
|
|
25
|
+
│ 建议:噪声地板(区间未越过阈值 → 降为 info) │
|
|
26
|
+
│ token 成本 · 剪枝 · 反触发/引用完整性 │
|
|
27
|
+
└───────────────────┬──────────────────────────┘
|
|
28
|
+
↓
|
|
29
|
+
/skill-eval loop all → 按「预期收益 / 改动成本」排序,挑下一个
|
|
30
|
+
↓
|
|
31
|
+
┌──────────────────────────────────────────────┐
|
|
32
|
+
│ skill_eval_review:改前泄漏审查(reject/warn/accept)│
|
|
33
|
+
│ + 写 ledger:假设、维度、裁决、diff hash │
|
|
34
|
+
└───────────────────┬──────────────────────────┘
|
|
35
|
+
↓
|
|
36
|
+
改技能 → 真实使用几轮 → 复用同一套遥测重新测量
|
|
37
|
+
↓
|
|
38
|
+
只有「区间移动 + token 不变差」才算改好;否则回滚
|
|
39
|
+
```
|
|
40
|
+
|
|
41
|
+
## 三个角色
|
|
42
|
+
|
|
43
|
+
| 角色 | 做什么 | 不做什么 |
|
|
44
|
+
| --------------- | ---------------------------------------------------------------- | -------------------------------------------- |
|
|
45
|
+
| **人** | 决定改哪个技能、判断改动是否合理、批准/回滚 | 不需要读 JSON、不需要手工算分 |
|
|
46
|
+
| **agent(我)** | 调 `skill_eval_report` / `skill_eval_review`,按 loop 计划改文件 | 不自己编造分数;不跳过 review 直接改 |
|
|
47
|
+
| **插件** | 记录、评分、区间、建议、ledger、看板/结果条 | 不自动改技能、不自动接受改动、不执行技能脚本 |
|
|
48
|
+
|
|
49
|
+
## 什么时候看什么
|
|
50
|
+
|
|
51
|
+
| 场景 | 入口 | 期望看到 |
|
|
52
|
+
| ------------------ | ----------------------------------------------------------------------------- | -------------------------------------------------- |
|
|
53
|
+
| 刚加载完技能 | 对话结果条 | 分数/等级 + 本回合调用与报错 + 「下一步 · 可改」 |
|
|
54
|
+
| 想知道该修哪个 | `/skill-eval loop all` | 按 priority 排序的计划列表,含收益/成本依据 |
|
|
55
|
+
| 只盯一个技能 | `/skill-eval pdf-tools` | 4 维分数、CI、建议全文 |
|
|
56
|
+
| 准备改技能 | `skill_eval_review {skill, dimension, hypothesis, diff}` | `accept` / `warn` / `reject` + 原因 |
|
|
57
|
+
| 多次改动后 | `/skill-eval` | 排行 + 是否显著;`adviceBudget` 随接受的编辑数退火 |
|
|
58
|
+
| 它是不是在变差 | `/skill-eval history <skill>` | 逐次加载 + 前后半段趋势 |
|
|
59
|
+
| 看某一次执行的结论 | `/skill-eval turns`,或打开 `reports/turns/<session>-t<N>.md` | 那一次执行专属的快照 |
|
|
60
|
+
| 上次改动有用吗 | `/skill-eval impact <skill>` | 每条编辑前后错误率与判定 |
|
|
61
|
+
| 技能长期低分 | 报告里的 `prune-candidate` | 删掉或并进真正在用的技能 |
|
|
62
|
+
| 想知道证据够不够 | `/skill-eval validity` | 覆盖数、区间数、以及明确的「还不能说」清单 |
|
|
63
|
+
| 怀疑服务/工具 | `/skill-eval mcp` | 每服务器健康/错误率/p50/p95/失败工具 |
|
|
64
|
+
| 想看整体汇报 | 侧边栏面板图标「技能评测」→ 主面板(或浏览器打开 `/skill-eval/board/<版本>`) | 技能/运行/MCP/开发者标签,含下一步与效度 |
|
|
65
|
+
| 想改评分标准 | 设置 → 插件 → `dsh-skill-eval` 包页面 → 配置 | 权重/阈值/预算/开关,保存即生效 |
|
|
66
|
+
| 入口速查 | [ENTRYPOINTS.md](ENTRYPOINTS.md) | 三个日常入口 + 网页/命令/终端 |
|
|
67
|
+
| 发版前自检 | `dsh-skill-eval-doctor` + `accept` + `verify` | 19 / 17 / 7+2 项:打包、代次、产品面 |
|
|
68
|
+
|
|
69
|
+
## 判定规则(避免自欺)
|
|
70
|
+
|
|
71
|
+
1. **噪声地板**:建议默认只在 95% 区间下端越过阈值时保留 `critical`/`warning`;
|
|
72
|
+
区间还跨阈值 → 降为 `info` 并注明 "not outside noise yet"。
|
|
73
|
+
2. **样本不足**:`n < minSamples` 给 `provisional`,不给 CI;此时只提"再测几轮"。
|
|
74
|
+
3. **改好没有**:看**区间**是否移动,不看点估计;同时 token 成本不能变差。
|
|
75
|
+
4. **预算**:每轮可同时改的条数从 4 退火到 1(按已接受的编辑数),
|
|
76
|
+
避免一次改太多导致无法归因。
|
|
77
|
+
5. **探索**:连续 2 次都在改同一维度 → 强制换一个最久没动的维度。
|
|
78
|
+
6. **泄漏审查**:写死答案、benchmark 名、task id、机器路径、日期窗口 → 拒/警。
|
|
79
|
+
|
|
80
|
+
## 常见状态与含义
|
|
81
|
+
|
|
82
|
+
| 看到 | 含义 | 该怎么办 |
|
|
83
|
+
| ---------------------------- | -------------------------------------------- | ------------------------------ |
|
|
84
|
+
| `provisional: true`、无 CI | 样本 < 3 | 正常用,攒样本 |
|
|
85
|
+
| `ranking.significant: false` | 技能区间重叠 | 别把排名当结论 |
|
|
86
|
+
| `advice` 全是 `info` | 没有越过噪声的问题 | 不用改 |
|
|
87
|
+
| `broken-references` | 正文承诺的 `references/*`/`scripts/*` 不存在 | 补文件或改路径(critical) |
|
|
88
|
+
| `no-anti-trigger` | 没写"不适用于" | 加一行边界,降低误触发 |
|
|
89
|
+
| `prune-candidate` | ≥6 次加载且分数 <60、区间也低 | 删除或合并 |
|
|
90
|
+
| `token-cost` | 单次加载可计费 token 超预算 | 精简正文 / 后置激活 |
|
|
91
|
+
| `UNREACHABLE`(验收脚本) | 端口变了 | 脚本会自动发现;显式传地址即可 |
|
|
92
|
+
| `stale generation` | 宿主跑的是旧模块 | 重启 DSH |
|
|
93
|
+
|
|
94
|
+
## 日常三条命令
|
|
95
|
+
|
|
96
|
+
```bash
|
|
97
|
+
dsh-skill-eval-accept # 自检(自动发现 GUI 端口)
|
|
98
|
+
/skill-eval loop all # 下一步该改谁
|
|
99
|
+
/skill-eval # 全量报告
|
|
100
|
+
```
|
|
101
|
+
|
|
102
|
+
## 边界(诚实清单)
|
|
103
|
+
|
|
104
|
+
- 有效性是从"下一条用户消息是否为纠正"推断的,不是人工标注
|
|
105
|
+
- 子 agent 的窗口不计入 abandon 判定
|
|
106
|
+
- 只能看到模型可调用(model-invocable)的技能
|
|
107
|
+
- 静态检查读不到原始 frontmatter、也不执行技能脚本
|
|
108
|
+
- 样本量小(当前 4 个技能 / 十余次加载),所有结论都带样本数与区间
|
package/icon.svg
ADDED
|
@@ -0,0 +1,9 @@
|
|
|
1
|
+
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 512 512" fill="none">
|
|
2
|
+
<path d="M112 344a144 144 0 0 1 288 0" stroke="#4d6bfe" stroke-width="44" stroke-linecap="round"/>
|
|
3
|
+
<path d="M304 196a144 144 0 0 1 96 148" stroke="#22c55e" stroke-width="44" stroke-linecap="round" opacity="0.9"/>
|
|
4
|
+
<path d="M256 344 L344 232" stroke="#4d6bfe" stroke-width="34" stroke-linecap="round"/>
|
|
5
|
+
<circle cx="256" cy="344" r="30" fill="#4d6bfe"/>
|
|
6
|
+
<rect x="150" y="392" width="48" height="48" rx="12" fill="#4d6bfe" opacity="0.45"/>
|
|
7
|
+
<rect x="232" y="376" width="48" height="64" rx="12" fill="#4d6bfe" opacity="0.7"/>
|
|
8
|
+
<rect x="314" y="356" width="48" height="84" rx="12" fill="#4d6bfe"/>
|
|
9
|
+
</svg>
|