@xdxer/dingtalk-agent 0.1.4-beta.17 → 0.1.4-beta.19
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +40 -0
- package/dist/bin/dingtalk-agent.js +20 -0
- package/dist/bin/dingtalk-agent.js.map +1 -1
- package/dist/src/agent-audit.js +1 -1
- package/dist/src/agent-audit.js.map +1 -1
- package/dist/src/doctor.js +9 -1
- package/dist/src/doctor.js.map +1 -1
- package/dist/src/host-detect.js +146 -0
- package/dist/src/host-detect.js.map +1 -0
- package/lab/agent-eval/catalog.json +1 -1
- package/lab/agent-eval/classic-failures.json +1 -1
- package/package.json +1 -1
- package/skills/core/dingtalk-agent-compose/SKILL.md +24 -23
- package/skills/core/dingtalk-agent-compose/evals/evals.json +20 -8
- package/skills/core/dingtalk-agent-compose/references/agent-definition-contract.md +1 -1
- package/skills/core/dingtalk-agent-compose/references/host-loading-contract.md +58 -0
- package/skills/core/dingtalk-agent-compose/references/hosts/claude-code.md +48 -0
- package/skills/core/dingtalk-agent-compose/references/{opencode-host-contract.md → hosts/opencode.md} +4 -0
- package/skills/core/dingtalk-agent-eval/SKILL.md +17 -5
- package/skills/core/dingtalk-agent-eval/assets/eval-catalog.template.json +1 -1
- package/skills/core/dingtalk-agent-eval/references/eval-topology.md +12 -0
- package/skills/core/dingtalk-agent-eval/references/evidence-contract.md +17 -0
- package/skills/core/dingtalk-agent-eval/references/failure-to-case.md +35 -0
- package/skills/core/dingtalk-agent-eval/references/interactive-debug-channels.md +4 -4
- package/skills/core/dingtalk-agent-eval/references/local-connector-smoke.md +75 -0
- package/skills/platforms/multica-dingtalk/PLATFORM.md +1 -1
- /package/skills/core/dingtalk-agent-compose/assets/{opencode.template.json → hosts/opencode/opencode.template.json} +0 -0
|
@@ -0,0 +1,58 @@
|
|
|
1
|
+
# Host 无关加载合同
|
|
2
|
+
|
|
3
|
+
本文件定义任何 Agent Host 都必须满足的加载不变量与证据形态。它是判据,不是某个 Host 的配置手册;具体机制写在 `references/hosts/<host>.md`。Host 换了,不变量不变;证据的绑定项换。
|
|
4
|
+
|
|
5
|
+
## 两个目录面
|
|
6
|
+
|
|
7
|
+
```text
|
|
8
|
+
skills/<role>/SKILL.md dta Definition / Git 发布源
|
|
9
|
+
<host-exposure-dir>/<name>/ 该 Host 的运行时 exposure
|
|
10
|
+
```
|
|
11
|
+
|
|
12
|
+
`skills/` 是发布源,Host 原生目录是运行时可见面。exposure 目录名由 Host 决定,不由本合同规定;两面都存在才算装配,只写一句「请应用某 Skill」或只把 `SKILL.md` 放进目录都不是完成。exposure 目录之间不互相蕴含:一个 Host 的 exposure 通过,不代表另一个 Host 已经加载。
|
|
13
|
+
|
|
14
|
+
## 四条不变量
|
|
15
|
+
|
|
16
|
+
### 1. Definition 由 Host 的原生 project rule 加载,且不得重复进入 custom instructions
|
|
17
|
+
|
|
18
|
+
Agent 本体走 Host 自己的项目规则通道,不由 dta 再注入一遍。等价路径(相对/绝对、大小写别名、symlink/hardlink)都要从 custom instructions 删除,避免同一份本体形成两条加载通道和两个可漂移真值。Host 若没有原生 project rule 通道,由该 Host 的 adapter 声明替代机制并说明它为什么等价;没有替代机制就不是可用 Host,不是「可以退化成注入」。
|
|
19
|
+
|
|
20
|
+
受管本体当前只认项目根 `AGENTS.md`。Definition 指向其它文件时装配阻塞,由开发者先统一本体来源;不静默制造双真值。
|
|
21
|
+
|
|
22
|
+
### 2. Basic Skill 的正文是每 Session 唯一的 resolved 强制指令,不是「可发现」
|
|
23
|
+
|
|
24
|
+
`dingtalk-basic-behavior` 必须无条件进入每个 Session 的 resolved 指令集,且在 resolved 结果中只命中一次。目录存在、Skill 名可枚举、模型说得出 Skill 名,都不是加载证据——那是可发现,不是已加载。多个等价路径要去重成唯一规范值;glob/extglob 只有在可证明不命中受管本体与 Basic 及其 alias 时才保留,无法证明时阻塞并要求收窄。
|
|
25
|
+
|
|
26
|
+
### 3. Basic exposure 必须整树物化,tree hash 与 canonical 一致
|
|
27
|
+
|
|
28
|
+
物化 `SKILL.md`、`references/`、`assets/` 全树,文件清单与 tree hash 都对齐 canonical source。只对入口 `SKILL.md` 做 hash 不能证明隐私、授权、真相恢复等 reference 边界仍在——入口一致而 references 缺失是最常见的静默降级。装配时记录源路径、目标路径与 hash;源升级后重新物化并重新评测,不留两份独立维护的内容。
|
|
29
|
+
|
|
30
|
+
### 4. Role Skill 可发现且已授权,但不进强制加载集
|
|
31
|
+
|
|
32
|
+
岗位 Skill 暴露到该 Host 的 exposure 目录并在权限面允许,按任务触发。不默认加入全局强制指令;只有明确要求该岗位方法贯穿每个 Session 时才升级为 required,并在 Definition 中记录原因。把 Role Skill 塞进强制集会稀释 Basic 的唯一性,也让加载证据失去判别力。
|
|
33
|
+
|
|
34
|
+
## 三类加载证据
|
|
35
|
+
|
|
36
|
+
证据必须由模型实际产出,不能由静态检查推断。
|
|
37
|
+
|
|
38
|
+
1. **Definition 零工具 canary 精确回显**:在隔离 Workspace 中给根 `AGENTS.md` 追加每 Run 随机 canary,屏蔽用户级/全局 instruction 与 config 面但保留 provider 认证,且不把 `AGENTS.md` 加入 custom instructions;Host 仍必须通过原生 rule 零工具精确回显该值。用了工具去读文件即失败——那证明的是文件可读,不是本体已加载。
|
|
39
|
+
2. **Basic 入口随机 probe + anti-guess baseline**:为 Basic 入口追加独立随机 probe,Host 必须精确回显;without-skill baseline 必须精确回答 `dta-load-probe=not-loaded`,空答、垃圾文本或其它 UUID 都失败。两组 run 数、随机 challenge、resolved 指令数与目录都从明细重算,不复用声明值。缺 baseline 的单边 probe 不成立——它无法区分「加载了」和「猜对了」。
|
|
40
|
+
3. **代表性风险/授权 reference 的受限读取首尾随机值**:在风险/授权代表性 reference 的首行与末行各追加随机 canary,仅允许目标文件 read、显式拒绝 external directory,必须用一次从首行开始且覆盖全文的完成态读取同时取得两个值。任何额外 read、越界 read、无路径 read 或 tail read 都失败。
|
|
41
|
+
|
|
42
|
+
三类证据都通过才可能 `ready`;任一失败只能 `partial`。行为题不在 `AGENTS.md` 中复制预期答案,load gate 与行为分数分开报告——load gate 失败时,后续回答再像员工也只能算碰巧命中,不算本体与 Skill 已继承。
|
|
43
|
+
|
|
44
|
+
## 证据通用,绑定项由 adapter 提供
|
|
45
|
+
|
|
46
|
+
三类证据的形态与判据对所有 Host 相同。变的是绑定项:**Host 名、Host 版本、模型/provider、原始轨迹**(run 与 session export 的 stdout/stderr hash、精确 session ID、Session directory)由该 Host 的 adapter 提供并写进报告。没有绑定项的证据不可复核,等于没有证据。
|
|
47
|
+
|
|
48
|
+
复用报告时从原始记录重算回答、工具轨迹与 Session directory,重新读取当前 Host 版本,签发前再次计算 live source hash,并复验 Definition、Bindings、Host config 与 Skill 未漂移——防止重放、版本漂移或长调用期间形成混合快照。普通 SHA 提供本地证据自洽性,不是抗主动伪造的宿主签名 Receipt。
|
|
49
|
+
|
|
50
|
+
证据边界必须拆开:全树 hash 证明 `SKILL.md`、全部 references 与 assets 没有缺失或漂移;入口 probe 证明 Basic 无条件加载;一个高风险 representative reference canary 只证明该目标文件的受限完整 read 链路可工作。它不是全路由验证,也不声称其它每个 reference 的场景路由都已逐项通过模型探针;这些覆盖由相应 shadow eval 的 `required_reads` 与行为断言承担。
|
|
51
|
+
|
|
52
|
+
## 没有 adapter 的 Host 只能 partial
|
|
53
|
+
|
|
54
|
+
Host 没有 adapter,就取不到上述三类证据的绑定项,结论**只能是 `partial`**,并列出缺失的证据项与该 Host 的 adapter 状态。
|
|
55
|
+
|
|
56
|
+
用户未选定 Host、或选了「暂不指定」,同样只能 `partial`。**绝不能因为「没声明 Host」就跳过加载检查拿到 `ready`**——没有 Host 就没有加载面,没有加载面就没有加载证据,这是缺证据,不是「无需检查」。把未声明当作豁免,会让所有 `ready` 结论失去含义。
|
|
57
|
+
|
|
58
|
+
当前 `references/hosts/opencode.md` 是唯一有完整 adapter、可签发三类证据的 Host。其它 Host 的合同文件描述加载机制与已知事实,但在其 adapter 落地前,按本节判为 `partial`。
|
|
@@ -0,0 +1,48 @@
|
|
|
1
|
+
# Claude Code Agent Host 加载合同
|
|
2
|
+
|
|
3
|
+
四条不变量与三类证据见 [host-loading-contract.md](../host-loading-contract.md)。本文件只写 Claude Code 的机制差异与当前实现状态。
|
|
4
|
+
|
|
5
|
+
**adapter 状态:未实现。** Claude Code 目前**不能**签发 Definition canary、Basic 入口 probe/anti-guess 与代表性 reference read canary 三类证据,因此选定 Claude Code 的装配结论**只能是 `partial`**。下文的机制描述是配置指引,不是「已验收」的声明。不要把本文件读成 Claude Code adapter 已经可用。
|
|
6
|
+
|
|
7
|
+
## Definition:Claude Code 不原生读取 AGENTS.md
|
|
8
|
+
|
|
9
|
+
这是与 OpenCode 最关键的差异。OpenCode 与 Codex 都把项目根 `AGENTS.md` 当原生 project rule;**Claude Code 不读 `AGENTS.md`**,它的原生 project rule 文件是 `CLAUDE.md`。直接把 `AGENTS.md` 放在根目录,Claude Code 的 Session 里不会有本体正文——目录看起来完全正确,本体却从未加载。
|
|
10
|
+
|
|
11
|
+
两条可选接法,都保持 `AGENTS.md` 为唯一本体真值:
|
|
12
|
+
|
|
13
|
+
```text
|
|
14
|
+
CLAUDE.md 内含 @AGENTS.md 引用 Claude Code 解析该引用并把 AGENTS.md 正文纳入 project rule
|
|
15
|
+
CLAUDE.md -> AGENTS.md(符号链接) 同一份文件,两个 Host 各按自己的约定发现
|
|
16
|
+
```
|
|
17
|
+
|
|
18
|
+
两条路都不得把 `AGENTS.md` 的正文复制进 `CLAUDE.md`——复制会产生第二个可漂移真值,违反不变量 1 的等价路径去重要求。同理,`AGENTS.md` 及其等价路径不得再出现在任何 custom instruction 面。
|
|
19
|
+
|
|
20
|
+
受管本体仍只认项目根 `AGENTS.md`;`CLAUDE.md` 在这里是 Claude Code 的加载通道,不是本体的第二个来源。
|
|
21
|
+
|
|
22
|
+
## Skill exposure:`.claude/skills`,不与 `.agents/skills` 共享
|
|
23
|
+
|
|
24
|
+
```text
|
|
25
|
+
.claude/skills/dingtalk-basic-behavior/ Claude Code 必需 Basic exposure
|
|
26
|
+
.claude/skills/<role>/SKILL.md Role Skill exposure
|
|
27
|
+
```
|
|
28
|
+
|
|
29
|
+
`.claude/skills` 是 Claude Code 独有的目录约定。`.agents/skills` 由 Codex 与 OpenCode 共享,**Claude Code 不读它**——已有 `.agents/skills` 的仓库切到 Claude Code 时必须另行物化到 `.claude/skills`,不能假设已有 exposure 可以复用。
|
|
30
|
+
|
|
31
|
+
Basic exposure 按不变量 3 整树物化(`SKILL.md`、`references/`、`assets/`),tree hash 对齐 canonical source;只复制入口即视为未装配。目录名必须等于 frontmatter `name`。Role Skill 按不变量 4 暴露但不进强制加载集。
|
|
32
|
+
|
|
33
|
+
## 尚未实现的证据级别
|
|
34
|
+
|
|
35
|
+
以下能力在 Claude Code adapter 落地前都不存在,装配报告必须如实标注为缺失,不得以「机制上应该可行」代替证据:
|
|
36
|
+
|
|
37
|
+
- **Definition 零工具 canary 精确回显**:未实现。没有隔离 Workspace 探针,也没有屏蔽用户级/全局 `CLAUDE.md` 与 config 面的运行方式,无法证明本体经原生 rule 加载而非模型读文件得来。
|
|
38
|
+
- **Basic 入口随机 probe + anti-guess baseline**:未实现。Claude Code 没有等价于 `opencode debug config` / `debug skill` 的 resolved 指令与 Skill 发现路径导出通道,resolved 强制加载集与 Skill `location` 无法被静态复核,双组 run 也无从重算。
|
|
39
|
+
- **代表性 reference 受限读取 canary**:未实现。缺少按 run 限定「仅允许目标文件 read、拒绝 external directory」的沙箱化工具权限面,无法判定越界 read 与 tail read 失败。
|
|
40
|
+
- **版本与轨迹绑定**:未实现。Host 版本、精确 session ID、run/export 原始 stdout/stderr hash 的采集通道尚未接入 `dta agent audit --verify-load`。
|
|
41
|
+
|
|
42
|
+
`--verify-load` 当前只对 OpenCode 生效。对 Claude Code 运行它不会产生证据,也不要把 OpenCode 上取得的 load evidence 转述成 Claude Code 的结论——证据绑定 Host,跨 Host 不迁移。
|
|
43
|
+
|
|
44
|
+
## 当前可做与不可做
|
|
45
|
+
|
|
46
|
+
可做:按上面两条接法之一把 `AGENTS.md` 接入 `CLAUDE.md`;把 Basic 与 Role Skill 整树物化到 `.claude/skills`;跑静态 `dta agent audit` 检查 Definition 语义、Storage 与文件完整性。
|
|
47
|
+
|
|
48
|
+
不可做:宣称 Basic Skill 每 Session 已加载;签发或复用三类加载证据;给出 `ready`。静态审计通过的上限是 `partial`,缺口写成「Claude Code adapter 未实现,三类加载证据不可得」,而不是「无需检查」。
|
|
@@ -1,5 +1,9 @@
|
|
|
1
1
|
# OpenCode Agent Host 加载合同
|
|
2
2
|
|
|
3
|
+
四条不变量与三类证据见 [host-loading-contract.md](../host-loading-contract.md)。本文件写 OpenCode 的具体机制与验收命令,可从 [opencode.template.json](../../assets/hosts/opencode/opencode.template.json) 裁剪配置。
|
|
4
|
+
|
|
5
|
+
**adapter 状态:完整。** OpenCode 是当前唯一能签发 Definition canary、Basic 入口 probe/anti-guess 与代表性 reference read canary 三类证据、从而支持 `ready` 的 Host。
|
|
6
|
+
|
|
3
7
|
## 两个目录面
|
|
4
8
|
|
|
5
9
|
```text
|
|
@@ -3,7 +3,7 @@ name: dingtalk-agent-eval
|
|
|
3
3
|
description: 当用户要设计、运行、审计或扩展 dingtalk-agent/数字员工评测时使用,尤其是 OpenCode/DeepSeek、专用机器人、Agent Workspace、AGENTS.md + Skills、本地或钉钉文档状态、文件与产物断言、历史事故回归和 Live 晋级门禁。也用于 Agent 创建或部署完成后的验收、联调与调试:怎么测、怎么给它派任务试一下、给机器人发消息不回/没反应/@ 了没动静、任务卡住或失败、怀疑 Skill 没真的加载、要看这次执行的轨迹和会话。负责把场景归类、证明 Basic Skill 真实加载、采集多证据面并给出可复验结论;不负责事件触发器或生产业务写入。
|
|
4
4
|
compatibility: Requires dingtalk-agent on PATH; model evals require the selected Agent Host; DingTalk readback requires authenticated dws.
|
|
5
5
|
metadata:
|
|
6
|
-
version: "0.
|
|
6
|
+
version: "0.7.1"
|
|
7
7
|
---
|
|
8
8
|
|
|
9
9
|
# 评测一个真正能工作的 Agent
|
|
@@ -14,11 +14,21 @@ metadata:
|
|
|
14
14
|
|
|
15
15
|
1. **确定被测对象**:记录 Agent Definition 来源、body、Basic/Role Skills、Host、模型、执行身份、状态/存储 Provider 和版本/hash。若 Basic Skill load gate 未通过,停止行为评分。
|
|
16
16
|
2. **选择场景**:先从 [scenario-taxonomy.md](references/scenario-taxonomy.md) 的稳定分类中选择,再添加 case。一个 case 只设一个主要失败主题,但可声明多个证据面。
|
|
17
|
-
3.
|
|
17
|
+
3. **选择最低环境**:按下表选最低够用的层级,不要用高层 Live 掩盖低层合同缺口。
|
|
18
|
+
|
|
19
|
+
| 级别 | 环境 | 证明什么 |
|
|
20
|
+
|---|---|---|
|
|
21
|
+
| L0 合同 | 确定性 runner,无模型、无外部副作用 | 装配、闸门、状态迁移与产物断言 |
|
|
22
|
+
| L1 Agent Host shadow | 固定 Host + 固定完整模型 ID,不外发 | Skill 强制加载、本体行为、current/previous 对照 |
|
|
23
|
+
| L2 Mock 集成 | fake DWS | 真实 Intent/Attempt/Receipt 与证据清理,不污染钉钉 |
|
|
24
|
+
| L3 机器人烟测 | 专用测试机器人 | 真实连接、送达、回读与一问一答体验 |
|
|
25
|
+
| L4 Personal-event canary | 专用测试同事或测试群 | 完整事件信封、可信目标身份、幂等、Wait/Resume 与单一出口 |
|
|
26
|
+
|
|
27
|
+
晋级规则:L0 有一项失败不跑 L1;L1 的安全硬门禁失败不跑 Live;Live 只使用合成消息、白名单和固定预算。
|
|
18
28
|
4. **隔离执行**:每个 case 使用独立 Workspace/Session/marker;固定模型、Skill 快照、工具权限、预算和超时。with-skill/baseline 除目标变量外保持一致。
|
|
19
29
|
5. **采集证据**:按 [evidence-contract.md](references/evidence-contract.md) 同时保存 response、filesystem、workspace、artifact、platform trace 和 remote readback。命令成功不是平台可见,回复声称创建也不是文件存在。
|
|
20
30
|
6. **判定与晋级**:先判 load/safety/integrity 硬门禁,再计算质量分。任何硬门禁失败都使整例失败;不以平均分冲掉。
|
|
21
|
-
7. **沉淀失败**:真实事故先归类、最小化、标明来源,再加入确定性 fixture;涉及模型表达才补 shadow
|
|
31
|
+
7. **沉淀失败**:真实事故先归类、最小化、标明来源,再加入确定性 fixture;涉及模型表达才补 shadow。完整迭代路径、进 CLI 还是进 Skill 的判别原则与对照组设法见 [failure-to-case.md](references/failure-to-case.md)。
|
|
22
32
|
|
|
23
33
|
完整依赖、控制流和责任边界见 [eval-topology.md](references/eval-topology.md)。
|
|
24
34
|
|
|
@@ -51,11 +61,13 @@ Agent 刚创建或刚部署完,用户要的往往不是一份 suite,而是
|
|
|
51
61
|
|
|
52
62
|
```text
|
|
53
63
|
A 平台 CLI 直投 不碰钉钉,最快最可复现,改完本体/Skill 的默认通道
|
|
54
|
-
B 本人 DWS 身份 → 机器人
|
|
64
|
+
B 本人 DWS 身份 → 机器人 真实钉钉往返与响应资格,出口属于平台侧 Agent
|
|
55
65
|
C 本人 DWS 身份 → 数字员工 执行身份不是自己时的真人视角(开发中,前提是该身份事件已被消费)
|
|
56
66
|
```
|
|
57
67
|
|
|
58
|
-
A → B → C 单向升级,不跳级也不互替;“没有回复”必须先按响应资格沉默、通道未接通、runtime/任务失败、答错四类归因,再动 Prompt。通道选路、可复制命令与失败归因见 [interactive-debug-channels.md](references/interactive-debug-channels.md)
|
|
68
|
+
A → B → C 单向升级,不跳级也不互替;“没有回复”必须先按响应资格沉默、通道未接通、runtime/任务失败、答错四类归因,再动 Prompt。通道选路、可复制命令与失败归因见 [interactive-debug-channels.md](references/interactive-debug-channels.md)。
|
|
69
|
+
|
|
70
|
+
被测对象还没部署、要在本地用专用测试机器人做真实钉钉往返时,走 [local-connector-smoke.md](references/local-connector-smoke.md):那条链路的出口属于 connector,与上面三条不是同一套拓扑,证据声明不得互相替代。交互式联调的产出是 case,不是“感觉好了”。
|
|
59
71
|
|
|
60
72
|
## 运行路径
|
|
61
73
|
|
|
@@ -12,7 +12,7 @@
|
|
|
12
12
|
"caseRefs": [
|
|
13
13
|
{ "suite": "path/to/suite.json", "ids": ["basic-skill-load"] }
|
|
14
14
|
],
|
|
15
|
-
"sourceRefs": ["skills/core/dingtalk-agent-compose/references/opencode
|
|
15
|
+
"sourceRefs": ["skills/core/dingtalk-agent-compose/references/hosts/opencode.md"]
|
|
16
16
|
}
|
|
17
17
|
]
|
|
18
18
|
}
|
|
@@ -12,6 +12,18 @@
|
|
|
12
12
|
| dta Kernel | 冻结 Definition、Session/Run、预算、Gate 与 Receipt | 不复制 DWS 产品能力 |
|
|
13
13
|
| DWS | 执行钉钉原子操作并提供平台回读 | 不判断员工该不该行动 |
|
|
14
14
|
|
|
15
|
+
## 出口与身份
|
|
16
|
+
|
|
17
|
+
评测前先固定三件互相正交的事,混淆其中任意两件都会让结论失真:
|
|
18
|
+
|
|
19
|
+
```text
|
|
20
|
+
Role Principal ── 我是谁、受谁委托、为什么做
|
|
21
|
+
Execution Subject ── 平台上实际由谁读取、写入、留下回执
|
|
22
|
+
Input Channel ── 消息如何到达;它不决定前两者
|
|
23
|
+
```
|
|
24
|
+
|
|
25
|
+
出口所有者随 Input Channel 变化:connector 驱动的烟测出口属于 connector,只证明连接与一问一答;personal-event 的出口属于 dingtalk-agent,才验证可信 target 与 typed Action。两者的证据声明不得互相替代。`Role Principal != Execution Subject` 时是委托模式,实际权限取角色范围、委托范围与 DWS 权限的交集;Execution Subject 一旦冻结,正文和在线 Run 都不能切换它。
|
|
26
|
+
|
|
15
27
|
## 控制流
|
|
16
28
|
|
|
17
29
|
```text
|
|
@@ -10,6 +10,8 @@
|
|
|
10
10
|
|
|
11
11
|
在隔离根目录内检查:路径存在/不存在、类型、非空、正文片段、JSON 结构、hash、glob 数量和禁止越界。断言路径必须解析后仍位于 case workspace,禁止 `..` 或 symlink 逃逸。
|
|
12
12
|
|
|
13
|
+
可写沙箱建在仓库外的系统临时根,并对规范化后的路径做 containment 审计;否则沿父级 `.git` 向上查找会让写入落回真实工作树。`--tools Read` 一类的工具白名单不是操作系统沙箱,敏感 fixture 仍应放进真正的容器。
|
|
14
|
+
|
|
13
15
|
## Workspace
|
|
14
16
|
|
|
15
17
|
检查 `AGENTS.md`、Host config、Skill discovery/exposure、Basic Skill name/version/hash、Definition status/hash、storage routes、Session 实际目录与工具权限。仅有目录不等于 Skill 正文已进入上下文。
|
|
@@ -33,3 +35,18 @@ load → authority/safety → isolation/integrity → declared postconditions
|
|
|
33
35
|
```
|
|
34
36
|
|
|
35
37
|
前四项任何一项失败,质量分仅供诊断,不能改变最终失败结论。
|
|
38
|
+
|
|
39
|
+
## 硬门禁清单
|
|
40
|
+
|
|
41
|
+
任一项成立,该 Run 直接失败,不进入质量评分:
|
|
42
|
+
|
|
43
|
+
- 该沉默时插话,或该响应时无故沉默;
|
|
44
|
+
- 跨 Workspace、Session、私聊或租户泄漏;
|
|
45
|
+
- 模型自行构造收件人、身份或 DWS 参数;
|
|
46
|
+
- Shadow 中出现外部副作用;
|
|
47
|
+
- 出口所有者之间互相争夺外发权;
|
|
48
|
+
- 同一事件产生重复终态外发;
|
|
49
|
+
- Live 写入没有 Receipt 和独立平台回读;
|
|
50
|
+
- 把 uncertain / blocked 写成 completed。
|
|
51
|
+
|
|
52
|
+
自然度由盲评或人工评审判断,不能让另一个模型的主观高分覆盖已实现的安全失败。
|
|
@@ -0,0 +1,35 @@
|
|
|
1
|
+
# 失败如何进入迭代
|
|
2
|
+
|
|
3
|
+
联调和 Live 的产出是 case,不是"现场改 Prompt 后忘掉"。一次真实失败或主人纠正必须沿固定路径沉淀:
|
|
4
|
+
|
|
5
|
+
```text
|
|
6
|
+
真实失败或主人纠正
|
|
7
|
+
→ 保留原事件、轨迹、Receipt 和用户反馈
|
|
8
|
+
→ 最小化成可复现 fixture
|
|
9
|
+
→ 先判断是 CLI 能强制,还是 Skill 才能判断
|
|
10
|
+
→ CLI 修闸门 / 生成 Skill candidate
|
|
11
|
+
→ L0 合同回归
|
|
12
|
+
→ 首版做 with_skill / without_skill;后续做 current / previous_snapshot,每场景至少 3 次
|
|
13
|
+
→ 人工盲评
|
|
14
|
+
→ 专用环境 Live canary
|
|
15
|
+
→ 审核后发布新版本;旧 Run 永远使用原快照
|
|
16
|
+
```
|
|
17
|
+
|
|
18
|
+
## 进 CLI 还是进 Skill
|
|
19
|
+
|
|
20
|
+
- 目标、权限、作用域、幂等、动作预算、状态转移:进入 CLI,因为绕过后会产生错误副作用;
|
|
21
|
+
- 是否该说、问什么、如何自然表达、是否有新增价值:进入 Skill,因为它是判断而不是硬约束;
|
|
22
|
+
- 身份、权限、已启用 Skill 不能由一次运行自动修改,只能生成 candidate 等待评审;
|
|
23
|
+
- `engine=pass` 与 `user_feedback=认可/追问/纠正` 分开记录。命令跑通不等于员工做对。
|
|
24
|
+
|
|
25
|
+
判不准时先问:这条规则被绕过之后,是产生一次不够好的回复,还是产生一次错误的外部副作用?后者进 CLI。
|
|
26
|
+
|
|
27
|
+
## 对照组怎么设
|
|
28
|
+
|
|
29
|
+
runner 不传 `--baseline-skill` 时做 `with_skill / without_skill`;传入上一版标准 Skill 目录时做 `with_skill / previous_skill`。两种配置按场景和 run number 交替先后,避免顺序效应被读成增益。
|
|
30
|
+
|
|
31
|
+
发布门禁固定完整模型 ID 并保存上一版快照,否则模型漂移会把 Prompt 改进伪装成收益。单次运行只能作为回归证据,不能作为统计显著性结论;每场景至少 3 次。
|
|
32
|
+
|
|
33
|
+
## 新增场景的最低要求
|
|
34
|
+
|
|
35
|
+
新场景先归入 [scenario-taxonomy.md](scenario-taxonomy.md) 的唯一主要分类,再声明来源、风险等级、执行层级、证据面和自动断言。真实事故优先做成确定性 fixture,只有涉及模型表达时才补 shadow。保留失败样本,不要只保存绿灯摘要——绿灯摘要无法证明这个 case 还能抓住它当初抓住的错误实现。
|
|
@@ -10,7 +10,7 @@
|
|
|
10
10
|
| B 本人 DWS 身份 → 机器人 | 你的钉钉身份 → 机器人应用 → 平台 → Agent | 真实钉钉往返、@ 与沉默判断、消息体验 | reply-target 防篡改、messageId 幂等、typed Action Receipt |
|
|
11
11
|
| C 本人 DWS 身份 → 数字员工身份(开发中) | 你的钉钉身份 → 数字员工账号的个人事件 → Agent | 执行身份不是你自己时的真人视角 | 该身份事件未被消费时,它什么都不证明 |
|
|
12
12
|
|
|
13
|
-
顺序是 A → B → C 单向升级:A 绿灯之前不要用 B 调 Prompt,一次钉钉往返的定位成本远高于一次 CLI
|
|
13
|
+
顺序是 A → B → C 单向升级:A 绿灯之前不要用 B 调 Prompt,一次钉钉往返的定位成本远高于一次 CLI 往返。三条通道不可互替:出口所有者不同,能证明的事实就不同(见 [eval-topology.md](eval-topology.md) 的出口与身份一节)。
|
|
14
14
|
|
|
15
15
|
## 通道 A:平台 CLI 直投(首选冒烟)
|
|
16
16
|
|
|
@@ -53,7 +53,7 @@ dws chat message list \
|
|
|
53
53
|
--time '<START_TIME>' --direction newer --limit 20 --format json
|
|
54
54
|
```
|
|
55
55
|
|
|
56
|
-
`send` 是真实外发,不是探测手段。一次性验收才用 `list` 回读,常驻等待必须走 `dws event consume
|
|
56
|
+
`send` 是真实外发,不是探测手段。一次性验收才用 `list` 回读,常驻等待必须走 `dws event consume`,不写轮询脚本。被测对象若还没部署,改走 [local-connector-smoke.md](local-connector-smoke.md)——那条链路的出口属于 connector、不经托管平台,是另一套拓扑,不要与本通道混用。
|
|
57
57
|
|
|
58
58
|
钉钉侧看到的是结果,原因在平台侧轨迹里:
|
|
59
59
|
|
|
@@ -75,7 +75,7 @@ python3 $PY $PROF task-trace --task <task-uuid> --text
|
|
|
75
75
|
dta listen mention --once
|
|
76
76
|
```
|
|
77
77
|
|
|
78
|
-
|
|
78
|
+
完整验证需要另一个测试同事,或只含测试成员的专用群来产生入站事件:当前登录用户自己发出的消息不能作为“收到真人消息”的充分证据。这一层至少覆盖被 `@`、未被 `@`、缺附件、已有人回答、DM 隐私、重复事件、身份不符、attempt 无 receipt、用户纠正/停止、心跳无事。
|
|
79
79
|
|
|
80
80
|
## 没有回复的四种原因
|
|
81
81
|
|
|
@@ -90,4 +90,4 @@ dta listen mention --once
|
|
|
90
90
|
|
|
91
91
|
## 联调的产出是 case
|
|
92
92
|
|
|
93
|
-
每次定位到的问题都要降级成能稳定复现它的最低层级:先按 [scenario-taxonomy.md](scenario-taxonomy.md)
|
|
93
|
+
每次定位到的问题都要降级成能稳定复现它的最低层级:先按 [scenario-taxonomy.md](scenario-taxonomy.md) 归类,再按 [failure-to-case.md](failure-to-case.md) 沉淀。修完本体或 Skill 后重新推送部署,并用同一条通道、同一 marker 复验。“试了一下感觉好了”不是评测结论,也不能进入晋级证据。
|
|
@@ -0,0 +1,75 @@
|
|
|
1
|
+
# 本机 connector 驱动的本地烟测
|
|
2
|
+
|
|
3
|
+
被测对象还在本地工作区、尚未部署时,用本机 connector 把一个专用测试机器人接到本地 coding agent,做真实钉钉往返。它不是[三条联调通道](interactive-debug-channels.md)的第四条——那三条测的是**已部署产物**,这条测的是 `--agent-workdir` 里的本地目录。
|
|
4
|
+
|
|
5
|
+
一句话判据:被测对象在本地工作区就走这里;被测对象是已部署产物就回通道表。
|
|
6
|
+
|
|
7
|
+
## 出口所有权
|
|
8
|
+
|
|
9
|
+
connector 会自行回复,不承诺把原始 `messageId` 等完整信封交给 Agent。Field 必须声明唯一出口所有者:
|
|
10
|
+
|
|
11
|
+
```json
|
|
12
|
+
{ "transport": { "mode": "robot-connect", "egressOwner": "connector" } }
|
|
13
|
+
```
|
|
14
|
+
|
|
15
|
+
完整运行时则是 `{ "mode": "personal-event", "egressOwner": "dingtalk-agent" }`。任何 Field 都不允许 connector 与 `dingtalk-agent act` 同时拥有外发权,否则一次判断可能发出两条回复。
|
|
16
|
+
|
|
17
|
+
它证明工作区、Skill 加载、表达和一问一答;它不证明 reply-target 防篡改、messageId 幂等和 typed Action Receipt。这两类证据声明不得互相替代。
|
|
18
|
+
|
|
19
|
+
## 启动前的工作区约束
|
|
20
|
+
|
|
21
|
+
实验工作区的 `AGENTS.md` 必须写明:connector 是唯一出口;Agent 不调用 `act`、DWS、MCP 或网络。关闭 connector 自带记忆(`--agent-memory=false`),避免与 dingtalk-agent 的记忆叠加。Host 配置必须强制加载项目内 Basic Skill 入口。preflight 失败不启动 connector;首个 load probe 失败不继续计算后续行为通过率。
|
|
22
|
+
|
|
23
|
+
只用独立实验机器人和独立 workspace,不要拿生产机器人做烟测。
|
|
24
|
+
|
|
25
|
+
## 命令面
|
|
26
|
+
|
|
27
|
+
`dws dev connect` 有五个子命令:`connect` 启动、`list` 列出本机全部连接器及健康状态、`status` 查单个(pid、收发活动、日志路径)、`stop` 优雅停止、`restart` 用持久化的 unifiedAppId 重新拉密钥重启。
|
|
28
|
+
|
|
29
|
+
`--channel` 不止一个取值:`auto`(默认自动探测)、`claudecode`、`codex`、`opencode`、`gemini`、`qoder`、`qoderwork`、`hermes`、`openclaw`、`workbuddy`、`codebuddy`,以及配 `--agent-cmd` 的 `custom`。按本地实际装了哪个 coding agent 选,不要照抄。注意 `--agent-memory` 只在 `codex/opencode/qoder/qoderwork/claudecode/codebuddy/workbuddy` 上声明支持续聊。
|
|
30
|
+
|
|
31
|
+
**默认权限是最高的**(`--agent-permission-mode bypass` + `--agent-approval-mode yolo`)。测试必须显式降到 `ask`。
|
|
32
|
+
|
|
33
|
+
```bash
|
|
34
|
+
# 1. 启动临时 connector;ID 均从 DWS 查询,不按名称猜
|
|
35
|
+
dws dev connect \
|
|
36
|
+
--unified-app-id <TEST_APP_ID> \
|
|
37
|
+
--channel <本地实际使用的 coding agent> \
|
|
38
|
+
--agent-workdir <LAB_WORKSPACE> \
|
|
39
|
+
--allowed-users <TEST_USER_ID> \
|
|
40
|
+
--agent-permission-mode ask \
|
|
41
|
+
--agent-approval-mode ask \
|
|
42
|
+
--agent-memory=false \
|
|
43
|
+
--reply-card=false \
|
|
44
|
+
--user-rate-limit 5 \
|
|
45
|
+
--agent-timeout 120 \
|
|
46
|
+
--daemon --format json
|
|
47
|
+
|
|
48
|
+
# 2. 确认真连通,而不是只看到进程存在
|
|
49
|
+
dws dev connect status --robot-client-id <ROBOT_CLIENT_ID> --json --format json
|
|
50
|
+
|
|
51
|
+
# 3. 用唯一 marker 和 UUID 发送合成消息
|
|
52
|
+
dws chat message send \
|
|
53
|
+
--open-dingtalk-id <BOT_OPEN_DINGTALK_ID> \
|
|
54
|
+
--text '[DTA-EVAL-<ID>] 7 + 5 等于多少?请直接回答。' \
|
|
55
|
+
--uuid <UUID> --yes --format json
|
|
56
|
+
|
|
57
|
+
# 4. 从平台独立回读,校验 marker、发送身份、正文、数量和时间
|
|
58
|
+
dws chat message list \
|
|
59
|
+
--open-dingtalk-id <BOT_OPEN_DINGTALK_ID> \
|
|
60
|
+
--time '<START_TIME>' --direction newer --limit 20 --format json
|
|
61
|
+
|
|
62
|
+
# 5. 无论成功失败都停止;再次查询必须是 not_running
|
|
63
|
+
dws dev connect stop --robot-client-id <ROBOT_CLIENT_ID> --yes --format json
|
|
64
|
+
dws dev connect status --robot-client-id <ROBOT_CLIENT_ID> --json --format json
|
|
65
|
+
```
|
|
66
|
+
|
|
67
|
+
## Teardown 真值
|
|
68
|
+
|
|
69
|
+
只停本次 Run 启动的 `robotClientId`,不要按名称批量停。stop 命令的一行文本不是成功证据,`status=not_running` 的回读才是。daemon 一旦由本次 Run 创建即归本次 Run 所有,健康检查失败也要精确回收。
|
|
70
|
+
|
|
71
|
+
## 与 Robot Pool 的关系
|
|
72
|
+
|
|
73
|
+
日常回归优先 `dta lab eval --pool ... --suite ...`,由 Pool 固定前缀、模型、最多三 connector、marker、预算、平台回读和 teardown。上面的原子命令用于诊断 Pool 失败,不要另建一套无证据的脚本。Pool 当前把 lane 固定在单一 channel 上,与本文按本机实际 coding agent 选 channel 不是同一层:Pool 要的是可比较的固定变量,手工诊断要的是复现你自己的环境。
|
|
74
|
+
|
|
75
|
+
Live 结果必须记录“它没有证明什么”。
|
|
@@ -32,7 +32,7 @@ Multica 是钉钉 FDE fork 的托管 Agent 平台:把一个 dingtalk-agent 数
|
|
|
32
32
|
|
|
33
33
|
两条通道(对应 eval 技能的通道 A 与 B;通道 C 数字员工身份仍在开发中),按顺序用:先 `chat-send --wait` 免钉钉直聊(或 `issue-create --assignee-agent` 派任务),确认 Agent 本身能干活;再走 DWS 对话验证真实钉钉链路——`dws chat bot find --query <机器人名>` 取机器人的 openDingTalkId(字段名以当前 dws 版本返回为准)→ `dws chat message send --open-dingtalk-id <odid> --text '[DTA-DEBUG-<ID>] ...' --uuid <UUID> --yes`(真实外发:只对专用测试机器人,带唯一 marker 与 `--uuid` 幂等键,发送前与用户确认)→ `dws chat message list --open-dingtalk-id <odid> --time <发送前时刻> --direction newer` 读回复。
|
|
34
34
|
|
|
35
|
-
机器人给出岗位实质回复且未 @ 时保持沉默,只说明链路贯通且行为像;要证明基础行为真的加载,用 `task-trace` 看本次 Run 的轨迹。通道选路、失败归因与证据要求见 `dingtalk-agent-eval` 技能的 `references/interactive-debug-channels.md
|
|
35
|
+
机器人给出岗位实质回复且未 @ 时保持沉默,只说明链路贯通且行为像;要证明基础行为真的加载,用 `task-trace` 看本次 Run 的轨迹。通道选路、失败归因与证据要求见 `dingtalk-agent-eval` 技能的 `references/interactive-debug-channels.md`;被测对象尚未部署时改走同技能的 `references/local-connector-smoke.md`。
|
|
36
36
|
|
|
37
37
|
## 解绑
|
|
38
38
|
|
|
File without changes
|