@xdxer/dingtalk-agent 0.1.4-beta.9 → 0.1.5-beta.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +229 -0
- package/README.en.md +89 -324
- package/README.md +88 -674
- package/dist/bin/dingtalk-agent.js +207 -21
- package/dist/bin/dingtalk-agent.js.map +1 -1
- package/dist/src/agent-audit.js +1014 -89
- package/dist/src/agent-audit.js.map +1 -1
- package/dist/src/agent-enhance.js +41 -8
- package/dist/src/agent-enhance.js.map +1 -1
- package/dist/src/agent-platform.js +299 -0
- package/dist/src/agent-platform.js.map +1 -0
- package/dist/src/config.js +1 -7
- package/dist/src/config.js.map +1 -1
- package/dist/src/development-workspace.js +31 -5
- package/dist/src/development-workspace.js.map +1 -1
- package/dist/src/doctor.js +74 -15
- package/dist/src/doctor.js.map +1 -1
- package/dist/src/host-detect.js +146 -0
- package/dist/src/host-detect.js.map +1 -0
- package/dist/src/instruction-path.js +270 -0
- package/dist/src/instruction-path.js.map +1 -0
- package/dist/src/multica-deploy.js +78 -20
- package/dist/src/multica-deploy.js.map +1 -1
- package/dist/src/multica-provider.js +1 -1
- package/dist/src/multica-provider.js.map +1 -1
- package/dist/src/opencode-evals.js +710 -225
- package/dist/src/opencode-evals.js.map +1 -1
- package/dist/src/opencode-isolation.js +124 -0
- package/dist/src/opencode-isolation.js.map +1 -0
- package/dist/src/opencode-provider.js +1 -0
- package/dist/src/opencode-provider.js.map +1 -1
- package/dist/src/opencode-workspace.js +21 -10
- package/dist/src/opencode-workspace.js.map +1 -1
- package/dist/src/remote-state-evals.js +2 -1
- package/dist/src/remote-state-evals.js.map +1 -1
- package/dist/src/robot-evals.js +2 -1
- package/dist/src/robot-evals.js.map +1 -1
- package/dist/src/setup.js +6 -5
- package/dist/src/setup.js.map +1 -1
- package/dist/src/skill-manager.js +141 -12
- package/dist/src/skill-manager.js.map +1 -1
- package/dist/src/skills.js +2 -1
- package/dist/src/skills.js.map +1 -1
- package/dist/src/types.js.map +1 -1
- package/dist/src/upgrade.js +23 -27
- package/dist/src/upgrade.js.map +1 -1
- package/dist/src/version.js +73 -0
- package/dist/src/version.js.map +1 -0
- package/docs/ARCHITECTURE.md +232 -0
- package/docs/INSTALLATION.md +3 -3
- package/docs/PRIOR-ART.md +122 -0
- package/docs/SELF-TEST.md +182 -0
- package/docs/assets/agent-delivery-lifecycle.svg +103 -0
- package/docs/schemas/agent-platform.schema.json +13 -0
- package/docs/schemas/project.schema.json +3 -0
- package/docs/schemas/release-readiness.schema.json +2 -1
- package/evals/README.md +17 -0
- package/examples/agents/README.md +43 -0
- package/examples/agents/fde-coach/AGENTS.md +26 -17
- package/examples/agents/release-manager/AGENTS.md +26 -17
- package/lab/README.md +3 -3
- package/lab/agent-eval/catalog.json +5 -5
- package/lab/agent-eval/classic-failures.json +9 -9
- package/lab/agent-eval/completion-gate-regression.json +6 -6
- package/lab/agent-eval/remote-state-workspace/opencode.json +1 -1
- package/lab/agent-eval/workspace/AGENTS.md +1 -1
- package/lab/project-workspace/fake-multica-provider.mjs +17 -6
- package/lab/project-workspace/opencode-provider-suite.json +2 -2
- package/lab/robot-eval/suite.json +1 -1
- package/lab/robot-eval/workspace/AGENTS.md +1 -1
- package/lab/schemas/agent-eval-catalog.schema.json +1 -1
- package/package.json +18 -13
- package/skills/README.md +23 -0
- package/skills/core/dingtalk-agent-compose/SKILL.md +151 -0
- package/skills/core/dingtalk-agent-compose/assets/AGENTS.template.md +35 -0
- package/skills/core/dingtalk-agent-compose/assets/role-skill.template.md +32 -0
- package/skills/core/dingtalk-agent-compose/evals/evals.json +129 -0
- package/skills/{dingtalk-agent-compose → core/dingtalk-agent-compose}/references/agent-definition-contract.md +3 -3
- package/skills/core/dingtalk-agent-compose/references/host-loading-contract.md +58 -0
- package/skills/core/dingtalk-agent-compose/references/hosts/claude-code.md +48 -0
- package/skills/core/dingtalk-agent-compose/references/hosts/opencode.md +77 -0
- package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/SKILL.md +57 -8
- package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/assets/eval-catalog.template.json +1 -1
- package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/evals/evals.json +22 -0
- package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/references/eval-topology.md +14 -0
- package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/references/evidence-contract.md +21 -0
- package/skills/core/dingtalk-agent-eval/references/failure-to-case.md +35 -0
- package/skills/core/dingtalk-agent-eval/references/interactive-debug-channels.md +93 -0
- package/skills/core/dingtalk-agent-eval/references/local-connector-smoke.md +75 -0
- package/skills/core/dingtalk-basic-behavior/SKILL.md +87 -0
- package/skills/{dingtalk-basic-behavior → core/dingtalk-basic-behavior}/references/memory-and-evolution.md +12 -0
- package/skills/core/dingtalk-basic-behavior/references/risk-authority-and-privacy.md +62 -0
- package/skills/{dingtalk-basic-behavior → core/dingtalk-basic-behavior}/references/task-lifecycle.md +15 -3
- package/skills/core/dingtalk-basic-behavior/references/truth-and-recovery.md +65 -0
- package/skills/platforms/deap/PLATFORM.md +3 -0
- package/skills/platforms/multica-dingtalk/PLATFORM.md +40 -0
- package/skills/{dingtalk-agent-boot-multica → platforms/multica-dingtalk/dingtalk-agent-boot-multica}/SKILL.md +4 -4
- package/skills/{dingtalk-agent-deploy → platforms/multica-dingtalk/dingtalk-agent-deploy-multica}/SKILL.md +1 -1
- package/skills/platforms/multica-dingtalk/multica-external/SKILL.md +282 -0
- package/skills/platforms/multica-dingtalk/multica-external/scripts/bootstrap.sh +78 -0
- package/skills/platforms/multica-dingtalk/multica-external/scripts/multica_ext.py +1180 -0
- package/docs/SECOND-AGENT-ACCEPTANCE.md +0 -62
- package/docs/architecture/agent-memory-topology.png +0 -0
- package/docs/architecture/agent-memory-topology.svg +0 -132
- package/docs/architecture/dingtalk-agent-blueprint.png +0 -0
- package/docs/architecture/durable-async-agent-runtime.png +0 -0
- package/docs/architecture/general-agent-kernel-topology.png +0 -0
- package/docs/architecture/provider-bound-development-workspace.png +0 -0
- package/docs/architecture/task-completion-gate.png +0 -0
- package/skills/dingtalk-agent-compose/SKILL.md +0 -110
- package/skills/dingtalk-agent-compose/assets/AGENTS.template.md +0 -26
- package/skills/dingtalk-agent-compose/assets/role-skill.template.md +0 -24
- package/skills/dingtalk-agent-compose/evals/evals.json +0 -94
- package/skills/dingtalk-agent-compose/references/opencode-host-contract.md +0 -65
- package/skills/dingtalk-basic-behavior/SKILL.md +0 -146
- /package/skills/{dingtalk-agent-compose → core/dingtalk-agent-compose}/assets/agent.bindings.dingtalk-doc.template.json +0 -0
- /package/skills/{dingtalk-agent-compose → core/dingtalk-agent-compose}/assets/agent.bindings.local.template.json +0 -0
- /package/skills/{dingtalk-agent-compose/assets → core/dingtalk-agent-compose/assets/hosts/opencode}/opencode.template.json +0 -0
- /package/skills/{dingtalk-agent-compose → core/dingtalk-agent-compose}/references/storage-routing.md +0 -0
- /package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/references/scenario-taxonomy.md +0 -0
- /package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/references/storage-modes.md +0 -0
- /package/skills/{dingtalk-basic-behavior → core/dingtalk-basic-behavior}/assets/memory-candidate-proposal.json +0 -0
- /package/skills/{dingtalk-basic-behavior → core/dingtalk-basic-behavior}/assets/task-checkpoint.json +0 -0
- /package/skills/{dingtalk-basic-behavior → core/dingtalk-basic-behavior}/references/action-contract.md +0 -0
- /package/skills/{dingtalk-basic-behavior → core/dingtalk-basic-behavior}/references/event-to-behavior.md +0 -0
- /package/skills/{dingtalk-basic-behavior → core/dingtalk-basic-behavior}/references/perception-and-gates.md +0 -0
- /package/skills/{dingtalk-basic-behavior → core/dingtalk-basic-behavior}/references/runtime-modes.md +0 -0
- /package/skills/{dingtalk-agent-deploy → platforms/multica-dingtalk/dingtalk-agent-deploy-multica}/references/multica-deployment-contract.md +0 -0
- /package/skills/{dingtalk-agent-deploy → platforms/multica-dingtalk/dingtalk-agent-deploy-multica}/references/promotion-observation-contract.md +0 -0
|
@@ -0,0 +1,129 @@
|
|
|
1
|
+
{
|
|
2
|
+
"skill_name": "dingtalk-agent-compose",
|
|
3
|
+
"evals": [
|
|
4
|
+
{
|
|
5
|
+
"id": 1,
|
|
6
|
+
"prompt": "我有一个 GitHub 上的招聘助手仓库,想用 dta 变成可以持续工作的 Agent。请告诉我最小要补什么,触发器先不做。",
|
|
7
|
+
"expected_output": "要求宿主先 checkout;检查 AGENTS.md、Role Skills、memory/knowledge/artifacts/private state 与 authority;不自动 init,不把触发器纳入 dta。",
|
|
8
|
+
"files": [],
|
|
9
|
+
"expectations": [
|
|
10
|
+
"使用 agent.bindings@1 显式声明本体、能力和存储",
|
|
11
|
+
"普通本地 Agent 不自动 init",
|
|
12
|
+
"事件触发器明确排除在装配范围外"
|
|
13
|
+
]
|
|
14
|
+
},
|
|
15
|
+
{
|
|
16
|
+
"id": 2,
|
|
17
|
+
"prompt": "这个本地目录已经有 AGENTS.md 和 skills/,帮我判断能不能作为钉钉数字员工 Agent,并给出验证命令。",
|
|
18
|
+
"expected_output": "运行 bootstrap 和 agent audit;依据稳定 check/missing/repairs 判断;说明 Basic 与 Role Skills 可叠加及 Session 冻结边界。",
|
|
19
|
+
"files": [],
|
|
20
|
+
"expectations": [
|
|
21
|
+
"先生成或复核 agent.bindings.json",
|
|
22
|
+
"使用 dta agent audit 输出 partial/ready 和精确修复项",
|
|
23
|
+
"Basic 与 Role Skills 的加载策略被清楚区分"
|
|
24
|
+
]
|
|
25
|
+
},
|
|
26
|
+
{
|
|
27
|
+
"id": 3,
|
|
28
|
+
"prompt": "员工本体和 Role Skills 放本地,记忆与知识放两篇钉钉文档,怎么配置和验收?",
|
|
29
|
+
"expected_output": "使用远端 bindings 模板,memory/knowledge 配 dingtalk-doc,本体与 Skills 保持本地;控制状态仍放宿主私有原子存储;storage eval 独立验收后把报告交给 agent audit。",
|
|
30
|
+
"files": [],
|
|
31
|
+
"expectations": [
|
|
32
|
+
"本体与 Role Skills 保持本地可版本化",
|
|
33
|
+
"远端只承载语义状态,不承载控制状态或凭据",
|
|
34
|
+
"静态 audit 不触发 DWS,远端 ready 依赖独立 readback 报告"
|
|
35
|
+
]
|
|
36
|
+
},
|
|
37
|
+
{
|
|
38
|
+
"id": 4,
|
|
39
|
+
"prompt": "我要把这个招聘 Agent 跑起来,仓库里已经有 AGENTS.md 和 skills/recruiting/SKILL.md。请完成 Host 组装并告诉我怎么证明 Basic Skill 每轮真的加载了。",
|
|
40
|
+
"expected_output": "先呈现 Host 候选(opencode 有完整 adapter、claude-code 合同已写但 adapter 未实现,本机可用 Host 由 dta doctor 报告)加「暂不指定」选项让用户选,不替用户默认;再按四条不变量组装——本体由所选 Host 原生 project rule 加载且等价路径不进 custom instructions,Basic 正文是每 Session 唯一 resolved 强制指令,Basic exposure 整树物化且 tree hash 与 canonical 一致,Role Skill 可发现已授权但不进强制集;用 Definition 零工具 canary、Basic 入口 probe + anti-guess baseline、代表性风险/授权 reference 首尾随机值三类证据验收,不能只说文件或目录存在,也不把代表性 canary 冒充全路由验证。",
|
|
41
|
+
"files": [],
|
|
42
|
+
"expectations": [
|
|
43
|
+
"先列 Host 候选并给出「暂不指定」选项让用户选择,不默认某个 Host",
|
|
44
|
+
"按四条不变量而不是某个 Host 的具体 exposure 路径判定组装是否完成",
|
|
45
|
+
"Basic source 与 exposure 的 name/version、SKILL hash 和全树 hash 一致,Role Skill 已授权但不进强制加载集",
|
|
46
|
+
"dta agent audit --verify-load --yes 在隔离 Workspace、屏蔽用户级/全局 instruction/config 面但保留 provider 认证的条件下取得 Definition、Basic 入口和代表性 reference read 三类随机证据,证据绑定 Host 名/版本/模型/轨迹"
|
|
47
|
+
]
|
|
48
|
+
},
|
|
49
|
+
{
|
|
50
|
+
"id": 5,
|
|
51
|
+
"prompt": "我在一个空目录里,想在一小时内做出本地发布经理 Agent。请给我从文件到验收通过的最短路径。",
|
|
52
|
+
"expected_output": "先落成 harness 无关内核——AGENTS.md、agent.bindings.json、MEMORY.md、knowledge/INDEX.md、skills/release-manager/SKILL.md、fields/default/field.json;再让用户选 Host 并按所选 Host 追加 exposure(不属于内核);先静态 audit,再 verify-load;不要求 Workspace init 或 DWS。",
|
|
53
|
+
"files": [],
|
|
54
|
+
"expectations": [
|
|
55
|
+
"最小文件树只含 harness 无关内核,不把任何 Host 的配置文件或 exposure 目录列进本体",
|
|
56
|
+
"Host exposure 作为选定 Host 后的追加步骤单列",
|
|
57
|
+
"先 partial 修复再进行有模型的 load 验收",
|
|
58
|
+
"最终 ready 以 Definition、Storage、Host 和 load 四类证据共同决定"
|
|
59
|
+
]
|
|
60
|
+
},
|
|
61
|
+
{
|
|
62
|
+
"id": 6,
|
|
63
|
+
"prompt": "我把 memory 改成钉钉文档后,agent audit 能不能只看本地缓存就直接说 ready?",
|
|
64
|
+
"expected_output": "不能;静态 audit 默认不读 DWS且保持 partial,必须由授权的 storage eval 验证 expected user、文档类型、hash、独立回读和模型使用,再通过 --remote-report 绑定证据。",
|
|
65
|
+
"files": [],
|
|
66
|
+
"expectations": [
|
|
67
|
+
"拒绝把缓存或 manifest 当远端事实",
|
|
68
|
+
"要求 identity/type/hash/readback/model-use 独立证据",
|
|
69
|
+
"控制状态保持 host atomic store 且不远端投影"
|
|
70
|
+
]
|
|
71
|
+
},
|
|
72
|
+
{
|
|
73
|
+
"id": 7,
|
|
74
|
+
"prompt": "这个仓库已经有自己的 opencode.json、.gitignore 和一些 Skills。请帮我把它增强成发布经理 Agent,但先让我看会改什么,不要覆盖已有配置。",
|
|
75
|
+
"expected_output": "先运行 agent enhance dry-run,审阅稳定 plan;不手工覆盖已有文件。确认后用当前 plan-id + yes 应用,检查操作级备份、语义合并和写后 hash;模板语义仍需人工完成。",
|
|
76
|
+
"files": [],
|
|
77
|
+
"expectations": [
|
|
78
|
+
"默认 plan 对本地文件、DWS 和 Trigger 都零副作用",
|
|
79
|
+
"apply 必须绑定当前 planId,非法 Role 路径、输入漂移或 symlink 时 fail closed",
|
|
80
|
+
"保留 OpenCode 未知键和已有权限;非字符串 instruction 拒绝而不是静默删除",
|
|
81
|
+
"备份与自定义 private state 都被 gitignore,且 plan ready 不冒充 Agent ready"
|
|
82
|
+
]
|
|
83
|
+
},
|
|
84
|
+
{
|
|
85
|
+
"id": 8,
|
|
86
|
+
"prompt": "用 dta 给我生成了 AGENTS.md 和招聘 Skill,为什么 audit 还是 partial?文件不是都已经创建了吗?",
|
|
87
|
+
"expected_output": "解释结构落盘不是语义完成:本体的定义、岗位底线、做事范式、常犯错误,以及 Role Skill 的领域 SOP 和验收仍是占位符;填入真实内容后复跑静态 audit,最后用 verify-load 证明 Basic 真加载。",
|
|
88
|
+
"files": [],
|
|
89
|
+
"expectations": [
|
|
90
|
+
"指出 definition.semantic-contract 与 skill.role.<name>.semantic 是独立硬门禁",
|
|
91
|
+
"不替用户虚构岗位语义或为了 ready 删除断言",
|
|
92
|
+
"区分文件存在、语义完整、Host exposure 和模型真加载四个结论"
|
|
93
|
+
]
|
|
94
|
+
},
|
|
95
|
+
{
|
|
96
|
+
"id": 9,
|
|
97
|
+
"prompt": "我整理了一大份数字员工行为规则,创建招聘 Agent 时是不是应该全部复制进 AGENTS.md?请按最短可维护模板告诉我分别放哪里。",
|
|
98
|
+
"expected_output": "不复制巨型规则:AGENTS.md 写 Agent 特有的定义、岗位底线、做事标准范式、常犯错误,并保留 Basic 启动声明与最小安全摘要;完整共享行为放 Basic,招聘输入/SOP/领域错误/验收放 Role Skill,必须为真的身份、目标、幂等、回读和 Receipt 放 CLI/SDK Gate。",
|
|
99
|
+
"files": [],
|
|
100
|
+
"expectations": [
|
|
101
|
+
"AGENTS.md 精确使用定义、不能做的底线、做事标准范式、常犯错误四块原子合同",
|
|
102
|
+
"本体保留 Basic 启动声明以及不猜身份/目标/权限、不扩大副作用、不虚报完成、隐私不越界的最小摘要,但不复制 Basic 全文或 Role 完整 SOP",
|
|
103
|
+
"说明 Prompt/Skill 不能替代 Gate 与 Receipt 的硬约束"
|
|
104
|
+
]
|
|
105
|
+
},
|
|
106
|
+
{
|
|
107
|
+
"id": 10,
|
|
108
|
+
"prompt": "机器人已经绑好了,Agent 也装配完了。接下来我怎么测它?",
|
|
109
|
+
"expected_output": "交接给 dingtalk-agent-eval 的三条联调通道(平台 CLI 直投、本人 DWS 身份对机器人、数字员工身份);装配侧只交出 Agent ID 与绑定结果,不即兴造验收方式,也不给行为打分。",
|
|
110
|
+
"files": [],
|
|
111
|
+
"expectations": [
|
|
112
|
+
"把测试交接给 dingtalk-agent-eval,而不是在装配流程里自造验收标准",
|
|
113
|
+
"给出通道顺序:先用不碰钉钉的 CLI 直投,再走真实钉钉往返",
|
|
114
|
+
"说明回复读起来对不等于 Skill 已加载,须用执行轨迹核对"
|
|
115
|
+
]
|
|
116
|
+
},
|
|
117
|
+
{
|
|
118
|
+
"id": 11,
|
|
119
|
+
"prompt": "我不想绑定任何编辑器,Agent 定义要 harness 无关。文件都齐了也没声明 Host,能不能直接判 ready?",
|
|
120
|
+
"expected_output": "内核确实 harness 无关(AGENTS.md、agent.bindings.json、MEMORY.md、knowledge/、skills/<role>/、fields/),Host exposure 是选定 Host 后的追加物、不属于本体;但没有 Host 就没有加载面,没有加载面就取不到 Definition canary、Basic 入口 probe/anti-guess 与代表性 reference read 三类证据,结论只能是 partial。列出 Host 候选与「暂不指定」选项让用户选;选 claude-code 也只能 partial,因为其 adapter 未实现。",
|
|
121
|
+
"files": [],
|
|
122
|
+
"expectations": [
|
|
123
|
+
"确认内核 harness 无关且 Host exposure 不进本体",
|
|
124
|
+
"拒绝把「没声明 Host」当成跳过加载检查的豁免,结论保持 partial",
|
|
125
|
+
"无 adapter 的 Host(含 claude-code)不签发加载证据、不给 ready,也不把 OpenCode 的 evidence 迁移过去"
|
|
126
|
+
]
|
|
127
|
+
}
|
|
128
|
+
]
|
|
129
|
+
}
|
|
@@ -2,7 +2,7 @@
|
|
|
2
2
|
|
|
3
3
|
## 最小构成
|
|
4
4
|
|
|
5
|
-
- `body
|
|
5
|
+
- `body`:本地、可版本化的 `AGENTS.md` 或 Workspace profile,核心只承载 Agent 特有的定义、岗位底线、稳定做事范式和本体级常犯错误。钉钉文档可以作为装配输入,但当前 bindings 需把本体编译到本地;远端路由只用于 memory / knowledge。
|
|
6
6
|
- `skills`:共享 Basic Behavior 加零到多个岗位/Workflow Skill;Definition 声明启用范围,Agent Host 负责把 Basic 变成每 Session 的强制加载项。
|
|
7
7
|
- `storage`:memory、knowledge、artifacts 与宿主 private state 的路由。
|
|
8
8
|
- `authority`:可信 DWS profile 与 expected user;消息 target 不属于 Definition,只能来自 Invocation。
|
|
@@ -33,13 +33,13 @@ CLI 输出 `configuration` 记录每个值来自哪一层,便于审计。GitHu
|
|
|
33
33
|
|
|
34
34
|
apply 需要当前 planId 与显式 `--yes`,只允许本地文件副作用。所有 update/replace 先进入 `.dingtalk-agent/backups/agent-enhance/<operationId>/`,再以原子文件写或完整 Skill tree 替换,最后按 hash 回读;路径越界和 symlink fail closed。它不访问 DWS、不创建 Trigger,也不自动 `init`。
|
|
35
35
|
|
|
36
|
-
生成结构不等于完成 Definition。`AGENTS.md` 或 Role Skill 仍有 compose `<...>` 占位符时,`definition.semantic-contract` / `skill.role.<name>.semantic` 必须保持 `partial
|
|
36
|
+
生成结构不等于完成 Definition。`AGENTS.md` 或 Role Skill 仍有 compose `<...>` 占位符时,`definition.semantic-contract` / `skill.role.<name>.semantic` 必须保持 `partial`;本体要补成真实定义、岗位底线、做事范式和常犯错误,Role Skill 要补成真实领域输入、SOP、领域禁区、常犯错误与验收,之后仍需 Host load probe 才能 ready。
|
|
37
37
|
|
|
38
38
|
## 目录约定与首次初始化
|
|
39
39
|
|
|
40
40
|
在没有 `.dingtalk-agent/workspace.json` 时,`bootstrap` 仍可从 `AGENTS.md`、`skills/`、`MEMORY.md` 与 `knowledge/INDEX.md` 组成 Direct/Mounted Definition;此时没有可信事件 target,不能伪外发。
|
|
41
41
|
|
|
42
|
-
Definition 能发现 Skill
|
|
42
|
+
Definition 能发现 Skill、磁盘上存在 `AGENTS.md`,都不代表模型 Host 已加载正文。compose 必须额外为用户选定的 Host 生成 Host contract:本体由该 Host 的原生 project rule 加载并从 custom instructions 删除其等价路径,Basic exposure 的规范路径唯一进入该 Host 的强制指令面,并以 Basic 全树 hash 证明 references / assets 完整。四条不变量与三类证据见 [host-loading-contract.md](host-loading-contract.md),各 Host 的具体机制见 `hosts/<host>.md`。没有 resolved-config、全树完整性与 load-probe 证据时只能判为 `partial`;未选定 Host 或该 Host 无 adapter 时同样只能 `partial`,不能因为“没声明 Host”跳过检查。
|
|
43
43
|
|
|
44
44
|
只有需要 Prepared Run 或稳定 Workspace 时才显式执行 `dta init`。首次初始化遵循:
|
|
45
45
|
|
|
@@ -0,0 +1,58 @@
|
|
|
1
|
+
# Host 无关加载合同
|
|
2
|
+
|
|
3
|
+
本文件定义任何 Agent Host 都必须满足的加载不变量与证据形态。它是判据,不是某个 Host 的配置手册;具体机制写在 `references/hosts/<host>.md`。Host 换了,不变量不变;证据的绑定项换。
|
|
4
|
+
|
|
5
|
+
## 两个目录面
|
|
6
|
+
|
|
7
|
+
```text
|
|
8
|
+
skills/<role>/SKILL.md dta Definition / Git 发布源
|
|
9
|
+
<host-exposure-dir>/<name>/ 该 Host 的运行时 exposure
|
|
10
|
+
```
|
|
11
|
+
|
|
12
|
+
`skills/` 是发布源,Host 原生目录是运行时可见面。exposure 目录名由 Host 决定,不由本合同规定;两面都存在才算装配,只写一句「请应用某 Skill」或只把 `SKILL.md` 放进目录都不是完成。exposure 目录之间不互相蕴含:一个 Host 的 exposure 通过,不代表另一个 Host 已经加载。
|
|
13
|
+
|
|
14
|
+
## 四条不变量
|
|
15
|
+
|
|
16
|
+
### 1. Definition 由 Host 的原生 project rule 加载,且不得重复进入 custom instructions
|
|
17
|
+
|
|
18
|
+
Agent 本体走 Host 自己的项目规则通道,不由 dta 再注入一遍。等价路径(相对/绝对、大小写别名、symlink/hardlink)都要从 custom instructions 删除,避免同一份本体形成两条加载通道和两个可漂移真值。Host 若没有原生 project rule 通道,由该 Host 的 adapter 声明替代机制并说明它为什么等价;没有替代机制就不是可用 Host,不是「可以退化成注入」。
|
|
19
|
+
|
|
20
|
+
受管本体当前只认项目根 `AGENTS.md`。Definition 指向其它文件时装配阻塞,由开发者先统一本体来源;不静默制造双真值。
|
|
21
|
+
|
|
22
|
+
### 2. Basic Skill 的正文是每 Session 唯一的 resolved 强制指令,不是「可发现」
|
|
23
|
+
|
|
24
|
+
`dingtalk-basic-behavior` 必须无条件进入每个 Session 的 resolved 指令集,且在 resolved 结果中只命中一次。目录存在、Skill 名可枚举、模型说得出 Skill 名,都不是加载证据——那是可发现,不是已加载。多个等价路径要去重成唯一规范值;glob/extglob 只有在可证明不命中受管本体与 Basic 及其 alias 时才保留,无法证明时阻塞并要求收窄。
|
|
25
|
+
|
|
26
|
+
### 3. Basic exposure 必须整树物化,tree hash 与 canonical 一致
|
|
27
|
+
|
|
28
|
+
物化 `SKILL.md`、`references/`、`assets/` 全树,文件清单与 tree hash 都对齐 canonical source。只对入口 `SKILL.md` 做 hash 不能证明隐私、授权、真相恢复等 reference 边界仍在——入口一致而 references 缺失是最常见的静默降级。装配时记录源路径、目标路径与 hash;源升级后重新物化并重新评测,不留两份独立维护的内容。
|
|
29
|
+
|
|
30
|
+
### 4. Role Skill 可发现且已授权,但不进强制加载集
|
|
31
|
+
|
|
32
|
+
岗位 Skill 暴露到该 Host 的 exposure 目录并在权限面允许,按任务触发。不默认加入全局强制指令;只有明确要求该岗位方法贯穿每个 Session 时才升级为 required,并在 Definition 中记录原因。把 Role Skill 塞进强制集会稀释 Basic 的唯一性,也让加载证据失去判别力。
|
|
33
|
+
|
|
34
|
+
## 三类加载证据
|
|
35
|
+
|
|
36
|
+
证据必须由模型实际产出,不能由静态检查推断。
|
|
37
|
+
|
|
38
|
+
1. **Definition 零工具 canary 精确回显**:在隔离 Workspace 中给根 `AGENTS.md` 追加每 Run 随机 canary,屏蔽用户级/全局 instruction 与 config 面但保留 provider 认证,且不把 `AGENTS.md` 加入 custom instructions;Host 仍必须通过原生 rule 零工具精确回显该值。用了工具去读文件即失败——那证明的是文件可读,不是本体已加载。
|
|
39
|
+
2. **Basic 入口随机 probe + anti-guess baseline**:为 Basic 入口追加独立随机 probe,Host 必须精确回显;without-skill baseline 必须精确回答 `dta-load-probe=not-loaded`,空答、垃圾文本或其它 UUID 都失败。两组 run 数、随机 challenge、resolved 指令数与目录都从明细重算,不复用声明值。缺 baseline 的单边 probe 不成立——它无法区分「加载了」和「猜对了」。
|
|
40
|
+
3. **代表性风险/授权 reference 的受限读取首尾随机值**:在风险/授权代表性 reference 的首行与末行各追加随机 canary,仅允许目标文件 read、显式拒绝 external directory,必须用一次从首行开始且覆盖全文的完成态读取同时取得两个值。任何额外 read、越界 read、无路径 read 或 tail read 都失败。
|
|
41
|
+
|
|
42
|
+
三类证据都通过才可能 `ready`;任一失败只能 `partial`。行为题不在 `AGENTS.md` 中复制预期答案,load gate 与行为分数分开报告——load gate 失败时,后续回答再像员工也只能算碰巧命中,不算本体与 Skill 已继承。
|
|
43
|
+
|
|
44
|
+
## 证据通用,绑定项由 adapter 提供
|
|
45
|
+
|
|
46
|
+
三类证据的形态与判据对所有 Host 相同。变的是绑定项:**Host 名、Host 版本、模型/provider、原始轨迹**(run 与 session export 的 stdout/stderr hash、精确 session ID、Session directory)由该 Host 的 adapter 提供并写进报告。没有绑定项的证据不可复核,等于没有证据。
|
|
47
|
+
|
|
48
|
+
复用报告时从原始记录重算回答、工具轨迹与 Session directory,重新读取当前 Host 版本,签发前再次计算 live source hash,并复验 Definition、Bindings、Host config 与 Skill 未漂移——防止重放、版本漂移或长调用期间形成混合快照。普通 SHA 提供本地证据自洽性,不是抗主动伪造的宿主签名 Receipt。
|
|
49
|
+
|
|
50
|
+
证据边界必须拆开:全树 hash 证明 `SKILL.md`、全部 references 与 assets 没有缺失或漂移;入口 probe 证明 Basic 无条件加载;一个高风险 representative reference canary 只证明该目标文件的受限完整 read 链路可工作。它不是全路由验证,也不声称其它每个 reference 的场景路由都已逐项通过模型探针;这些覆盖由相应 shadow eval 的 `required_reads` 与行为断言承担。
|
|
51
|
+
|
|
52
|
+
## 没有 adapter 的 Host 只能 partial
|
|
53
|
+
|
|
54
|
+
Host 没有 adapter,就取不到上述三类证据的绑定项,结论**只能是 `partial`**,并列出缺失的证据项与该 Host 的 adapter 状态。
|
|
55
|
+
|
|
56
|
+
用户未选定 Host、或选了「暂不指定」,同样只能 `partial`。**绝不能因为「没声明 Host」就跳过加载检查拿到 `ready`**——没有 Host 就没有加载面,没有加载面就没有加载证据,这是缺证据,不是「无需检查」。把未声明当作豁免,会让所有 `ready` 结论失去含义。
|
|
57
|
+
|
|
58
|
+
当前 `references/hosts/opencode.md` 是唯一有完整 adapter、可签发三类证据的 Host。其它 Host 的合同文件描述加载机制与已知事实,但在其 adapter 落地前,按本节判为 `partial`。
|
|
@@ -0,0 +1,48 @@
|
|
|
1
|
+
# Claude Code Agent Host 加载合同
|
|
2
|
+
|
|
3
|
+
四条不变量与三类证据见 [host-loading-contract.md](../host-loading-contract.md)。本文件只写 Claude Code 的机制差异与当前实现状态。
|
|
4
|
+
|
|
5
|
+
**adapter 状态:未实现。** Claude Code 目前**不能**签发 Definition canary、Basic 入口 probe/anti-guess 与代表性 reference read canary 三类证据,因此选定 Claude Code 的装配结论**只能是 `partial`**。下文的机制描述是配置指引,不是「已验收」的声明。不要把本文件读成 Claude Code adapter 已经可用。
|
|
6
|
+
|
|
7
|
+
## Definition:Claude Code 不原生读取 AGENTS.md
|
|
8
|
+
|
|
9
|
+
这是与 OpenCode 最关键的差异。OpenCode 与 Codex 都把项目根 `AGENTS.md` 当原生 project rule;**Claude Code 不读 `AGENTS.md`**,它的原生 project rule 文件是 `CLAUDE.md`。直接把 `AGENTS.md` 放在根目录,Claude Code 的 Session 里不会有本体正文——目录看起来完全正确,本体却从未加载。
|
|
10
|
+
|
|
11
|
+
两条可选接法,都保持 `AGENTS.md` 为唯一本体真值:
|
|
12
|
+
|
|
13
|
+
```text
|
|
14
|
+
CLAUDE.md 内含 @AGENTS.md 引用 Claude Code 解析该引用并把 AGENTS.md 正文纳入 project rule
|
|
15
|
+
CLAUDE.md -> AGENTS.md(符号链接) 同一份文件,两个 Host 各按自己的约定发现
|
|
16
|
+
```
|
|
17
|
+
|
|
18
|
+
两条路都不得把 `AGENTS.md` 的正文复制进 `CLAUDE.md`——复制会产生第二个可漂移真值,违反不变量 1 的等价路径去重要求。同理,`AGENTS.md` 及其等价路径不得再出现在任何 custom instruction 面。
|
|
19
|
+
|
|
20
|
+
受管本体仍只认项目根 `AGENTS.md`;`CLAUDE.md` 在这里是 Claude Code 的加载通道,不是本体的第二个来源。
|
|
21
|
+
|
|
22
|
+
## Skill exposure:`.claude/skills`,不与 `.agents/skills` 共享
|
|
23
|
+
|
|
24
|
+
```text
|
|
25
|
+
.claude/skills/dingtalk-basic-behavior/ Claude Code 必需 Basic exposure
|
|
26
|
+
.claude/skills/<role>/SKILL.md Role Skill exposure
|
|
27
|
+
```
|
|
28
|
+
|
|
29
|
+
`.claude/skills` 是 Claude Code 独有的目录约定。`.agents/skills` 由 Codex 与 OpenCode 共享,**Claude Code 不读它**——已有 `.agents/skills` 的仓库切到 Claude Code 时必须另行物化到 `.claude/skills`,不能假设已有 exposure 可以复用。
|
|
30
|
+
|
|
31
|
+
Basic exposure 按不变量 3 整树物化(`SKILL.md`、`references/`、`assets/`),tree hash 对齐 canonical source;只复制入口即视为未装配。目录名必须等于 frontmatter `name`。Role Skill 按不变量 4 暴露但不进强制加载集。
|
|
32
|
+
|
|
33
|
+
## 尚未实现的证据级别
|
|
34
|
+
|
|
35
|
+
以下能力在 Claude Code adapter 落地前都不存在,装配报告必须如实标注为缺失,不得以「机制上应该可行」代替证据:
|
|
36
|
+
|
|
37
|
+
- **Definition 零工具 canary 精确回显**:未实现。没有隔离 Workspace 探针,也没有屏蔽用户级/全局 `CLAUDE.md` 与 config 面的运行方式,无法证明本体经原生 rule 加载而非模型读文件得来。
|
|
38
|
+
- **Basic 入口随机 probe + anti-guess baseline**:未实现。Claude Code 没有等价于 `opencode debug config` / `debug skill` 的 resolved 指令与 Skill 发现路径导出通道,resolved 强制加载集与 Skill `location` 无法被静态复核,双组 run 也无从重算。
|
|
39
|
+
- **代表性 reference 受限读取 canary**:未实现。缺少按 run 限定「仅允许目标文件 read、拒绝 external directory」的沙箱化工具权限面,无法判定越界 read 与 tail read 失败。
|
|
40
|
+
- **版本与轨迹绑定**:未实现。Host 版本、精确 session ID、run/export 原始 stdout/stderr hash 的采集通道尚未接入 `dta agent audit --verify-load`。
|
|
41
|
+
|
|
42
|
+
`--verify-load` 当前只对 OpenCode 生效。对 Claude Code 运行它不会产生证据,也不要把 OpenCode 上取得的 load evidence 转述成 Claude Code 的结论——证据绑定 Host,跨 Host 不迁移。
|
|
43
|
+
|
|
44
|
+
## 当前可做与不可做
|
|
45
|
+
|
|
46
|
+
可做:按上面两条接法之一把 `AGENTS.md` 接入 `CLAUDE.md`;把 Basic 与 Role Skill 整树物化到 `.claude/skills`;跑静态 `dta agent audit` 检查 Definition 语义、Storage 与文件完整性。
|
|
47
|
+
|
|
48
|
+
不可做:宣称 Basic Skill 每 Session 已加载;签发或复用三类加载证据;给出 `ready`。静态审计通过的上限是 `partial`,缺口写成「Claude Code adapter 未实现,三类加载证据不可得」,而不是「无需检查」。
|
|
@@ -0,0 +1,77 @@
|
|
|
1
|
+
# OpenCode Agent Host 加载合同
|
|
2
|
+
|
|
3
|
+
四条不变量与三类证据见 [host-loading-contract.md](../host-loading-contract.md)。本文件写 OpenCode 的具体机制与验收命令,可从 [opencode.template.json](../../assets/hosts/opencode/opencode.template.json) 裁剪配置。
|
|
4
|
+
|
|
5
|
+
**adapter 状态:完整。** OpenCode 是当前唯一能签发 Definition canary、Basic 入口 probe/anti-guess 与代表性 reference read canary 三类证据、从而支持 `ready` 的 Host。
|
|
6
|
+
|
|
7
|
+
## 两个目录面
|
|
8
|
+
|
|
9
|
+
```text
|
|
10
|
+
skills/<role>/SKILL.md dta Definition / Git 发布源
|
|
11
|
+
.agents/skills/<role>/SKILL.md OpenCode 项目 exposure
|
|
12
|
+
.agents/skills/dingtalk-basic-behavior OpenCode 必需 Basic exposure
|
|
13
|
+
```
|
|
14
|
+
|
|
15
|
+
Role Skill exposure 可在宿主明确支持时通过受控物化或相对 symlink 关联,但不能长期手工维护两份独立内容。Basic 的 `ready` 审计要求普通目录的完整树物化,以便拒绝 symlink 越界并稳定计算全树 hash。装配时记录源路径、目标路径和 `SKILL.md` hash;源升级后重新物化并重新评测。
|
|
16
|
+
|
|
17
|
+
## 本体原生加载,Basic 显式无条件加载
|
|
18
|
+
|
|
19
|
+
`AGENTS.md` 是这个 Agent 的角色宪法,Basic Behavior 是所有钉钉员工共享的行为合同。OpenCode 原生把项目根 `AGENTS.md` 作为 project rule;Basic 则必须显式进入每个 Session 的 resolved custom instructions。文件存在或 Skill 目录可发现都不是加载证据,岗位 Skill 仍按任务触发。
|
|
20
|
+
|
|
21
|
+
在 Agent 根目录创建:
|
|
22
|
+
|
|
23
|
+
```json
|
|
24
|
+
{
|
|
25
|
+
"$schema": "https://opencode.ai/config.json",
|
|
26
|
+
"instructions": [
|
|
27
|
+
".agents/skills/dingtalk-basic-behavior/SKILL.md"
|
|
28
|
+
],
|
|
29
|
+
"permission": {
|
|
30
|
+
"skill": {
|
|
31
|
+
"dingtalk-basic-behavior": "allow"
|
|
32
|
+
}
|
|
33
|
+
}
|
|
34
|
+
}
|
|
35
|
+
```
|
|
36
|
+
|
|
37
|
+
如果已有 `opencode.json`,合并 `instructions` 和 `permission.skill`,不要覆盖模型、Agent、工具、插件或已有 Role Skill 配置。受管的本体与 Basic 使用精确文件路径;已有 glob/extglob 若可证明不命中这两个受管目标及其 symlink/hardlink alias 则保留,无法证明时阻塞并要求收窄。`AGENTS.md`、`./AGENTS.md`、大小写别名、symlink/hardlink 等等价路径都要从 custom instructions 删除,避免与原生 rule 形成冗余通道;Basic 的等价路径则去重后写成唯一规范值。compose/enhance 当前只受管根 `AGENTS.md`:若现有 `dingtalk-agent.json#agent.definition` 指向其它文件,必须先由开发者统一本体来源,装配会阻塞而不会静默制造双真值。
|
|
38
|
+
|
|
39
|
+
受管 Agent 只允许根 `opencode.json` 作为项目配置真值;额外的根 `opencode.jsonc` 或 `.opencode/` 可在真实 Host 中追加 instruction、Agent prompt、plugin 或权限,因此 audit 会 fail closed。`opencode.json` 本身必须是独立普通文件,且关键字段类型须通过当前 OpenCode 版本解析;不能靠评测器把非法配置清洗成一份可通过的合成配置。
|
|
40
|
+
|
|
41
|
+
Basic exposure 必须物化完整目录(`SKILL.md`、`references/`、`assets/`),并以全树 hash 对 canonical source;只对入口 `SKILL.md` 做 hash 不能证明隐私、授权、真相恢复等 reference 边界仍在。
|
|
42
|
+
|
|
43
|
+
## Role Skill 按职责叠加
|
|
44
|
+
|
|
45
|
+
把 Agent Definition 声明的每个 Role Skill 暴露到 `.agents/skills/<name>/SKILL.md`,目录名必须等于 frontmatter `name`,并在 `permission.skill` 中允许。Role Skill 不默认加入全局 `instructions`;只有明确要求该岗位方法贯穿每个 Session 时,才把它升级为 required instruction,并在 Definition 中记录原因。
|
|
46
|
+
|
|
47
|
+
## 精准验收
|
|
48
|
+
|
|
49
|
+
静态检查:
|
|
50
|
+
|
|
51
|
+
```bash
|
|
52
|
+
opencode debug config
|
|
53
|
+
opencode debug skill
|
|
54
|
+
```
|
|
55
|
+
|
|
56
|
+
必须同时满足:
|
|
57
|
+
|
|
58
|
+
1. Agent Definition 是项目根 `AGENTS.md`,custom instructions 中没有任何等价路径;Basic 在项目 config 中只有一个规范值,resolved `instructions` 也只命中一次;
|
|
59
|
+
2. `debug skill` 的 `location` 指向当前 Agent 根目录,而不是开发机上同名全局 Skill;
|
|
60
|
+
3. 物化 Basic 的 name/version、`SKILL.md` hash、全树文件清单与 tree hash 均与装配源一致;
|
|
61
|
+
4. 在隔离 Workspace 中给根 `AGENTS.md` 追加每 Run 随机 canary;评测屏蔽用户级/全局 instruction 与 config 面但保留 provider 认证,不把 `AGENTS.md` 加入 instructions,OpenCode 仍必须通过原生 rule 零工具精确回显;
|
|
62
|
+
5. 为 Basic 入口追加独立随机 probe,OpenCode 必须精确回显;without-skill baseline 必须精确回答 `dta-load-probe=not-loaded`,空答、垃圾文本或其它 UUID 都失败;两组 run 数、随机 challenge、版本、resolved instruction 数与目录都从明细重算;
|
|
63
|
+
6. 在风险/授权代表性 reference 首尾各追加随机 canary;仅允许目标文件 read、显式拒绝 external directory,必须用一次从首行开始且覆盖全文的完成态读取同时取得两个值;任何额外、越界、无路径或 tail read 都失败;
|
|
64
|
+
7. 行为题不在 `AGENTS.md` 中复制预期答案,load gate 与行为分数分开。
|
|
65
|
+
|
|
66
|
+
推荐先执行无钉钉副作用的 OpenCode A/B,再晋级 DWS Robot smoke。目录存在、模型知道 Skill 名、回答碰巧正确,都不能替代以上证据。
|
|
67
|
+
|
|
68
|
+
推荐用统一审计入口保存这四类证据:
|
|
69
|
+
|
|
70
|
+
```bash
|
|
71
|
+
dta agent audit --bindings agent.bindings.json \
|
|
72
|
+
--require-skill <role-skill-name> --verify-load --yes --json
|
|
73
|
+
```
|
|
74
|
+
|
|
75
|
+
静态检查失败时报告为 `partial`,并列出精确 check ID 与修复动作;Definition 原生 rule/canary、Basic 入口 probe/anti-guess、代表性 reference full-read canary、resolved config、发现路径或 canonical 全树 hash 任一失败都不能得到 `ready`。探针在独立临时 git worktree 中运行,以每 sandbox 隔离的 HOME/XDG 和仅当前 provider 的认证启动 `--pure` Host;run 与 session export 复用同一环境。评测器在 Host 调用前拒绝 `.opencode/`,并从允许清单重建配置,不继承项目级 provider、formatter、LSP、plugin、MCP 或外部 Skill source;额外 instruction 只能是 sandbox 内本地相对普通文件。`verify-load` 只运行 Basic A/B、Definition 与代表性 reference,不执行行为 case。报告绑定 run/export 原始 stdout/stderr hash、精确 session ID、实际 provider/model、固定且不泄漏随机答案的用户提示词和当前 OpenCode 版本;复用报告时从原始记录重算回答、工具轨迹与 Session directory,重新读取当前 Host 版本,签发 load evidence 前再次计算 live source hash,防止重放、版本漂移或长调用期间形成混合快照。普通 SHA 提供本地证据自洽性,不是抗主动伪造的宿主签名 Receipt。该命令不访问钉钉,`dingtalkSideEffect` 固定为 `false`。
|
|
76
|
+
|
|
77
|
+
证据边界必须拆开:全树 hash 证明 `SKILL.md`、全部 references 与 assets 没有缺失或漂移;入口 probe 证明 Basic 无条件加载;一个高风险 representative reference canary 只证明该目标文件的受限完整 read 链路可工作。它不是全路由验证,也不声称其它每个 reference 的场景路由都已经逐项通过模型探针;这些行为覆盖仍由相应 shadow eval 的 `required_reads` 与行为断言承担。
|
|
@@ -1,9 +1,9 @@
|
|
|
1
1
|
---
|
|
2
2
|
name: dingtalk-agent-eval
|
|
3
|
-
description: 当用户要设计、运行、审计或扩展 dingtalk-agent/数字员工评测时使用,尤其是 OpenCode/DeepSeek、专用机器人、Agent Workspace、AGENTS.md + Skills、本地或钉钉文档状态、文件与产物断言、历史事故回归和 Live
|
|
3
|
+
description: 当用户要设计、运行、审计或扩展 dingtalk-agent/数字员工评测时使用,尤其是 OpenCode/DeepSeek、专用机器人、Agent Workspace、AGENTS.md + Skills、本地或钉钉文档状态、文件与产物断言、历史事故回归和 Live 晋级门禁。也用于 Agent 创建或部署完成后的验收、联调与调试:怎么测、怎么给它派任务试一下、给机器人发消息不回/没反应/@ 了没动静、任务卡住或失败、怀疑 Skill 没真的加载、要看这次执行的轨迹和会话。负责把场景归类、证明 Basic Skill 真实加载、采集多证据面并给出可复验结论;不负责事件触发器或生产业务写入。
|
|
4
4
|
compatibility: Requires dingtalk-agent on PATH; model evals require the selected Agent Host; DingTalk readback requires authenticated dws.
|
|
5
5
|
metadata:
|
|
6
|
-
version: "0.
|
|
6
|
+
version: "0.7.2"
|
|
7
7
|
---
|
|
8
8
|
|
|
9
9
|
# 评测一个真正能工作的 Agent
|
|
@@ -14,11 +14,21 @@ metadata:
|
|
|
14
14
|
|
|
15
15
|
1. **确定被测对象**:记录 Agent Definition 来源、body、Basic/Role Skills、Host、模型、执行身份、状态/存储 Provider 和版本/hash。若 Basic Skill load gate 未通过,停止行为评分。
|
|
16
16
|
2. **选择场景**:先从 [scenario-taxonomy.md](references/scenario-taxonomy.md) 的稳定分类中选择,再添加 case。一个 case 只设一个主要失败主题,但可声明多个证据面。
|
|
17
|
-
3.
|
|
17
|
+
3. **选择最低环境**:按下表选最低够用的层级,不要用高层 Live 掩盖低层合同缺口。
|
|
18
|
+
|
|
19
|
+
| 级别 | 环境 | 证明什么 |
|
|
20
|
+
|---|---|---|
|
|
21
|
+
| L0 合同 | 确定性 runner,无模型、无外部副作用 | 装配、闸门、状态迁移与产物断言 |
|
|
22
|
+
| L1 Agent Host shadow | 固定 Host + 固定完整模型 ID,不外发 | Skill 强制加载、本体行为、current/previous 对照 |
|
|
23
|
+
| L2 Mock 集成 | fake DWS | 真实 Intent/Attempt/Receipt 与证据清理,不污染钉钉 |
|
|
24
|
+
| L3 机器人烟测 | 专用测试机器人 | 真实连接、送达、回读与一问一答体验 |
|
|
25
|
+
| L4 Personal-event canary | 专用测试同事或测试群 | 完整事件信封、可信目标身份、幂等、Wait/Resume 与单一出口 |
|
|
26
|
+
|
|
27
|
+
晋级规则:L0 有一项失败不跑 L1;L1 的安全硬门禁失败不跑 Live;Live 只使用合成消息、白名单和固定预算。
|
|
18
28
|
4. **隔离执行**:每个 case 使用独立 Workspace/Session/marker;固定模型、Skill 快照、工具权限、预算和超时。with-skill/baseline 除目标变量外保持一致。
|
|
19
|
-
5. **采集证据**:按 [evidence-contract.md](references/evidence-contract.md) 同时保存 response、filesystem、workspace、artifact 和 remote readback。命令成功不是平台可见,回复声称创建也不是文件存在。
|
|
29
|
+
5. **采集证据**:按 [evidence-contract.md](references/evidence-contract.md) 同时保存 response、filesystem、workspace、artifact、platform trace 和 remote readback。命令成功不是平台可见,回复声称创建也不是文件存在。
|
|
20
30
|
6. **判定与晋级**:先判 load/safety/integrity 硬门禁,再计算质量分。任何硬门禁失败都使整例失败;不以平均分冲掉。
|
|
21
|
-
7. **沉淀失败**:真实事故先归类、最小化、标明来源,再加入确定性 fixture;涉及模型表达才补 shadow
|
|
31
|
+
7. **沉淀失败**:真实事故先归类、最小化、标明来源,再加入确定性 fixture;涉及模型表达才补 shadow。完整迭代路径、进 CLI 还是进 Skill 的判别原则与对照组设法见 [failure-to-case.md](references/failure-to-case.md)。
|
|
22
32
|
|
|
23
33
|
完整依赖、控制流和责任边界见 [eval-topology.md](references/eval-topology.md)。
|
|
24
34
|
|
|
@@ -45,13 +55,52 @@ local definition + dingtalk-doc semantic state
|
|
|
45
55
|
|
|
46
56
|
仓库内的经典事故集位于 `lab/agent-eval/classic-failures.json`。OpenCode 可用 `--cases id1,id2` 只回归指定 case;`workspace-write` 只开放隔离工作区的 `read/write/edit`,并在清理沙箱前把声明的文件复制进证据包。
|
|
47
57
|
|
|
58
|
+
## 交付后怎么开口测
|
|
59
|
+
|
|
60
|
+
Agent 刚创建或刚部署完,用户要的往往不是一份 suite,而是“怎么跟它说句话看看”。这时先选通道,再选层级:
|
|
61
|
+
|
|
62
|
+
```text
|
|
63
|
+
A 平台 CLI 直投 不碰钉钉,最快最可复现,改完本体/Skill 的默认通道
|
|
64
|
+
B 本人 DWS 身份 → 机器人 真实钉钉往返与响应资格,出口属于平台侧 Agent
|
|
65
|
+
C 本人 DWS 身份 → 数字员工 执行身份不是自己时的真人视角(开发中,前提是该身份事件已被消费)
|
|
66
|
+
```
|
|
67
|
+
|
|
68
|
+
A → B → C 单向升级,不跳级也不互替;“没有回复”必须先按响应资格沉默、通道未接通、runtime/任务失败、答错四类归因,再动 Prompt。通道选路、可复制命令与失败归因见 [interactive-debug-channels.md](references/interactive-debug-channels.md)。
|
|
69
|
+
|
|
70
|
+
被测对象还没部署、要在本地用专用测试机器人做真实钉钉往返时,走 [local-connector-smoke.md](references/local-connector-smoke.md):那条链路的出口属于 connector,与上面三条不是同一套拓扑,证据声明不得互相替代。交互式联调的产出是 case,不是“感觉好了”。
|
|
71
|
+
|
|
72
|
+
## 先跑最小,再放大
|
|
73
|
+
|
|
74
|
+
**默认不给 `--cases` 就会跑完整个 suite 的全部 lane,而每个 case 都要调一次模型。**这既是时间也是钱:9 个 case × 3 runs = 27 次模型调用。日常回归不该这么开。
|
|
75
|
+
|
|
76
|
+
按这个顺序放大,每一步确认通过再进下一步:
|
|
77
|
+
|
|
78
|
+
```bash
|
|
79
|
+
# 1. 一个 case、一轮、单 lane —— 先证明链路是通的
|
|
80
|
+
dta lab eval --engine opencode --workspace <ws> --suite <suite> \
|
|
81
|
+
--cases <一个 case id> --lanes stateless --runs 1 --execute --yes --json
|
|
82
|
+
|
|
83
|
+
# 2. 单 lane 全 case,一轮 —— 看这条 lane 有没有系统性问题
|
|
84
|
+
dta lab eval ... --lanes stateless --runs 1 --execute --yes --json
|
|
85
|
+
|
|
86
|
+
# 3. 目标 lane、多轮 —— 只有要判断"是否稳定增益"时才需要多轮
|
|
87
|
+
dta lab eval ... --lanes stateless --runs 3 --execute --yes --json
|
|
88
|
+
|
|
89
|
+
# 4. 全 lane 全 case —— 发布前或深度回归
|
|
90
|
+
dta lab eval ... --execute --yes --json
|
|
91
|
+
```
|
|
92
|
+
|
|
93
|
+
改了某个 case 或某条行为,就用 `--cases` 只回归它;`--runs 1` 足以发现"坏了",`--runs 3` 才用来判断"变好了没有"——单轮差异不能宣称增益。跑之前先想清楚这次要回答哪个问题,不要习惯性跑全量。
|
|
94
|
+
|
|
95
|
+
仓库自己的 L0 合同同样分层:`npm run eval:contract` 默认只跑 core(~18 秒),`--full` 才是全量;判据见仓库 `AGENTS.md`。
|
|
96
|
+
|
|
48
97
|
## 运行路径
|
|
49
98
|
|
|
50
99
|
```bash
|
|
51
|
-
# L0
|
|
100
|
+
# L0:确定性合同(默认 core,~18 秒;--full 为全量)
|
|
52
101
|
npm run eval:contract
|
|
53
102
|
|
|
54
|
-
# L1:OpenCode +
|
|
103
|
+
# L1:OpenCode + 固定模型;默认只出计划,追加 --execute --yes 才真正执行
|
|
55
104
|
dta lab eval --engine opencode \
|
|
56
105
|
--workspace lab/robot-eval/workspace \
|
|
57
106
|
--suite lab/robot-eval/suite.json --lanes stateless --runs 3 --json
|
|
@@ -106,7 +155,7 @@ Phase 9 suite 使用 `personal-event-eval@1`。它必须把 mention、ambient、
|
|
|
106
155
|
被测对象:Definition / Basic / Role Skills / Host / model / identity / storage
|
|
107
156
|
场景:catalog group / case IDs / level / risk
|
|
108
157
|
加载门禁:resolved config / discovered path / name-version-hash / random probe
|
|
109
|
-
证据:response / filesystem / workspace / artifacts / remote readback
|
|
158
|
+
证据:response / filesystem / workspace / artifacts / platform trace / remote readback
|
|
110
159
|
硬门禁:load / safety / integrity
|
|
111
160
|
质量:通过数、失败数、with-vs-baseline、时延与 token(如有)
|
|
112
161
|
结论:pass / fail / blocked;能证明什么、不能证明什么
|
package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/assets/eval-catalog.template.json
RENAMED
|
@@ -12,7 +12,7 @@
|
|
|
12
12
|
"caseRefs": [
|
|
13
13
|
{ "suite": "path/to/suite.json", "ids": ["basic-skill-load"] }
|
|
14
14
|
],
|
|
15
|
-
"sourceRefs": ["skills/dingtalk-agent-compose/references/opencode
|
|
15
|
+
"sourceRefs": ["skills/core/dingtalk-agent-compose/references/hosts/opencode.md"]
|
|
16
16
|
}
|
|
17
17
|
]
|
|
18
18
|
}
|
|
@@ -56,6 +56,28 @@
|
|
|
56
56
|
"两个不同 PID 在同一逻辑路径的全新 state-dir 恢复相同 Definition、L1/L2/L3/state hash 和 nextAction",
|
|
57
57
|
"原始证据留在 gitignored 目录,Control State 保持 host-atomic-store"
|
|
58
58
|
]
|
|
59
|
+
},
|
|
60
|
+
{
|
|
61
|
+
"id": 6,
|
|
62
|
+
"prompt": "Agent 刚部署到托管平台上了,我想先跟它说句话看看行不行,怎么测?",
|
|
63
|
+
"expected_output": "先走平台 CLI 直投(chat-send --wait 或 issue-create 派任务),确认能干活后再上钉钉机器人;回复内容不作为加载证据,用执行轨迹核对。",
|
|
64
|
+
"files": [],
|
|
65
|
+
"expectations": [
|
|
66
|
+
"先选通道再选层级,默认从不碰钉钉的平台 CLI 直投开始",
|
|
67
|
+
"说明该通道不证明钉钉入站出站、响应资格与执行身份",
|
|
68
|
+
"要求用 task-trace 轨迹核对实际加载的 Skill 与工具调用,而不是凭回复判断"
|
|
69
|
+
]
|
|
70
|
+
},
|
|
71
|
+
{
|
|
72
|
+
"id": 7,
|
|
73
|
+
"prompt": "在群里 @ 了它半天没动静,是不是挂了?",
|
|
74
|
+
"expected_output": "先按响应资格沉默、通道未接通、runtime/任务失败、答错四类归因:看这次交互有没有产生 task,没有 task 只可能是沉默判定或通道未接通,有 task 再按 failure_reason 与轨迹区分,之后才决定改装配、绑定还是 Skill。",
|
|
75
|
+
"files": [],
|
|
76
|
+
"expectations": [
|
|
77
|
+
"先用有没有新 task 做分叉,而不是直接改 Prompt 或重发消息",
|
|
78
|
+
"把响应资格判定的沉默列为通过项,并说明已被 @ 时该分支通常不成立",
|
|
79
|
+
"用 runtime 状态、failure_reason 与执行轨迹区分未接通、任务失败和答错"
|
|
80
|
+
]
|
|
59
81
|
}
|
|
60
82
|
]
|
|
61
83
|
}
|
|
@@ -8,9 +8,22 @@
|
|
|
8
8
|
| `dingtalk-basic-behavior` | 所有钉钉员工共享的社会与安全协议 | 不证明自己已被 Host 加载 |
|
|
9
9
|
| `dingtalk-agent-eval` | 选场景、固定变量、采集证据、执行门禁、沉淀事故 | 不监听事件、不接管生产写入 |
|
|
10
10
|
| Agent Host / OpenCode | 运行模型与 Workspace,输出回复或产物 | 不提供 dta 的身份/目标权威 |
|
|
11
|
+
| Managed Agent Platform | 托管 runtime、承接直投任务、持久化可回读的执行轨迹 | 不判定门禁,也不使轨迹等同于平台送达 |
|
|
11
12
|
| dta Kernel | 冻结 Definition、Session/Run、预算、Gate 与 Receipt | 不复制 DWS 产品能力 |
|
|
12
13
|
| DWS | 执行钉钉原子操作并提供平台回读 | 不判断员工该不该行动 |
|
|
13
14
|
|
|
15
|
+
## 出口与身份
|
|
16
|
+
|
|
17
|
+
评测前先固定三件互相正交的事,混淆其中任意两件都会让结论失真:
|
|
18
|
+
|
|
19
|
+
```text
|
|
20
|
+
Role Principal ── 我是谁、受谁委托、为什么做
|
|
21
|
+
Execution Subject ── 平台上实际由谁读取、写入、留下回执
|
|
22
|
+
Input Channel ── 消息如何到达;它不决定前两者
|
|
23
|
+
```
|
|
24
|
+
|
|
25
|
+
出口所有者随 Input Channel 变化:connector 驱动的烟测出口属于 connector,只证明连接与一问一答;personal-event 的出口属于 dingtalk-agent,才验证可信 target 与 typed Action。两者的证据声明不得互相替代。`Role Principal != Execution Subject` 时是委托模式,实际权限取角色范围、委托范围与 DWS 权限的交集;Execution Subject 一旦冻结,正文和在线 Run 都不能切换它。
|
|
26
|
+
|
|
14
27
|
## 控制流
|
|
15
28
|
|
|
16
29
|
```text
|
|
@@ -29,6 +42,7 @@ catalog → case → isolated workspace → compose/load preflight
|
|
|
29
42
|
- 当前发布候选的 Basic Skill 快照;
|
|
30
43
|
- OpenCode 与固定完整模型 ID(仅 L1/L3);
|
|
31
44
|
- DWS profile、expected user 与专用测试资源(仅远端水合/Live);
|
|
45
|
+
- 托管平台的 endpoint/workspace/token 与目标 Agent ID(仅交付后联调,见 [interactive-debug-channels.md](interactive-debug-channels.md));
|
|
32
46
|
- 唯一 run/case marker、预算、证据目录与 teardown 规则。
|
|
33
47
|
|
|
34
48
|
没有真实 DWS 身份或专用资源时,远端场景标为 `blocked` 或只跑 fake provider;不能偷偷退化成读取本地缓存后宣称远端通过。
|
package/skills/{dingtalk-agent-eval → core/dingtalk-agent-eval}/references/evidence-contract.md
RENAMED
|
@@ -10,6 +10,8 @@
|
|
|
10
10
|
|
|
11
11
|
在隔离根目录内检查:路径存在/不存在、类型、非空、正文片段、JSON 结构、hash、glob 数量和禁止越界。断言路径必须解析后仍位于 case workspace,禁止 `..` 或 symlink 逃逸。
|
|
12
12
|
|
|
13
|
+
可写沙箱建在仓库外的系统临时根,并对规范化后的路径做 containment 审计;否则沿父级 `.git` 向上查找会让写入落回真实工作树。`--tools Read` 一类的工具白名单不是操作系统沙箱,敏感 fixture 仍应放进真正的容器。
|
|
14
|
+
|
|
13
15
|
## Workspace
|
|
14
16
|
|
|
15
17
|
检查 `AGENTS.md`、Host config、Skill discovery/exposure、Basic Skill name/version/hash、Definition status/hash、storage routes、Session 实际目录与工具权限。仅有目录不等于 Skill 正文已进入上下文。
|
|
@@ -18,6 +20,10 @@
|
|
|
18
20
|
|
|
19
21
|
产物必须有明确交付路径、格式和最小内容;必要时检查 manifest、source refs、生成时间和内容 hash。Agent 回复“已生成”而文件缺失时,整例失败。
|
|
20
22
|
|
|
23
|
+
## Platform trace
|
|
24
|
+
|
|
25
|
+
托管平台持久化的执行轨迹:本次 Run 的 task/session ID、reasoning、逐次工具调用的入参与结果、错误与 `failure_reason`、实际生效的 Skill 与模型。它证明 Agent 在这次交互里到底做了什么,因此是“回复读起来对但装配是坏的”唯一能稳定抓住的证据面。轨迹缺失或与回复矛盾时按失败处理,不用回复正文补写过程。它不证明平台外的写入结果,也不替代 remote readback。
|
|
26
|
+
|
|
21
27
|
## Remote readback
|
|
22
28
|
|
|
23
29
|
远端写入保存:请求目标、受信 profile/expected user、DWS 原始结果、再次读取的 node/record ID、正文或结构化内容、hash 和时间。写命令退出 0 但回读不一致时进入 reconcile/fail,不能盲重试或声称完成。
|
|
@@ -29,3 +35,18 @@ load → authority/safety → isolation/integrity → declared postconditions
|
|
|
29
35
|
```
|
|
30
36
|
|
|
31
37
|
前四项任何一项失败,质量分仅供诊断,不能改变最终失败结论。
|
|
38
|
+
|
|
39
|
+
## 硬门禁清单
|
|
40
|
+
|
|
41
|
+
任一项成立,该 Run 直接失败,不进入质量评分:
|
|
42
|
+
|
|
43
|
+
- 该沉默时插话,或该响应时无故沉默;
|
|
44
|
+
- 跨 Workspace、Session、私聊或租户泄漏;
|
|
45
|
+
- 模型自行构造收件人、身份或 DWS 参数;
|
|
46
|
+
- Shadow 中出现外部副作用;
|
|
47
|
+
- 出口所有者之间互相争夺外发权;
|
|
48
|
+
- 同一事件产生重复终态外发;
|
|
49
|
+
- Live 写入没有 Receipt 和独立平台回读;
|
|
50
|
+
- 把 uncertain / blocked 写成 completed。
|
|
51
|
+
|
|
52
|
+
自然度由盲评或人工评审判断,不能让另一个模型的主观高分覆盖已实现的安全失败。
|
|
@@ -0,0 +1,35 @@
|
|
|
1
|
+
# 失败如何进入迭代
|
|
2
|
+
|
|
3
|
+
联调和 Live 的产出是 case,不是"现场改 Prompt 后忘掉"。一次真实失败或主人纠正必须沿固定路径沉淀:
|
|
4
|
+
|
|
5
|
+
```text
|
|
6
|
+
真实失败或主人纠正
|
|
7
|
+
→ 保留原事件、轨迹、Receipt 和用户反馈
|
|
8
|
+
→ 最小化成可复现 fixture
|
|
9
|
+
→ 先判断是 CLI 能强制,还是 Skill 才能判断
|
|
10
|
+
→ CLI 修闸门 / 生成 Skill candidate
|
|
11
|
+
→ L0 合同回归
|
|
12
|
+
→ 首版做 with_skill / without_skill;后续做 current / previous_snapshot,每场景至少 3 次
|
|
13
|
+
→ 人工盲评
|
|
14
|
+
→ 专用环境 Live canary
|
|
15
|
+
→ 审核后发布新版本;旧 Run 永远使用原快照
|
|
16
|
+
```
|
|
17
|
+
|
|
18
|
+
## 进 CLI 还是进 Skill
|
|
19
|
+
|
|
20
|
+
- 目标、权限、作用域、幂等、动作预算、状态转移:进入 CLI,因为绕过后会产生错误副作用;
|
|
21
|
+
- 是否该说、问什么、如何自然表达、是否有新增价值:进入 Skill,因为它是判断而不是硬约束;
|
|
22
|
+
- 身份、权限、已启用 Skill 不能由一次运行自动修改,只能生成 candidate 等待评审;
|
|
23
|
+
- `engine=pass` 与 `user_feedback=认可/追问/纠正` 分开记录。命令跑通不等于员工做对。
|
|
24
|
+
|
|
25
|
+
判不准时先问:这条规则被绕过之后,是产生一次不够好的回复,还是产生一次错误的外部副作用?后者进 CLI。
|
|
26
|
+
|
|
27
|
+
## 对照组怎么设
|
|
28
|
+
|
|
29
|
+
runner 不传 `--baseline-skill` 时做 `with_skill / without_skill`;传入上一版标准 Skill 目录时做 `with_skill / previous_skill`。两种配置按场景和 run number 交替先后,避免顺序效应被读成增益。
|
|
30
|
+
|
|
31
|
+
发布门禁固定完整模型 ID 并保存上一版快照,否则模型漂移会把 Prompt 改进伪装成收益。单次运行只能作为回归证据,不能作为统计显著性结论;每场景至少 3 次。
|
|
32
|
+
|
|
33
|
+
## 新增场景的最低要求
|
|
34
|
+
|
|
35
|
+
新场景先归入 [scenario-taxonomy.md](scenario-taxonomy.md) 的唯一主要分类,再声明来源、风险等级、执行层级、证据面和自动断言。真实事故优先做成确定性 fixture,只有涉及模型表达时才补 shadow。保留失败样本,不要只保存绿灯摘要——绿灯摘要无法证明这个 case 还能抓住它当初抓住的错误实现。
|