@xdxer/dingtalk-agent 0.1.4-beta.1 → 0.1.4-beta.11

package/evals/evals.json

@@ -1,316 +0,0 @@
-{
-  "skill_name": "基础行为",
-  "evals": [
-    {
-      "id": 1,
-      "prompt": "消费 mentioned.json，说明应该创建什么 Field/Session/Run，并选择一个合法动作。不得自行构造收件人。",
-      "expected_output": "事件映射为 im.message.mentioned；默认 Field；允许 ack/reply/ask/silence；回复目标只能来自 conversation_id/message_id/sender_open_dingtalk_id。",
-      "files": ["evals/fixtures/mentioned.json"],
-      "expectations": [
-        "事件类型规范化为 im.message.mentioned",
-        "允许动作恰好包含 ack、reply、ask、silence",
-        "权威回复目标完整复用事件中的三个 ID"
-      ]
-    },
-    {
-      "id": 2,
-      "prompt": "消费 group.json。消息没有 @ 当前员工，判断是否应回复。",
-      "expected_output": "映射为 im.message.group；Basic Behavior 只允许 silence，并产生本地回执。",
-      "files": ["evals/fixtures/group.json"],
-      "expectations": [
-        "普通群消息只允许 silence",
-        "reply 在 CLI 行为闸门被拒绝",
-        "silence 产生 verified=true 的本地 Receipt"
-      ]
-    },
-    {
-      "id": 3,
-      "prompt": "将同一个 mentioned.json 连续 prepare，再模拟 controller 幂等入队并 ack，判断崩溃窗口与重复沙箱是否都可控。",
-      "expected_output": "复用相同 sessionId/runId；ack 前作为 pending outbox 可重投，controller 按 runId 幂等入队后 ack；ack 后才 launch=false。",
-      "files": ["evals/fixtures/mentioned.json"],
-      "expectations": [
-        "重复事件复用相同 Session/Run，pending 可扫描恢复",
-        "ack 前重投 duplicate=true 且 launch=true",
-        "ack 后重复事件 launch=false"
-      ]
-    },
-    {
-      "id": 4,
-      "prompt": "在已 prepare 的 Run 中尝试通过 act 指定另一个 conversationId。",
-      "expected_output": "CLI 没有目标覆盖参数，parse 阶段拒绝；只能引用回复触发消息。",
-      "files": ["evals/fixtures/mentioned.json"],
-      "expectations": [
-        "act 不接受 conversation-id 参数",
-        "伪造 Run 不在 event index 时被拒绝",
-        "修改 reply-target 投影后 act fail closed"
-      ]
-    },
-    {
-      "id": 5,
-      "prompt": "在事件已被读取后，让 Field/Behavior 物化临时失败；修复配置并执行 dispatch pending。",
-      "expected_output": "事件先进 durable inbox；物化失败不丢原事件；修复后 pending 能补完同一 Run 并清理 inbox。",
-      "files": ["evals/fixtures/mentioned.json"],
-      "expectations": [
-        "物化失败后 durable inbox 保留一条事件",
-        "修复后 dispatch pending 恢复出 launch=true 的 Run",
-        "成功建立 event index 后 inbox 记录被清理"
-      ]
-    },
-    {
-      "id": 6,
-      "prompt": "消费真实 DWS 形态的 envelope：data 是 JSON 字符串；再输入损坏的 data。",
-      "expected_output": "合法 data 必须二次解析并保留 tenant/conversation/message/actor；损坏 data 必须响亮失败，不能当空消息。",
-      "files": [],
-      "expectations": [
-        "data JSON 字符串被二次解析为 DM 事件",
-        "tenant 与三个回复目标 ID 被完整保留",
-        "损坏 data fail loud 而不是产生空事件"
-      ]
-    },
-    {
-      "id": 7,
-      "prompt": "同 tenant/conversation 中制造两个独立根消息，再制造对第一条的 follow-up；另把同一会话复制到另一 tenant。",
-      "expected_output": "独立根消息各自一个 Session；follow-up 回到原 Session；tenant 不同必须隔离。",
-      "files": ["evals/fixtures/mentioned.json"],
-      "expectations": [
-        "同会话两个独立事项不会塌成一个 Session",
-        "rootMessage follow-up 复用原事项 Session 但创建新 Run",
-        "不同 tenant 即使 conversation/message 相同也不会串 Session"
-      ]
-    },
-    {
-      "id": 8,
-      "prompt": "prepare 一个 Run，随后修改工作区里的启用 Skill，再重放同一事件。",
-      "expected_output": "Run 内存在标准 SKILL.md 和 manifest/hash；当前 Run 永远使用原快照，不热加载工作区修改。",
-      "files": [],
-      "expectations": [
-        "Run 内有标准 Agent Skill 快照与 manifest",
-        "manifest hash 已写入 Run 控制面",
-        "修改工作区 Skill 后重放同一事件，Run 快照保持不变"
-      ]
-    },
-    {
-      "id": 9,
-      "prompt": "把 Field 配成 robot-connect/connector，然后尝试 act reply 与 silence。",
-      "expected_output": "connector 是唯一出口 owner；act 外发必须硬拒绝以避免双发，silence 仍可审计。",
-      "files": [],
-      "expectations": [
-        "robot-connect Field 的出口 owner 固定为 connector",
-        "dingtalk-agent act reply 被出口闸门拒绝",
-        "silence 仍生成 verified Receipt"
-      ]
-    },
-    {
-      "id": 10,
-      "prompt": "对同一个 heartbeat duty 连续触发两拍，并重试第一拍。",
-      "expected_output": "稳定 heartbeat key 复用同一 Session；每拍有唯一 eventId/Run；同一拍重试仍幂等复用原 Run。",
-      "files": [],
-      "expectations": [
-        "同一 duty 的不同心跳复用 Session",
-        "不同心跳 occurrence 创建不同 Run 且可以启动",
-        "同一 occurrence 重试复用原 Run"
-      ]
-    },
-    {
-      "id": 11,
-      "prompt": "在 DM Run 中执行 ask，随后由同一人在同一会话回复。验证它不是新事项，而是恢复原 Session。",
-      "expected_output": "ask Receipt 激活宿主 Wait；回复创建新 Run，但 sessionId 保持不变，并在 context/resume.json 中带回 waitId/sourceRunId。",
-      "files": [],
-      "expectations": [
-        "ask 的 Receipt 激活唯一 Durable Wait",
-        "同人同会话回复复用原 Session 并创建新 Run",
-        "恢复投影与 Wait claim 绑定同一个 eventId/runId",
-        "旧 ask Receipt 重放不会覆盖同 scope 的下一轮 Wait"
-      ]
-    },
-    {
-      "id": 12,
-      "prompt": "一个 Session 正在等待 Alice 回复；先让 Bob 在同一会话发消息，再让 Alice 用显式 sessionKey 发起另一事项，最后让 Alice 正常回复。",
-      "expected_output": "不同 actor 不能消费 Wait；显式 sessionKey 优先；只有 Alice 无显式 causal key 的下一条消息恢复原 Session。",
-      "files": [],
-      "expectations": [
-        "不同 actor 的消息创建新 Session",
-        "显式 sessionKey 不被自动 Wait 路由覆盖",
-        "原 actor 的普通回复仍能恢复原 Session"
-      ]
-    },
-    {
-      "id": 13,
-      "prompt": "第一个 Session ask 后收到回复并已唤醒新 Run，但新 Run 尚未结束；此时让另一个 Session ask。",
-      "expected_output": "单链 v1 把 claimed 也视为 open chain；第二个 ask 在 DWS 外发前 fail closed，原链保持不变。",
-      "files": [],
-      "expectations": [
-        "测试确实恢复第一个 Session，并另建第二个 Session",
-        "第二个并行 ask 被单链 Wait 闸门拒绝",
-        "权威 Wait 仍处于第一个 Session 的 claimed 状态"
-      ]
-    },
-    {
-      "id": 14,
-      "prompt": "Session ask 后先由回复唤醒新 Run，再收到 /stop；让 Behavior 暂时不可用使 stop 在 event-index 前中断，随后新建另一条 Wait 并重放旧 stop。",
-      "expected_output": "/stop 在 Field/Behavior/Skill 物化前取消 claimed Wait 并提升一次 generation；重放依 eventId→waitId 回到旧 Wait，不能误取消新的 scope head；已唤醒 Run 的副作用被拒绝。",
-      "files": [],
-      "expectations": [
-        "stop 能取消已 claimed 的链，重放只回原 Wait 而不误杀后来新 Wait",
-        "即使当前 Behavior 不可物化也先落取消闸门，重放不会重复提升 generation",
-        "已经唤醒但未执行的旧 generation Run 被硬闸门阻止"
-      ]
-    },
-    {
-      "id": 15,
-      "prompt": "模拟 ask Receipt 已落盘但 Wait 仍停在 arming 时进程崩溃，再输入同一人的下一条回复。",
-      "expected_output": "incoming 路由从宿主 Receipt 修复 Wait，再原子 claim 并恢复原 Session；问题正文仍进入 resume 上下文。",
-      "files": [],
-      "expectations": [
-        "测试构造 active 到 arming 的崩溃窗口",
-        "Receipt 自修复后回复恢复原 Session 并 claim Wait",
-        "恢复上下文保留 waitId、原问题和新 Run claim"
-      ]
-    },
-    {
-      "id": 16,
-      "prompt": "精确构造回复 Event 已 claim Wait、但 event ledger 尚未落盘时崩溃，随后被并发 /stop 取消并重放该回复 Event。",
-      "expected_output": "取消前先从 claimed head 修复 eventId→waitId binding；回复不能回退成新事项，只能进入原 Session、当前 generation 的 cancel/no-op Run，并且只允许 silence。",
-      "files": [],
-      "expectations": [
-        "回复先 claim、stop 后取消并提升 generation",
-        "回复重放仍绑定原 Session，标记 suppressed 且只允许 silence",
-        "reply 被行为闸门拒绝，silence 留下本地 Receipt"
-      ]
-    },
-    {
-      "id": 17,
-      "prompt": "让一条普通消息和一条 /stop 第一次查询时都没有匹配 Wait；随后同 scope 新建 Wait，再分别重放旧 Event。",
-      "expected_output": "首次 NO_MATCH 也被 event ledger 固化；旧普通消息不能误消费新 Wait，旧 stop 不能误取消新 Wait。",
-      "files": [],
-      "expectations": [
-        "普通消息与 stop 的首次 Wait 查询都明确未命中",
-        "旧普通消息重放仍是 start，新建 Wait 保持 active",
-        "旧 stop 重放仍是 start，新建 Wait 保持 active"
-      ]
-    },
-    {
-      "id": 18,
-      "prompt": "用 contextId 初始化 Workspace，把 memory 配成钉钉文档，并让旧 Field 同时声明另一套 DWS 身份。",
-      "expected_output": "Trigger 与 dispatch 使用 Workspace contextId；远端文档被读取为 Run 快照；Workspace DWS 身份优先；错误 contextId fail closed。",
-      "files": [],
-      "expectations": [
-        "Trigger 与 dispatch 都带 Workspace contextId",
-        "dingtalk-doc memory 被读取为本 Run Markdown 快照",
-        "Workspace DWS 身份覆盖旧 Field 配置，错误 contextId 被拒绝"
-      ]
-    },
-    {
-      "id": 19,
-      "prompt": "创建一个 Session 后修改 Workspace 中的 Skill，再用 follow-up 产生新 Run，最后开启另一件事。",
-      "expected_output": "follow-up 回原 Session 并继续旧 Skill 快照；新事项创建新 Session，才采用更新后的 Skill。",
-      "files": [],
-      "expectations": [
-        "follow-up 复用原 Session 但创建新 Run",
-        "同一 Session 继续使用原 Skill manifest",
-        "新 Session 才绑定更新后的 Skill"
-      ]
-    },
-    {
-      "id": 20,
-      "prompt": "在一个没有 Workspace 的空目录安装全局 Basic Behavior，重复安装，再制造一个同名陌生 Skill。",
-      "expected_output": "安装不依赖 init；canonical copy 可被 Codex 发现，Claude 使用相对 symlink；重复安装幂等；陌生同名目录绝不覆盖。",
-      "files": [],
-      "expectations": [
-        "空目录可直接安装 canonical Skill",
-        "重复安装保持 current 且无漂移",
-        "Claude exposure 是指向 canonical 的相对 symlink",
-        "同名陌生 Skill 被 fail closed"
-      ]
-    },
-    {
-      "id": 21,
-      "prompt": "在未 init 的本地目录放入 WORKSPACE.md、MEMORY.md 与知识索引，然后 bootstrap。",
-      "expected_output": "以 Direct Session 发现三个本地挂载，不创建 .dingtalk-agent，也不修改项目文件。",
-      "files": [],
-      "expectations": [
-        "bootstrap 在无 init 时进入 direct mode",
-        "身份、记忆和知识三个语义槽均被发现",
-        "本地水合不创建隐藏运行目录"
-      ]
-    },
-    {
-      "id": 22,
-      "prompt": "在未 init 的目录用 dingtalk-doc Storage bootstrap，并由 fake DWS 返回在线文档。",
-      "expected_output": "先 probe ALIDOC/adoc，再拉为隐藏只读快照；只创建显式 state-dir cache，不创建 Workspace manifest。",
-      "files": [],
-      "expectations": [
-        "远端 Storage 不要求 Workspace init",
-        "钉钉文档被拉成可读 Markdown 快照",
-        "快照有 manifest，但不偷偷创建 Workspace"
-      ]
-    },
-    {
-      "id": 23,
-      "prompt": "不传 contextId 执行一次 init，再重复执行。检查项目可见文件和 Skill 声明。",
-      "expected_output": "contextId 由目录名稳定派生；第二次只检查不重绑；init 不写 AGENTS/CLAUDE/Ontology/Skill；Workspace 按 Skill name 声明。",
-      "files": [],
-      "expectations": [
-        "contextId 不再是 init 的必填参数",
-        "重复 init 保持 manifest 不变",
-        "最小 init 不污染项目级 Agent 文件或复制 Skill",
-        "Workspace 使用裸 Skill name 而非物理路径"
-      ]
-    },
-    {
-      "id": 24,
-      "prompt": "安装受管 Skill 后手工修改内容，再尝试 upgrade/uninstall，最后显式放弃本地修改并卸载。",
-      "expected_output": "status 识别漂移；默认升级和卸载都保护本地修改；显式 discard 后原子修复；卸载只移除受管 canonical 与准确的 Claude exposure。",
-      "files": [],
-      "expectations": [
-        "受管 Skill 的本地漂移可被检测",
-        "upgrade 默认不覆盖本地修改",
-        "uninstall 默认不删除本地修改",
-        "显式 discard 可修复，随后安全卸载 canonical 与 exposure"
-      ]
-    },
-    {
-      "id": 25,
-      "prompt": "把一个钉钉在线电子表格节点作为 dingtalk-doc Storage 传给 bootstrap。",
-      "expected_output": "DWS probe 发现 extension=axls 后 fail closed，不把表格错误投影成 Markdown，也不创建快照。",
-      "files": [],
-      "expectations": [
-        "非 adoc 节点被 Storage 类型闸门拒绝",
-        "拒绝发生在写快照之前"
-      ]
-    },
-    {
-      "id": 26,
-      "prompt": "在普通 Direct Session、没有可信 Run 的目录执行 act reply。",
-      "expected_output": "找不到冻结 Run 时必须拒绝外发，也不能为了完成动作自动 init 当前目录。",
-      "files": [],
-      "expectations": [
-        "没有 Prepared Run 时 act reply fail closed",
-        "失败不会偷偷初始化 Workspace"
-      ]
-    },
-    {
-      "id": 27,
-      "prompt": "在一个全新 HOME、空 PATH 中通过绝对 Node 路径运行 dingtalk-agent doctor。",
-      "expected_output": "doctor 不崩溃，分别指出 CLI PATH、DWS 和认证缺失，并给出 npx setup 与 dws auth login 的确定修复命令。",
-      "files": [],
-      "expectations": [
-        "PATH 缺少 CLI 时 doctor 返回 not ready",
-        "DWS 缺失与认证不可检查被分别报告",
-        "诊断包含可复制执行的 npx setup 和 DWS 登录步骤"
-      ]
-    },
-    {
-      "id": 28,
-      "prompt": "在隔离 HOME 中通过本地 npm 包执行一次 setup，PATH 里只有 npm 与 fake DWS。",
-      "expected_output": "setup 把 CLI 安装到 ~/.local/bin，幂等写入 shell PATH，安装 canonical Skill，并让 Claude Code、Codex、OpenCode 与 DWS 检查全部 ready。",
-      "files": [],
-      "expectations": [
-        "用户级 CLI 被安装且可执行 --version",
-        "shell rc 只追加受管的 ~/.local/bin PATH 块",
-        "canonical Skill 与 Claude exposure 安装成功，三个 Agent 客户端均可发现",
-        "DWS 版本和认证检查通过，setup 最终 ready"
-      ]
-    }
-  ]
-}

package/evals/fixtures/dm-ambiguous-send.json

@@ -1,4 +0,0 @@
-{
-  "event_corp_id": "tenant-eval",
-  "data": "{\"type\":\"user_im_message_receive_o2o\",\"event_id\":\"evt-dm-ambiguous-send-001\",\"timestamp\":1784077380000,\"conversation_id\":\"cid-eval-dm\",\"message_id\":\"mid-dm-ambiguous-send-001\",\"sender\":\"测试同事\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$tester\",\"content\":\"把这份评价发给他。\"}"
-}

package/evals/fixtures/dm-blocked.json

@@ -1,4 +0,0 @@
-{
-  "event_corp_id": "tenant-eval",
-  "data": "{\"type\":\"user_im_message_receive_o2o\",\"event_id\":\"evt-dm-blocked-001\",\"timestamp\":1783990860000,\"conversation_id\":\"cid-eval-dm\",\"message_id\":\"mid-dm-blocked-001\",\"sender\":\"测试同事\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$tester\",\"content\":\"请把附件里的数字汇总成一张表。\"}"
-}

package/evals/fixtures/dm-clear.json

@@ -1,4 +0,0 @@
-{
-  "event_corp_id": "tenant-eval",
-  "data": "{\"type\":\"user_im_message_receive_o2o\",\"event_id\":\"evt-dm-clear-001\",\"timestamp\":1783990800000,\"conversation_id\":\"cid-eval-dm\",\"message_id\":\"mid-dm-clear-001\",\"sender\":\"测试同事\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$tester\",\"content\":\"2 + 2 等于多少？请直接回答。\"}"
-}

package/evals/fixtures/dm-discussion.json

@@ -1,4 +0,0 @@
-{
-  "event_corp_id": "tenant-eval",
-  "data": "{\"type\":\"user_im_message_receive_o2o\",\"event_id\":\"evt-dm-discussion-001\",\"timestamp\":1784077200000,\"conversation_id\":\"cid-eval-dm\",\"message_id\":\"mid-dm-discussion-001\",\"sender\":\"测试同事\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$tester\",\"content\":\"我们是不是应该把这批客户反馈整理成一篇钉钉文档？先给我判断利弊和建议，不要创建任何东西。\"}"
-}

package/evals/fixtures/dm-doc-write-no-tool.json

@@ -1,4 +0,0 @@
-{
-  "event_corp_id": "tenant-eval",
-  "data": "{\"type\":\"user_im_message_receive_o2o\",\"event_id\":\"evt-dm-doc-write-001\",\"timestamp\":1784077440000,\"conversation_id\":\"cid-eval-dm\",\"message_id\":\"mid-dm-doc-write-001\",\"sender\":\"测试同事\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$tester\",\"content\":\"请创建一篇标题为‘登录链路复盘’的钉钉文档，正文写：本周完成验证码链路改造。创建后把结果告诉我。\"}"
-}

package/evals/fixtures/dm-long-task-ack.json

@@ -1,4 +0,0 @@
-{
-  "event_corp_id": "tenant-eval",
-  "data": "{\"type\":\"user_im_message_receive_o2o\",\"event_id\":\"evt-dm-long-task-001\",\"timestamp\":1784077500000,\"conversation_id\":\"cid-eval-dm\",\"message_id\":\"mid-dm-long-task-001\",\"sender\":\"测试同事\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$tester\",\"content\":\"请调研三家同类产品最新的企业权限设计，引用官网链接，整理成对比表并给建议。这个任务需要查外部资料，完成后回这里；现在只需确认收到。\"}"
-}

package/evals/fixtures/dm-nonblocking-gap.json

@@ -1,4 +0,0 @@
-{
-  "event_corp_id": "tenant-eval",
-  "data": "{\"type\":\"user_im_message_receive_o2o\",\"event_id\":\"evt-dm-nonblocking-001\",\"timestamp\":1784077320000,\"conversation_id\":\"cid-eval-dm\",\"message_id\":\"mid-dm-nonblocking-001\",\"sender\":\"测试同事\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$tester\",\"content\":\"根据这些要点给我一版中文周报初稿，缺失数字统一标‘待补’，不用为格式问我：本周完成登录链路改造；修复导出超时；下周推进移动端筛选；风险是灰度数据还没回来。\"}"
-}

package/evals/fixtures/dm-structured-task.json

@@ -1,4 +0,0 @@
-{
-  "event_corp_id": "tenant-eval",
-  "data": "{\"type\":\"user_im_message_receive_o2o\",\"event_id\":\"evt-dm-structured-001\",\"timestamp\":1784077260000,\"conversation_id\":\"cid-eval-dm\",\"message_id\":\"mid-dm-structured-001\",\"sender\":\"测试同事\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$tester\",\"content\":\"请把下面三条反馈整理成 Markdown 表格，列为问题、影响、建议，直接在这里给结果：1. 登录验证码偶发收不到，影响新用户注册，建议增加语音兜底；2. 导出报表很慢，影响财务月结，建议异步导出；3. 移动端筛选会重置，影响销售跟进，建议保留筛选状态。\"}"
-}

package/evals/fixtures/group.json

@@ -1,10 +0,0 @@
-{
-  "type": "user_im_message_receive_group",
-  "event_id": "evt-group-001",
-  "timestamp": 1783990860000,
-  "conversation_id": "cid-project-a",
-  "message_id": "mid-group-001",
-  "sender": "Bob",
-  "sender_open_dingtalk_id": "$:LWCP_v1:$bob",
-  "content": "午饭吃什么？"
-}

package/evals/fixtures/mentioned.json

@@ -1,3 +0,0 @@
-{
-  "data": "{\"type\":\"user_im_message_receive_at\",\"event_id\":\"evt-mentioned-001\",\"timestamp\":1783990800000,\"conversation_id\":\"cid-project-a\",\"message_id\":\"mid-mentioned-001\",\"sender\":\"Alice\",\"sender_open_dingtalk_id\":\"$:LWCP_v1:$alice\",\"content\":\"@Atlas 请把这次讨论整理成三个待办\"}"
-}