minimal-agent 0.12.0 → 0.14.0

package/workflows/wechat-reading-shots.yaml

@@ -1,315 +0,0 @@
-name: wechat-reading-shots
-description: >
-  微信读书逐页截图（通用，不绑定具体书）：收齐参数（缺的问用户）→ 打开目标书正文 →
-  翻到指定页并校验 → 循环「截图 + 翻页」指定张数 → 如实评估。
-  纯只读：不发消息、不点提交类按钮、不改动书的任何状态。
-version: "0.4"
-
-# ══════════════════════════════════════════════════════════════════════════
-#  ★ 这份 yaml 只写**要什么**，不写**怎么点**
-# ══════════════════════════════════════════════════════════════════════════
-#
-#  微信读书的界面知识（页码在哪、怎么用放大镜读、返回箭头在窗口左上角而不是屏幕
-#  左上角、书架封面直接点、翻页用 right/left…）全部住在
-#      plugins/computer_use/app/weread.md
-#  引擎会把它的摘要**注入每一次观测**——跨步骤、跨压缩、跨 agent 都在。
-#
-#  ⚠️ 不要再把这些知识抄回 yaml。v0.2/v0.3 就是那么干的，代价是：
-#    ① yaml prompt 只在步骤首轮出现一次，很快被观测图片埋掉，模型**跳读**
-#       （实测两次：在第 84 页直接按 right 方向反了；停在发现页不点书架直接转搜索）
-#    ② 当时还没有 weread 说明书，内核每次观测都注入「你对这个应用一无所知……
-#       不要连续盲操作」——和 yaml 里的「批量连发 repeat:8」直接对撞，
-#       而说明书那条每次都新鲜送达，必然赢。这就是「越走越慢、反复确认」的根因。
-#    ③ 写在 yaml 里的知识只服务这一个工作流，换个任务完全用不上。
-#
-#  工作流在这里的职责只有三件事，都是**引擎能确定性判定**的：
-#    · 参数收齐了没有（guard_params）
-#    · 到没到目标页（guard_landing，从模型报的数字算得出）
-#    · 截图循环跑够没有（loop 结构保证，模型没有数错和撒谎的余地）
-#  ⛔ 不要把模型对画面的主观分类（"现在算书架页还是发现页"）包装成协议令牌再当
-#     分支条件——那没换来任何确定性，只会把 TAOR 在一步之内自适应的空间切碎。
-#
-#  ⚠️ 刻意不配 self_heal.max_retries：引擎重试是「原样重跑同一步」，对翻页不安全
-#     （重试一次 = 多翻一页，后续页码全错且不报错）。宁可失败停下。
-
-inputs:
-  - name: book
-    type: string
-    required: false
-    default: ""           # 空 = 未提供，阶段1 会问用户
-    greedy: true          # 书名含空格，整句吃进来（如 "claude code 源码解析"）
-  - name: start_page
-    type: number
-    required: false
-    default: 0            # 0 = 未提供，阶段1 会问用户
-  - name: shots
-    type: number
-    required: false
-    default: 0            # 0 = 未提供，阶段1 会问用户
-
-steps:
-  # ═══ 阶段 1/4：激活 + 收齐参数 ═══════════════════════════════════════
-  - id: activate
-    title: "阶段1/4·打开微信读书"
-    tool: ComputerUse
-    uses: [computer]      # 显式声明本步要碰这台机器（最小权限）
-    args:
-      action: activate_app
-      appId: com.tencent.weread
-
-  - id: collect_params
-    title: "阶段1/4·收齐参数"
-    agent: |
-      本次任务需要三个参数。**已经给了的直接用，只问缺的那些**：
-
-        书名     book       = 「${inputs.book}」   （空字符串 = 未提供）
-        起始页   start_page = ${inputs.start_page}  （0 = 未提供）
-        截图张数 shots      = ${inputs.shots}       （0 = 未提供）
-
-      有缺失就用 **AskUserQuestion 一次性问清所有缺的项**（不要一项一项分多轮问）。
-      给选项的同时也允许自由输入：起始页给 1 / 12 / 50 之类，张数给 5 / 10 / 20 之类。
-
-      三项都齐了就**不要问任何问题**，直接输出结果。
-
-      最后**只回复一行 JSON**，不要任何解释、不要代码块围栏：
-      {"book":"书名","page":起始页数字,"shots":张数数字}
-    allowed_tools: [AskUserQuestion]
-    maxTurns: 6
-    capture:
-      text: params_json
-
-  - id: set_params
-    title: "阶段1/4·固化参数"
-    type: set
-    set:
-      # ⚠️ **先把 JSON 从自由文本里抠出来再 parse。**
-      #    「只回复一行 JSON」这种约定是**没法强制**的 —— 实测模型会在前面加一句
-      #    「三项参数都已给出：…」，也可能套 ```json 围栏。裸 parseJson 拿到整段就炸，
-      #    而炸的表现是 cfg=null → guard_params 报「参数没收齐」，
-      #    文案完全指不向真因（参数明明齐了，是解析被前言撑爆了）。
-      #    `([{][^]*[}])` 取首个 { 到末个 } —— 无反斜杠（YAML 会吃掉一层，见 guard_open 注释），
-      #    对「纯 JSON / 带前言 / 带围栏 / 前后都有话」四种形态都成立。
-      cfg: "${parseJson(join(extract(params_json, '([{][^]*[}])'), ''))}"
-
-  - id: guard_params
-    title: "阶段1/4·校验参数"
-    type: assert
-    condition: "cfg.book != '' && cfg.page > 0 && cfg.shots > 0"
-    onFail: >
-      参数没收齐（书名为空，或起始页/张数不是正数）。通常是上一步没按约定只回一行 JSON，
-      或用户取消了提问。可以直接在命令行给全参数重跑：
-      /workflow wechat-reading-shots <书名> --input start_page=N --input shots=N
-
-  # ═══ 阶段 2/4：打开目标书的正文 ══════════════════════════════════════
-  # 一个步骤，交给 TAOR 自己随机应变。怎么归位、怎么进书、什么时候该改用搜索，
-  # 说明书里全有（open_book / back_to_home / read_page_number / seek_to_page 四条流程），
-  # 而且每次观测都在它眼前。这里只声明**目标和判据**。
-  - id: open_book
-    title: "阶段2/4·打开《${cfg.book}》正文"
-    agent: |
-      把微信读书弄到《${cfg.book}》的**正文页**。
-
-      判据只有一条：**能读出页码**（形如「N / 总数」）。读得到就算完成。
-      读页码的方法、界面各处的位置、遇到奇怪界面怎么退回去 —— 说明书里都有，
-      它的摘要就在你每次 observe 的回执里，照着做。
-
-      ⛔ **这一步只负责「打开到正文页」，到此为止。**
-      **不要**去翻到第几页 —— 说明书里那条 seek_to_page 流程不归你执行，
-      下一步由引擎驱动，它会先读页码再决定翻多少。你在这里翻页只会把落点搞乱。
-      **一旦读到页码，立刻回 OPEN=ok 结束本步**，一个多余动作都不要做。
-      （实测教训：这一步曾自作主张把书翻到目标页，干了 4 分钟、还忘了给结论行，
-      整条工作流因为「没有产出任何结果」而 halt。）
-
-      纪律：
-      - 第一个动作必须是 observe，先看清在哪再决定做什么
-      - 只读任务：不点购买 / 订阅 / 分享 / 赠一得一 / 加入书架
-      - **搜索结果里出现多本书名高度相似的书时（这在本应用里非常常见），
-        不要自己挑 —— 用 AskUserQuestion 把候选的完整书名 + 作者列给用户确认。**
-        点错书的代价是后面全部十几张截图都白拍。
-      - 操作飞到了不认识的界面：按说明书的 back_to_home 流程复位。
-        **别在原地反复试**，也别用鼠标去正文里乱点。
-      - 其它卡住、拿不准的地方一样用 AskUserQuestion 问，不要瞎试
-
-      ⚠️ 无论过程如何，**最后一行必须是下面两者之一**，缺了这行整步算失败：
-      - 已停在能读到页码的正文页 → OPEN=ok
-      - 试过各种办法仍进不去     → OPEN=fail
-    allowed_tools: [ComputerUse, AskUserQuestion]
-    maxTurns: 35
-    capture:
-      text: open_state
-
-  - id: guard_open
-    title: "阶段2/4·校验已在正文"
-    type: assert
-    # ⚠️ 两条都是实测踩出来的：
-    #    ① 用 OPEN=xxx 令牌精确取值，不能用 includes 在自由文本里找关键词 ——
-    #       模型回「ok 的路子都走不通」时 includes('ok') 会判真放行。
-    #    ② 正则里不要用 \w、\d 这类反斜杠转义，一律写字符类 [a-z] / [0-9]。
-    #       表达式引擎的字符串字面量吃一层反斜杠，YAML 双引号标量又吃一层 ——
-    #       写 '(\w+)' 传到引擎手上变成 '(w+)'，正则悄悄失配。
-    #       **不报错，护栏只是永远判假**，看到的是完全误导人的 onFail 文案。
-    condition: "extract(open_state, 'OPEN=([a-z]+)') == 'ok'"
-    onFail: >
-      没能停到《${cfg.book}》的正文页上（判据是读不到页码）。模型的说法：${open_state}
-      请确认书名是否正确、该书在你的账号下是否可读，或人工把书翻到正文任意一页后重跑。
-
-  # ═══ 阶段 3/4：翻到目标页 ════════════════════════════════════════════
-  # ⚠️ **这一段拆成引擎循环是有价值的，和阶段 2 不同**：
-  #    它路由的是引擎**能确定性算出来**的东西（目标页在不在当前对开的两页里），
-  #    而且强制每翻一批之前先重读一次页码 —— 模型没有跳过的余地。
-  #    实测：一次就把书从第 84 页收敛到 12/13 页，批量档转精准档一步不差。
-  #    对照 v0.3 把整套算法写进一段 prompt 时，它进书后第一个动作就是按 right
-  #    （当时在第 84 页、目标 12 页，方向都反了），页码一次都没读。
-  - id: seek_loop
-    title: "阶段3/4·翻到第 ${cfg.page} 页"
-    type: loop
-    max_iterations: 14      # 足够从任意页收敛；真收敛不了由 guard_landing 诚实报错
-    do:
-      - id: read_page
-        title: "阶段3/4·读当前页码"
-        agent: |
-          只做一件事：**读出当前页码**。不要翻页，不要点任何东西。
-          方法见说明书的 read_page_number 流程（摘要就在你的 observe 回执里）。
-
-          **只回复一行**，格式严格如下，不要任何解释：
-              PAGE=<左页码> <右页码>
-          例：PAGE=84 85       单页显示时两个写一样：PAGE=12 12
-          实在读不出来就回复：PAGE=0 0
-        allowed_tools: [ComputerUse]
-        maxTurns: 5
-        capture:
-          text: cur_page
-
-      # 目标页已经出现在当前对开的两页里 → 到位，收工
-      - id: reached
-        type: break
-        when: >
-          extract(cur_page, 'PAGE=([0-9]+)') == cfg.page
-          || extract(cur_page, 'PAGE=[0-9]+ ([0-9]+)') == cfg.page
-
-      - id: turn_batch
-        title: "阶段3/4·翻页"
-        agent: |
-          当前页码：${cur_page}   目标页：${cfg.page}
-
-          照这三步做，**不要自由发挥**：
-
-          ① 取当前左页码 L —— 就是 ${cur_page} 里的第一个数字
-          ② 方向 = L > ${cfg.page} 时用 left，否则用 right
-             N（还要按几次）= 向上取整( |L − ${cfg.page}| ÷ 2 )
-               （每次按键翻几页由说明书 seek_to_page 给出，别自己假设）
-          ③ 按 N 发**一次**工具调用，然后立刻结束本步：
-               N ≥ 5 → {action:"key", key:"<方向>", repeat:<min(N,8)>, repeatFrames:"last"}
-               N ≤ 4 → {action:"key", key:"<方向>"}
-
-          ⛔ **N ≥ 5 时必须用 repeat 一次发满，不许一下一下按。**
-             一下一下按，每按一次都要多花一个完整的 LLM 往返（约 30 秒），
-             而 repeat 一轮就干完（约 1 秒）—— 实测 N=6 时一次一按比批量多花了 5 分钟。
-             `repeatFrames:"last"` 也必须带上：不带的话 repeat:8 会回 8 张全屏图
-             （约 1 万 token），而中间那些页你根本不看。
-          ⛔ 发完就结束本步。不要自己循环、不要自己再 observe 确认 ——
-             外层引擎下一轮会先重新读页码，那才是权威值。
-          ⛔ 全程零鼠标。
-        allowed_tools: [ComputerUse]
-        maxTurns: 4
-
-  - id: guard_landing
-    title: "阶段3/4·校验是否到达目标页"
-    type: assert
-    # 用循环里**最后一次** read_page 的结果 —— 它每轮都读，最后那次就是落点。
-    # ⚠️ 循环体里 capture 的变量能活到这里，是靠 VarStack 区分「迭代变量」与
-    #    「作者命名变量」（见 types.ts::VarStack）。此前迭代帧把它一起弹掉，
-    #    导致刚刚成功翻到第 12 页的运行被判成失败，报错文案还完全指不向真因。
-    # 双页对开：目标页落在左页或右页都算到位。
-    # 必须用 extract 精确取数，不能用 includes —— 'PAGE=112 113' 含子串 '12' 会误判。
-    condition: >
-      extract(cur_page, 'PAGE=([0-9]+)') == cfg.page
-      || extract(cur_page, 'PAGE=[0-9]+ ([0-9]+)') == cfg.page
-    onFail: >
-      没能翻到第 ${cfg.page} 页（最后读到的页码：${cur_page}）。
-      可能原因：目标页超出本书范围、翻页中撞到首/末页、或页码始终读不出来（PAGE=0 0）。
-      ⚠️ 这里**故意不自动重试** —— 重试会在错误的位置上继续翻，把落点推得更远。
-
-  # ═══ 阶段 4/4：截图循环 + 汇报 ═══════════════════════════════════════
-  # 确定性 loop，不是 agent：动作固定、次数固定，没有需要判断的余地。
-  # ⚠️ 实测教训：这步曾经是 agent，它按了 3 次却报告「12 次已完成」。
-  #    次数确定的事交给模型，它唯一能贡献的就是数错并且说谎。引擎自己数没有撒谎余地，
-  #    还快一个数量级（每轮约 2 秒 vs agent 每轮一个 LLM 往返约 30 秒）。
-  - id: shoot_loop
-    title: "阶段4/4·截图并翻页"
-    type: loop
-    max_iterations: "${cfg.shots}"
-    do:
-      - id: shoot
-        title: "阶段4/4·截图"
-        tool: ComputerUse
-        uses: [computer]
-        args:
-          action: observe
-          # 每张截图附一张页码特写。全屏图上页码只有约 5px、肉眼和模型都读不了，
-          # 不带这个的话交付出去的 10 张图**无法核对到底拍的是哪几页**（实测踩过）。
-          # ⚠️ 坐标是**相对窗口**的（magnifyAnchor: window）——窗口常常不是全屏，
-          #    用全屏坐标写死必然框偏，而确定性 tool 步里没有模型来现算窗口范围。
-          magnify: { x: 0, y: 945, width: 1000, height: 55 }
-          magnifyAnchor: window
-        capture:
-          # { 结果字段: 变量名 }：tool 步的 raw.images 是截图路径数组
-          images: last_shot
-
-      - id: turn_page
-        title: "阶段4/4·翻页"
-        tool: ComputerUse
-        uses: [computer]
-        args:
-          action: key
-          key: right
-        capture:
-          content: turn_receipt
-
-      # 撞到书末就收工：继续拍只会得到 N 张一模一样的最后一页。
-      # ⚠️ 这条判据可信，是因为「变化率」信号已被修好 —— 此前翻页恒报 0.0%
-      #    （前后差分抢在应用重绘之前测），拿它当判据会第一次翻页就误停。
-      #    修好后实测：真翻动 15%~26%、真撞墙精确 0.00，泾渭分明。
-      - id: mark_edge
-        type: set
-        when: "includes(turn_receipt, '变化很小')"
-        set:
-          hit_edge: true
-
-      - id: shoot_break
-        type: break
-        when: "hit_edge == true"
-
-  # echo 是确定性输出（不烧 LLM、零幻觉）：张数由引擎的循环结构保证，
-  # 不需要、也不应该让模型去"回忆"拍了几张。
-  - id: report_count
-    title: "阶段4/4·截图张数结论"
-    type: echo
-    message: >
-      📸 截图循环结束。请求 ${cfg.shots} 张，起始页 ${cfg.page}（实际落点 ${cur_page}）。
-      hit_edge=${hit_edge} —— true 表示中途撞到书末提前收工、实际张数少于请求值；
-      未置位表示完整跑满 ${cfg.shots} 轮。轮数由引擎循环结构保证，不是模型自述。
-
-  - id: evaluate
-    title: "阶段4/4·评估本次自动化"
-    agent: |
-      评估**这次自动化跑得成不成功**（不是评估书的内容）。
-
-      本次流程：打开《${cfg.book}》正文 → 翻到第 ${cfg.page} 页（落点 ${cur_page}）→
-      循环 ${cfg.shots} 次「截图 + 翻页」。
-
-      observe 一次（用说明书的 read_page_number 流程读清当前页码），结合过程中看到的
-      截图，如实回答：
-
-      1. 打开的确实是《${cfg.book}》吗？依据是什么？
-      2. 截图是否都是**不同**的页面？依据是每次 turn_page 回执的变化率（0.0% = 没翻动）。
-      3. 过程中有没有误触？（弹出菜单、放大插图、跳转别的界面、触发购买/分享）
-      4. 当前停在第几页？用放大镜读出来的真实数字，不要猜。
-
-      要求：
-      - 每条结论都要说清依据，不要笼统说"成功"
-      - 拿不准就明说拿不准
-      - **不要凭记忆报按键次数或截图张数** —— 记不清就直说记不清
-      - 最后一句总评：成功 / 部分成功 / 失败，以及卡在哪一步
-    allowed_tools: [ComputerUse]
-    maxTurns: 12