minimal-agent 0.8.2 → 0.10.0

package/workflows/illustrate.yaml

@@ -0,0 +1,227 @@
+name: illustrate
+description: >
+  网上抓图配图（illustrate）：给一个关键词/描述（写 PPT 或文章用），从 **Google→Bing→Baidu 图片有序降级搜索**
+  （某家被墙/不够就自动换下一家），下载若干候选图，**用 LLM 识图逐张打分（相关度/质量、识别并跳过广告图）**，
+  选出最合适的 `count` 张，落 `build/illustrations.json`（含图路径 + 源 URL + 分数），供 PPT/文章工作流消费。
+  纯 YAML：浏览器走内置 agent-browser（WebBrowser 工具），下载走 Download 工具，URL 抽取走 eval+parseJson。
+version: "0.1"
+
+# 最终交付物（new-task 清旧 / completed 报产物 / 完成闸门校验落盘）。中间候选图与分文件不声明（scratch）。
+artifacts:
+  - "./build/illustrations.json"
+
+# 自愈：浏览器/网络瞬态故障 in-run 重跑。
+self_heal:
+  max_retries: 1
+  retry_delay_ms: 10000
+
+inputs:
+  - name: topic
+    type: string
+    required: true
+    greedy: true
+    description: "配图主题 / 关键词（中文或英文，可一句话自然语言，如「太空探索 科技感 蓝色」）。"
+  - name: count
+    type: number
+    default: 3
+    description: "【可选 --input】最终选出的图片张数（默认 3）。"
+  - name: min_candidates
+    type: number
+    default: 6
+    description: "【可选 --input】候选图下限：某家图搜抓到的候选少于这个数就降级到下一家（默认 6）。"
+
+steps:
+  # ---------- 初始化：候选清单置空（让 length() 可用、记录最终采用的搜索引擎）----------
+  - id: init
+    title: "配图·初始化"
+    type: set
+    set:
+      urls: []
+      engine_used: ""
+
+  # ---------- 阶段1：Google 图片（首选）----------
+  # WebBrowser navigate 打开图搜页 → eval 抽 http(s) 图 URL（优先结果锚点的 imgurl/mediaurl/objurl 全图参数，
+  # 退而取 <img> src；过滤 svg/引擎自身 chrome 资源），parseJson 成数组写进 urls。某家失败/被墙 onError:continue 不阻断。
+  # ⚠️ 双重解码：eval 的 JS 用 JSON.stringify 返回字符串，agent-browser 显示时会再 JSON 编码一次 →
+  #    capture 到的是带外层引号的双编码串，故 parseJson(parseJson(x_raw)) 套两层才得数组（已实测确认）。
+  # ⚠️ eval 抽取规则随各家页面改版可能失效（固有脆弱，与脚本/YAML 无关）——失效时调这段 JS 即可。
+  - id: g_nav
+    title: "配图·Google 图搜"
+    tool: WebBrowser
+    args:
+      action: navigate
+      url: "https://www.google.com/search?tbm=isch&hl=en&q=${inputs.topic}"
+    onError: continue
+  - id: g_eval
+    title: "配图·Google 抽图 URL"
+    tool: WebBrowser
+    args:
+      action: eval
+      js: |
+        JSON.stringify(Array.from(new Set([].concat(
+          Array.from(document.querySelectorAll('a')).map(a=>{try{const u=new URL(a.href);return u.searchParams.get('imgurl')||u.searchParams.get('mediaurl')||u.searchParams.get('objurl')||''}catch(e){return ''}}),
+          Array.from(document.querySelectorAll('img')).map(i=>i.currentSrc||i.src||i.getAttribute('data-src')||'')
+        ))).filter(s=>/^https?:\/\//.test(s)&&!/\.svg($|\?)/i.test(s)&&!/gstatic\.com|bing\.com\/(rp|th\/id\/(?!OIP))|baidu\.com\/static|google\.com\/images\/branding|w3\.org/i.test(s)).slice(0,24))
+    capture:
+      content: g_raw
+    onError: continue
+  - id: g_set
+    title: "配图·收下 Google 候选"
+    type: set
+    when: "length(asArray(parseJson(parseJson(g_raw)))) > length(urls)"
+    set:
+      urls: "${asArray(parseJson(parseJson(g_raw)))}"
+      engine_used: "google"
+
+  # ---------- 阶段2：Bing 图片（Google 不够才降级）----------
+  - id: b_nav
+    title: "配图·Bing 图搜（降级）"
+    tool: WebBrowser
+    when: "length(urls) < inputs.min_candidates"
+    args:
+      action: navigate
+      url: "https://www.bing.com/images/search?q=${inputs.topic}"
+    onError: continue
+  - id: b_eval
+    title: "配图·Bing 抽图 URL"
+    tool: WebBrowser
+    when: "length(urls) < inputs.min_candidates"
+    args:
+      action: eval
+      js: |
+        JSON.stringify(Array.from(new Set([].concat(
+          Array.from(document.querySelectorAll('a.iusc')).map(a=>{try{return (JSON.parse(a.getAttribute('m')||'{}').murl)||''}catch(e){return ''}}),
+          Array.from(document.querySelectorAll('a')).map(a=>{try{const u=new URL(a.href);return u.searchParams.get('mediaurl')||u.searchParams.get('imgurl')||''}catch(e){return ''}}),
+          Array.from(document.querySelectorAll('img')).map(i=>i.currentSrc||i.src||i.getAttribute('data-src')||'')
+        ))).filter(s=>/^https?:\/\//.test(s)&&!/\.svg($|\?)/i.test(s)&&!/bing\.com\/(rp|sa\/)|gstatic\.com|w3\.org/i.test(s)).slice(0,24))
+    capture:
+      content: b_raw
+    onError: continue
+  - id: b_set
+    title: "配图·收下 Bing 候选"
+    type: set
+    when: "length(asArray(parseJson(parseJson(b_raw)))) > length(urls)"
+    set:
+      urls: "${asArray(parseJson(parseJson(b_raw)))}"
+      engine_used: "bing"
+
+  # ---------- 阶段3：Baidu 图片（仍不够才降级）----------
+  - id: d_nav
+    title: "配图·Baidu 图搜（降级）"
+    tool: WebBrowser
+    when: "length(urls) < inputs.min_candidates"
+    args:
+      action: navigate
+      url: "https://image.baidu.com/search/index?tn=baiduimage&word=${inputs.topic}"
+    onError: continue
+  - id: d_eval
+    title: "配图·Baidu 抽图 URL"
+    tool: WebBrowser
+    when: "length(urls) < inputs.min_candidates"
+    args:
+      action: eval
+      js: |
+        JSON.stringify(Array.from(new Set(
+          Array.from(document.querySelectorAll('img')).map(i=>i.getAttribute('data-imgurl')||i.currentSrc||i.src||i.getAttribute('data-src')||'')
+        )).filter(s=>/^https?:\/\//.test(s)&&!/\.svg($|\?)/i.test(s)&&!/baidu\.com\/(static|img|aladdin)|bdstatic\.com|w3\.org/i.test(s)).slice(0,24))
+    capture:
+      content: d_raw
+    onError: continue
+  - id: d_set
+    title: "配图·收下 Baidu 候选"
+    type: set
+    when: "length(asArray(parseJson(parseJson(d_raw)))) > length(urls)"
+    set:
+      urls: "${asArray(parseJson(parseJson(d_raw)))}"
+      engine_used: "baidu"
+
+  # ---------- 守门：三家都没抓到候选 → 诚实停（多半全被墙/反爬，现场保留可续跑）----------
+  - id: assert_candidates
+    title: "配图·候选校验"
+    type: assert
+    condition: "length(urls) > 0"
+    onFail: "Google/Bing/Baidu 三家图搜都没抓到候选图（可能全被墙/反爬，或 eval 抽取规则需随页面改版调整）。"
+
+  # ---------- 阶段4：下载候选图（逐条，跳死链）----------
+  - id: download_loop
+    title: "配图·下载候选"
+    type: loop
+    over: "${asArray(urls)}"
+    as: u
+    do:
+      - id: dl_one
+        title: "配图·下载 #${u_idx}"
+        tool: Download
+        args:
+          url: "${u}"
+          path: "./build/illustrations/cand_${u_idx}.img"
+          timeout: 30000
+          headers:
+            User-Agent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36"
+            Referer: "https://www.google.com/"
+        onError: continue
+
+  # ---------- 阶段5：逐图识图打分 → 写分文件（避开 loop 累积难题，每图一个 score_K.json）----------
+  - id: score_loop
+    title: "配图·识图打分"
+    type: loop
+    over: "${asArray(urls)}"
+    as: u
+    do:
+      - id: score_one
+        title: "配图·打分 #${u_idx}"
+        when: "fileExists('./build/illustrations/cand_' + u_idx + '.img')"
+        llm: |
+          下方附上一张候选配图（用于主题：「${inputs.topic}」）。请**只看这张图**给出客观评估，输出 JSON。
+          - relevance：0-10，图片内容与主题的契合度（画的东西是否切题）。
+          - quality：0-10，作为 PPT/文章配图的观感质量（清晰、构图、专业、无明显水印/拼接）。
+          - is_ad：true/false——这是不是**广告/促销/带营销文案或店铺水印/比价图**等不适合当配图的图。
+          - reason：一句话理由（中文）。
+          只输出 JSON 对象本身，不要 markdown 代码块、不要解释。
+        images: ["./build/illustrations/cand_${u_idx}.img"]
+        image_detail: high
+        capture:
+          text: score_text
+        onError: continue
+        max_retries: 1
+      - id: write_score
+        title: "配图·记录分数 #${u_idx}"
+        when: "fileExists('./build/illustrations/cand_' + u_idx + '.img')"
+        tool: Write
+        args:
+          file_path: "./build/illustrations/score_${u_idx}.json"
+          content: |
+            {"index": ${u_idx}, "url": ${json(u)}, "engine": ${json(engine_used)}, "path": "build/illustrations/cand_${u_idx}.img", "score": ${score_text}}
+        onError: continue
+
+  # ---------- 阶段6：聚合选优（剔广告、按 relevance×quality 排序取前 count，确定性落盘）----------
+  - id: select
+    title: "配图·选出最合适的 ${inputs.count} 张"
+    agent: |
+      你是配图验收员。**唯一任务**：从已打分的候选里选出最合适的 ${inputs.count} 张配图，写 `./build/illustrations.json`。不要做别的。
+
+      1. 用 Glob 列出 `./build/illustrations/score_*.json`，逐个 Read。每个文件形如
+         `{"index","url","engine","path","score":{"relevance","quality","is_ad","reason"}}`（坏文件/缺 score 的跳过）。
+      2. **先剔除 `score.is_ad == true` 的**（广告/促销/水印图绝不入选）。
+      3. 其余按 **relevance×quality 降序**排序，取前 ${inputs.count} 张（不足就有几张给几张）。
+      4. 用 Write 写 `./build/illustrations.json`（严格 JSON、无注释、无 ``` 包裹）：
+         `{"topic": "...", "engine_used": "${engine_used}", "count": <实际入选数>,
+           "picks": [{"path","url","engine","relevance","quality","reason"}, ...]}`
+         path 用 score 文件里的 path（如 build/illustrations/cand_3.img）。
+      完成后简述：扫了几个候选、剔了几张广告、最终选了哪几张（序号 + 一句理由）。
+    allowed_tools: [Glob, Read, Write]
+    maxTurns: 12
+    done_when: "fileExists('./build/illustrations.json')"
+    onError: halt
+    max_retries: 1
+    artifacts:
+      - "./build/illustrations.json"
+
+  # ---------- 阶段7：完成报告（确定性输出，不烧 LLM）----------
+  - id: report
+    title: "配图·完成"
+    type: echo
+    message: |
+      ✅ 配图完成（主题：${inputs.topic}，来源：${engine_used}）。
+      选中的图片清单见 ./build/illustrations.json（每条含 path/url/engine/分数）。
+      下游 PPT/文章工作流可读 illustrations.json 取用这 ${inputs.count} 张配图。