minimal-agent 0.13.0 → 0.14.0

package/workflows/illustrate/assets/extract-google.js

@@ -0,0 +1,31 @@
+JSON.stringify(
+  Array.from(
+    new Set(
+      [].concat(
+        Array.from(document.querySelectorAll('a')).map((anchor) => {
+          try {
+            const url = new URL(anchor.href)
+            return (
+              url.searchParams.get('imgurl') ||
+              url.searchParams.get('mediaurl') ||
+              url.searchParams.get('objurl') ||
+              ''
+            )
+          } catch {
+            return ''
+          }
+        }),
+        Array.from(document.querySelectorAll('img')).map(
+          (image) => image.currentSrc || image.src || image.getAttribute('data-src') || '',
+        ),
+      ),
+    ),
+  )
+    .filter(
+      (url) =>
+        /^https?:\/\//.test(url) &&
+        !/\.svg($|\?)/i.test(url) &&
+        !/gstatic\.com|google\.com\/images\/branding|w3\.org/i.test(url),
+    )
+    .slice(0, 24),
+)

package/workflows/illustrate/workflow.mjs

@@ -0,0 +1,301 @@
+export const meta = {
+  apiVersion: 2,
+  description:
+    '网上抓图配图：Google→Bing→百度有序降级搜索，下载候选图，用 LLM 逐张识图打分（相关度/质量/识别广告），选出最合适的若干张落 illustrations.json，供 PPT/文章工作流消费',
+  inputs: [
+    {
+      name: 'topic',
+      required: true,
+      greedy: true,
+      description: '配图主题/关键词（如「太空探索 科技感 蓝色」）',
+    },
+    { name: 'count', type: 'number', default: 3, description: '最终选出的张数' },
+    {
+      name: 'min_candidates',
+      type: 'number',
+      default: 6,
+      description: '候选下限：某家抓到的少于这个数就降级到下一家',
+    },
+  ],
+  artifacts: [],
+}
+
+export default async function run(wf) {
+const { values: args } = wf.input
+const { sessionId: session, taskId: task, workflowDir } = wf.runtime
+const { generate: llm } = wf.model
+const { call: tool } = wf.tools
+const { shell: sh } = wf.exec
+const { readText, readJson, exists } = wf.fs
+const echo = wf.output.message
+const declareArtifact = wf.output.artifact
+const log = (message) => wf.output.progress({ phase: 'workflow', status: 'update', message: String(message) })
+const parseJson = (value) => {
+  if (value !== null && typeof value === 'object') return value
+  const text = String(value ?? '').trim().replace(/^```(?:json)?\s*/i, '').replace(/\s*```$/, '')
+  try { return JSON.parse(text) } catch { return null }
+}
+
+// ============================================================
+//  自 illustrate.yaml 迁移。两处架构改进（不是为了短，是为了可维护 + 更可靠）：
+//
+//  ① **三家引擎从 9 个重复 step 变成一个循环**。yaml 里 Google/Bing/百度 各占
+//     3 个 step（navigate / eval / set），改一处逻辑要改三遍。这里引擎是数据
+//     （assets/engines.json），抽取器是数据（assets/extract-*.js），
+//     加一家搜索引擎 = 加一个 json 条目 + 一个 js 文件，**主脚本一行不动**。
+//     抽取 JS 随页面改版必然失效，独立成文件后改它不用碰编排逻辑。
+//
+//  ② **聚合选优改成确定性排序**。yaml 里这步是 `agent:` —— 让模型去 Glob、
+//     Read 十几个 score 文件、心算 relevance×quality 再排序。那是因为 DSL 里
+//     没法对数组排序，不是因为该让模型做。它完全确定性，模型反而可能算错乘积
+//     或漏剔广告图。JS 里 filter+sort 三行，且结果可复现。
+// ============================================================
+
+const DIR = `out/illustrate/${session}/${task}`
+const IMG_DIR = `${DIR}/build/illustrations`
+const RESULT = `${DIR}/build/illustrations.json`
+const ASSETS = typeof workflowDir === 'string' && workflowDir ? `${workflowDir}/assets` : 'workflows/illustrate/assets'
+
+/** 读 assets 下的文本文件。用 readText：tool('Read') 返回的是给模型看的
+ *  格式（每行带「行号+TAB」），拿它当 JS 代码求值会直接语法错。 */
+async function asset(name) {
+  const text = await readText(`${ASSETS}/${name}`)
+  if (text === null) throw new Error(`读不到抽取器：${ASSETS}/${name}`)
+  return text
+}
+
+/**
+ * WebBrowser eval 的结果要 **parseJson 两层**才拿得到数组。
+ *
+ * 抽取器里用 `JSON.stringify(...)` 返回字符串，agent-browser 把结果显示出来时
+ * 又 JSON 编码了一次 —— 于是我们收到的是「带外层引号的双编码串」。
+ * 这条是实测确认的，不是猜的；少套一层会静默拿到字符串而不是数组，
+ * 后面 `.length` 变成字符数，降级判断全错。
+ */
+function decodeEvalResult(raw) {
+  const once = parseJson(raw)
+  if (Array.isArray(once)) return once
+  const twice = parseJson(once)
+  return Array.isArray(twice) ? twice : []
+}
+
+await sh(`mkdir -p ${IMG_DIR}`)
+
+// ── 阶段 1-3：有序降级抓候选图 URL ──────────────────────────────────
+const engines = await readJson(`${ASSETS}/engines.json`)
+if (!Array.isArray(engines) || engines.length === 0) {
+  throw new Error(`${ASSETS}/engines.json 读不到或不是数组`)
+}
+
+const minCandidates = Number(args.min_candidates ?? 6)
+let urls = []
+let engineUsed = ''
+/** 每家失败的**真实原因**。三家都空时要报出来，别让用户去猜。 */
+const failures = []
+
+for (const engine of engines) {
+  if (urls.length >= minCandidates) break
+
+  log(`${engine.label}：抓候选图…`)
+  try {
+    await tool('WebBrowser', {
+      action: 'navigate',
+      url: engine.url.replace('{{query}}', encodeURIComponent(args.topic)),
+    })
+    const raw = await tool('WebBrowser', {
+      action: 'eval',
+      js: await asset(engine.extractor),
+    })
+    const found = decodeEvalResult(raw)
+    log(`${engine.label}：抓到 ${found.length} 个候选`)
+    // 只在**抓得更多**时才换源，避免用一个更差的结果覆盖已有的
+    if (found.length > urls.length) {
+      urls = found
+      engineUsed = engine.id
+    }
+  } catch (e) {
+    // 某家被墙/反爬/超时都不该阻断 —— 这正是有序降级存在的理由
+    log(`${engine.label} 失败（降级到下一家）：${e.message}`)
+    failures.push(`${engine.label}：${e.message}`)
+  }
+}
+
+if (urls.length === 0) {
+  // ⚠️ **必须带上每家的真实报错**。第一版这里只写「可能全被墙/反爬，或抽取规则
+  // 需随页面改版调整」——纯猜测。真实端到端里三家全挂的原因其实是
+  // 「WebBrowser eval 需要 Developer Mode 授权」，照着那句猜测去查抽取规则
+  // 会白费很多时间。报真实错误，让用户看一眼就知道该干什么。
+  const detail = failures.length
+    ? `\n\n各家的真实报错：\n${failures.map((f) => `  · ${f}`).join('\n')}`
+    : ''
+  throw new Error(
+    `${engines.map((e) => e.label).join(' / ')} 都没抓到候选图。${detail}\n\n` +
+      '常见原因：① WebBrowser 的 eval 需要「设置 → 浏览器」里开启 Developer Mode ' +
+      '并把这三个站点加进白名单（本工作流靠 eval 从结果页抽图 URL）；' +
+      '② 站点被墙或反爬；③ 页面改版导致抽取规则失效 —— 那种情况改 ' +
+      `${ASSETS}/extract-*.js 即可，不用动编排逻辑。`,
+  )
+}
+echo(`🔍 候选图 ${urls.length} 张，来源：${engineUsed}`)
+
+// ── 阶段 4：下载候选图（逐条，死链跳过不阻断）────────────────────────
+const downloaded = []
+for (const [i, url] of urls.entries()) {
+  const path = `${IMG_DIR}/cand_${i}.img`
+  try {
+    await tool('Download', {
+      url,
+      path,
+      timeout: 30000,
+      headers: {
+        'User-Agent':
+          'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36',
+        Referer: 'https://www.google.com/',
+      },
+    })
+    if (await exists(path)) downloaded.push({ index: i, url, path })
+  } catch {
+    // 死链/防盗链/超时：跳过即可，候选本来就是多抓一些备用
+  }
+}
+
+if (downloaded.length === 0) {
+  throw new Error(`抓到 ${urls.length} 个 URL 但一张都没下载成功（可能全是防盗链或死链）`)
+}
+log(`下载成功 ${downloaded.length}/${urls.length} 张`)
+
+// ── 阶段 5：逐图识图打分 ────────────────────────────────────────────
+// 内核的 tool 结果是纯字符串，**看图只能走 images 通道**。
+//
+// 这一段用满三项能力，每一项都对应一个此前真实存在的缺陷：
+//
+//  ① **schema** —— 原来是 `parseJson` + `Number(s.relevance ?? 0)` 兜底。
+//     那个兜底在**掩盖失败**：字段缺失时静默给 0 分，那张图直接排到末位被淘汰，
+//     看起来像「这图不行」而不是「打分没解析出来」。schema 的 required + type
+//     让不合规的输出走「逐条违规回喂 → 有界修复」，两轮修不好才抛 —— 抛出来
+//     才看得见。**因此这里不再写任何 `?? 0` 兜底**，写了就是把网又拆了。
+//     ⚠️ 代价要知道：修复轮**仍然带图**（要模型看着图改分才有意义），所以模型
+//     系统性不守 schema 时单张成本最坏是 3 倍。批量场景下这笔账值得留意 ——
+//     但它换来的是「失败看得见」，比静默的 0 分便宜。
+//
+//  ② **pipeline** —— 原来是串行 for，N 张图排队等。逐图打分之间零依赖，
+//     天然该并发。⚠️ 扇出常常 > 并发上限 8（min_candidates 默认 6，实际下载
+//     十几张很正常），**必须用 pipeline 而不是裸 Promise.all** —— 后者会让
+//     同一条账本车道并发记账，序号取决于谁先返回，断点续跑随之静默失效。
+//
+//  ③ **isolated** —— 这条是**质量问题不只是性能问题**。原来共享主线 history，
+//     第 10 张图打分时上下文里堆着前 9 张的评语，模型会被自己先前的判断锚定
+//     （「前面几张都给了 7 分」）。逐图打分本就该互不相干。
+//
+// 失败语义与改造前一致（单张失败跳过、不阻断），但 pipeline 的失败会发
+// `warning` 事件而不是低调的 `log` —— 一张图没打上分是该看见的事。
+const SCORE = {
+  type: 'object',
+  required: ['relevance', 'quality', 'is_ad', 'reason'],
+  properties: {
+    relevance: { type: 'number', minimum: 0, maximum: 10 },
+    quality: { type: 'number', minimum: 0, maximum: 10 },
+    is_ad: { type: 'boolean' },
+    reason: { type: 'string' },
+  },
+}
+
+const scoreBatch = await wf.flow.pipeline(downloaded, {
+    label: '候选配图打分',
+    errorMode: 'collect',
+    stages: [
+
+    // 阶段 5a：识图打分。拿到的是**校验过的对象**，不是待解析的字符串。
+    (cand) =>
+      llm(
+        `下方附上一张候选配图（用于主题：「${args.topic}」）。请**只看这张图**给出客观评估。
+- relevance：0-10，图片内容与主题的契合度（画的东西是否切题）
+- quality：0-10，作为 PPT/文章配图的观感质量（清晰、构图、专业、无明显水印/拼接）
+- is_ad：true/false —— 这是不是广告/促销/带营销文案或店铺水印/比价图等不适合当配图的图
+- reason：一句话理由（中文）
+
+只输出 JSON 对象本身，不要 markdown 代码块、不要解释。`,
+        {
+          label: `识图打分 #${cand.index}`,
+          images: [{ source: cand.path, detail: 'high' }],
+          schema: SCORE,
+          isolated: true,
+        },
+      ),
+
+    // 阶段 5b：与候选元信息合并（纯 JS，不烧 token）
+    (s, cand) => ({
+      ...cand,
+      relevance: s.relevance,
+      quality: s.quality,
+      is_ad: s.is_ad,
+      reason: s.reason,
+    }),
+  ]})
+const scored = scoreBatch.results
+  .filter((entry) => entry.ok)
+  .map((entry) => entry.value)
+
+if (scored.length === 0) {
+  throw new Error(
+    `下载了 ${downloaded.length} 张但一张都没打分成功。` +
+      '可能原因：① 识图通道不可用（provider 不支持视觉，或图片格式无法解码）；' +
+      '② 结构化输出两轮修复后仍不合 schema（上面的 warning 里有逐条违规）。',
+  )
+}
+
+// ── 阶段 6：确定性选优（剔广告 → relevance×quality 降序 → 取前 count）──
+const wanted = Number(args.count ?? 3)
+const ads = scored.filter((s) => s.is_ad)
+const picks = scored
+  .filter((s) => !s.is_ad)
+  .sort((a, b) => b.relevance * b.quality - a.relevance * a.quality)
+  .slice(0, wanted)
+
+if (picks.length === 0) {
+  throw new Error(
+    `${scored.length} 张候选全被判定为广告/促销图，没有可用配图。` +
+      '换个更具体的主题词，或提高 min_candidates 多抓一些。',
+  )
+}
+
+await tool('Write', {
+  file_path: RESULT,
+  content: `${JSON.stringify(
+    {
+      topic: args.topic,
+      engine_used: engineUsed,
+      count: picks.length,
+      picks: picks.map((p) => ({
+        path: p.path,
+        url: p.url,
+        engine: engineUsed,
+        relevance: p.relevance,
+        quality: p.quality,
+        reason: p.reason,
+      })),
+    },
+    null,
+    2,
+  )}\n`,
+})
+declareArtifact(RESULT)
+for (const p of picks) declareArtifact(p.path)
+
+if (!(await exists(RESULT))) {
+  throw new Error(`${RESULT} 写入后不存在`)
+}
+
+// ── 完成报告（确定性输出，不烧 LLM）────────────────────────────────
+echo(
+  `✅ 配图完成（主题：${args.topic}，来源：${engineUsed}）\n` +
+    `   候选 ${urls.length} → 下载 ${downloaded.length} → 打分 ${scored.length} → ` +
+    `剔广告 ${ads.length} → 选中 ${picks.length}`,
+)
+for (const p of picks) {
+  echo(`   · ${p.path}（相关 ${p.relevance} × 质量 ${p.quality}）${p.reason}`)
+}
+echo(`   清单：${RESULT}（下游工作流读它取图）`)
+
+return { result: RESULT, engine: engineUsed, picks: picks.length }
+}