vcorp-chrome 2.2.1 → 2.3.5

package/README.md

@@ -441,6 +441,7 @@ offscreen 万一建不起来，扩展不能整个哑掉。
     `npx vcorp-chrome desktop install`（登记原生消息宿主，只允许本扩展调用）。每个任务要操作的应用
     逐个点头；终端、注册表、编辑器这类能拿到整台机器的应用云端一律不碰；云端没有截图、剪贴板读取、
     通知和真实键鼠。宿主那边把参数再审一遍，浏览器主窗口的标题和树不出这台电脑。
+    macOS 的开启步骤见 [在 macOS 上开启桌面能力](docs/macOS桌面能力.md)。
 
 还没做完的，如实说：
 

package/docs/macOS/346/241/214/351/235/242/350/203/275/345/212/233.md

@@ -0,0 +1,109 @@
+# 在 macOS 上开启桌面能力
+
+开启后，maker.vcorp.ai 的任务可以操作你 Mac 上的应用，比如替你在某个桌面软件里点按钮、填内容。每个任务要用哪些应用，都会先问你。
+
+只想让 AI 操作网页的话，不需要做这些，桌面能力默认是关着的。
+
+全程大约 10 分钟，要用到一次终端。照着复制命令就行，不需要懂命令行。
+
+## 开始之前
+
+- 已经装好 vcorp-chrome 扩展，并和 maker.vcorp.ai 配对。步骤见[云端发布](云端发布.md)。
+- 这台 Mac 上打开过 Chrome。支持 Apple 芯片和 Intel 芯片的 Mac。
+
+## 第 1 步：安装 Node.js
+
+已经装过的话，确认版本在 20 以上，然后跳到第 2 步。
+
+1. 打开 <https://nodejs.org>，下载 **LTS** 版本的 macOS 安装包（`.pkg`）。
+2. 双击安装包，一路点“继续”。
+3. 打开“终端”：按 `Command + 空格`，输入 `终端` 或 `Terminal`，按回车。
+4. 输入下面这条命令，按回车：
+
+   ```bash
+   node -v
+   ```
+
+   显示 `v20` 或更大的数字就对了。
+
+## 第 2 步：安装桌面组件
+
+在终端运行：
+
+```bash
+npx vcorp-chrome@latest desktop install
+```
+
+如果问 `Ok to proceed?`，输入 `y` 再按回车。
+
+看到 `已登记原生消息宿主` 和带 `✅` 的 Chrome 目录，就是装好了。输出里显示的扩展 ID 可能和 `chrome://extensions` 里的不一样，这是正常的，商店版也已经放行。
+
+输出末尾的检查可能显示 `agent-desktop 用不了`。这里测的是从终端启动的情况，先继续往下做，**最终以第 4 步里侧栏的显示为准**。
+
+## 第 3 步：在扩展里启用
+
+1. 点 Chrome 工具栏上的 vcorp-chrome 图标，打开侧栏。
+2. 找到 **桌面应用**，点 **启用桌面能力**。
+3. Chrome 询问权限时点 **允许**。
+4. 第一次启用时扩展会重载，侧栏可能会关掉，重新点图标打开即可。
+
+## 第 4 步：给 Chrome 授权“辅助功能”
+
+macOS 要求你亲自授权，别的程序替代不了这一步。
+
+1. 打开 **系统设置 → 隐私与安全性 → 辅助功能**。
+2. 点列表下方的 **+**，在“应用程序”里选 **Google Chrome**，确认后打开它旁边的开关。需要时输入密码或按 Touch ID。
+3. 如果列表里单独出现了 `agent-desktop`，也把它打开。
+
+为什么是 Chrome：桌面组件由 Chrome 启动，macOS 把权限算在启动它的应用头上。
+
+然后回到侧栏刷新状态：点 **停用**，再点一次 **启用桌面能力**。启用时才会重新检查权限，所以这一步不能省。
+
+**怎么算成功：** 侧栏显示 `已启用 · desktop-…`，后面没有 `agent-desktop 用不了`。
+
+## 使用时会发生什么
+
+- 任务想用某个应用时，Chrome 会弹通知，侧栏的任务卡片上也有 **允许 / 拒绝**。“自动允许新任务”管不到这里，每个任务都要逐个点头。
+- 涉及发送、删除这类操作时，可能还会再问你一次。
+- 云端任务不能操作终端、系统设置和代码编辑器。任何情况下都不碰密码管理器和“钥匙串访问”。
+- 任务运行时 Chrome 要开着，Mac 不能睡眠。
+
+## 常见问题
+
+| 你看到的 | 原因 | 怎么办 |
+|---|---|---|
+| 终端提示 `command not found: npx` | Node.js 没装好，或终端是安装前打开的 | 关掉终端重开；还不行就重做第 1 步 |
+| `没找到已安装的 Chrome / Edge / Chromium 配置目录` | 这台 Mac 上还没打开过浏览器 | 打开一次 Chrome，再运行第 2 步的命令 |
+| 侧栏显示 `Specified native messaging host not found` | 第 2 步没做，或没做成功 | 运行第 2 步的命令 |
+| 侧栏显示 `Access to the specified native messaging host is forbidden` | 桌面组件是旧版本 | 运行第 2 步的命令，一定要带 `@latest` |
+| 侧栏显示 `Failed to start native messaging host` 或 `Native host has exited`，或者原来好好的突然不行了 | 升级过 Node.js，或 npx 的缓存被清理了 | 运行第 2 步的命令，再回侧栏启用 |
+| `没有拿到权限，桌面能力保持关闭` | 第 3 步的权限询问点了拒绝 | 再点一次 **启用桌面能力**，选允许 |
+| `已启用 · … agent-desktop 用不了` | 还没授权，或授权后没刷新状态 | 重做第 4 步，别漏了最后的“停用再启用” |
+| 任务提示 `云端不能用…` 或 `云端任务不能操作…` | 这个命令或应用不开放给云端任务 | 这是安全限制，不是故障 |
+| 安装扩展时提示 `not trusted by Enhanced Safe Browsing` | Chrome 对较新开发者的常规提示，和桌面能力无关 | 确认是官方商店页面后，继续安装即可 |
+
+还没解决的话，把下面两条命令的输出和侧栏显示的文字一起发给我们：
+
+```bash
+npx vcorp-chrome@latest desktop status
+npx vcorp-chrome@latest doctor
+```
+
+## 关闭和卸载
+
+- **暂时不用：** 在侧栏点 **停用**。
+- **彻底移除：** 先点 **停用**，再运行下面的命令，最后在“辅助功能”列表里关掉 Google Chrome。
+
+  ```bash
+  npx vcorp-chrome@latest desktop uninstall
+  ```
+
+## 关于“完全模式”
+
+`npx vcorp-chrome desktop full on` 会打开完全模式。打开后，配对服务器上的任务可以在这台 Mac 上运行任意命令、读写任意文件、操作任何应用，也不再逐个问你，上面说的这些限制都不再生效。
+
+**普通使用不需要打开，也不建议打开。** 如果开过，用这条命令关掉：
+
+```bash
+npx vcorp-chrome desktop full off
+```

package/docs//344/272/221/347/253/257/345/217/221/345/270/203.md

@@ -8,7 +8,7 @@
 - 它只能在你允许过的网站上、在它自己开的标签页里点点填填；你的其它页面它一个都看不到。
 - 每个新任务都要你点「允许」，除非你打开了「自动允许新任务」。随时可以暂停、收回、断开。
 
-不需要装 Node.js，不需要终端。
+操作网页不需要装 Node.js，也不需要终端。只有要操作电脑上的桌面应用时才需要，macOS 用户见 [在 macOS 上开启桌面能力](macOS桌面能力.md)。
 
 ---
 
@@ -70,7 +70,7 @@
 之后某个任务要读这个文件夹时，浏览器再弹一次通知「想读取你的本地文件夹 → 知识库」，侧栏的任务卡片上同样有允许 / 不允许。「自动允许」管不到这里。
 
 - 只读。扩展不会改、不会删你的文件。
-- 只读这些类型：Markdown、文本、PDF、Word（.docx）、CSV、JSON、HTML。隐藏文件、`node_modules`、私钥这类没有这些扩展名的文件不会被列出，也不会被传走。
+- 只读这些类型：Markdown、文本、PDF、Word（.docx）、Excel（.xlsx）、PowerPoint（.pptx）、CSV、JSON、HTML，以及 PNG/JPG/GIF/WebP 图片。隐藏文件、`node_modules`、私钥这类没有这些扩展名的文件不会被列出，也不会被传走。
 - 单个文件最大 32MB，一个任务累计最多 256MB。
 - 服务器只知道显示名，不知道 `D:\...` 这样的路径。
 - 浏览器重启之后，读取权限可能会失效。侧栏或弹出的窗口里点「恢复访问」，再点一次允许即可，不用重新选文件夹。

package/extension/background.js

@@ -995,6 +995,8 @@ function routeOf(p) {
 const contentBudget = (p) => {
   if (p?.__hc === 'wait') return (Number(p.timeout) || 10000) + 5000;
   if (p?.__hc === 'scroll') return Math.min(Number(p.times) || 1, 50) * (Number(p.wait) || 700) + 10000;
+  // 云端上传要先在页面里取完整个视频。fetchMs 是扩展按素材大小算的，内容脚本到点自己取消
+  if (p?.__hc === 'upload' && p.fetchMs) return p.fetchMs + 15000;
   return 15000;
 };
 
@@ -1007,7 +1009,7 @@ const contentBudget = (p) => {
 //   忙   —— 页面在跑重脚本，改走 network / fetch 读数据比干等有用
 const STALL = Symbol('stall');
 
-async function diagnoseStall(tabId, budget) {
+async function diagnoseStall(tabId, budget, cmd) {
   const secs = Math.round(budget / 1000);
   const tab = await chrome.tabs.get(tabId).catch(() => null);
   if (!tab) return err('NO_TAB', '标签页已经关了');
@@ -1024,6 +1026,9 @@ async function diagnoseStall(tabId, budget) {
     return err('DIALOG_BLOCKING', `页面上开着一个 ${dialog.type} 对话框：「${String(dialog.message || '').slice(0, 120)}」。`
       + `它挡住了页面的全部脚本。这个框要由用户决定点哪个按钮——用 ask 把框里的原文告诉他，请他处理。`);
   }
+  if (cmd === 'upload') {
+    return err('PAGE_BUSY', `上传 ${secs} 秒没有回音，结果不明：文件可能稍后才进页面。先 wait 再 snapshot 看上传框，确认没进去才重试，不要连续重试。`);
+  }
   return err('PAGE_BUSY', `页面脚本 ${secs} 秒没有响应，但没有发现对话框——页面多半在跑重脚本，或者后台页被浏览器限流。`
     + `别让用户去关什么框。要数据就改走 network / fetch；要操作就稍后重试一次，仍不行再 tabs(action:"select", focus:true) 拉到前台。`);
 }
@@ -1051,10 +1056,10 @@ async function toContent(tabId, payload, frameId = 0) {
           r = await send();
         } catch (e2) {
           if (e2 !== STALL) throw e2?.code ? e2 : err('TIMEOUT', `页面无响应（${e2?.message}）`);
-          throw await diagnoseStall(tabId, budget);
+          throw await diagnoseStall(tabId, budget, payload.__hc);
         }
       } else {
-        throw await diagnoseStall(tabId, budget);
+        throw await diagnoseStall(tabId, budget, payload.__hc);
       }
     } else {
       if (e?.code) throw e;
@@ -2002,7 +2007,9 @@ const HANDLERS = {
         await cdp.forceFrame(id);
         await domQuiet(id, { quiet: 300, cap: 1500, deadline: Date.now() + 2500 });
         const again = await guardCreds(id, await snapshotAll(id, p));
-        if (!sparse(again.text)) snap = { ...again, text: '（这一页在后台没渲染完，已自动推了一帧再拍）\n' + again.text };
+        // 重拍过，页面上生效的就是这一份。不管内容多不多都得返回它：还给 agent 第一份的话，
+        // 它手里的 snapshotId 已经作废，下一次点击必报 STALE_SNAPSHOT，而页面其实没变
+        snap = sparse(again.text) ? again : { ...again, text: '（这一页在后台没渲染完，已自动推了一帧再拍）\n' + again.text };
       } catch { /* 推不动就按原样返回 */ }
     }
     return drift ? { ...snap, text: drift + '\n' + snap.text } : snap;

package/extension/cloud-policy.js

@@ -95,6 +95,8 @@ const ACT_STEPS = new Set(['click', 'type', 'fill', 'select', 'key', 'scroll', '
 export const TASK_CMD_CAP = 1500;        // 一个任务最多这么多条命令，防失控循环把账号刷进风控
 export const TASK_IDLE_MS = 3 * 3600e3;  // 批准过的任务闲置 3 小时作废，下次要重新点头
 export const MEDIA_MAX = 2 * 1024 ** 3;  // 素材上限，与 maker 那侧的上传上限一致
+// 页面取一份素材最多等多久：按 1MB/s 估，封顶 7 分钟，留在服务器 8 分钟的命令超时之内。
+export const mediaFetchMs = (size) => Math.min(30000 + Math.ceil(size / 1048576) * 1000, 7 * 60 * 1000);
 
 // 本地文件夹。数字和 opus-video-maker/extlink.js 的 PULL_MAX 必须一致：
 // 扩展拒绝超限的文件，服务器拒绝超限的上传，两边对不齐就会一截一放。
@@ -103,7 +105,10 @@ export const FS_TASK_MAX = 256 * 1024 * 1024;    // 一个任务累计读走的
 export const FS_LIST_MAX = 2000;                 // 一次列出的条目
 export const FS_DEPTH_MAX = 8;
 export const FS_FOLDERS_MAX = 8;                 // 一个浏览器最多挂这么多个；一个任务也最多批准这么多个
-export const FS_EXTS = new Set(['.md', '.markdown', '.txt', '.pdf', '.docx', '.csv', '.json', '.html', '.htm']);
+export const FS_EXTS = new Set([
+  '.md', '.markdown', '.txt', '.pdf', '.docx', '.xlsx', '.pptx', '.csv', '.json', '.html', '.htm',
+  '.png', '.jpg', '.jpeg', '.gif', '.webp',
+]);
 const FS_SKIP = new Set(['node_modules', '__pycache__', '.git', '.venv']);
 
 const err = (code, message) => Object.assign(new Error(message), { code });
@@ -191,19 +196,23 @@ export function cleanFolderNames(list) {
 }
 
 // 已经允许、已经拒绝的不再问。空名单就是「先告诉我挂了哪些」，什么都不问。
-export function foldersToAsk(use, { granted = [], refused = [] } = {}) {
+// 挂载文件夹就是用户把它分享出来；打开「自动允许新任务」时，挂着的文件夹直接放行（grant），
+// 和任务一开始的网站一样不再逐个问。没打开时照旧进 ask。
+export function foldersToAsk(use, { granted = [], refused = [], auto = false } = {}) {
   const have = new Set(granted);
   const no = new Set(refused);
   const ask = [];
+  const grant = [];
   const already = [];
   const denied = [];
   for (const name of Array.isArray(use) ? use : []) {
     if (typeof name !== 'string') continue;
     if (have.has(name)) { if (!already.includes(name)) already.push(name); continue; }
     if (no.has(name)) { if (!denied.includes(name)) denied.push(name); continue; }
-    if (!ask.includes(name)) ask.push(name);
+    const to = auto ? grant : ask;
+    if (!to.includes(name)) to.push(name);
   }
-  return { ask, already, refused: denied };
+  return { ask, grant, already, refused: denied };
 }
 
 // 相对路径。'' 是文件夹根；不合法返回 null（和根区分开）。