@glittering0717/ai-browser 1.2.1 → 1.3.0

package/src/main/ws_server.js

@@ -3,6 +3,14 @@ import { WebSocketServer } from 'ws';
 import { evaluateGuardError } from '../shared/guards.js';
 import { withDeadline, actionDeadlineMs } from '../shared/deadline.js';
 import { config } from '../shared/config.js';
+// act 的参数形状归一（嵌套 params 与顶层平铺都接受）
+import actParams from '../shared/act_params.cjs';
+// 穿透影子根的 ref 查找。ui.scroll 的 target 也走它 —— 不穿透的话，目标在
+// Web Component 里时会报 "target not found"，而元素其实就在那儿。
+import findRefUtil from '../shared/find_ref.cjs';
+// 错误日志：RPC 层异常必须落盘（此前只回一句 JSON-RPC error，现场永久丢失），
+// 每次调用的摘要进环形缓冲，作为崩溃时的上下文。
+import { recordError, noteCall, recentErrors } from './error_log.js';
 
 // Each startWSServer() owns a private WebSocketServer. Keeping it local (not a
 // module global) means multiple servers can coexist — required by tests that
@@ -33,8 +41,27 @@ function findWaitTarget(tree, target) {
   return findInTree(tree, 'label', String(target));
 }
 
+// 进程启动时刻（秒）。供 ui.server_info 报出去 —— pid 会被复用，只比 pid
+// 不够稳；pid + started_at 两个一起才足以判定"是不是同一个进程"。
+const serverStartedAt = Math.floor(Date.now() / 1000);
+
 export function startWSServer(pageManager, port = config.wsPort, onQuit = null) {
-  const wss = new WebSocketServer({ port });
+  // Bind loopback only — the protocol carries no auth. ws' default (host
+  // omitted) is 0.0.0.0, which would expose the browser — including all its
+  // persisted logins — to the entire local network. Override via
+  // AI_BROWSER_WS_HOST only with eyes open.
+  const wss = new WebSocketServer({ port, host: config.wsBindHost });
+
+  // Passing a host pushes Node onto the async DNS-lookup listen path, so
+  // wss.address() is null until 'listening'. Cache it and let callers await.
+  let bound = null;
+  const ready = new Promise((resolve, reject) => {
+    wss.once('listening', () => { bound = wss.address(); resolve(bound); });
+    wss.once('error', reject);
+  });
+  ready.then(() => {
+    console.log(`AI Browser WS server listening on ws://${bound.address}:${bound.port}`);
+  }).catch(() => {});
 
   wss.on('connection', (ws, _req) => {
     const sessionId = `${Date.now()}-${Math.random().toString(36).slice(2, 8)}`;
@@ -72,6 +99,7 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
         if (ws.readyState === 1) ws.send(JSON.stringify(payload));
       };
 
+      const t0 = Date.now();
       try {
         switch (method) {
           case 'ui.get_tree': {
@@ -94,12 +122,23 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
             //   - 这一层保护"以后新增的页面路径忘了套"，并且**可以用 mock PageManager
             //     做单测**（真实 PageManager 依赖 Electron，vitest 里起不来）。
             // 同源意味着两层不会打架：预算一致，谁先到期谁报，语义相同。
-            const budget = actionDeadlineMs(params.action, params.params || {});
+            //
+            // 参数形状：`params:{...}` 是规范形状，顶层平铺的已知动作参数会被
+            // 提升（见 shared/act_params.cjs）。此前平铺的 text/html 被静默丢掉，
+            // 动作照常执行但输入为空 —— 调用方看到的是 "type called with empty text"。
+            const hoisted = actParams.hoistActParams(params);
+            const actParamsObj = hoisted.params;
+            const budget = actionDeadlineMs(params.action, actParamsObj);
             try {
               const result = await withDeadline(
-                pageManager.executeAction(params.action, params.target, params.params || {}, tabId),
+                pageManager.executeAction(params.action, params.target, actParamsObj, tabId),
                 budget, `action:${params.action}`
               );
+              // 提升过就在回执里说明：调用方会知道"我平铺的参数被接受了"，
+              // 而不是下次换个客户端又悄悄失效。
+              if (hoisted.hoisted.length && result && typeof result === 'object' && !result.params_hoisted) {
+                result.params_hoisted = hoisted.hoisted;
+              }
               send({ jsonrpc: '2.0', id, result });
             } catch (e) {
               if (e && e.__deadline) {
@@ -123,7 +162,7 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
             // navigate 现在返回 {ok, error?}：成功形状与旧的 {ok:true} 一致，
             // 失败时多一个原因。此前只有布尔，agent 拿到 ok:false 无从判断
             // 该重试还是换 URL；而"页面永不 did-finish-load"是会真实发生的。
-            const r = await pageManager.navigate(params.url, tabId);
+            const r = await pageManager.navigate(params.url, tabId, { waitUntil: params.wait_until });
             send({ jsonrpc: '2.0', id, result: r && typeof r === 'object' ? r : { ok: !!r } });
             break;
           }
@@ -176,7 +215,12 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
               send({ jsonrpc: '2.0', id, error: { code: -32602, message: guardErr } });
               break;
             }
-            const value = await pageManager.evaluate(js, tabId);
+            // frame_ref: run inside that cross-process frame's context.
+            // Needed because the implicit route (a literal data-ai-id="axf-..."
+            // inside the JS) silently no-ops when the caller builds the selector
+            // by string concatenation — the JS then runs in the top frame and
+            // reads null back for an element that exists.
+            const value = await pageManager.evaluate(js, tabId, { frameRef: params.frame_ref || undefined });
             send({ jsonrpc: '2.0', id, result: { value } });
             break;
           }
@@ -196,11 +240,39 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
             send({ jsonrpc: '2.0', id, result: { tabs } });
             break;
           }
+          // 窗口首次显示的时刻与当时页面状态。
+          // 存在的理由：白屏类缺陷的根因是"窗口显示了但渲染器还没画出第一帧"，
+          // 而这只能从窗口侧观测 —— WS 端口在 createWindow 中途就开了，比
+          // showInitialWindow 早，从 agent 侧轮询永远测不到那个时序。
+          // 一次性记录：窗口只首次显示一次，之后一直是它。
+          case 'ui.window_shown': {
+            send({ jsonrpc: '2.0', id, result: { shown: pageManager.windowShownAt || null } });
+            break;
+          }
           case 'ui.set_active_tab': {
             const ok = pageManager.setActive(params.tab);
             send({ jsonrpc: '2.0', id, result: { ok } });
             break;
           }
+          // 服务端的进程身份。存在的理由（2026-10-15 实测）：调用方**无法确认
+          // 自己连上的是不是自己拉起的那个实例**。决定性实验——在"端口忙"预检
+          // 之后让一个冒牌 WS server 抢占端口，e2e 套件照常发出 ui.new_tab /
+          // ui.evaluate / ui.get_tree 却毫不知情：测的是别人的实例，结果毫无
+          // 意义，而且不报错，只给出一堆莫名其妙的失败。
+          // 有了 pid，调用方就能核对"是不是我 spawn 的那个进程"。
+          case 'ui.server_info': {
+            send({
+              jsonrpc: '2.0', id,
+              result: {
+                pid: process.pid,
+                // 进程启动时刻（秒）。pid 可被复用，两个数字一起才够稳。
+                started_at: serverStartedAt,
+                ws_port: port,
+                platform: process.platform,
+              },
+            });
+            break;
+          }
           // === Subscribe/unsubscribe (with response) ===
           case 'ui.subscribe': {
             const events = params.events || [];
@@ -254,6 +326,24 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
             send({ jsonrpc: '2.0', id, result });
             break;
           }
+          case 'ui.auth_state': {
+            // 登录态 / 登录墙自查。长任务里每个关键步骤前问一次，成本近似为零。
+            // auth_wall.detected=true 是硬事实（URL 命中登录域 / 页面上有密码框），
+            // 此时任何"操作没生效"的排查都该先停下 —— 你大概不在目标站点的工作页。
+            const result = await pageManager.authState(tabId);
+            send({ jsonrpc: '2.0', id, result });
+            break;
+          }
+          case 'ui.screenshot': {
+            // 视口截图（P0-1）。工具面此前只有元素树一只眼睛，树里没有的
+            // （浮层/canvas/遮挡/渲染错位）就完全不可见 —— 而它们正是操作
+            // 失败的主因。失败时"先看截图"从此有工具可依。
+            // 参数：{ tab, format: 'png'|'jpeg'|'webp', quality: 0-100,
+            //         fullPage: bool, clip: {x,y,width,height,scale} }
+            const result = await pageManager.screenshot(tabId, params);
+            send({ jsonrpc: '2.0', id, result });
+            break;
+          }
           case 'ui.peek': {
             // A (plan §9.5): safely reveal a folded/hoverable affordance and
             // return the AX diff. Non-committing (hover only).
@@ -312,14 +402,10 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
             const target = typeof params.target === 'string' ? params.target : null;
             const js = `(function(t, d, a){
               if (t) {
-                var all = document.querySelectorAll('[data-ai-id]');
-                for (var i = 0; i < all.length; i++) {
-                  if (all[i].getAttribute('data-ai-id') === t) {
-                    all[i].scrollIntoView({ behavior: 'instant', block: 'center' });
-                    return { ok: true };
-                  }
-                }
-                return { ok: false, error: 'target not found' };
+                var el = ${findRefUtil.findRefExpr('t')};
+                if (!el) return { ok: false, error: 'target not found' };
+                el.scrollIntoView({ behavior: 'instant', block: 'center' });
+                return { ok: true };
               }
               window.scrollBy(0, d === 'down' ? a : -a);
               return { ok: true };
@@ -406,6 +492,15 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
             send({ jsonrpc: '2.0', id, result: r });
             break;
           }
+          // === ui.errors — 读主进程错误日志（本次进程的内存记录 + 文件路径）===
+          // 存在的理由：界面里弹一个"js 崩溃"的原生框，栈只活在框里，点掉就没了。
+          // 让调用方能主动问"刚才报过什么错"，不用靠人复述。
+          // 历史（跨进程）在 path 指向的 JSONL 文件里；这里返回的是本次进程的。
+          case 'ui.errors': {
+            const r = recentErrors(params.limit, params.kind || null);
+            send({ jsonrpc: '2.0', id, result: { ok: true, ...r } });
+            break;
+          }
           case 'ui.quit': {
             send({ jsonrpc: '2.0', id, result: { ok: true } });
             // Defer so the response actually flushes before the WS closes.
@@ -416,7 +511,20 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
             send({ jsonrpc: '2.0', id, error: { code: -32601, message: 'Method not found' } });
             break;
         }
+        // 成功的调用只进环形缓冲（不落盘）：它的用处是"崩溃那一刻最近的上下文"，
+        // 而不是给每次点击都记一行日志。
+        noteCall(method, params, Date.now() - t0, true);
       } catch (e) {
+        noteCall(method, params, Date.now() - t0, 'error: ' + ((e && e.message) || e));
+        // RPC 层异常**必须落盘**。此前它只变成一句 JSON-RPC error 回给调用方，
+        // 一旦客户端那边没截住（或用户只看到界面里闪一下），现场就永久丢了 ——
+        // 事后既查不到崩在哪，也证不了"刚才是不是真的报过错"。
+        recordError('ws_error', {
+          method,
+          params,
+          message: (e && e.message) || String(e),
+          stack: String((e && e.stack) || '').slice(0, 8000),
+        });
         send({ jsonrpc: '2.0', id, error: { code: -32603, message: e.message } });
       }
     });
@@ -426,10 +534,13 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
     });
   });
 
-  console.log('AI Browser WS server listening on ws://localhost:' + port);
   return {
-    // Actual bound port (for tests that pass port 0 to grab an ephemeral one).
-    port: wss.address().port,
+    // Resolves once the socket is actually bound (port 0 → ephemeral port known).
+    ready,
+    // Actual bound port/address; null until ready.
+    get port() { return bound ? bound.port : null; },
+    // Security invariant: must be a loopback literal.
+    get host() { return bound ? bound.address : null; },
     close: () => {
       for (const client of wss.clients) {
         try { client.terminate(); } catch (e) {}

package/src/preload/actions.cjs

@@ -6,9 +6,31 @@
 // 3. EXECUTE ACTION — click, type, setContent, select, etc.
 // ============================================================
 
+// 按 data-ai-id 找元素，**穿透影子根**。
+//
+// document.querySelector 不跨 shadow boundary：Web Component 里的元素（B站 opus
+// 的 <bili-comments>、YouTube 的 <ytd-*>、各设计系统的 <ui-*>）即使抽取层给了
+// data-ai-id，这里的顶层查询也找不到，报出来只是一句
+// "Target not found for ref: xxx" —— 看起来像"元素不存在"，实际是"查询路径够不着"。
+// 实测（2026-10-17）：B站帖子详情页的评论输入框就在 bili-comments 的 shadow root 里。
+function findRef(root, elementId) {
+  var el = null;
+  try { el = root.querySelector('[data-ai-id="' + elementId + '"]'); } catch (e) { el = null; }
+  if (el) return el;
+  var all;
+  try { all = root.querySelectorAll("*"); } catch (e) { return null; }
+  for (var i = 0; i < all.length; i++) {
+    var sr = all[i].shadowRoot;
+    if (!sr) continue;
+    var hit = findRef(sr, elementId);
+    if (hit) return hit;
+  }
+  return null;
+}
+
 function executeAction(elementId, action, params) {
   params = params || {};
-  var el = document.querySelector('[data-ai-id="' + elementId + '"]');
+  var el = findRef(document, elementId);
   if (!el) return { success: false, error: "Target not found for ref: " + elementId };
 
   try {
@@ -36,6 +58,13 @@ function executeAction(elementId, action, params) {
         el.dispatchEvent(new Event("change", { bubbles: true }));
         return { success: true };
 
+      case "paste":
+        // 富文本粘贴（CDP 不可用时的顶层兜底；OOPIF 子帧 preload 到不了，
+        // 那条路只有 CDP 的 Frame.executeJavaScript 能走）。
+        // 合成 ClipboardEvent + DataTransfer：Draft.js / ProseMirror / Quill
+        // 的粘贴处理器会把 text/html 转成内部文档模型，与真人粘贴等效。
+        return doPaste(el, params);
+
       case "select":
         if (el.tagName.toLowerCase() !== "select") return { success: false, error: "Not a select element" };
         el.value = params.value || "";
@@ -107,6 +136,36 @@ function doType(el, text) {
   return { success: true, value: el.value.slice(0, 40) };
 }
 
+// paste — rich-text injection via a synthetic ClipboardEvent.
+// Same contract as page_manager._pasteViaCdp (params.html preferred over
+// params.text); this is the preload-only fallback for when CDP is absent.
+function doPaste(el, params) {
+  var html = typeof params.html === "string" ? params.html : "";
+  var text = typeof params.text === "string" ? params.text : "";
+  if (!html && !text) {
+    return { success: false, error: "paste called with neither html nor text — nothing to paste" };
+  }
+  var editor = el;
+  if (!(editor.contentEditable === "true" || editor.getAttribute("contenteditable") === "true")) {
+    var inner = el.querySelector("[contenteditable=true],input,textarea");
+    if (inner) editor = inner;
+    else return { success: false, error: "Target is not an editable element" };
+  }
+  editor.focus();
+  var dt = new DataTransfer();
+  if (html) dt.setData("text/html", html);
+  dt.setData("text/plain", text || html.replace(/<[^>]+>/g, " ").replace(/&nbsp;/g, " ").replace(/\s+/g, " ").trim());
+  var ev = new ClipboardEvent("paste", { clipboardData: dt, bubbles: true, cancelable: true, composed: true });
+  var notPrevented = editor.dispatchEvent(ev);
+  if (notPrevented) {
+    return {
+      success: false,
+      error: "paste event was not consumed by the page (defaultPrevented=false) — try a child node ref, or setContent for plain text"
+    };
+  }
+  return { success: true, method: "synthetic-clipboard-event" };
+}
+
 // setContent — write to any editor type including Draft.js/ProseMirror
 function doSetContent(el, text, format) {
   var paras = text.split("\n");
@@ -187,4 +246,4 @@ function doSetContent(el, text, format) {
   return { success: true, chars: innerText.length, blocks: editor.querySelectorAll ? editor.querySelectorAll("div, p").length : 0 };
 }
 
-module.exports = { executeAction };
+module.exports = { executeAction, findRef };

package/src/preload/bridge.cjs

@@ -37,7 +37,25 @@ ipcRenderer.on("ai:extract", function(_event, params) {
     // Return empty fallback
     ipcRenderer.send("ai:tree", {
       tree: { id: "root", role: "generic", label: "[error: " + e.message + "]", states: ["visible"], actions: [], bounds: { x: 0, y: 0, width: 0, height: 0 } },
-      context: { modals: [], forms: [], session: {}, stats: {} },
+      context: { modals: [], forms: [], session: {}, auth_wall: null, stats: {} },
+      id: id
+    });
+  }
+});
+
+// Context-only request — 登录态 / 登录墙自查用（ui.auth_state）。
+// 只回 context，不建整棵树：长任务里每个关键步骤前都要问一次，建树的成本
+// （以及它带来的 token 成本）在这里纯属浪费。
+ipcRenderer.on("ai:context", function(_event, params) {
+  params = params || {};
+  var id = params.id;
+  try {
+    var ctx = extractPageContext();
+    ipcRenderer.send("ai:tree", { tree: null, context: ctx, id: id });
+  } catch(e) {
+    ipcRenderer.send("ai:tree", {
+      tree: null,
+      context: { modals: [], forms: [], session: {}, auth_wall: null, stats: {} },
       id: id
     });
   }
@@ -56,6 +74,18 @@ ipcRenderer.on("ai:evaluate", function(_event, data) {
   data = data || {};
   try {
     var result = eval(data.js);
+    // awaitPromise 的 preload 侧对应物：CDP 路径会等 Promise，这条老路径原先
+    // 不等，于是 async IIFE 原样把 Promise 发回去，调用方看到 {}。页面里
+    // "等一个请求再返回"的探测脚本因此全变成空回执。thenable 才等，普通值
+    // 同步返回（不引入额外延迟）。
+    if (result && typeof result.then === "function") {
+      result.then(function(v) {
+        ipcRenderer.send("ai:evaluate_result", { value: v, id: data.id });
+      }, function(e) {
+        ipcRenderer.send("ai:evaluate_result", { error: e && e.message ? e.message : String(e), id: data.id });
+      });
+      return;
+    }
     ipcRenderer.send("ai:evaluate_result", { value: result, id: data.id });
   } catch(e) {
     ipcRenderer.send("ai:evaluate_result", { error: e.message, id: data.id });