@glittering0717/ai-browser 2.1.0 → 2.1.1

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@glittering0717/ai-browser",
-  "version": "2.1.0",
+  "version": "2.1.1",
   "description": "AI-native browser — renders pixels for humans, structured semantic-tree API for agents. No screenshots, no OCR, no coordinate guessing.",
   "main": "src/main/index.js",
   "bin": {
@@ -15,7 +15,9 @@
     "examples/AGENT_INSTRUCTIONS.md",
     "examples/mcp-config.json",
     "llms-install.md",
-    "LICENSE"
+    "LICENSE",
+    "build/icon.png",
+    "build/icon.icns"
   ],
   "type": "module",
   "license": "MIT",
@@ -72,6 +74,7 @@
     "audit": "node e2e/audit_ws.cjs",
     "e2e:all": "node e2e/run_all.cjs",
     "readcov": "node e2e/readcov_ws.cjs",
+    "winopen": "node e2e/window_open_ws.cjs",
     "coverage": "node tools/coverage_probe.cjs"
   },
   "dependencies": {

package/skills/ai-browser/references/cli.md

@@ -46,8 +46,8 @@ ai-browser call ui.get_tree '{"tab":1,"subset":"interactive"}'    # 交互树
 ai-browser call ui.get_tree '{"tab":1,"ax":true}'                # 阅读树（长正文用它）
 ai-browser call ui.act '{"action":"click","target":"e:a-3"}'
 ai-browser call ui.act '{"action":"type","target":"e:input-1","text":"关键词"}'
-ai-browser call ui.evaluate '{"expr":"document.title"}'
-ai-browser call ui.evaluate '{"frame_ref":"frame-1","expr":"document.body.innerText"}'
+ai-browser call ui.evaluate '{"js":"document.title"}'
+ai-browser call ui.evaluate '{"frame_ref":"frame-1","js":"document.body.innerText"}'
 ai-browser call ui.wait '{"condition":"text_contains","text":"加载完成"}'
 ai-browser call ui.network_list '{"tab":1}'
 ai-browser call ui.screenshot '{"tab":1}'

package/src/main/index.js

@@ -2,6 +2,7 @@
 // One process, one WS server, multiple tabs with real tab bar.
 import { app, BrowserWindow, BrowserView, ipcMain, net, session, dialog } from 'electron';
 import path from 'node:path';
+import fs from 'node:fs';
 import { fileURLToPath } from 'node:url';
 import { startWSServer } from './ws_server.js';
 import { PageManager } from './page_manager.js';
@@ -326,10 +327,40 @@ if (gotLock) {
   app.quit();
 }
 
+// === 应用图标（2026-10-20）===
+//
+// macOS 上从源码启动时 Dock 图标是 Electron 的默认火箭 —— 因为进程本体就是
+// node_modules/electron/dist/Electron.app，**Dock 跟的是可执行文件，不是我们的
+// 代码**。打包版没有这个问题（Info.plist 里已经是自定义 icns），但 `npm start`
+// / `npx` 启动占日常使用的大头；图标错了，用户的判断就是"这不是 AI Browser"。
+// （2026-10-20 原话："我看现在系统里运行的 ai-browser 都是默认图标了"。）
+//
+// app.dock.setIcon 是 Electron 提供的运行时入口，不影响签名与打包。
+// Windows/Linux 走 BrowserWindow 的 icon 选项（见 createWindow）。
+function appIconPath() {
+  const p = path.join(__dirname, '..', '..', 'build', 'icon.png');
+  try { return fs.existsSync(p) ? p : null; } catch (_) { return null; }
+}
+
+function applyAppIcon() {
+  if (process.platform !== 'darwin') return false;   // 其他平台由窗口 icon 选项负责
+  const icon = appIconPath();
+  if (!icon) return false;   // 装的是精简包（没带 build/）→ 静默跳过，不值得启动失败
+  try {
+    if (app.dock && typeof app.dock.setIcon === 'function') { app.dock.setIcon(icon); return true; }
+  } catch (e) {
+    console.error('[icon] dock.setIcon failed:', e && e.message);
+  }
+  return false;
+}
+
 function createWindow() {
   mainWindow = new BrowserWindow({
     width: 1280,
     height: 800,
+    // Windows/Linux 的任务栏图标来自这里（macOS 走 app.dock.setIcon，
+    // 见 applyAppIcon：Dock 跟的是进程可执行文件，不是窗口选项）。
+    icon: appIconPath() || undefined,
     // 先不显示：如何显示由 showInitialWindow() 按焦点策略决定 —— 窗口必须真实可见
     // （产品承诺人可随时介入），但被 agent 拉起时不该把用户正在做的事打断。
     show: false,
@@ -764,6 +795,7 @@ function normalizeUrlInput(input) {
 }
 
 app.whenReady().then(() => {
+  applyAppIcon();
   createWindow();
 
   // === 自检钩子：AI_BROWSER_SELFTEST=crash ===

package/src/main/page_manager.js

@@ -81,6 +81,11 @@ const CANVAS_BRIDGE_KEY = '__aiCanvasBridge';
 // 请求头都拿不到）。关闭开关：AI_BROWSER_NETWORK_CAPTURE=0。
 const NETWORK_CAPTURE_DEFAULT = !(process.env.AI_BROWSER_NETWORK_CAPTURE === '0' || process.env.AI_BROWSER_NETWORK_CAPTURE === 'false');
 
+// window.open("") 派生 tab 的"等垫片再导航"上限。超过就照常导航（退化成
+// 该 tab 没有垫片），页面绝不能因为垫片安装慢而永久空白。
+// 实测正常路径约 120–300ms（about:blank 的 did-finish-load + 两次 CDP 命令）。
+const WINDOW_OPEN_NAV_WAIT_MS = 2000;
+
 // 具名按键 → CDP Input.dispatchKeyEvent 参数。agent 用自然名字（'Delete'、
 // 'Escape'、'ArrowRight'、'a'）而不是让人去查 Windows 虚拟键码。
 // vk 用 Windows 虚拟键码（Chromium 在 macOS 上也按它解释）。
@@ -174,6 +179,12 @@ class PageManager {
     this._openedTabs = new Map();   // sourceTabId -> { id, url } (new tab opened by window.open)
     this._windowOpenTokens = new Map(); // token -> { tabId, sourceTabId } (window.open shim, preload bridge.cjs)
     this._windowOpenShimTabs = new Set(); // 已注入 window.open 垫片的 tabId
+    // tabId -> Promise<void>：该 tab 的垫片**注册完成**的信号（不是"注入成功"，
+    // 失败也 resolve —— 调用方要的是"可以往下走了"，不是"一切顺利"）。
+    // 存在的唯一理由：window.open("") 派生的 tab 里，ai:window_open_nav 必须等
+    // 垫片登记完再导航，否则真实文档先到、垫片只对"下一次文档"生效，那个 tab
+    // 就成了没有垫片的窗中窗（见 newTab 末尾长注释）。
+    this._windowOpenShimReady = new Map();
     this._axDiffCache = new Map();  // tabId -> lite interactive snapshot (get_tree {mode:'diff'})
     this._repaintTimers = new Map();// tabId -> 正在排队/已调度的重绘（合并同一批导航事件）
     this._snapshots = new Map();    // snapshotId -> { tabId, js, value, at }（ui.snapshot 存基线）
@@ -328,16 +339,41 @@ class PageManager {
       const entry = this._windowOpenTokens.get(p.token);
       const url = typeof p.url === 'string' ? p.url : '';
       if (!entry || !url) return;
-      const view = this._getView(entry.tabId);
-      if (view) {
-        // 占位 tab（about:blank）→ 真实学习页。loadURL 的 rejection 由
-        // 页面自身处理（站点可能会立刻再导航一次），这里只防 unhandled。
+      const nav = () => {
+        const view = this._getView(entry.tabId);
+        if (!view) {
+          // tab 已被用户/Agent 关掉：赋值静默丢弃（真实浏览器里关掉的
+          // 窗口被赋 location 也是无人接收）。
+          console.warn('[window_open] nav target tab gone:', entry.tabId, url);
+          return;
+        }
+        // loadURL 的 rejection 由页面自身处理（站点可能会立刻再导航一次），
+        // 这里只防 unhandled。
         view.webContents.loadURL(url).catch(() => {});
-      } else {
-        // tab 已被用户/Agent 关掉：赋值静默丢弃（真实浏览器里关掉的
-        // 窗口被赋 location 也是无人接收）。
-        console.warn('[window_open] nav target tab gone:', entry.tabId, url);
-      }
+      };
+      // ⚠️ **必须等垫片登记完再导航**（2026-10-20 修，超星"进入学习"第二层）。
+      //
+      // 原来这里直接 loadURL。看上去时序够用（站点 ajax 往返几十毫秒，
+      // 而 about:blank 的 did-finish-load 通常更早），但那是**赌**：
+      // 只要 nav 抢在 did-finish-load 之前到达，真实文档就先把 renderer 占住，
+      // 随后 addScriptToEvaluateOnNewDocument 只对"下一次文档"生效 ——
+      // 新 tab 里 window.open 是原生实现，站点再走一次
+      // `window.open("") + w.location = url` 就得到 null，静默不跳转。
+      // 实测（2026-10-20）：列表页的"进入学习"能开，新 tab 的 shim 是 false。
+      const ready = this._windowOpenShimReady.get(entry.tabId);
+      if (!ready) { nav(); return; }   // 老路径/测试桩：没有信号就直接走
+      let timer = null;
+      const cap = new Promise((resolve) => {
+        timer = setTimeout(resolve, WINDOW_OPEN_NAV_WAIT_MS);
+        if (timer.unref) timer.unref();
+      });
+      Promise.race([ready, cap]).then(() => {
+        if (timer) clearTimeout(timer);
+        nav();
+      }, () => {
+        if (timer) clearTimeout(timer);
+        nav();
+      });
     });
 
     ipcMain.on('ai:window_open_close', (_event, payload) => {
@@ -3093,11 +3129,18 @@ return {ok:true,name:file.name,size:file.size,via:via,host_sel:hostSel,clicked:c
     const wc0 = view.webContents;
     const targetUrl = url || null;
     if (wc0 && !wc0.isDestroyed()) {
+      // 垫片就绪信号：先挂上去，再去加载 about:blank。顺序不能反 ——
+      // ai:window_open_nav 可能在这一行之后立刻到达（IPC 保序，但它不等我们）。
+      let signalReady = () => {};
+      const ready = new Promise((resolve) => { signalReady = resolve; });
+      this._windowOpenShimReady.set(tabId, ready);
       let proceeded = false;
       const proceed = () => {
         if (proceeded) return;
         proceeded = true;
         Promise.resolve(this._ensureWindowOpenShim(tabId, view)).finally(() => {
+          // 失败也放行：宁可这个 tab 没有垫片，也不能把它卡在 about:blank。
+          signalReady();
           if (targetUrl && wc0 && !wc0.isDestroyed()) {
             wc0.loadURL(targetUrl).catch(() => {});
           }
@@ -3338,6 +3381,7 @@ return {ok:true,name:file.name,size:file.size,via:via,host_sel:hostSel,clicked:c
       if (entry.tabId === tabId) this._windowOpenTokens.delete(token);
     }
     this._windowOpenShimTabs.delete(tabId);
+    this._windowOpenShimReady.delete(tabId);
     // Release per-tab network resources so a closed tab can never leak its
     // debugger attachment or cached request entries / stale monitors.
     this._cleanupTabResources(tabId);
@@ -3815,6 +3859,10 @@ return {ok:true,name:file.name,size:file.size,via:via,host_sel:hostSel,clicked:c
         );
         return true;
       } catch (e) {
+        // 失败时撤掉记账：留着就等于给这个 tab 判了"永久无垫片"。
+        // 撤掉后下一次 window.open 还有机会补上（CDP 偶发挂住是环境问题，
+        // 不是这个 tab 的固有属性）。
+        this._windowOpenShimTabs.delete(tabId);
         console.error('[window_open] shim inject failed:', tabId, e && e.message);
         return false;
       }

package/src/main/window_open_shim_source.js

@@ -49,7 +49,10 @@ export const WINDOW_OPEN_SHIM_SOURCE = `(function () {
   window.open = function (url, name, _features) {
     var target = (url === undefined || url === null) ? '' : String(url);
     var token = 'wo' + (++seq) + '_' + Date.now();
-    var ok = send('open', token, target, name || '');
+    // ⚠️ 相对地址必须在这里就解析成绝对。主进程拿到的 '/foo.html' 没有 base，
+    // loadURL 会直接报 ERR_INVALID_URL（表现为一个 file:// 错误页）。
+    // 实测 2026-10-20：window.open('/l2.html','_blank') 开出的是错误页。
+    var ok = send('open', token, target ? abs(target) : '', name || '');
     if (!ok) {
       // 没有桥：退回原生语义（deny → null），至少不像成功那样骗站点。
       return null;

package/src/main/ws_server.js

@@ -206,7 +206,19 @@ export function startWSServer(pageManager, port = config.wsPort, onQuit = null)
             break;
           }
           case 'ui.evaluate': {
-            const js = String(params.js ?? '');
+            // 参数名是 js；expr 是 MCP 层的叫法，作为别名保留 —— 文档里写错一次
+            // （2026-10-20 技能里写成 expr）就会得到 `{value: undefined}`，
+            // 看上去像"页面没东西"，实际是表达式根本没执行。别名 + 空表达式报错，
+            // 把"静默返回 undefined"这条路彻底堵掉。
+            const rawJs = params.js !== undefined ? params.js : params.expr;
+            const js = String(rawJs === undefined || rawJs === null ? '' : rawJs);
+            if (!js.trim()) {
+              send({
+                jsonrpc: '2.0', id,
+                error: { code: -32602, message: 'empty expression: pass {"js":"<expression>"} (alias: "expr")' },
+              });
+              break;
+            }
             // Guard rails (shared single source) — enforce length + reject
             // obvious Node-exfil patterns. The MCP layer applies the same guard;
             // a direct ws client bypasses MCP, so enforce the same contract here.

package/src/shared/version.js

@@ -2,4 +2,4 @@
 // Kept in JS (not imported from package.json) to avoid Node import-attribute
 // (JSON module) compatibility issues inside Electron. package.json "version"
 // is manually synced to this value; tests assert they match.
-export const VERSION = '2.1.0';
+export const VERSION = '2.1.1';