@omniaibot/macos-arm64 0.3.6

package/bin/omnibot-macos-arm64/omnibot/sop/tmwebdriver_sop.md

@@ -0,0 +1,128 @@
+# TMWebDriver SOP
+
+- 直接用browser_scan/browser_execute_js工具。本文件只记录特性和坑。
+- 底层：`../TMWebDriver.py`通过Chrome扩展接管用户浏览器（保留登录态/Cookie）
+- 非Selenium/Playwright，保留用户浏览器登录态
+
+## 通用特性
+- ⚠browser_execute_js里使用`await`时需**显式`return`**才能拿到返回值（底层async包裹，不写return则返回null）
+- ✅browser_scan自动穿透同源iframe；跨域iframe需CDP或postMessage（见下方章节）
+
+## 限制(isTrusted)
+- JS事件`isTrusted=false`，敏感操作（如文件上传/部分按钮）可能被拦截；这类场景首选**CDP桥**
+- ⚠JS点击按钮打不开新tab→可能是浏览器弹窗拦截，换CDP点击试试
+- Vue3自定义组件(Select/Dropdown)：⭐优先vnode实例调用(无视口限制)→见**vue3_component_sop**；CDP坐标点击仅适合选项少且可见的场景
+- 文件上传：⭐首选**DataTransfer API**（纯JS，无CDP依赖）：`new File([content],name,{type}) → new DataTransfer().items.add(file) → input.files=dt.files → dispatch input+change`；CDP `DOM.setFileInputFiles` 在tmwd桥环境nodeId跨调用失效，不推荐；备选ljqCtrl物理点击
+- 需转物理坐标时：`physX = (screenX + rect中心x) * dpr`，`physY = (screenY + chromeH + rect中心y) * dpr`；其中 `chromeH = outerHeight - innerHeight`
+
+## 导航
+- `browser_scan` 仅读当前页不导航，切换网站用 `browser_navigate` 或 `browser_execute_js` + `location.href='url'`
+
+## Google图搜
+- class名混淆禁硬编码，点击结果用 `[role=button]` div
+- browser_scan过滤边栏，弹出后用JS：文本`document.body.innerText`，大图遍历img按`naturalWidth`最大取src
+- "访问"链接：遍历a找`textContent.includes('访问')`的href
+- 缩略图：`img[src^="data:image"]`直接提取；大图src可能截断用`return img.src`
+
+## Chrome下载PDF
+场景：PDF链接在浏览器内预览而非下载
+```js
+fetch('PDF_URL').then(r=>r.blob()).then(b=>{
+  const a=document.createElement('a');
+  a.href=URL.createObjectURL(b);
+  a.download='filename.pdf';
+  a.click();
+});
+```
+注意：需同源或CORS允许，跨域先导航到目标域再执行
+
+## Chrome后台标签节流
+- 后台标签中`setTimeout`被Chrome intensive throttling延迟到≥1min/次，扩展脚本中避免依赖setTimeout轮询
+- 某些SPA页面需CDP `Page.bringToFront`切到前台才会加载数据
+
+## CDP桥(浏览器扩展) ⭐首选
+扩展路径：`browser-extension/`(需从仓库获取，含debugger权限)
+⚠TID约定标识：首次运行自动生成到`browser-extension/config.js`(已gitignore)，扩展通过manifest引用
+优先使用 MCP 工具：`browser_batch`。必要时也可用 `browser_execute_js` script直传JSON字符串（工具层自动识别对象格式，走WS→background.js cmd路由）
+```js
+browser_batch commands='[{"cmd":"cdp","method":"Page.bringToFront","params":{}}]'
+browser_batch commands='[{"cmd":"cdp","method":"DOM.getDocument","params":{"depth":1}}]'
+browser_execute_js script='{"cmd":"contentSettings","type":"automaticDownloads","setting":"allow"}'
+browser_execute_js script='{"cmd": "tabs"}'
+// 返回值直接是JSON结果
+```
+通信方式：⭐MCP 专用工具(首选) | JSON字符串直传 | TID DOM方式(TID元素+MutationObserver，browser_scan/browser_execute_js底层依赖)
+单命令：`{cmd:'tabs'}` | `{cmd:'cookies'}` | `{cmd:'cdp', tabId:N, method:'...', params:{...}}` | `{cmd:'management', method:'list|reload|disable|enable', extId:'...'}`
+- management：list返回所有扩展信息；reload/disable/enable需传extId
+- contentSettings：`{cmd:'contentSettings', type:'automaticDownloads', pattern:'https://*/*', setting:'allow'}`
+  - 绕过Chrome"下载多个文件"对话框（该对话框会阻塞整个浏览器JS执行）
+  - type可选：automaticDownloads/popups/notifications等；setting：allow/block/ask
+  - ⚠CDP的Browser.setDownloadBehavior在扩展中不可用（chrome.debugger仅tab级），此为替代方案
+- ⭐batch混合：`{cmd:'batch', commands:[{cmd:'cookies'},{cmd:'tabs'},{cmd:'cdp',...},...]}`
+  - 返回`{ok:true, results:[...]}`，一次请求多命令，CDP懒attach复用session
+  - 子命令会自动继承外层batch的tabId（如cookies命令可正确获取当前页面URL）
+  - `$N.path`引用第N个结果字段(0-indexed)，如`"nodeId":"$2.root.nodeId"`
+  - ⚠batch前序命令失败时，后续`$N`引用会静默变成undefined；要检查results数组中每项的ok状态
+  - 典型文件上传：getDocument(**depth:1**) → querySelector(`input[type=file]`) → setFileInputFiles
+  - 思想：
+    - 同一链路内保持nodeId来源一致，不混用querySelector路径与performSearch路径
+    - 上传后前端框架可能不感知，必要时JS补发`input`/`change`事件
+    - 上传前检查`input.accept`；多input时用accept/父容器语义区分
+    - 等待元素优先用`DOM.performSearch('input[type=file]')`做轻量轮询
+    - 瞬态input的核心是**缩短发现→setFileInputFiles时间窗**：优先同batch完成；再不行用DOM事件监听；猴子补丁仅作兜底思路
+  - ⚠tabId：CDP默认sender.tab.id(当前注入页)，跨tab需显式tabId或先batch内tabs查
+- ⭐跨tab无需前台：指定tabId即可操作后台标签页
+
+## CDP点击完整生命周期（✅已验证）
+- 通用点击需**三事件序列**：mouseMoved → mousePressed → mouseReleased（间隔50-100ms）
+  - 省略mouseMoved会导致MUI Tooltip/Ant Design Dropdown等hover依赖组件失效
+  - ⚠autofill释放是特例，只需mousePressed即可（见下方autofill章节）
+- ⭐**坐标系结论**：稳定状态下 CDP坐标 = `getBoundingClientRect()` 坐标，**无需修正**
+  - ⚠**首次attach陷阱**：CDP debugger首次attach时Chrome弹出infobar("正在受自动化控制"，~20px高)，页面内容被推下
+  - 如果在attach前测量坐标、attach后发送点击 → 坐标偏移！（之前Currency下拉失败的根因）
+  - ✅**解决**：确保测量坐标在CDP已attach稳定之后（即infobar已出现后再getBoundingClientRect）
+  - 实践：首次CDP操作前先发一个无害的`mouseMoved(0,0)`预热，之后坐标系就稳定了
+- ⭐**下拉框(Vue3 oxd-select等)CDP操作流程**：
+  1. 获取select元素rect → CDP点击打开下拉
+  2. 获取option元素rect → CDP点击选中（option是动态DOM，打开后才能测量）
+  - 已验证：CDP点击对自定义下拉框有效，无isTrusted问题
+  - ⚠**限制**：选项多时底部option超出视口，CDP坐标够不着→此时应优先vnode方案(见vue3_component_sop)
+- 坐标修正（页面有transform:scale/zoom时）：
+  ```js
+  var scale = window.visualViewport ? window.visualViewport.scale : 1;
+  var zoom = parseFloat(getComputedStyle(document.documentElement).zoom) || 1;
+  var realX = x * zoom; var realY = y * zoom;
+  ```
+- iframe内元素CDP点击：坐标需合成 `finalX = iframeRect.x + elRect.x`
+  - 跨域iframe拿不到contentDocument：
+  - ⚠`Target.getTargets`/`Target.attachToTarget`在CDP桥中返回"Not allowed"(chrome.debugger权限限制)
+  - ⭐**已验证方案**：`Page.getFrameTree`找iframe frameId → `Page.createIsolatedWorld({frameId})`获取contextId → `Runtime.evaluate({expression, contextId})`在iframe中执行JS
+  - batch链式引用：`$0.frameTree.childFrames`遍历找url匹配的frame，`$1.executionContextId`传给evaluate
+  - postMessage中继方案仅在content script已注入iframe时有效，第三方支付iframe通常无注入
+
+## CDP文本输入（未验证，BBS#23）
+- `insertText`快但无key事件；受控组件需补dispatch `input`事件
+- 需完整键盘模拟时用`dispatchKeyEvent`逐键派发
+
+## CDP DOM域穿透 closed Shadow DOM（未验证，BBS#24/#25）
+- `DOM.getDocument({depth:-1, pierce:true})` 穿透所有Shadow边界（含closed）
+- `DOM.querySelector({nodeId, selector})` 定位 → `DOM.getBoxModel({nodeId})` 取坐标
+- getBoxModel返回content八值[x1,y1,...x4,y4]，中心用**四点平均**：centerX=sum(x)/4, centerY=sum(y)/4
+  - ⚠不能简化为对角线平均——元素有transform:rotate/skew时四点非矩形
+- querySelector**不能跨Shadow边界写组合选择器**，需分步：先找host再在其shadow内找子元素
+- ⚠nodeId在DOM变更后失效 → 用`backendNodeId`更稳定，或重新getDocument刷新
+
+
+## autofill获取与登录
+检测：browser_scan输出input带`data-autofilled="true"`，value显示为受保护提示(非真实值，Chrome安全保护需点击释放)
+- ⚠**前置条件：必须先CDP `Page.bringToFront` 切tab到前台**，Chrome仅在前台tab释放autofill保护值，后台tab物理点击无效
+- ⭐**一键释放与登录**：bringToFront → mousePressed点任一字段(无需Released，一个释放全页) → 等500ms → 补input/change事件 → 点登录
+
+## 验证码/页面视觉截图
+- ⭐首选CDP截图：`Page.captureScreenshot`(format:'png')→返回base64，无需前台/后台tab也行，全页高清
+- 验证码canvas/img：JS `canvas.toDataURL()` 直接拿base64最干净
+
+## simphtml与TMWebDriver调试
+- simphtml调试必须通过`code_run`注入JS到真实浏览器（Python端无法模拟DOM）
+- `d=TMWebDriver()`, `d.set_session('url_pattern')`, `d.execute_js(code)` → 返回`{'data': value}`
+- simphtml：`str(simphtml.optimize_html_for_tokens(html))` — 返回BS4 Tag需str()

package/bin/omnibot-macos-arm64/omnibot/sop/vue3_component_sop.md

@@ -0,0 +1,163 @@
+# Vue 3 自定义组件 JS 操作 SOP
+
+## 问题
+Vue 3 自定义组件（如 OxdSelect）通过 `addEventListener` 绑定事件，JS `dispatchEvent` 产生的事件 `isTrusted: false`，组件不响应。
+- `element.click()` 无效（组件可能绑定 mousedown 而非 click）
+- `dispatchEvent(new MouseEvent('mousedown'))` 无效（isTrusted:false）
+- `element.focus()` 不触发 Vue 绑定的 focus handler
+
+## 解决方案：直接操作 Vue 组件实例
+
+### 1. 获取 Vue 3 根入口
+```javascript
+const rootVnode = document.getElementById('app')._vnode;
+```
+
+### 2. 遍历 vnode 树匹配 DOM 元素
+```javascript
+function findCompByEl(vnode, targetEl, depth = 0) {
+    if (depth > 50 || !vnode) return null;
+    const comp = vnode.component;
+    if (comp) {
+        if (comp.vnode?.el === targetEl || comp.subTree?.el === targetEl) return comp;
+        if (comp.vnode?.el?.contains?.(targetEl)) {
+            const result = findCompByEl(comp.subTree, targetEl, depth + 1);
+            if (result) return result;
+            return comp;
+        }
+        const subResult = findCompByEl(comp.subTree, targetEl, depth + 1);
+        if (subResult) return subResult;
+    }
+    if (vnode.children && Array.isArray(vnode.children)) {
+        for (const child of vnode.children) {
+            const result = findCompByEl(child, targetEl, depth + 1);
+            if (result) return result;
+        }
+    }
+    if (vnode.dynamicChildren) {
+        for (const child of vnode.dynamicChildren) {
+            const result = findCompByEl(child, targetEl, depth + 1);
+            if (result) return result;
+        }
+    }
+    return null;
+}
+```
+
+### 3. 调用组件方法
+```javascript
+// 目标DOM的parentElement通常是组件根元素
+const comp = findCompByEl(rootVnode, targetElement.parentElement);
+const ctx = comp.proxy;
+
+// 查看可用方法
+Object.keys(ctx).filter(k => !k.startsWith('_') && !k.startsWith('$'));
+
+// Select 类组件：直接调用 onSelect
+ctx.onSelect({id: 'USD', label: 'United States Dollar'});
+
+// 获取选项列表
+ctx.computedOptions; // [{id, label, _selected}, ...]
+```
+
+## 组件层级注意
+- **展示层**（如 OxdSelectText）：只有 onToggle/onFocus/onBlur，调用无实际效果
+- **逻辑层**（如 OxdSelectInput，是展示层的父组件）：有 openDropdown/onSelect/computedOptions/onCloseDropdown
+- 定位逻辑层：用 `targetElement.parentElement` 而非 targetElement 本身
+
+### 弹窗内 Select 同样纯 JS 优先（已验证）
+- 弹窗（`.oxd-dialog-sheet`）内的 `.oxd-select-text` 用循环向上查找同样能命中 `OxdSelectInput`，`onSelect` 正常工作。
+- 不需要 CDP 兜底。仅当循环 8 层仍找不到组件时才考虑 CDP 打开+JS 点 option。
+
+### 循环向上查找模式（推荐）
+单层 `parentElement` 可能不够，用循环更健壮：
+```javascript
+function findSelectComp(selectTextEl) {
+  for (let el = selectTextEl, up = 0; el && up < 8; el = el.parentElement, up++) {
+    const comp = findCompByEl(rootVnode, el);
+    if (comp?.proxy?.onSelect && comp.proxy.computedOptions?.length) return comp;
+  }
+  return null; // 找不到再考虑CDP兜底
+}
+```
+
+## 普通 Input/Textarea 操作（nativeSetter）
+
+Vue 3 的 `v-model` 监听 input 事件，直接 `el.value = x` 不触发响应式。需用原型 setter：
+
+```javascript
+// Input
+const setter = Object.getOwnPropertyDescriptor(HTMLInputElement.prototype, 'value').set;
+setter.call(inputEl, '新值');
+inputEl.dispatchEvent(new Event('input', {bubbles: true}));
+inputEl.dispatchEvent(new Event('change', {bubbles: true}));
+
+// Textarea
+const taSetter = Object.getOwnPropertyDescriptor(HTMLTextAreaElement.prototype, 'value').set;
+taSetter.call(textareaEl, '内容');
+textareaEl.dispatchEvent(new Event('input', {bubbles: true}));
+```
+
+### Date Input 特殊处理
+日期组件通常有 blur 校验，需要 focus→赋值→blur 完整链：
+```javascript
+dateInput.focus();
+setter.call(dateInput, '2026-08-05');
+dateInput.dispatchEvent(new Event('input', {bubbles: true}));
+dateInput.dispatchEvent(new Event('change', {bubbles: true}));
+dateInput.dispatchEvent(new Event('blur', {bubbles: true}));
+```
+
+### Button
+普通 `.click()` 即可，Vue 3 不检查 button click 的 isTrusted。
+
+### File Upload (input[type="file"])
+浏览器安全模型禁止JS直接 `input.value='path'`，但可用 DataTransfer API 构造 FileList：
+```javascript
+const fileInput = document.querySelector('input[type="file"]');
+const content = '文件内容';
+const file = new File([content], 'filename.txt', { type: 'text/plain', lastModified: Date.now() });
+const dt = new DataTransfer();
+dt.items.add(file);
+fileInput.files = dt.files;  // Chrome 62+ 支持
+fileInput.dispatchEvent(new Event('input', { bubbles: true }));
+fileInput.dispatchEvent(new Event('change', { bubbles: true }));
+```
+- 适用于任何框架（非Vue3特有），纯浏览器API
+- 可构造任意类型文件（Blob/ArrayBuffer均可传入File构造器）
+- ⚠ CDP `DOM.setFileInputFiles` 只设files属性不触发事件（Chrome通用行为），DataTransfer+dispatch是唯一纯JS方案
+- ⚠ 确保弹窗/容器已打开再querySelector，否则input不在DOM中
+
+## 泛化到其他 Vue3 站点（未逐一验证，思路层面）
+
+本 SOP 的核心方法（根 vnode → findCompByEl → proxy）是 Vue3 通用的，但具体方法名/属性名因 UI 库而异。
+
+面对陌生 Vue3 站点的探测思路：
+
+1. **确认是 Vue3** — `document.getElementById('app')?.__vue_app__` 存在即可
+2. **定位目标 DOM** — 用选择器找到要操作的元素（如某个 select wrapper）
+3. **从 DOM 反查组件** — 用 findCompByEl 从目标元素及其父级向上找，拿到 component
+4. **探测组件能力** — 拿到 comp 后查看：
+   - `Object.keys(comp.proxy.$options.methods || {})` → 组件方法名
+   - `Object.keys(comp.props || {})` → props
+   - `Object.keys(comp.setupState || {})` → setup 暴露的响应式数据和函数
+   - 重点找类似 onSelect/handleSelect/select/setValue 的方法，以及 options/items/computedOptions 之类的选项列表
+5. **试调** — 找到疑似选中方法后，传入选项对象试调，观察 DOM 是否更新
+6. **选项格式** — 不同库的 option 结构不同（可能是 `{id, label}` 也可能是 `{value, text}` 或纯字符串），从选项列表数据中取一个完整对象传入即可
+
+注意事项：
+- 有些库用 `emits` 而非 methods，选中逻辑可能在父组件而非子组件
+- 有些库 prod build 会 minify 方法名，此时 setupState 里的 key 可能是短名，需结合行为猜测
+- Composition API 组件的逻辑主要在 setupState 而非 $options.methods
+- 如果 proxy 上找不到方法，试试 `comp.exposed`（`<script setup>` 用 defineExpose 暴露的）
+
+## 适用场景
+- Vue 3 自定义 Select/Dropdown/Autocomplete 组件 → vnode 实例方法
+- Vue 3 普通 Input/Textarea（v-model）→ nativeSetter + input 事件
+- Date 组件 → nativeSetter + focus/blur 链
+- File Upload → DataTransfer + change 事件
+- 需要绕过 isTrusted 检查的场景
+
+## 验证于
+- OrangeHRM (opensource-demo.orangehrmlive.com) Vue 3 + OXD 组件库
+- 2026-05-08

package/package.json

@@ -0,0 +1,29 @@
+{
+  "name": "@omniaibot/macos-arm64",
+  "version": "0.3.6",
+  "description": "omnibot executable for macOS ARM64",
+  "bin": {
+    "omnibot": "bin/omnibot-macos-arm64/omnibot-macos-arm64"
+  },
+  "os": [
+    "darwin"
+  ],
+  "cpu": [
+    "arm64"
+  ],
+  "files": [
+    "bin/"
+  ],
+  "keywords": [
+    "mcp",
+    "browser",
+    "automation",
+    "omnibot"
+  ],
+  "author": "Unagi-cq",
+  "license": "MIT",
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/DennisJcy/omnibot.git"
+  }
+}