myagent-ai 1.47.16 → 1.47.17

package/aiskills/browser_stealth.py

@@ -544,6 +544,73 @@ class StealthBrowser:
 
     async def start(self) -> SkillResult:
         """启动反检测浏览器"""
+        # [v1.47.16] VNC/Termux 模式下直接使用 Firefox，不走 DrissionPage/Chromium
+        # Chromium 在 proot ARM64 下与 DrissionPage 不兼容，
+        # 所以 VNC 模式下先检测环境，直接走 Firefox 路径，不需要 import DrissionPage
+        _is_vnc_mode = False
+        _is_termux_env = False
+        try:
+            from core.env_detect import is_termux
+            _is_termux_env = is_termux()
+        except ImportError:
+            pass
+        try:
+            from core.env_detect import is_desktop
+            if not is_desktop():
+                _is_vnc_mode = True
+        except ImportError:
+            if not _has_display():
+                _is_vnc_mode = True
+
+        # VNC 模式：跳过所有 Chrome/DrissionPage 逻辑，直接用 Firefox
+        if _is_vnc_mode:
+            logger.info("VNC/非桌面环境: 直接启动 Firefox（跳过 Chromium 检测）")
+            if not self._headless:
+                display = _ensure_display()
+                if display:
+                    self._vnc_used = display.get("vnc", False)
+                    self._xvfb_started_by_us = display.get("xvfb_standalone", False)
+                    if self._vnc_used:
+                        return self._start_firefox_in_vnc()
+                # VNC/Xvfb 不可用
+                if _is_termux_env:
+                    return SkillResult(
+                        success=False,
+                        error=(
+                            "Termux+Ubuntu 环境仅支持通过 VNC 启动浏览器，"
+                            "VNC 启动失败。请先启动 VNC 远程桌面后再使用浏览器功能。"
+                        ),
+                    )
+                # 非 Termux：尝试 Xvfb
+                if display and display.get("xvfb_standalone"):
+                    # 有 Xvfb 但没有 VNC → 用 Xvfb + Chromium（走下面的正常流程）
+                    pass
+                else:
+                    # 没有 Xvfb 也没有 VNC → 降级 headless 或报错
+                    logger.warning("无显示环境且 VNC/Xvfb 均不可用，尝试 Firefox headless 模式")
+                    return self._start_firefox_in_vnc()
+            else:
+                # headless=True 被显式请求
+                if _is_termux_env:
+                    logger.info("Termux+Ubuntu 环境: 忽略 headless 请求，强制使用 VNC 模式")
+                    self._headless = False
+                    display = _ensure_display()
+                    if display:
+                        self._vnc_used = display.get("vnc", False)
+                        self._xvfb_started_by_us = display.get("xvfb_standalone", False)
+                        if self._vnc_used:
+                            return self._start_firefox_in_vnc()
+                    return SkillResult(
+                        success=False,
+                        error=(
+                            "Termux+Ubuntu 环境仅支持通过 VNC 启动浏览器，"
+                            "VNC 启动失败。headless 模式在此环境下不可用。"
+                        ),
+                    )
+                # 非 Termux headless → 仍然尝试 Firefox
+                return self._start_firefox_in_vnc()
+
+        # ── 桌面环境：使用 DrissionPage + Chromium ──
         try:
             from DrissionPage import Chromium, ChromiumOptions
         except ImportError:
@@ -613,98 +680,10 @@ class StealthBrowser:
             else:
                 logger.info("桌面环境，使用系统 Chrome 原生参数")
 
-            # ── 无显示环境处理 ──
-            # 桌面环境 (Windows/macOS/Linux有真实显示器): 直接用系统 Chrome
-            # Termux+Ubuntu: 仅支持 VNC，不降级到 headless
-            # 非 Termux 容器: VNC > Xvfb > headless 降级
-            _is_termux_env = False
-            try:
-                from core.env_detect import is_termux
-                _is_termux_env = is_termux()
-            except ImportError:
-                pass
-
+            # ── 显示环境处理（仅桌面环境到达此代码路径）──
+            # VNC/Termux 模式已在方法开头走 Firefox 分支，这里只处理桌面环境
             if not self._headless:
-                try:
-                    from core.env_detect import is_desktop
-                    if is_desktop():
-                        # 桌面环境: 直接用系统 Chrome
-                        logger.info("桌面环境，直接使用系统浏览器，跳过 VNC/Xvfb")
-                    else:
-                        # 非桌面环境 (容器/Termux): 通过 _ensure_display() 获取显示
-                        display = _ensure_display()
-                        if display:
-                            self._vnc_used = display.get("vnc", False)
-                            self._xvfb_started_by_us = display.get("xvfb_standalone", False)
-                            if self._vnc_used:
-                                logger.info(f"复用 VNC 远程桌面显示 ({display['display']}），可在 VNC 中查看浏览器操作")
-                                # [v1.47.16] VNC 模式下直接用 Firefox，不走 DrissionPage/Chromium
-                                # Chromium 在 proot ARM64 下与 DrissionPage 不兼容
-                                logger.info("VNC 模式: 直接启动 Firefox（跳过 Chromium 检测）")
-                                return self._start_firefox_in_vnc()
-                        else:
-                            # ── Termux+Ubuntu: VNC 失败 → 直接报错，不降级 headless ──
-                            if _is_termux_env:
-                                return SkillResult(
-                                    success=False,
-                                    error=(
-                                        "Termux+Ubuntu 环境仅支持通过 VNC 启动浏览器，"
-                                        "VNC 启动失败。请先启动 VNC 远程桌面，"
-                                        "或通过 Web 管理面板打开 VNC 后再使用浏览器功能。"
-                                    ),
-                                )
-                            # ── 非 Termux 容器: 降级到 headless ──
-                            self._headless = True
-                            logger.warning(
-                                "无显示环境且 VNC/Xvfb 均不可用，自动降级为 headless 模式"
-                            )
-                except ImportError:
-                    # env_detect 不可用时，降级为原有 X11 检测逻辑
-                    if not _has_display():
-                        display = _ensure_display()
-                        if display:
-                            self._vnc_used = display.get("vnc", False)
-                            self._xvfb_started_by_us = display.get("xvfb_standalone", False)
-                            if self._vnc_used:
-                                # [v1.47.16] VNC 模式下直接用 Firefox
-                                logger.info("VNC 模式 (env_detect不可用): 直接启动 Firefox")
-                                return self._start_firefox_in_vnc()
-                        else:
-                            if _is_termux_env:
-                                return SkillResult(
-                                    success=False,
-                                    error=(
-                                        "Termux+Ubuntu 环境仅支持通过 VNC 启动浏览器，"
-                                        "VNC 启动失败。请先启动 VNC 远程桌面后再使用浏览器功能。"
-                                    ),
-                                )
-                            self._headless = True
-                            logger.warning(
-                                "无 DISPLAY 环境且 VNC/Xvfb 均不可用，自动降级为 headless 模式"
-                            )
-            else:
-                # headless=True 被显式请求，但 Termux 环境下仍强制使用 VNC
-                # 因为 headless Chromium 在 Termux 下容易被 OOM Kill
-                if _is_termux_env:
-                    logger.info("Termux+Ubuntu 环境: 忽略 headless 请求，强制使用 VNC 模式")
-                    self._headless = False
-                    display = _ensure_display()
-                    if display:
-                        self._vnc_used = display.get("vnc", False)
-                        self._xvfb_started_by_us = display.get("xvfb_standalone", False)
-                        if self._vnc_used:
-                            # [v1.47.16] VNC 模式下直接用 Firefox
-                            logger.info(f"Termux+Ubuntu VNC 模式: 直接启动 Firefox")
-                            return self._start_firefox_in_vnc()
-                    else:
-                        return SkillResult(
-                            success=False,
-                            error=(
-                                "Termux+Ubuntu 环境仅支持通过 VNC 启动浏览器，"
-                                "VNC 启动失败。headless 模式在此环境下不可用（容易被 OOM Kill）。"
-                                "请先启动 VNC 远程桌面后再使用浏览器功能。"
-                            ),
-                        )
+                logger.info("桌面环境，直接使用系统浏览器，跳过 VNC/Xvfb")
 
             # 无头模式（co.headless() 内部设置 --headless=new）
             if self._headless:
@@ -1273,8 +1252,11 @@ class StealthBrowser:
         if not self._ensure_page():
             return SkillResult(success=False, error="浏览器未启动")
 
+        # [v1.47.16] Firefox+VNC 模式：通过 xdotool type 输入
+        if self._firefox_mode:
+            return self._firefox_fill(selector or "", text, clear, wait)
+
         try:
-            # 如果提供了 selector，先点击聚焦
             if selector:
                 ele = self._find_element(selector, timeout=10)
                 if not ele:
@@ -1366,8 +1348,11 @@ class StealthBrowser:
         if not self._ensure_page():
             return SkillResult(success=False, error="浏览器未启动")
 
+        # [v1.47.16] Firefox+VNC 模式：通过 xdotool key 按键
+        if self._firefox_mode:
+            return self._firefox_press_key(key, selector, wait)
+
         try:
-            # 如果提供了 selector，先聚焦
             if selector:
                 ele = self._find_element(selector, timeout=10)
                 if ele:
@@ -1490,6 +1475,13 @@ class StealthBrowser:
         if not self._ensure_page():
             return SkillResult(success=False, error="浏览器未启动")
 
+        # [v1.47.16] Firefox+VNC 模式：无法通过 CDP 执行 JS
+        if self._firefox_mode:
+            return SkillResult(
+                success=False,
+                error="Firefox+VNC 模式下不支持 JS 执行。请在 VNC 中手动操作，或切换到桌面环境使用 Chromium。",
+            )
+
         try:
             _script = script.strip()
             # 检测是否包含 return 语句
@@ -1546,6 +1538,13 @@ class StealthBrowser:
         if not self._ensure_page():
             return SkillResult(success=False, error="浏览器未启动")
 
+        # [v1.47.16] Firefox+VNC 模式：无法获取页面内容
+        if self._firefox_mode:
+            return SkillResult(
+                success=False,
+                error="Firefox+VNC 模式下不支持获取页面内容。请在 VNC 中手动查看，或切换到桌面环境使用 Chromium。",
+            )
+
         try:
             # Bug Fix: DrissionPage 没有 page.text 属性
             # 需要通过 page.ele('tag:html').text 获取页面文本
@@ -1584,6 +1583,13 @@ class StealthBrowser:
         if not self._ensure_page():
             return SkillResult(success=False, error="浏览器未启动")
 
+        # [v1.47.16] Firefox+VNC 模式：无法获取页面 HTML
+        if self._firefox_mode:
+            return SkillResult(
+                success=False,
+                error="Firefox+VNC 模式下不支持获取页面 HTML。请在 VNC 中手动查看，或切换到桌面环境使用 Chromium。",
+            )
+
         try:
             html = self._page.html or ""
             output_html = html[:50000] if len(html) > 50000 else html
@@ -1608,6 +1614,13 @@ class StealthBrowser:
         if not self._ensure_page():
             return SkillResult(success=False, error="浏览器未启动")
 
+        # [v1.47.16] Firefox+VNC 模式：无法等待元素
+        if self._firefox_mode:
+            return SkillResult(
+                success=False,
+                error="Firefox+VNC 模式下不支持等待元素。请在 VNC 中手动操作。",
+            )
+
         try:
             ele = self._find_element(selector, timeout=timeout)
             if ele:
@@ -1662,6 +1675,13 @@ class StealthBrowser:
         if not self._ensure_page():
             return SkillResult(success=False, error="浏览器未启动")
 
+        # [v1.47.16] Firefox+VNC 模式：Cookie 已由 Firefox 自动保存到 profile 目录
+        if self._firefox_mode:
+            return SkillResult(
+                success=True,
+                message="Firefox+VNC 模式: Cookie 由 Firefox 自动保存到 profile 目录",
+            )
+
         try:
             cookies = self._page.cookies()
             cookie_list = []
@@ -1691,6 +1711,13 @@ class StealthBrowser:
         if not self._ensure_page():
             return SkillResult(success=False, error="浏览器未启动")
 
+        # [v1.47.16] Firefox+VNC 模式：Cookie 由 Firefox 自动从 profile 目录加载
+        if self._firefox_mode:
+            return SkillResult(
+                success=True,
+                message="Firefox+VNC 模式: Cookie 由 Firefox 自动从 profile 目录加载",
+            )
+
         try:
             from core.browser_profile import get_browser_profile_manager
             mgr = get_browser_profile_manager()
@@ -1970,6 +1997,74 @@ class StealthBrowser:
                 error=f"Firefox+VNC 输入失败: {e}",
             )
 
+    def _firefox_press_key(self, key: str, selector: str = "", wait: float = 0.5) -> SkillResult:
+        """[v1.47.16] Firefox+VNC 模式下通过 xdotool key 按键。"""
+        display = os.environ.get("DISPLAY", ":99")
+        env = {**os.environ, "DISPLAY": display}
+
+        try:
+            # 查找 Firefox 窗口
+            result = subprocess.run(
+                ["xdotool", "search", "--onlyvisible", "--class", "firefox"],
+                capture_output=True, text=True, timeout=5,
+                env=env, start_new_session=True,
+            )
+            if result.returncode != 0 or not result.stdout.strip():
+                return SkillResult(
+                    success=False,
+                    error="Firefox+VNC: 未找到 Firefox 窗口。请在 VNC 中确认 Firefox 已打开。",
+                )
+
+            window_id = result.stdout.strip().split()[0]
+            subprocess.run(
+                ["xdotool", "windowactivate", "--sync", window_id],
+                capture_output=True, timeout=5, env=env, start_new_session=True,
+            )
+
+            # 将 JS 按键名称映射为 xdotool 按键名称
+            xdotool_key_map = {
+                'enter': 'Return', 'tab': 'Tab', 'escape': 'Escape', 'esc': 'Escape',
+                'backspace': 'BackSpace', 'delete': 'Delete', 'del': 'Delete',
+                'arrowup': 'Up', 'arrowdown': 'Down', 'arrowleft': 'Left', 'arrowright': 'Right',
+                'up': 'Up', 'down': 'Down', 'left': 'Left', 'right': 'Right',
+                'home': 'Home', 'end': 'End',
+                'pageup': 'Page_Up', 'pagedown': 'Page_Down',
+                'space': 'space', ' ': 'space',
+                'ctrl': 'ctrl', 'shift': 'shift', 'alt': 'alt', 'meta': 'super',
+                'cmd': 'super', 'command': 'super',
+            }
+            # F1-F12
+            for i in range(1, 13):
+                xdotool_key_map[f'f{i}'] = f'F{i}'
+
+            # 解析组合键
+            parts = key.strip().split('+')
+            xdotool_keys = []
+            for part in parts:
+                p = part.strip()
+                mapped = xdotool_key_map.get(p.lower(), p)
+                xdotool_keys.append(mapped)
+
+            # 构建 xdotool key 参数
+            xdotool_key_str = '+'.join(xdotool_keys)
+            subprocess.run(
+                ["xdotool", "key", "--window", window_id, xdotool_key_str],
+                capture_output=True, timeout=5, env=env, start_new_session=True,
+            )
+
+            if wait > 0:
+                time.sleep(wait)
+
+            return SkillResult(
+                success=True,
+                message=f"Firefox+VNC: 已按键: {key}",
+            )
+        except Exception as e:
+            return SkillResult(
+                success=False,
+                error=f"Firefox+VNC 按键失败: {e}",
+            )
+
     def _firefox_screenshot(self, save_path: str = "") -> SkillResult:
         """Firefox+VNC 模式下通过 xdotool + import 截图。"""
         display = os.environ.get("DISPLAY", ":99")

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "myagent-ai",
-  "version": "1.47.16",
+  "version": "1.47.17",
   "description": "本地桌面端执行型AI助手 - Open Interpreter 风格 | Local Desktop Execution-Oriented AI Assistant",
   "main": "main.py",
   "bin": {