myagent-ai 1.47.24 → 1.47.26

package/aiskills/browser_stealth.py

@@ -34,6 +34,7 @@ import json
 import os
 import shutil
 import subprocess
+import sys
 import threading
 import time
 from pathlib import Path
@@ -880,12 +881,29 @@ class StealthBrowser:
                 capture_output=True, text=True, timeout=5,
             )
             if result.returncode == 0 and result.stdout.strip():
-                logger.info(f"检测到已有 Firefox 运行 (PID: {result.stdout.strip().split()[0]})，复用")
+                pid = result.stdout.strip().split()[0]
+                logger.info(f"检测到已有 Firefox 运行 (PID: {pid})，复用")
+
+                # [v1.47.26] 修正 profile 目录：已有 Firefox 可能用的是 VNC manager 启动的
+                # 默认 profile (~/.mozilla/firefox/default)，而不是 browser_profile_manager 路径
+                # 读取 Firefox 的命令行参数来确定实际使用的 profile
+                actual_profile = self._detect_firefox_profile(pid)
+                if actual_profile:
+                    logger.info(f"检测到已有 Firefox 使用的 profile: {actual_profile}")
+                    self._firefox_profile_dir = actual_profile
+                else:
+                    # 从 profiles.ini 推断默认 profile
+                    default_profile = self._get_firefox_default_profile()
+                    if default_profile:
+                        logger.info(f"使用 Firefox 默认 profile: {default_profile}")
+                        self._firefox_profile_dir = default_profile
+
                 self._started = True
                 return SkillResult(
                     success=True,
-                    message=f"Firefox 已在 VNC 中运行 (Profile: {self.profile_name})",
-                    data={"profile": self.profile_name, "mode": "firefox_vnc", "reused": True},
+                    message=f"Firefox 已在 VNC 中运行 (Profile: {self.profile_name}, 实际目录: {self._firefox_profile_dir})",
+                    data={"profile": self.profile_name, "mode": "firefox_vnc", "reused": True,
+                          "firefox_profile_dir": self._firefox_profile_dir},
                 )
         except Exception:
             pass
@@ -2097,10 +2115,27 @@ class StealthBrowser:
             )
 
     def _firefox_screenshot(self, save_path: str = "") -> SkillResult:
-        """Firefox+VNC 模式下通过 xdotool + import 截图。"""
+        """Firefox+VNC 模式下截图。
+
+        截图方法优先级（纯 Python 优先，无需外部工具）：
+        1. python-xlib + Pillow — 纯 Python X11 协议截图，proot 下最可靠
+        2. ImageMagick import — 外部命令，需安装 imagemagick
+        3. scrot — 轻量截图工具
+        4. xwd + convert — 需要 xwd + imagemagick
+        5. xwd + ffmpeg — 需要 xwd + ffmpeg
+        6. xwd + Pillow — 需要 xwd，Pillow 转换
+        """
         display = os.environ.get("DISPLAY", ":99")
         env = {**os.environ, "DISPLAY": display}
 
+        # [v1.47.26] 检测 python-xlib 是否可用（用于截图方法和错误报告）
+        _xlib_available = False
+        try:
+            from Xlib import display as _xd  # noqa: F401
+            _xlib_available = True
+        except ImportError:
+            pass
+
         try:
             if not save_path:
                 from core.browser_profile import get_browser_profile_manager
@@ -2109,7 +2144,40 @@ class StealthBrowser:
                 timestamp = time.strftime("%Y%m%d_%H%M%S")
                 save_path = str(save_dir / f"firefox_{timestamp}.png")
 
-            # 方法1: 使用 ImageMagick import 截取整个屏幕
+            # 方法1: python-xlib + Pillow — 纯 Python X11 协议截图（无需外部工具）
+            # [v1.47.26] 这是 proot 环境下最可靠的方法，不依赖 import/scrot/xwd 等外部命令
+            try:
+                from Xlib import display as xdisplay
+                from PIL import Image as PILImage
+
+                disp = xdisplay.Display(os.environ.get("DISPLAY", ":99"))
+                screen = disp.screen()
+                root = screen.root
+                geom = root.get_geometry()
+                width = geom.width
+                height = geom.height
+
+                # XGetImage 获取原始像素数据
+                raw = root.get_image(0, 0, width, height, xdisplay.X.ZPixmap, 0xffffffff)
+                # raw.data 是 bytes，格式为 BGRX（每像素4字节）
+                img = PILImage.frombytes("RGB", (width, height), raw.data, "raw", "BGRX")
+                img.save(save_path, "PNG")
+
+                if os.path.isfile(save_path):
+                    logger.info(f"Firefox 截图已保存 (python-xlib): {save_path}")
+                    return SkillResult(
+                        success=True,
+                        message="Firefox+VNC 截图已保存 (python-xlib)",
+                        data={"path": save_path},
+                    )
+                else:
+                    logger.warning("[_firefox_screenshot] python-xlib 截图保存失败")
+            except ImportError:
+                logger.debug("[_firefox_screenshot] python-xlib 未安装，跳过纯 Python 截图")
+            except Exception as xlib_err:
+                logger.warning(f"[_firefox_screenshot] python-xlib 截图失败: {xlib_err}")
+
+            # 方法2: 使用 ImageMagick import 截取整个屏幕
             import_cmd = shutil.which("import")
             if import_cmd:
                 result = subprocess.run(
@@ -2181,19 +2249,16 @@ class StealthBrowser:
                     f"{result.stderr.decode(errors='ignore')[:200]}"
                 )
 
-            # 方法4: 使用 xdotool + xwd + ffmpeg (proot 兼容)
-            xdotool_cmd = shutil.which("xdotool")
+            # 方法4: 使用 xwd + ffmpeg (proot 兼容)
             ffmpeg_cmd = shutil.which("ffmpeg")
-            if xdotool_cmd and ffmpeg_cmd:
+            if xwd_cmd and ffmpeg_cmd:
                 xwd_tmp = save_path + ".xwd"
-                # 用 xdotool 获取活动窗口并截图
                 result = subprocess.run(
-                    [xwd_cmd or "xwd", "-root", "-display", display, "-out", xwd_tmp],
+                    [xwd_cmd, "-root", "-display", display, "-out", xwd_tmp],
                     capture_output=True, timeout=10,
                     env=env, start_new_session=True,
                 )
                 if result.returncode == 0 and os.path.isfile(xwd_tmp):
-                    # 用 ffmpeg 转换 xwd 到 png
                     result2 = subprocess.run(
                         [ffmpeg_cmd, "-y", "-i", xwd_tmp, save_path],
                         capture_output=True, timeout=10,
@@ -2210,22 +2275,213 @@ class StealthBrowser:
                             message=f"Firefox+VNC 截图已保存",
                             data={"path": save_path},
                         )
+                logger.warning(
+                    f"[_firefox_screenshot] xwd+ffmpeg 截图失败: xwd_rc={result.returncode}"
+                )
+
+            # 方法5: 使用 Python Pillow + xwd
+            try:
+                from PIL import Image
+                if xwd_cmd:
+                    xwd_tmp = save_path + ".xwd"
+                    result = subprocess.run(
+                        [xwd_cmd, "-root", "-display", display, "-out", xwd_tmp],
+                        capture_output=True, timeout=10,
+                        env=env, start_new_session=True,
+                    )
+                    if result.returncode == 0 and os.path.isfile(xwd_tmp):
+                        try:
+                            img = Image.open(xwd_tmp)
+                            img.save(save_path, "PNG")
+                            os.unlink(xwd_tmp)
+                            logger.info(f"Firefox 截图已保存 (xwd+Pillow): {save_path}")
+                            return SkillResult(
+                                success=True,
+                                message=f"Firefox+VNC 截图已保存",
+                                data={"path": save_path},
+                            )
+                        except Exception as pil_err:
+                            logger.warning(f"[_firefox_screenshot] Pillow 转换失败: {pil_err}")
+                            try: os.unlink(xwd_tmp)
+                            except Exception: pass
+            except ImportError:
+                pass
 
             _available = []
+            _available.append("python-xlib" if _xlib_available else "python-xlib❌")
             if import_cmd: _available.append("import")
             if scrot_cmd: _available.append("scrot")
             if xwd_cmd and convert_cmd: _available.append("xwd+convert")
-            if xdotool_cmd and ffmpeg_cmd: _available.append("xdotool+ffmpeg")
-            _tried = ", ".join(_available) if _available else "无"
+            if xwd_cmd and ffmpeg_cmd: _available.append("xwd+ffmpeg")
+            _tried = ", ".join(_available)
+
+            # [v1.47.26] 自动安装 python-xlib（如果未安装）
+            if not _xlib_available:
+                logger.info("[_firefox_screenshot] 尝试自动安装 python-xlib ...")
+                try:
+                    result = subprocess.run(
+                        [sys.executable, "-m", "pip", "install", "python-xlib", "-q"],
+                        capture_output=True, timeout=60,
+                    )
+                    if result.returncode == 0:
+                        logger.info("[_firefox_screenshot] python-xlib 安装成功，重试截图")
+                        try:
+                            from Xlib import display as xdisplay
+                            from PIL import Image as PILImage
+                            disp = xdisplay.Display(os.environ.get("DISPLAY", ":99"))
+                            screen = disp.screen()
+                            root = screen.root
+                            geom = root.get_geometry()
+                            raw = root.get_image(0, 0, geom.width, geom.height, xdisplay.X.ZPixmap, 0xffffffff)
+                            img = PILImage.frombytes("RGB", (geom.width, geom.height), raw.data, "raw", "BGRX")
+                            img.save(save_path, "PNG")
+                            if os.path.isfile(save_path):
+                                logger.info(f"Firefox 截图已保存 (python-xlib 安装后): {save_path}")
+                                return SkillResult(
+                                    success=True,
+                                    message="Firefox+VNC 截图已保存 (python-xlib)",
+                                    data={"path": save_path},
+                                )
+                        except Exception as retry_err:
+                            logger.warning(f"[_firefox_screenshot] python-xlib 安装后截图仍失败: {retry_err}")
+                    else:
+                        logger.warning(f"[_firefox_screenshot] python-xlib 安装失败: {result.stderr.decode(errors='ignore')[:200]}")
+                except Exception as pip_err:
+                    logger.warning(f"[_firefox_screenshot] pip install python-xlib 异常: {pip_err}")
 
             return SkillResult(
                 success=False,
                 error=f"Firefox+VNC 截图失败 (尝试过: {_tried}) "
-                      f"— 需要 ImageMagick import / scrot / xwd+convert",
+                      f"— 需要 python-xlib (pip install python-xlib) 或 ImageMagick/scrot",
             )
         except Exception as e:
             return SkillResult(success=False, error=f"Firefox+VNC 截图失败: {e}")
 
+    @staticmethod
+    def _detect_firefox_profile(pid: str) -> Optional[str]:
+        """[v1.47.26] 从运行中 Firefox 进程的命令行参数检测其 profile 目录。
+
+        读取 /proc/<pid>/cmdline 获取 Firefox 启动参数，查找 --profile 或
+        从 --user-data-dir 推断 profile 位置。
+
+        Args:
+            pid: Firefox 进程 PID
+
+        Returns:
+            Firefox profile 目录路径，检测失败返回 None
+        """
+        try:
+            cmdline_path = f"/proc/{pid}/cmdline"
+            if not os.path.isfile(cmdline_path):
+                return None
+
+            with open(cmdline_path, "rb") as f:
+                cmdline_data = f.read()
+
+            # /proc/pid/cmdline 用 \0 分隔参数
+            args = cmdline_data.decode("utf-8", errors="replace").split("\0")
+            args = [a for a in args if a.strip()]
+
+            # 查找 --profile 参数
+            for i, arg in enumerate(args):
+                if arg == "--profile" and i + 1 < len(args):
+                    profile_dir = args[i + 1]
+                    if os.path.isdir(profile_dir):
+                        logger.info(f"[_detect_firefox_profile] 从 cmdline 找到 --profile: {profile_dir}")
+                        return profile_dir
+                elif arg.startswith("--profile="):
+                    profile_dir = arg.split("=", 1)[1]
+                    if os.path.isdir(profile_dir):
+                        logger.info(f"[_detect_firefox_profile] 从 cmdline 找到 --profile=: {profile_dir}")
+                        return profile_dir
+
+            # 没有 --profile 参数 → Firefox 使用 profiles.ini 中的默认 profile
+            return None
+        except Exception as e:
+            logger.debug(f"[_detect_firefox_profile] 检测失败: {e}")
+            return None
+
+    @staticmethod
+    def _get_firefox_default_profile() -> Optional[str]:
+        """[v1.47.26] 从 profiles.ini 获取 Firefox 默认 profile 目录路径。
+
+        Firefox 的 profiles.ini 格式:
+            [Profile0]
+            Name=default
+            IsRelative=1
+            Path=default
+            Default=1
+
+            [General]
+            StartWithLastProfile=1
+
+        如果 profiles.ini 不存在或解析失败，尝试直接检测
+        ~/.mozilla/firefox/default 目录。
+
+        Returns:
+            Firefox 默认 profile 目录的绝对路径，失败返回 None
+        """
+        ff_base = os.path.expanduser("~/.mozilla/firefox")
+        profiles_ini = os.path.join(ff_base, "profiles.ini")
+
+        # 方法1: 解析 profiles.ini
+        if os.path.isfile(profiles_ini):
+            try:
+                import configparser
+                config = configparser.ConfigParser()
+                config.read(profiles_ini)
+
+                # 查找标记为 Default=1 的 profile
+                for section in config.sections():
+                    if section.startswith("Profile"):
+                        is_default = config.get(section, "Default", fallback="")
+                        is_relative = config.get(section, "IsRelative", fallback="1")
+                        path = config.get(section, "Path", fallback="")
+
+                        if is_default == "1" and path:
+                            if is_relative == "1":
+                                full_path = os.path.join(ff_base, path)
+                            else:
+                                full_path = path
+                            if os.path.isdir(full_path):
+                                logger.info(f"[_get_firefox_default_profile] profiles.ini Default profile: {full_path}")
+                                return full_path
+
+                # 没有 Default=1，取第一个 Profile section
+                for section in config.sections():
+                    if section.startswith("Profile"):
+                        path = config.get(section, "Path", fallback="")
+                        is_relative = config.get(section, "IsRelative", fallback="1")
+                        if path:
+                            full_path = os.path.join(ff_base, path) if is_relative == "1" else path
+                            if os.path.isdir(full_path):
+                                logger.info(f"[_get_firefox_default_profile] profiles.ini 第一个 profile: {full_path}")
+                                return full_path
+            except Exception as e:
+                logger.debug(f"[_get_firefox_default_profile] profiles.ini 解析失败: {e}")
+
+        # 方法2: 直接检测 ~/.mozilla/firefox/default 目录
+        default_dir = os.path.join(ff_base, "default")
+        if os.path.isdir(default_dir):
+            logger.info(f"[_get_firefox_default_profile] 直接找到 default 目录: {default_dir}")
+            return default_dir
+
+        # 方法3: 扫描所有 Firefox profile 子目录
+        if os.path.isdir(ff_base):
+            try:
+                for entry in sorted(os.listdir(ff_base)):
+                    entry_path = os.path.join(ff_base, entry)
+                    if not os.path.isdir(entry_path):
+                        continue
+                    # Firefox profile 目录特征：包含 prefs.js
+                    if os.path.isfile(os.path.join(entry_path, "prefs.js")):
+                        logger.info(f"[_get_firefox_default_profile] 扫描找到 profile: {entry_path}")
+                        return entry_path
+            except Exception:
+                pass
+
+        return None
+
     def _firefox_read_sessionstore(self, max_wait: float = 5.0) -> dict:
         """[v1.47.20] 读取 Firefox sessionstore 获取当前标签页 URL/标题。
 
@@ -2242,8 +2498,33 @@ class StealthBrowser:
 
         # 搜索可能的 sessionstore 路径
         search_dirs = []
-        if self._firefox_profile_dir:
+
+        # [v1.47.26] 优先搜索 Firefox 实际使用的 profile 目录
+        # 先尝试从运行中 Firefox 进程检测实际 profile
+        actual_profile = None
+        try:
+            result = subprocess.run(
+                ["pgrep", "-f", "firefox"],
+                capture_output=True, text=True, timeout=3,
+            )
+            if result.returncode == 0 and result.stdout.strip():
+                pid = result.stdout.strip().split()[0]
+                actual_profile = self._detect_firefox_profile(pid)
+        except Exception:
+            pass
+
+        if actual_profile and os.path.isdir(actual_profile) and actual_profile not in search_dirs:
+            search_dirs.append(actual_profile)
+            logger.info(f"[_firefox_read_sessionstore] 搜索实际 Firefox profile: {actual_profile}")
+
+        # 也从 profiles.ini 获取默认 profile
+        default_profile = self._get_firefox_default_profile()
+        if default_profile and os.path.isdir(default_profile) and default_profile not in search_dirs:
+            search_dirs.append(default_profile)
+
+        if self._firefox_profile_dir and os.path.isdir(self._firefox_profile_dir) and self._firefox_profile_dir not in search_dirs:
             search_dirs.append(self._firefox_profile_dir)
+
         # 也搜索 Firefox 默认 profile 和 vnc_manager 启动的 profile
         ff_base = os.path.expanduser("~/.mozilla/firefox")
         for extra in [
@@ -2252,7 +2533,8 @@ class StealthBrowser:
         ]:
             if os.path.isdir(extra) and extra not in search_dirs:
                 search_dirs.append(extra)
-        # [v1.47.24] 搜索所有 Firefox profile 子目录（如 xxx.default-release）
+
+        # 搜索所有 Firefox profile 子目录（如 xxx.default-release）
         try:
             if os.path.isdir(ff_base):
                 for entry in os.listdir(ff_base):
@@ -2265,6 +2547,12 @@ class StealthBrowser:
         except Exception:
             pass
 
+        # [v1.47.26] 详细记录搜索路径
+        logger.info(
+            f"[_firefox_read_sessionstore] 搜索 {len(search_dirs)} 个目录: "
+            f"{[d.replace(os.path.expanduser('~'), '~') for d in search_dirs]}"
+        )
+
         # [v1.47.24] 等待 Firefox 写入 sessionstore（刚导航完可能还没写入）
         _start_time = time.time()
         while True:

package/aiskills/chromedev_mcp.py

@@ -189,55 +189,27 @@ def _ensure_display() -> Optional[str]:
             logger.info(f"VNC 远程桌面已在运行，复用显示: {display}")
             return display
 
-        # [v1.47.13] VNC 未运行 → 尝试自动启动
-        # 修复: 不能在 ThreadPoolExecutor + asyncio.run 中直接调用 vnc.start()！
-        # 因为 vnc.start() 内部用 asyncio.Lock()，跨 event loop 会导致死锁。
-        # 正确做法：在单独线程中用 asyncio.run 启动，然后轮询等待 VNC 就绪。
+        # VNC 未运行 → 尝试自动启动
         try:
             import asyncio
-            import concurrent.futures
-
-            def _start_vnc_in_thread():
-                try:
-                    return asyncio.run(vnc.start())
-                except Exception as e:
-                    return {"success": False, "message": str(e)}
-
-            with concurrent.futures.ThreadPoolExecutor(max_workers=1) as pool:
-                future = pool.submit(_start_vnc_in_thread)
-
-                max_wait = 60
-                check_interval = 2
-                elapsed = 0
-                while elapsed < max_wait:
-                    if vnc.is_running:
-                        display = vnc.display
-                        os.environ["DISPLAY"] = display
-                        logger.info(f"VNC 远程桌面已启动，复用显示: {display}")
-                        return display
-
-                    try:
-                        result = future.result(timeout=0.1)
-                        if result.get("success") or vnc.is_running:
-                            display = vnc.display
-                            os.environ["DISPLAY"] = display
-                            logger.info(f"VNC 远程桌面已启动，显示: {display}")
-                            return display
-                        else:
-                            logger.warning(f"VNC 启动失败: {result.get('message', '')}")
-                            break
-                    except concurrent.futures.TimeoutError:
-                        pass
-
-                    import time
-                    time.sleep(check_interval)
-                    elapsed += check_interval
-
-                if vnc.is_running:
-                    display = vnc.display
-                    os.environ["DISPLAY"] = display
-                    return display
-
+            try:
+                loop = asyncio.get_event_loop()
+                if loop.is_running():
+                    import concurrent.futures
+                    with concurrent.futures.ThreadPoolExecutor() as pool:
+                        result = pool.submit(asyncio.run, vnc.start()).result(timeout=30)
+                else:
+                    result = asyncio.run(vnc.start())
+            except RuntimeError:
+                result = asyncio.run(vnc.start())
+
+            if result.get("success"):
+                display = vnc.display
+                os.environ["DISPLAY"] = display
+                logger.info(f"VNC 远程桌面已自动启动，显示: {display}")
+                return display
+            else:
+                logger.warning(f"VNC 自动启动失败: {result.get('message', '')}")
         except Exception as e:
             logger.warning(f"VNC 自动启动异常: {e}")
 
@@ -1372,26 +1344,6 @@ class BrowserOpenSkill(Skill):
         if not url:
             return SkillResult(success=False, error="缺少必需参数: url")
 
-        # [v1.47.20] VNC 模式下：Chromium 不可用时回退到 stealth_browser_navigate
-        try:
-            from core.vnc_manager import get_vnc_manager
-            vnc_mgr = get_vnc_manager()
-            if vnc_mgr.is_running:
-                # 检查是否有可用的 Chromium
-                import shutil
-                has_chrome = bool(shutil.which("chromium-browser") or shutil.which("chromium")
-                                 or shutil.which("google-chrome"))
-                if not has_chrome:
-                    # VNC 模式下无 Chromium，回退到 stealth_browser
-                    return SkillResult(
-                        success=False,
-                        error="VNC 远程桌面模式下没有 Chromium 浏览器，无法使用 browser_open。"
-                              "请改用 stealth_browser_start + stealth_browser_navigate 操作 Firefox。"
-                              "Firefox 在 VNC 模式下已可用。",
-                    )
-        except ImportError:
-            pass  # vnc_manager 不可用，跳过检测
-
         # 检查依赖
         dep_err = await asyncio.get_event_loop().run_in_executor(None, _ensure_node_deps)
         if dep_err: