myagent-ai 1.47.25 → 1.47.26

package/aiskills/browser_stealth.py

@@ -34,6 +34,7 @@ import json
 import os
 import shutil
 import subprocess
+import sys
 import threading
 import time
 from pathlib import Path
@@ -880,12 +881,29 @@ class StealthBrowser:
                 capture_output=True, text=True, timeout=5,
             )
             if result.returncode == 0 and result.stdout.strip():
-                logger.info(f"检测到已有 Firefox 运行 (PID: {result.stdout.strip().split()[0]})，复用")
+                pid = result.stdout.strip().split()[0]
+                logger.info(f"检测到已有 Firefox 运行 (PID: {pid})，复用")
+
+                # [v1.47.26] 修正 profile 目录：已有 Firefox 可能用的是 VNC manager 启动的
+                # 默认 profile (~/.mozilla/firefox/default)，而不是 browser_profile_manager 路径
+                # 读取 Firefox 的命令行参数来确定实际使用的 profile
+                actual_profile = self._detect_firefox_profile(pid)
+                if actual_profile:
+                    logger.info(f"检测到已有 Firefox 使用的 profile: {actual_profile}")
+                    self._firefox_profile_dir = actual_profile
+                else:
+                    # 从 profiles.ini 推断默认 profile
+                    default_profile = self._get_firefox_default_profile()
+                    if default_profile:
+                        logger.info(f"使用 Firefox 默认 profile: {default_profile}")
+                        self._firefox_profile_dir = default_profile
+
                 self._started = True
                 return SkillResult(
                     success=True,
-                    message=f"Firefox 已在 VNC 中运行 (Profile: {self.profile_name})",
-                    data={"profile": self.profile_name, "mode": "firefox_vnc", "reused": True},
+                    message=f"Firefox 已在 VNC 中运行 (Profile: {self.profile_name}, 实际目录: {self._firefox_profile_dir})",
+                    data={"profile": self.profile_name, "mode": "firefox_vnc", "reused": True,
+                          "firefox_profile_dir": self._firefox_profile_dir},
                 )
         except Exception:
             pass
@@ -2097,10 +2115,27 @@ class StealthBrowser:
             )
 
     def _firefox_screenshot(self, save_path: str = "") -> SkillResult:
-        """Firefox+VNC 模式下通过 xdotool + import 截图。"""
+        """Firefox+VNC 模式下截图。
+
+        截图方法优先级（纯 Python 优先，无需外部工具）：
+        1. python-xlib + Pillow — 纯 Python X11 协议截图，proot 下最可靠
+        2. ImageMagick import — 外部命令，需安装 imagemagick
+        3. scrot — 轻量截图工具
+        4. xwd + convert — 需要 xwd + imagemagick
+        5. xwd + ffmpeg — 需要 xwd + ffmpeg
+        6. xwd + Pillow — 需要 xwd，Pillow 转换
+        """
         display = os.environ.get("DISPLAY", ":99")
         env = {**os.environ, "DISPLAY": display}
 
+        # [v1.47.26] 检测 python-xlib 是否可用（用于截图方法和错误报告）
+        _xlib_available = False
+        try:
+            from Xlib import display as _xd  # noqa: F401
+            _xlib_available = True
+        except ImportError:
+            pass
+
         try:
             if not save_path:
                 from core.browser_profile import get_browser_profile_manager
@@ -2109,7 +2144,40 @@ class StealthBrowser:
                 timestamp = time.strftime("%Y%m%d_%H%M%S")
                 save_path = str(save_dir / f"firefox_{timestamp}.png")
 
-            # 方法1: 使用 ImageMagick import 截取整个屏幕
+            # 方法1: python-xlib + Pillow — 纯 Python X11 协议截图（无需外部工具）
+            # [v1.47.26] 这是 proot 环境下最可靠的方法，不依赖 import/scrot/xwd 等外部命令
+            try:
+                from Xlib import display as xdisplay
+                from PIL import Image as PILImage
+
+                disp = xdisplay.Display(os.environ.get("DISPLAY", ":99"))
+                screen = disp.screen()
+                root = screen.root
+                geom = root.get_geometry()
+                width = geom.width
+                height = geom.height
+
+                # XGetImage 获取原始像素数据
+                raw = root.get_image(0, 0, width, height, xdisplay.X.ZPixmap, 0xffffffff)
+                # raw.data 是 bytes，格式为 BGRX（每像素4字节）
+                img = PILImage.frombytes("RGB", (width, height), raw.data, "raw", "BGRX")
+                img.save(save_path, "PNG")
+
+                if os.path.isfile(save_path):
+                    logger.info(f"Firefox 截图已保存 (python-xlib): {save_path}")
+                    return SkillResult(
+                        success=True,
+                        message="Firefox+VNC 截图已保存 (python-xlib)",
+                        data={"path": save_path},
+                    )
+                else:
+                    logger.warning("[_firefox_screenshot] python-xlib 截图保存失败")
+            except ImportError:
+                logger.debug("[_firefox_screenshot] python-xlib 未安装，跳过纯 Python 截图")
+            except Exception as xlib_err:
+                logger.warning(f"[_firefox_screenshot] python-xlib 截图失败: {xlib_err}")
+
+            # 方法2: 使用 ImageMagick import 截取整个屏幕
             import_cmd = shutil.which("import")
             if import_cmd:
                 result = subprocess.run(
@@ -2240,20 +2308,180 @@ class StealthBrowser:
                 pass
 
             _available = []
+            _available.append("python-xlib" if _xlib_available else "python-xlib❌")
             if import_cmd: _available.append("import")
             if scrot_cmd: _available.append("scrot")
             if xwd_cmd and convert_cmd: _available.append("xwd+convert")
             if xwd_cmd and ffmpeg_cmd: _available.append("xwd+ffmpeg")
-            _tried = ", ".join(_available) if _available else "无"
+            _tried = ", ".join(_available)
+
+            # [v1.47.26] 自动安装 python-xlib（如果未安装）
+            if not _xlib_available:
+                logger.info("[_firefox_screenshot] 尝试自动安装 python-xlib ...")
+                try:
+                    result = subprocess.run(
+                        [sys.executable, "-m", "pip", "install", "python-xlib", "-q"],
+                        capture_output=True, timeout=60,
+                    )
+                    if result.returncode == 0:
+                        logger.info("[_firefox_screenshot] python-xlib 安装成功，重试截图")
+                        try:
+                            from Xlib import display as xdisplay
+                            from PIL import Image as PILImage
+                            disp = xdisplay.Display(os.environ.get("DISPLAY", ":99"))
+                            screen = disp.screen()
+                            root = screen.root
+                            geom = root.get_geometry()
+                            raw = root.get_image(0, 0, geom.width, geom.height, xdisplay.X.ZPixmap, 0xffffffff)
+                            img = PILImage.frombytes("RGB", (geom.width, geom.height), raw.data, "raw", "BGRX")
+                            img.save(save_path, "PNG")
+                            if os.path.isfile(save_path):
+                                logger.info(f"Firefox 截图已保存 (python-xlib 安装后): {save_path}")
+                                return SkillResult(
+                                    success=True,
+                                    message="Firefox+VNC 截图已保存 (python-xlib)",
+                                    data={"path": save_path},
+                                )
+                        except Exception as retry_err:
+                            logger.warning(f"[_firefox_screenshot] python-xlib 安装后截图仍失败: {retry_err}")
+                    else:
+                        logger.warning(f"[_firefox_screenshot] python-xlib 安装失败: {result.stderr.decode(errors='ignore')[:200]}")
+                except Exception as pip_err:
+                    logger.warning(f"[_firefox_screenshot] pip install python-xlib 异常: {pip_err}")
 
             return SkillResult(
                 success=False,
                 error=f"Firefox+VNC 截图失败 (尝试过: {_tried}) "
-                      f"— 需要 ImageMagick / scrot / xwd+convert/ffmpeg",
+                      f"— 需要 python-xlib (pip install python-xlib) 或 ImageMagick/scrot",
             )
         except Exception as e:
             return SkillResult(success=False, error=f"Firefox+VNC 截图失败: {e}")
 
+    @staticmethod
+    def _detect_firefox_profile(pid: str) -> Optional[str]:
+        """[v1.47.26] 从运行中 Firefox 进程的命令行参数检测其 profile 目录。
+
+        读取 /proc/<pid>/cmdline 获取 Firefox 启动参数，查找 --profile 或
+        从 --user-data-dir 推断 profile 位置。
+
+        Args:
+            pid: Firefox 进程 PID
+
+        Returns:
+            Firefox profile 目录路径，检测失败返回 None
+        """
+        try:
+            cmdline_path = f"/proc/{pid}/cmdline"
+            if not os.path.isfile(cmdline_path):
+                return None
+
+            with open(cmdline_path, "rb") as f:
+                cmdline_data = f.read()
+
+            # /proc/pid/cmdline 用 \0 分隔参数
+            args = cmdline_data.decode("utf-8", errors="replace").split("\0")
+            args = [a for a in args if a.strip()]
+
+            # 查找 --profile 参数
+            for i, arg in enumerate(args):
+                if arg == "--profile" and i + 1 < len(args):
+                    profile_dir = args[i + 1]
+                    if os.path.isdir(profile_dir):
+                        logger.info(f"[_detect_firefox_profile] 从 cmdline 找到 --profile: {profile_dir}")
+                        return profile_dir
+                elif arg.startswith("--profile="):
+                    profile_dir = arg.split("=", 1)[1]
+                    if os.path.isdir(profile_dir):
+                        logger.info(f"[_detect_firefox_profile] 从 cmdline 找到 --profile=: {profile_dir}")
+                        return profile_dir
+
+            # 没有 --profile 参数 → Firefox 使用 profiles.ini 中的默认 profile
+            return None
+        except Exception as e:
+            logger.debug(f"[_detect_firefox_profile] 检测失败: {e}")
+            return None
+
+    @staticmethod
+    def _get_firefox_default_profile() -> Optional[str]:
+        """[v1.47.26] 从 profiles.ini 获取 Firefox 默认 profile 目录路径。
+
+        Firefox 的 profiles.ini 格式:
+            [Profile0]
+            Name=default
+            IsRelative=1
+            Path=default
+            Default=1
+
+            [General]
+            StartWithLastProfile=1
+
+        如果 profiles.ini 不存在或解析失败，尝试直接检测
+        ~/.mozilla/firefox/default 目录。
+
+        Returns:
+            Firefox 默认 profile 目录的绝对路径，失败返回 None
+        """
+        ff_base = os.path.expanduser("~/.mozilla/firefox")
+        profiles_ini = os.path.join(ff_base, "profiles.ini")
+
+        # 方法1: 解析 profiles.ini
+        if os.path.isfile(profiles_ini):
+            try:
+                import configparser
+                config = configparser.ConfigParser()
+                config.read(profiles_ini)
+
+                # 查找标记为 Default=1 的 profile
+                for section in config.sections():
+                    if section.startswith("Profile"):
+                        is_default = config.get(section, "Default", fallback="")
+                        is_relative = config.get(section, "IsRelative", fallback="1")
+                        path = config.get(section, "Path", fallback="")
+
+                        if is_default == "1" and path:
+                            if is_relative == "1":
+                                full_path = os.path.join(ff_base, path)
+                            else:
+                                full_path = path
+                            if os.path.isdir(full_path):
+                                logger.info(f"[_get_firefox_default_profile] profiles.ini Default profile: {full_path}")
+                                return full_path
+
+                # 没有 Default=1，取第一个 Profile section
+                for section in config.sections():
+                    if section.startswith("Profile"):
+                        path = config.get(section, "Path", fallback="")
+                        is_relative = config.get(section, "IsRelative", fallback="1")
+                        if path:
+                            full_path = os.path.join(ff_base, path) if is_relative == "1" else path
+                            if os.path.isdir(full_path):
+                                logger.info(f"[_get_firefox_default_profile] profiles.ini 第一个 profile: {full_path}")
+                                return full_path
+            except Exception as e:
+                logger.debug(f"[_get_firefox_default_profile] profiles.ini 解析失败: {e}")
+
+        # 方法2: 直接检测 ~/.mozilla/firefox/default 目录
+        default_dir = os.path.join(ff_base, "default")
+        if os.path.isdir(default_dir):
+            logger.info(f"[_get_firefox_default_profile] 直接找到 default 目录: {default_dir}")
+            return default_dir
+
+        # 方法3: 扫描所有 Firefox profile 子目录
+        if os.path.isdir(ff_base):
+            try:
+                for entry in sorted(os.listdir(ff_base)):
+                    entry_path = os.path.join(ff_base, entry)
+                    if not os.path.isdir(entry_path):
+                        continue
+                    # Firefox profile 目录特征：包含 prefs.js
+                    if os.path.isfile(os.path.join(entry_path, "prefs.js")):
+                        logger.info(f"[_get_firefox_default_profile] 扫描找到 profile: {entry_path}")
+                        return entry_path
+            except Exception:
+                pass
+
+        return None
+
     def _firefox_read_sessionstore(self, max_wait: float = 5.0) -> dict:
         """[v1.47.20] 读取 Firefox sessionstore 获取当前标签页 URL/标题。
 
@@ -2270,8 +2498,33 @@ class StealthBrowser:
 
         # 搜索可能的 sessionstore 路径
         search_dirs = []
-        if self._firefox_profile_dir:
+
+        # [v1.47.26] 优先搜索 Firefox 实际使用的 profile 目录
+        # 先尝试从运行中 Firefox 进程检测实际 profile
+        actual_profile = None
+        try:
+            result = subprocess.run(
+                ["pgrep", "-f", "firefox"],
+                capture_output=True, text=True, timeout=3,
+            )
+            if result.returncode == 0 and result.stdout.strip():
+                pid = result.stdout.strip().split()[0]
+                actual_profile = self._detect_firefox_profile(pid)
+        except Exception:
+            pass
+
+        if actual_profile and os.path.isdir(actual_profile) and actual_profile not in search_dirs:
+            search_dirs.append(actual_profile)
+            logger.info(f"[_firefox_read_sessionstore] 搜索实际 Firefox profile: {actual_profile}")
+
+        # 也从 profiles.ini 获取默认 profile
+        default_profile = self._get_firefox_default_profile()
+        if default_profile and os.path.isdir(default_profile) and default_profile not in search_dirs:
+            search_dirs.append(default_profile)
+
+        if self._firefox_profile_dir and os.path.isdir(self._firefox_profile_dir) and self._firefox_profile_dir not in search_dirs:
             search_dirs.append(self._firefox_profile_dir)
+
         # 也搜索 Firefox 默认 profile 和 vnc_manager 启动的 profile
         ff_base = os.path.expanduser("~/.mozilla/firefox")
         for extra in [
@@ -2280,7 +2533,8 @@ class StealthBrowser:
         ]:
             if os.path.isdir(extra) and extra not in search_dirs:
                 search_dirs.append(extra)
-        # [v1.47.24] 搜索所有 Firefox profile 子目录（如 xxx.default-release）
+
+        # 搜索所有 Firefox profile 子目录（如 xxx.default-release）
         try:
             if os.path.isdir(ff_base):
                 for entry in os.listdir(ff_base):
@@ -2293,6 +2547,12 @@ class StealthBrowser:
         except Exception:
             pass
 
+        # [v1.47.26] 详细记录搜索路径
+        logger.info(
+            f"[_firefox_read_sessionstore] 搜索 {len(search_dirs)} 个目录: "
+            f"{[d.replace(os.path.expanduser('~'), '~') for d in search_dirs]}"
+        )
+
         # [v1.47.24] 等待 Firefox 写入 sessionstore（刚导航完可能还没写入）
         _start_time = time.time()
         while True:

package/core/vnc_manager.py

@@ -452,6 +452,7 @@ class VNCManager:
 
         # [v1.47.25] 截图工具 — Firefox+VNC 模式必需，用于获取页面内容
         # imagemagick 提供 `import` 命令（X11 截图），scrot 作为备选
+        # [v1.47.26] python-xlib 是纯 Python X11 协议截图方案（无需外部工具），最可靠
         if not shutil.which("import") and not shutil.which("scrot"):
             packages_to_install.append("imagemagick")
 
@@ -522,6 +523,9 @@ class VNCManager:
         if not shutil.which("websockify"):
             self._install_websockify_quick()
 
+        # [v1.47.26] python-xlib pip 安装 — Firefox+VNC 截图依赖
+        self._install_python_xlib_quick()
+
         msg = "VNC 依赖安装完成（后台）"
         return True, msg
 
@@ -592,6 +596,29 @@ class VNCManager:
         except Exception as e:
             logger.warning(f"websockify 安装异常: {e}")
 
+    def _install_python_xlib_quick(self) -> None:
+        """[v1.47.26] 快速安装 python-xlib（pip）— Firefox+VNC 截图必需"""
+        try:
+            from Xlib import display  # noqa: F401
+            return  # 已安装
+        except ImportError:
+            pass
+        try:
+            logger.info("pip install python-xlib — Firefox+VNC 截图依赖")
+            pip_cmd = shutil.which("pip3") or shutil.which("pip")
+            if pip_cmd:
+                result = subprocess.run(
+                    [pip_cmd, "install", "python-xlib", "-q"],
+                    capture_output=True, text=True, timeout=60,
+                    start_new_session=True,
+                )
+                if result.returncode == 0:
+                    logger.info("python-xlib 安装成功")
+                else:
+                    logger.warning(f"python-xlib 安装失败: {result.stderr[-200:]}")
+        except Exception as e:
+            logger.warning(f"python-xlib 安装异常: {e}")
+
     def _install_packages_one_by_one(self, sudo: list, packages: list) -> None:
         """[v1.34.0] 逐个安装包 — 批量安装失败时的回退策略。
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "myagent-ai",
-  "version": "1.47.25",
+  "version": "1.47.26",
   "description": "\u672c\u5730\u684c\u9762\u7aef\u6267\u884c\u578bAI\u52a9\u624b - Open Interpreter \u98ce\u683c | Local Desktop Execution-Oriented AI Assistant",
   "main": "main.py",
   "bin": {

package/requirements.txt

@@ -52,6 +52,7 @@ mss>=9.0.0
 # pystray>=0.19.5
 Pillow>=10.0.0
 lz4>=4.0.0
+python-xlib>=0.33  # [v1.47.26] Firefox+VNC 模式截图（纯 Python X11 协议，无需外部截图工具）
 
 # ============================================================
 # 聊天平台 (按需使用，默认安装)