mobile-mcp-ai 2.3.3__tar.gz → 2.3.4__tar.gz

{mobile_mcp_ai-2.3.3/mobile_mcp_ai.egg-info → mobile_mcp_ai-2.3.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mobile-mcp-ai
-Version: 2.3.3
+Version: 2.3.4
 Summary: 移动端自动化 MCP Server - 支持 Android/iOS，AI 功能可选（基础工具不需要 AI）
 Home-page: https://github.com/test111ddff-hash/mobile-mcp-ai
 Author: douzi

{mobile_mcp_ai-2.3.3 → mobile_mcp_ai-2.3.4}/core/basic_tools_lite.py

@@ -109,6 +109,9 @@ class BasicMobileToolsLite:
                 img = Image.open(temp_path)
                 
                 # 第3步：缩小尺寸（保持宽高比）
+                # 记录压缩后的图片尺寸（用于坐标转换）
+                image_width, image_height = img.width, img.height
+                
                 if img.width > max_width:
                     ratio = max_width / img.width
                     new_w = max_width
@@ -125,6 +128,8 @@ class BasicMobileToolsLite:
                             # Pillow 旧版本
                             resample = Image.ANTIALIAS
                     img = img.resize((new_w, new_h), resample)
+                    # 更新为压缩后的尺寸
+                    image_width, image_height = new_w, new_h
                 
                 # 第4步：生成最终文件名（JPEG 格式）
                 if description:
@@ -160,14 +165,18 @@ class BasicMobileToolsLite:
                     "screenshot_path": str(final_path),
                     "screen_width": screen_width,
                     "screen_height": screen_height,
+                    "image_width": image_width,
+                    "image_height": image_height,
                     "original_size": f"{original_size/1024:.1f}KB",
                     "compressed_size": f"{compressed_size/1024:.1f}KB",
                     "saved_percent": f"{saved_percent:.0f}%",
                     "message": f"📸 截图已保存: {final_path}\n"
                               f"📐 屏幕尺寸: {screen_width}x{screen_height}\n"
+                              f"🖼️ 图片尺寸: {image_width}x{image_height}（AI 分析用）\n"
                               f"📦 已压缩: {original_size/1024:.0f}KB → {compressed_size/1024:.0f}KB (省 {saved_percent:.0f}%)\n"
-                              f"💡 Cursor 分析图片后，返回的坐标可直接用于 mobile_click_at_coords\n"
-                              f"💡 或使用 mobile_click_by_percent 进行跨设备兼容点击"
+                              f"⚠️ 【重要】AI 返回的坐标需要转换！\n"
+                              f"   请使用 mobile_click_at_coords 并传入 image_width={image_width}, image_height={image_height}\n"
+                              f"   工具会自动将图片坐标转换为屏幕坐标"
                 }
             else:
                 # 不压缩，直接重命名临时文件
@@ -180,11 +189,14 @@ class BasicMobileToolsLite:
                 final_path = self.screenshot_dir / filename
                 temp_path.rename(final_path)
                 
+                # 不压缩时，图片尺寸 = 屏幕尺寸
                 return {
                     "success": True,
                     "screenshot_path": str(final_path),
                     "screen_width": screen_width,
                     "screen_height": screen_height,
+                    "image_width": screen_width,
+                    "image_height": screen_height,
                     "file_size": f"{original_size/1024:.1f}KB",
                     "message": f"📸 截图已保存: {final_path}\n"
                               f"📐 屏幕尺寸: {screen_width}x{screen_height}\n"
@@ -226,11 +238,14 @@ class BasicMobileToolsLite:
                 width = info.get('displayWidth', 0)
                 height = info.get('displayHeight', 0)
             
+            # 不压缩时，图片尺寸 = 屏幕尺寸
             return {
                 "success": True,
                 "screenshot_path": str(screenshot_path),
                 "screen_width": width,
                 "screen_height": height,
+                "image_width": width,
+                "image_height": height,
                 "message": f"📸 截图已保存: {screenshot_path}\n"
                           f"📐 屏幕尺寸: {width}x{height}\n"
                           f"⚠️ 未压缩（PIL 未安装），建议安装: pip install Pillow"
@@ -266,25 +281,51 @@ class BasicMobileToolsLite:
     
     # ==================== 点击操作 ====================
     
-    def click_at_coords(self, x: int, y: int) -> Dict:
-        """点击坐标（核心功能）"""
+    def click_at_coords(self, x: int, y: int, image_width: int = 0, image_height: int = 0) -> Dict:
+        """点击坐标（核心功能，支持自动坐标转换）
+        
+        Args:
+            x: X 坐标（来自截图分析或屏幕坐标）
+            y: Y 坐标（来自截图分析或屏幕坐标）
+            image_width: 截图的宽度（可选，传入后自动转换坐标）
+            image_height: 截图的高度（可选，传入后自动转换坐标）
+        
+        坐标转换说明：
+            如果截图被压缩过（如 1080→720），AI 返回的坐标是基于压缩图的。
+            传入 image_width/image_height 后，工具会自动将坐标转换为屏幕坐标。
+        """
         try:
-            # 获取屏幕尺寸（用于后续转换百分比）
+            # 获取屏幕尺寸
             screen_width, screen_height = 0, 0
             if self._is_ios():
                 ios_client = self._get_ios_client()
                 if ios_client and hasattr(ios_client, 'wda'):
-                    ios_client.wda.click(x, y)
                     size = ios_client.wda.window_size()
                     screen_width, screen_height = size[0], size[1]
                 else:
                     return {"success": False, "message": "❌ iOS 客户端未初始化"}
             else:
-                self.client.u2.click(x, y)
                 info = self.client.u2.info
                 screen_width = info.get('displayWidth', 0)
                 screen_height = info.get('displayHeight', 0)
             
+            # 🎯 坐标转换：如果传入了图片尺寸，将图片坐标转换为屏幕坐标
+            original_x, original_y = x, y
+            converted = False
+            if image_width > 0 and image_height > 0 and screen_width > 0 and screen_height > 0:
+                if image_width != screen_width or image_height != screen_height:
+                    # 按比例转换坐标
+                    x = int(x * screen_width / image_width)
+                    y = int(y * screen_height / image_height)
+                    converted = True
+            
+            # 执行点击
+            if self._is_ios():
+                ios_client = self._get_ios_client()
+                ios_client.wda.click(x, y)
+            else:
+                self.client.u2.click(x, y)
+            
             time.sleep(0.3)
             
             # 计算百分比坐标（用于跨设备兼容）
@@ -303,10 +344,18 @@ class BasicMobileToolsLite:
                 ref=f"coords_{x}_{y}"
             )
             
-            return {
-                "success": True,
-                "message": f"✅ 点击成功: ({x}, {y}) [相对位置: {x_percent}%, {y_percent}%]"
-            }
+            if converted:
+                return {
+                    "success": True,
+                    "message": f"✅ 点击成功: ({x}, {y})\n"
+                              f"   📐 坐标已转换: ({original_x},{original_y}) → ({x},{y})\n"
+                              f"   🖼️ 图片尺寸: {image_width}x{image_height} → 屏幕: {screen_width}x{screen_height}"
+                }
+            else:
+                return {
+                    "success": True,
+                    "message": f"✅ 点击成功: ({x}, {y}) [相对位置: {x_percent}%, {y_percent}%]"
+                }
         except Exception as e:
             return {"success": False, "message": f"❌ 点击失败: {e}"}
     
@@ -813,97 +862,6 @@ class BasicMobileToolsLite:
         except Exception as e:
             return {"success": False, "message": f"❌ 断言失败: {e}"}
     
-    def close_ad(self, keywords: Optional[List[str]] = None, max_attempts: int = 3) -> Dict:
-        """关闭广告弹窗
-        
-        自动检测并点击广告关闭按钮，支持多种关闭方式：
-        1. 文本匹配：关闭、跳过、Skip、Close 等
-        2. 特殊符号：×、X、✕ 等
-        3. content-desc 匹配
-        
-        Args:
-            keywords: 自定义关键词列表，默认使用内置关键词
-            max_attempts: 最大尝试次数，默认3次（处理多层弹窗）
-        
-        Returns:
-            关闭结果，包含关闭的广告数量
-        """
-        # 默认关键词（按优先级排序）
-        default_keywords = [
-            '关闭', '跳过', 'Skip', 'Close', 'close',
-            '×', 'X', '✕', '╳',
-            '我知道了', '稍后再说', '不再提示', '取消',
-            '知道了', '好的', '确定',
-            'Later', 'No thanks', 'Not now', 'Dismiss'
-        ]
-        
-        search_keywords = keywords if keywords else default_keywords
-        closed_count = 0
-        closed_items = []
-        
-        try:
-            for attempt in range(max_attempts):
-                found_in_this_round = False
-                
-                for keyword in search_keywords:
-                    try:
-                        if self._is_ios():
-                            ios_client = self._get_ios_client()
-                            if ios_client and hasattr(ios_client, 'wda'):
-                                # iOS: 尝试 name 和 label
-                                elem = ios_client.wda(name=keyword)
-                                if not elem.exists:
-                                    elem = ios_client.wda(label=keyword)
-                                if not elem.exists:
-                                    elem = ios_client.wda(nameContains=keyword)
-                                
-                                if elem.exists:
-                                    elem.click()
-                                    time.sleep(0.5)
-                                    closed_count += 1
-                                    closed_items.append(keyword)
-                                    found_in_this_round = True
-                                    break
-                        else:
-                            # Android: 尝试 text 和 content-desc
-                            elem = self.client.u2(text=keyword)
-                            if not elem.exists(timeout=0.2):
-                                elem = self.client.u2(textContains=keyword)
-                            if not elem.exists(timeout=0.2):
-                                elem = self.client.u2(description=keyword)
-                            if not elem.exists(timeout=0.2):
-                                elem = self.client.u2(descriptionContains=keyword)
-                            
-                            if elem.exists(timeout=0.2):
-                                elem.click()
-                                time.sleep(0.5)
-                                closed_count += 1
-                                closed_items.append(keyword)
-                                found_in_this_round = True
-                                break
-                    except Exception:
-                        continue
-                
-                if not found_in_this_round:
-                    # 这一轮没找到广告，退出
-                    break
-            
-            if closed_count > 0:
-                return {
-                    "success": True,
-                    "closed_count": closed_count,
-                    "closed_items": closed_items,
-                    "message": f"✅ 已关闭 {closed_count} 个广告弹窗: {', '.join(closed_items)}"
-                }
-            else:
-                return {
-                    "success": True,
-                    "closed_count": 0,
-                    "message": "✅ 未发现广告弹窗（或已全部关闭）"
-                }
-        except Exception as e:
-            return {"success": False, "message": f"❌ 关闭广告失败: {e}"}
-    
     # ==================== 脚本生成 ====================
     
     def get_operation_history(self, limit: Optional[int] = None) -> Dict:

{mobile_mcp_ai-2.3.3 → mobile_mcp_ai-2.3.4}/core/mobile_client.py

@@ -825,34 +825,29 @@ class MobileClient:
                     return {"success": False, "reason": str(e)}
             
             # Android平台
-            # 🎯 尝试使用智能启动（如果模块存在）
+            # 🎯 优先使用智能启动（推荐）
             if smart_wait:
-                try:
-                    from .smart_app_launcher import SmartAppLauncher
-                    launcher = SmartAppLauncher(self)
-                    # 优化：快速模式，最多3秒
-                    smart_wait_time = min(wait_time, 3)
-                    
-                    # 🎯 从环境变量读取是否自动关闭广告（默认True）
-                    import os
-                    auto_close_ads = os.environ.get('AUTO_CLOSE_ADS', 'true').lower() in ['true', '1', 'yes']
-                    
-                    result = await launcher.launch_with_smart_wait(
-                        package_name,
-                        max_wait=smart_wait_time,
-                        auto_close_ads=auto_close_ads
-                    )
-                    
-                    # 打印截图路径（供Cursor AI查看验证）
-                    if result.get('screenshot_path'):
-                        print(f"\n📸 启动截图已保存: {result['screenshot_path']}", file=sys.stderr)
-                        print(f"💡 提示: 请查看截图确认App是否已正确进入主页", file=sys.stderr)
-                    
-                    return result
-                except ImportError:
-                    # SmartAppLauncher 模块不存在，使用传统方式
-                    print(f"  💡 智能启动模块未安装，使用传统启动方式", file=sys.stderr)
-                    # 继续执行下面的传统方式
+                from .smart_app_launcher import SmartAppLauncher
+                launcher = SmartAppLauncher(self)
+                # 优化：快速模式，最多3秒
+                smart_wait_time = min(wait_time, 3)
+                
+                # 🎯 从环境变量读取是否自动关闭广告（默认True）
+                import os
+                auto_close_ads = os.environ.get('AUTO_CLOSE_ADS', 'true').lower() in ['true', '1', 'yes']
+                
+                result = await launcher.launch_with_smart_wait(
+                    package_name,
+                    max_wait=smart_wait_time,
+                    auto_close_ads=auto_close_ads
+                )
+                
+                # 打印截图路径（供Cursor AI查看验证）
+                if result.get('screenshot_path'):
+                    print(f"\n📸 启动截图已保存: {result['screenshot_path']}", file=sys.stderr)
+                    print(f"💡 提示: 请查看截图确认App是否已正确进入主页", file=sys.stderr)
+                
+                return result
             
             # 传统方式（快速启动，不等待加载）
             print(f"  📱 启动App: {package_name}", file=sys.stderr)

{mobile_mcp_ai-2.3.3 → mobile_mcp_ai-2.3.4}/mcp_tools/mcp_server.py

@@ -156,12 +156,15 @@ class MobileMCPServer:
         # ==================== 截图（视觉兜底）====================
         tools.append(Tool(
             name="mobile_take_screenshot",
-            description="📸 截图（视觉定位用）。返回截图路径和屏幕尺寸。\n\n"
+            description="📸 截图（视觉定位用）。返回截图路径、屏幕尺寸和图片尺寸。\n\n"
                        "🎯 使用场景：\n"
                        "- 游戏（Unity/Cocos）无法获取元素时\n"
                        "- mobile_list_elements 返回空时\n"
                        "- 需要确认页面状态时\n\n"
-                       "⚠️ 截图分辨率 = 屏幕分辨率，坐标可直接使用",
+                       "⚠️ 【重要】截图会被压缩！\n"
+                       "   - screen_width/screen_height = 原始屏幕尺寸\n"
+                       "   - image_width/image_height = 压缩后图片尺寸（AI 看到的）\n"
+                       "   - 点击时必须传入 image_width/image_height 让工具自动转换坐标！",
             inputSchema={
                 "type": "object",
                 "properties": {
@@ -215,13 +218,17 @@ class MobileMCPServer:
                        "- 游戏（Unity/Cocos）无法获取元素\n"
                        "- mobile_list_elements 返回空\n"
                        "- 元素没有 id 和 text\n\n"
-                       "✅ 自动记录百分比坐标，生成脚本时会转换为跨分辨率兼容的百分比定位\n"
-                       "💡 录制测试脚本时，请先调用 mobile_list_elements 尝试获取元素！",
+                       "⚠️ 【重要】如果坐标来自压缩截图，必须传入 image_width 和 image_height！\n"
+                       "   截图返回的 image_width/image_height 字段就是需要传入的值。\n"
+                       "   工具会自动将图片坐标转换为屏幕坐标。\n\n"
+                       "✅ 自动记录百分比坐标，生成脚本时会转换为跨分辨率兼容的百分比定位",
             inputSchema={
                 "type": "object",
                 "properties": {
-                    "x": {"type": "number", "description": "X 坐标（像素）"},
-                    "y": {"type": "number", "description": "Y 坐标（像素）"}
+                    "x": {"type": "number", "description": "X 坐标（像素，来自截图分析或屏幕坐标）"},
+                    "y": {"type": "number", "description": "Y 坐标（像素，来自截图分析或屏幕坐标）"},
+                    "image_width": {"type": "number", "description": "截图的宽度（可选，传入后自动转换坐标）"},
+                    "image_height": {"type": "number", "description": "截图的高度（可选，传入后自动转换坐标）"}
                 },
                 "required": ["x", "y"]
             }
@@ -379,32 +386,6 @@ class MobileMCPServer:
             }
         ))
         
-        tools.append(Tool(
-            name="mobile_close_ad",
-            description="📢 关闭广告弹窗（自动检测并点击关闭按钮）\n\n"
-                       "🎯 自动检测以下关闭方式：\n"
-                       "- 文本：关闭、跳过、Skip、Close、我知道了、稍后再说\n"
-                       "- 符号：×、X、✕ 等\n"
-                       "- 无障碍描述（content-desc）\n\n"
-                       "💡 支持多层弹窗，最多尝试3次\n"
-                       "✅ 比视觉识别更准确，推荐使用！",
-            inputSchema={
-                "type": "object",
-                "properties": {
-                    "keywords": {
-                        "type": "array",
-                        "items": {"type": "string"},
-                        "description": "自定义关键词列表（可选，默认使用内置关键词）"
-                    },
-                    "max_attempts": {
-                        "type": "number",
-                        "description": "最大尝试次数（可选，默认3次，用于处理多层弹窗）"
-                    }
-                },
-                "required": []
-            }
-        ))
-        
         # ==================== pytest 脚本生成 ====================
         tools.append(Tool(
             name="mobile_get_operation_history",
@@ -472,7 +453,12 @@ class MobileMCPServer:
             
             # 点击
             elif name == "mobile_click_at_coords":
-                result = self.tools.click_at_coords(arguments["x"], arguments["y"])
+                result = self.tools.click_at_coords(
+                    arguments["x"], 
+                    arguments["y"],
+                    arguments.get("image_width", 0),
+                    arguments.get("image_height", 0)
+                )
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_click_by_text":
@@ -540,13 +526,6 @@ class MobileMCPServer:
                 result = self.tools.assert_text(arguments["text"])
                 return [TextContent(type="text", text=self.format_response(result))]
             
-            elif name == "mobile_close_ad":
-                result = self.tools.close_ad(
-                    arguments.get("keywords"),
-                    arguments.get("max_attempts", 3)
-                )
-                return [TextContent(type="text", text=self.format_response(result))]
-            
             # 脚本生成
             elif name == "mobile_get_operation_history":
                 result = self.tools.get_operation_history(arguments.get("limit"))

{mobile_mcp_ai-2.3.3 → mobile_mcp_ai-2.3.4/mobile_mcp_ai.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mobile-mcp-ai
-Version: 2.3.3
+Version: 2.3.4
 Summary: 移动端自动化 MCP Server - 支持 Android/iOS，AI 功能可选（基础工具不需要 AI）
 Home-page: https://github.com/test111ddff-hash/mobile-mcp-ai
 Author: douzi

{mobile_mcp_ai-2.3.3 → mobile_mcp_ai-2.3.4}/setup.py

@@ -25,7 +25,7 @@ if requirements_file.exists():
 
 setup(
     name="mobile-mcp-ai",
-    version="2.3.3",  # 新增 mobile_close_ad 广告关闭工具 + 修复 SmartAppLauncher 异常
+    version="2.3.4",  # 修复截图坐标偏移问题：支持图片坐标自动转换为屏幕坐标
     author="douzi",
     author_email="1492994674@qq.com",
     description="移动端自动化 MCP Server - 支持 Android/iOS，AI 功能可选（基础工具不需要 AI）",