mobile-mcp-ai 2.6.8__py3-none-any.whl → 2.6.10__py3-none-any.whl

mobile_mcp/mcp_tools/mcp_server.py

@@ -248,18 +248,30 @@ class MobileMCPServer:
         tools.append(Tool(
             name="mobile_screenshot_with_som",
             description="📸🏷️ Set-of-Mark 截图（⭐⭐ 强烈推荐！默认截图方式）\n\n"
-                       "【智能标注】给每个可点击元素画框+编号，检测弹窗时额外标注可能的X按钮位置（黄色）。\n"
+                       "【智能标注】给每个可点击元素画框+编号。\n"
                        "AI 看图直接说'点击 3 号'，调用 mobile_click_by_som(3) 即可！\n\n"
                        "🎯 优势：\n"
                        "- 元素有编号，精准点击不会误触\n"
-                       "- 自动检测弹窗，标注可能的关闭按钮位置\n"
                        "- 适用于所有页面和所有操作\n\n"
                        "⚡ 推荐流程：\n"
                        "1. 找不到目标元素时，优先调用此工具\n"
                        "2. 看标注图，找到目标元素编号\n"
                        "3. 调用 mobile_click_by_som(编号) 精准点击\n"
-                       "4. 🔴【必须】点击后再次截图确认操作是否成功！",
-            inputSchema={"type": "object", "properties": {}, "required": []}
+                       "4. 🔴【必须】点击后再次截图确认操作是否成功！\n\n"
+                       "💡 弹窗检测：\n"
+                       "- check_popup=True: 明确弹窗场景时使用（如调用 mobile_close_popup 前）\n"
+                       "- check_popup=False: 普通截图，不检测弹窗（默认）",
+            inputSchema={
+                "type": "object",
+                "properties": {
+                    "check_popup": {
+                        "type": "boolean",
+                        "description": "是否检测弹窗，默认 False。仅在明确弹窗场景时设置为 True",
+                        "default": False
+                    }
+                },
+                "required": []
+            }
         ))
         
         tools.append(Tool(
@@ -632,7 +644,12 @@ class MobileMCPServer:
         # ==================== 应用管理 ====================
         tools.append(Tool(
             name="mobile_launch_app",
-            description="🚀 启动应用。启动后建议等待 2-3 秒让页面加载。",
+            description="""🚀 启动应用
+
+🎯 弹窗检测场景：启动应用后会自动检测弹窗（启动应用场景）
+
+启动后建议等待 2-3 秒让页面加载。
+如果检测到弹窗，返回结果中会包含 popup_detected=true，建议调用 mobile_close_popup() 关闭弹窗。""",
             inputSchema={
                 "type": "object",
                 "properties": {
@@ -689,10 +706,13 @@ class MobileMCPServer:
 从元素树中找最可能的关闭按钮，返回坐标和推荐的点击命令。
 
 🎯 识别策略（优先级）：
-1. 文本匹配：×、X、关闭、取消、跳过 等（得分100）
-2. resource-id 匹配：包含 close/dismiss/skip（得分95）
-3. content-desc 匹配：包含 close/关闭（得分90）
-4. 小尺寸 clickable 元素（右上角优先，得分70+）
+1. 确认性按钮文本：同意、确认、允许、好的、OK等（得分120）
+2. 确认性 resource-id：包含 confirm/accept/agree/allow（得分115）
+3. 关闭/取消按钮文本：×、X、关闭、取消、跳过等（得分100）
+4. 关闭类 resource-id：包含 close/dismiss/cancel（得分95）
+5. 小尺寸 clickable 元素（右上角优先，得分70+）
+
+⭐ 优先点击确认性按钮（同意、确认等），而不是取消/拒绝按钮
 
 ✅ 返回内容：
 - 坐标 (x, y) 和百分比 (x%, y%)
@@ -708,21 +728,42 @@ class MobileMCPServer:
         
         tools.append(Tool(
             name="mobile_close_popup",
-            description="""🚫 智能关闭弹窗
+            description="""🚫 智能关闭弹窗（优化版）
 
-通过控件树识别并点击关闭按钮（×、关闭、跳过等）。
+🎯 弹窗检测场景：
+- 启动应用后：mobile_launch_app 会自动检测弹窗
+- 异常情况：操作失败时会检测弹窗
+- 明确弹窗场景：调用此工具时（明确弹窗场景）
 
-✅ 控件树有元素时：直接点击，实时可靠
-❌ 控件树无元素时：截图供 AI 分析
+⭐ 按钮点击优先级（确认按钮优先）：
+1️⃣ **确认性按钮**（最高优先级）：同意、确认、允许、好的、知道了、OK等
+2️⃣ **关闭/取消按钮**（次优先级）：关闭、取消、跳过、×、X等
+3️⃣ **小尺寸可点击元素**（最低优先级）：右上角X图标等
 
-⚠️ 【时序限制】如果需要截图分析：
-- 分析期间弹窗可能自动消失
-- 对于定时弹窗（如广告），建议等待其自动消失
-- 点击前可再次截图确认弹窗是否还在
+优化后的降级策略：
+1️⃣ **控件树优先**（最快、最可靠）：list_elements() → 查找确认/关闭按钮 → 点击
+2️⃣ **截图AI分析**（中等速度、高准确率）：如果控件树失败 → 截图 → 返回候选建议 → AI分析 → 点击
+3️⃣ **模板匹配**（最慢、最精确）：如果AI分析失败 → 模板匹配 → 点击
 
-🔴 【必须】点击关闭后，必须再次截图确认弹窗是否真的关闭了！
-如果弹窗仍在，需要尝试其他方法或位置。""",
-            inputSchema={"type": "object", "properties": {}, "required": []}
+✅ 优先点击「同意」「确认」等确认性按钮，而不是「取消」「不同意」
+✅ 每个阶段都会使用页面指纹对比验证弹窗是否真的关闭
+✅ 复用元素列表和XML，减少重复调用开销
+✅ 支持 Android 和 iOS 双平台
+✅ 支持自动学习模板（可选）""",
+            inputSchema={
+                "type": "object",
+                "properties": {
+                    "auto_learn": {
+                        "type": "boolean",
+                        "description": "是否自动学习新模板（模板匹配成功时），默认 false"
+                    },
+                    "confidence_threshold": {
+                        "type": "number",
+                        "description": "弹窗检测置信度阈值（0-1），默认 0.6。值越高越严格，减少误检但可能漏检"
+                    }
+                },
+                "required": []
+            }
         ))
         
         tools.append(Tool(
@@ -852,29 +893,16 @@ Toast 是 Android 系统级的短暂提示消息，常用于显示操作结果
         # ==================== 广告弹窗关闭工具 ====================
         tools.append(Tool(
             name="mobile_close_ad",
-            description="""🚫 【推荐】智能关闭广告弹窗
+            description="""🚫 【推荐】智能关闭广告弹窗（已合并到 mobile_close_popup）
 
-⚡ 直接调用即可，无需先截图！会自动按优先级尝试：
+⚡ 此工具现在调用 mobile_close_popup，功能完全相同。
 
-1️⃣ **控件树查找**（最可靠，优先）
-   - 自动查找 resource-id 包含 close/dismiss
-   - 查找文本"关闭"、"跳过"、"×"等
-   - 找到直接点击，实时可靠
+内部使用统一的降级策略：
+1️⃣ **控件树优先**（最快、最可靠）
+2️⃣ **截图AI分析**（中等速度、高准确率）
+3️⃣ **模板匹配**（最精确的兜底方案，支持自动学习）
 
-2️⃣ **模板匹配**（次优）
-   - 用 OpenCV 匹配已保存的 X 按钮模板
-   - 模板越多成功率越高
-
-3️⃣ **返回截图供 AI 分析**（兜底）
-   - 前两步都失败才截图
-   - AI 分析后用 mobile_click_by_percent 点击
-   - 点击成功后用 mobile_template_add 添加模板
-
-💡 正确流程：
-1. 遇到广告弹窗 → 直接调用此工具
-2. 如果成功 → 完成
-3. 只有失败时才需要截图分析
-3. 如果失败 → 看截图找 X → 点击 → 添加模板""",
+💡 推荐使用 mobile_close_popup 代替（功能相同）""",
             inputSchema={
                 "type": "object",
                 "properties": {},
@@ -981,7 +1009,37 @@ Toast 是 Android 系统级的短暂提示消息，常用于显示操作结果
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_screenshot_with_som":
-                result = self.tools.take_screenshot_with_som()
+                check_popup = arguments.get("check_popup", False)
+                result = self.tools.take_screenshot_with_som(check_popup=check_popup)
+                
+                # 如果结果包含截图路径，尝试返回图片内容供 AI 分析
+                screenshot_path = result.get("screenshot_path")
+                if screenshot_path:
+                    try:
+                        from pathlib import Path
+                        import base64
+                        
+                        img_path = Path(screenshot_path)
+                        if img_path.exists():
+                            # 读取图片并转换为 base64
+                            with open(img_path, 'rb') as f:
+                                image_data = f.read()
+                                image_base64 = base64.b64encode(image_data).decode('utf-8')
+                            
+                            # 检查是否有 AI 分析请求
+                            ai_analysis = result.get("ai_analysis")
+                            if ai_analysis and ai_analysis.get("needs_ai_analysis"):
+                                # 返回文本结果和图片内容
+                                # 注意：MCP 协议可能不支持 ImageContent，这里先返回文本
+                                # Cursor AI 会自动看到截图文件并分析
+                                return [
+                                    TextContent(type="text", text=self.format_response(result)),
+                                    # 如果 MCP 支持 ImageContent，可以添加：
+                                    # ImageContent(type="image", data=image_base64, mimeType="image/jpeg")
+                                ]
+                    except Exception:
+                        pass  # 图片处理失败，只返回文本
+                
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_click_by_som":
@@ -1117,7 +1175,12 @@ Toast 是 Android 系统级的短暂提示消息，常用于显示操作结果
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_close_popup":
-                result = self.tools.close_popup()
+                auto_learn = arguments.get("auto_learn", False)
+                confidence_threshold = arguments.get("confidence_threshold", None)
+                result = self.tools.close_popup(
+                    auto_learn=auto_learn,
+                    confidence_threshold=confidence_threshold
+                )
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_assert_text":
@@ -1160,9 +1223,9 @@ Toast 是 Android 系统级的短暂提示消息，常用于显示操作结果
                 )
                 return [TextContent(type="text", text=self.format_response(result))]
             
-            # 智能关闭广告弹窗
+            # 智能关闭广告弹窗（已合并到 mobile_close_popup）
             elif name == "mobile_close_ad":
-                result = self.tools.close_ad_popup(auto_learn=True)
+                result = self.tools.close_popup(auto_learn=False)
                 return [TextContent(type="text", text=self.format_response(result))]
             
             # 模板匹配（精简版）

{mobile_mcp_ai-2.6.8.dist-info → mobile_mcp_ai-2.6.10.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mobile-mcp-ai
-Version: 2.6.8
+Version: 2.6.10
 Summary: 移动端自动化 MCP Server - 支持 Android/iOS，AI 功能可选（基础工具不需要 AI）
 Home-page: https://github.com/test111ddff-hash/mobile-mcp-ai
 Author: douzi

{mobile_mcp_ai-2.6.8.dist-info → mobile_mcp_ai-2.6.10.dist-info}/RECORD

@@ -1,7 +1,7 @@
 mobile_mcp/__init__.py,sha256=sQJZTL_sxQFzmcS7jOtS2AHCfUySz40vhX96N6u1qy4,816
 mobile_mcp/config.py,sha256=yaFLAV4bc2wX0GQPtZDo7OYF9E88tXV-av41fQsJwK4,4480
 mobile_mcp/core/__init__.py,sha256=ndMy-cLAIsQDG5op7gM_AIplycqZSZPWEkec1pEhvEY,170
-mobile_mcp/core/basic_tools_lite.py,sha256=LNCHMldkzRFXiT3iwoG7llqVrX240BTmL420SqKScqM,215122
+mobile_mcp/core/basic_tools_lite.py,sha256=oWzxM38aci6ab8CypqNkYN7Ur62OqBgdVi0FMu3SVQQ,239283
 mobile_mcp/core/device_manager.py,sha256=xG5DoeNFs45pl-FTEhEWblqVwxtFK-FmVEGlNL6EqRI,8798
 mobile_mcp/core/dynamic_config.py,sha256=Ja1n1pfb0HspGByqk2_A472mYVniKmGtNEWyjUjmgK8,9811
 mobile_mcp/core/ios_client_wda.py,sha256=Nq9WxevhTWpVpolM-Ymp-b0nUQV3tXLFszmJHbDC4wA,18770
@@ -19,14 +19,14 @@ mobile_mcp/core/utils/logger.py,sha256=XXQAHUwT1jc70pq_tYFmL6f_nKrFlYm3hcgl-5RYR
 mobile_mcp/core/utils/operation_history_manager.py,sha256=gi8S8HJAMqvkUrY7_-kVbko3Xt7c4GAUziEujRd-N-Y,4792
 mobile_mcp/core/utils/smart_wait.py,sha256=N5wKTUYrNWPruBILqrAjpvtso8Z3GRWCfMIR_aZxPLg,8649
 mobile_mcp/mcp_tools/__init__.py,sha256=xkro8Rwqv_55YlVyhh-3DgRFSsLE3h1r31VIb3bpM6E,143
-mobile_mcp/mcp_tools/mcp_server.py,sha256=RcjbGO1gftZ3TTGB4Ziopxg91xpCFeBGoJVYsd94Xl8,59096
+mobile_mcp/mcp_tools/mcp_server.py,sha256=HCqlmWOPmO-ndq0U42mc-zkKPd25jiZIZZqGAPKXokU,62916
 mobile_mcp/utils/__init__.py,sha256=8EH0i7UGtx1y_j_GEgdN-cZdWn2sRtZSEOLlNF9HRnY,158
 mobile_mcp/utils/logger.py,sha256=Sqq2Nr0Y4p03erqcrbYKVPCGiFaNGHMcE_JwCkeOfU4,3626
 mobile_mcp/utils/xml_formatter.py,sha256=uwTRb3vLbqhT8O-udzWT7s7LsV-DyDUz2DkofD3hXOE,4556
 mobile_mcp/utils/xml_parser.py,sha256=QhL8CWbdmNDzmBLjtx6mEnjHgMFZzJeHpCL15qfXSpI,3926
-mobile_mcp_ai-2.6.8.dist-info/licenses/LICENSE,sha256=HrhfyXIkWY2tGFK11kg7vPCqhgh5DcxleloqdhrpyMY,11558
-mobile_mcp_ai-2.6.8.dist-info/METADATA,sha256=CzTNCy3mLATsQuGc-daNZ9PUTKeFVbhxB7zdSqRZlRw,10495
-mobile_mcp_ai-2.6.8.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
-mobile_mcp_ai-2.6.8.dist-info/entry_points.txt,sha256=KB_FglozgPHBprSM1vFbIzGyheFuHFmGanscRdMJ_8A,68
-mobile_mcp_ai-2.6.8.dist-info/top_level.txt,sha256=lLm6YpbTv855Lbh8BIA0rPxhybIrvYUzMEk9OErHT94,11
-mobile_mcp_ai-2.6.8.dist-info/RECORD,,
+mobile_mcp_ai-2.6.10.dist-info/licenses/LICENSE,sha256=HrhfyXIkWY2tGFK11kg7vPCqhgh5DcxleloqdhrpyMY,11558
+mobile_mcp_ai-2.6.10.dist-info/METADATA,sha256=VHon2Gd5-xseda14dgKTeMLu2mhX-IK75tjfp4uXjQI,10496
+mobile_mcp_ai-2.6.10.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
+mobile_mcp_ai-2.6.10.dist-info/entry_points.txt,sha256=KB_FglozgPHBprSM1vFbIzGyheFuHFmGanscRdMJ_8A,68
+mobile_mcp_ai-2.6.10.dist-info/top_level.txt,sha256=lLm6YpbTv855Lbh8BIA0rPxhybIrvYUzMEk9OErHT94,11
+mobile_mcp_ai-2.6.10.dist-info/RECORD,,