mobile-mcp-ai 2.6.7__py3-none-any.whl → 2.6.10__py3-none-any.whl

mobile_mcp/mcp_tools/mcp_server.py

@@ -248,18 +248,30 @@ class MobileMCPServer:
         tools.append(Tool(
             name="mobile_screenshot_with_som",
             description="📸🏷️ Set-of-Mark 截图（⭐⭐ 强烈推荐！默认截图方式）\n\n"
-                       "【智能标注】给每个可点击元素画框+编号，检测弹窗时额外标注可能的X按钮位置（黄色）。\n"
+                       "【智能标注】给每个可点击元素画框+编号。\n"
                        "AI 看图直接说'点击 3 号'，调用 mobile_click_by_som(3) 即可！\n\n"
                        "🎯 优势：\n"
                        "- 元素有编号，精准点击不会误触\n"
-                       "- 自动检测弹窗，标注可能的关闭按钮位置\n"
                        "- 适用于所有页面和所有操作\n\n"
                        "⚡ 推荐流程：\n"
                        "1. 找不到目标元素时，优先调用此工具\n"
                        "2. 看标注图，找到目标元素编号\n"
                        "3. 调用 mobile_click_by_som(编号) 精准点击\n"
-                       "4. 🔴【必须】点击后再次截图确认操作是否成功！",
-            inputSchema={"type": "object", "properties": {}, "required": []}
+                       "4. 🔴【必须】点击后再次截图确认操作是否成功！\n\n"
+                       "💡 弹窗检测：\n"
+                       "- check_popup=True: 明确弹窗场景时使用（如调用 mobile_close_popup 前）\n"
+                       "- check_popup=False: 普通截图，不检测弹窗（默认）",
+            inputSchema={
+                "type": "object",
+                "properties": {
+                    "check_popup": {
+                        "type": "boolean",
+                        "description": "是否检测弹窗，默认 False。仅在明确弹窗场景时设置为 True",
+                        "default": False
+                    }
+                },
+                "required": []
+            }
         ))
         
         tools.append(Tool(
@@ -530,7 +542,8 @@ class MobileMCPServer:
                        "- 📌 拖动进度条时，distance_percent 控制拖动幅度\n\n"
                        "💡 拖动进度条示例：\n"
                        "- 倒退：direction='left', y_percent=91（进度条位置）, distance_percent=30\n"
-                       "- 前进：direction='right', y_percent=91, distance_percent=30",
+                       "- 前进：direction='right', y_percent=91, distance_percent=30\n\n"
+                       "⚠️ **推荐使用 mobile_drag_progress_bar 拖动进度条**（自动检测进度条位置，无需手动指定）",
             inputSchema={
                 "type": "object",
                 "properties": {
@@ -560,6 +573,50 @@ class MobileMCPServer:
             }
         ))
         
+        tools.append(Tool(
+            name="mobile_drag_progress_bar",
+            description="🎯 智能拖动进度条（⭐⭐ 推荐用于拖动视频/音频进度条）\n\n"
+                       "✅ **自动检测进度条是否可见**：\n"
+                       "- 如果进度条已显示，直接拖动（无需先点击播放区域）\n"
+                       "- 如果进度条未显示，自动点击播放区域显示控制栏，再拖动\n\n"
+                       "🎯 优势：\n"
+                       "- 自动检测进度条位置，无需手动指定 y_percent\n"
+                       "- 智能判断是否需要显示控制栏\n"
+                       "- 使用 swipe 拖动，更稳定可靠\n\n"
+                       "💡 参数说明：\n"
+                       "- direction: 'left'（倒退）或 'right'（前进），默认 'right'\n"
+                       "- distance_percent: 拖动距离百分比 (0-100)，默认 30%\n"
+                       "- y_percent: 进度条位置（可选，未指定则自动检测）\n"
+                       "- y: 进度条位置坐标（可选，未指定则自动检测）\n\n"
+                       "📋 使用示例：\n"
+                       "- 前进30%：mobile_drag_progress_bar(direction='right', distance_percent=30)\n"
+                       "- 倒退30%：mobile_drag_progress_bar(direction='left', distance_percent=30)\n"
+                       "- 前进到指定位置：先点击进度条位置，或使用 mobile_swipe",
+            inputSchema={
+                "type": "object",
+                "properties": {
+                    "direction": {
+                        "type": "string",
+                        "enum": ["left", "right"],
+                        "description": "拖动方向：'left'（倒退）或 'right'（前进），默认 'right'"
+                    },
+                    "distance_percent": {
+                        "type": "number",
+                        "description": "拖动距离百分比 (0-100)，默认 30%"
+                    },
+                    "y_percent": {
+                        "type": "number",
+                        "description": "进度条的垂直位置百分比 (0-100)，可选，未指定则自动检测"
+                    },
+                    "y": {
+                        "type": "integer",
+                        "description": "进度条的垂直位置坐标（像素），可选，未指定则自动检测"
+                    }
+                },
+                "required": []
+            }
+        ))
+        
         tools.append(Tool(
             name="mobile_press_key",
             description="⌨️ 按键操作。支持：home, back, enter, search",
@@ -587,7 +644,12 @@ class MobileMCPServer:
         # ==================== 应用管理 ====================
         tools.append(Tool(
             name="mobile_launch_app",
-            description="🚀 启动应用。启动后建议等待 2-3 秒让页面加载。",
+            description="""🚀 启动应用
+
+🎯 弹窗检测场景：启动应用后会自动检测弹窗（启动应用场景）
+
+启动后建议等待 2-3 秒让页面加载。
+如果检测到弹窗，返回结果中会包含 popup_detected=true，建议调用 mobile_close_popup() 关闭弹窗。""",
             inputSchema={
                 "type": "object",
                 "properties": {
@@ -644,10 +706,13 @@ class MobileMCPServer:
 从元素树中找最可能的关闭按钮，返回坐标和推荐的点击命令。
 
 🎯 识别策略（优先级）：
-1. 文本匹配：×、X、关闭、取消、跳过 等（得分100）
-2. resource-id 匹配：包含 close/dismiss/skip（得分95）
-3. content-desc 匹配：包含 close/关闭（得分90）
-4. 小尺寸 clickable 元素（右上角优先，得分70+）
+1. 确认性按钮文本：同意、确认、允许、好的、OK等（得分120）
+2. 确认性 resource-id：包含 confirm/accept/agree/allow（得分115）
+3. 关闭/取消按钮文本：×、X、关闭、取消、跳过等（得分100）
+4. 关闭类 resource-id：包含 close/dismiss/cancel（得分95）
+5. 小尺寸 clickable 元素（右上角优先，得分70+）
+
+⭐ 优先点击确认性按钮（同意、确认等），而不是取消/拒绝按钮
 
 ✅ 返回内容：
 - 坐标 (x, y) 和百分比 (x%, y%)
@@ -663,21 +728,42 @@ class MobileMCPServer:
         
         tools.append(Tool(
             name="mobile_close_popup",
-            description="""🚫 智能关闭弹窗
+            description="""🚫 智能关闭弹窗（优化版）
 
-通过控件树识别并点击关闭按钮（×、关闭、跳过等）。
+🎯 弹窗检测场景：
+- 启动应用后：mobile_launch_app 会自动检测弹窗
+- 异常情况：操作失败时会检测弹窗
+- 明确弹窗场景：调用此工具时（明确弹窗场景）
 
-✅ 控件树有元素时：直接点击，实时可靠
-❌ 控件树无元素时：截图供 AI 分析
+⭐ 按钮点击优先级（确认按钮优先）：
+1️⃣ **确认性按钮**（最高优先级）：同意、确认、允许、好的、知道了、OK等
+2️⃣ **关闭/取消按钮**（次优先级）：关闭、取消、跳过、×、X等
+3️⃣ **小尺寸可点击元素**（最低优先级）：右上角X图标等
 
-⚠️ 【时序限制】如果需要截图分析：
-- 分析期间弹窗可能自动消失
-- 对于定时弹窗（如广告），建议等待其自动消失
-- 点击前可再次截图确认弹窗是否还在
+优化后的降级策略：
+1️⃣ **控件树优先**（最快、最可靠）：list_elements() → 查找确认/关闭按钮 → 点击
+2️⃣ **截图AI分析**（中等速度、高准确率）：如果控件树失败 → 截图 → 返回候选建议 → AI分析 → 点击
+3️⃣ **模板匹配**（最慢、最精确）：如果AI分析失败 → 模板匹配 → 点击
 
-🔴 【必须】点击关闭后，必须再次截图确认弹窗是否真的关闭了！
-如果弹窗仍在，需要尝试其他方法或位置。""",
-            inputSchema={"type": "object", "properties": {}, "required": []}
+✅ 优先点击「同意」「确认」等确认性按钮，而不是「取消」「不同意」
+✅ 每个阶段都会使用页面指纹对比验证弹窗是否真的关闭
+✅ 复用元素列表和XML，减少重复调用开销
+✅ 支持 Android 和 iOS 双平台
+✅ 支持自动学习模板（可选）""",
+            inputSchema={
+                "type": "object",
+                "properties": {
+                    "auto_learn": {
+                        "type": "boolean",
+                        "description": "是否自动学习新模板（模板匹配成功时），默认 false"
+                    },
+                    "confidence_threshold": {
+                        "type": "number",
+                        "description": "弹窗检测置信度阈值（0-1），默认 0.6。值越高越严格，减少误检但可能漏检"
+                    }
+                },
+                "required": []
+            }
         ))
         
         tools.append(Tool(
@@ -807,29 +893,16 @@ Toast 是 Android 系统级的短暂提示消息，常用于显示操作结果
         # ==================== 广告弹窗关闭工具 ====================
         tools.append(Tool(
             name="mobile_close_ad",
-            description="""🚫 【推荐】智能关闭广告弹窗
+            description="""🚫 【推荐】智能关闭广告弹窗（已合并到 mobile_close_popup）
 
-⚡ 直接调用即可，无需先截图！会自动按优先级尝试：
+⚡ 此工具现在调用 mobile_close_popup，功能完全相同。
 
-1️⃣ **控件树查找**（最可靠，优先）
-   - 自动查找 resource-id 包含 close/dismiss
-   - 查找文本"关闭"、"跳过"、"×"等
-   - 找到直接点击，实时可靠
+内部使用统一的降级策略：
+1️⃣ **控件树优先**（最快、最可靠）
+2️⃣ **截图AI分析**（中等速度、高准确率）
+3️⃣ **模板匹配**（最精确的兜底方案，支持自动学习）
 
-2️⃣ **模板匹配**（次优）
-   - 用 OpenCV 匹配已保存的 X 按钮模板
-   - 模板越多成功率越高
-
-3️⃣ **返回截图供 AI 分析**（兜底）
-   - 前两步都失败才截图
-   - AI 分析后用 mobile_click_by_percent 点击
-   - 点击成功后用 mobile_template_add 添加模板
-
-💡 正确流程：
-1. 遇到广告弹窗 → 直接调用此工具
-2. 如果成功 → 完成
-3. 只有失败时才需要截图分析
-3. 如果失败 → 看截图找 X → 点击 → 添加模板""",
+💡 推荐使用 mobile_close_popup 代替（功能相同）""",
             inputSchema={
                 "type": "object",
                 "properties": {},
@@ -936,7 +1009,37 @@ Toast 是 Android 系统级的短暂提示消息，常用于显示操作结果
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_screenshot_with_som":
-                result = self.tools.take_screenshot_with_som()
+                check_popup = arguments.get("check_popup", False)
+                result = self.tools.take_screenshot_with_som(check_popup=check_popup)
+                
+                # 如果结果包含截图路径，尝试返回图片内容供 AI 分析
+                screenshot_path = result.get("screenshot_path")
+                if screenshot_path:
+                    try:
+                        from pathlib import Path
+                        import base64
+                        
+                        img_path = Path(screenshot_path)
+                        if img_path.exists():
+                            # 读取图片并转换为 base64
+                            with open(img_path, 'rb') as f:
+                                image_data = f.read()
+                                image_base64 = base64.b64encode(image_data).decode('utf-8')
+                            
+                            # 检查是否有 AI 分析请求
+                            ai_analysis = result.get("ai_analysis")
+                            if ai_analysis and ai_analysis.get("needs_ai_analysis"):
+                                # 返回文本结果和图片内容
+                                # 注意：MCP 协议可能不支持 ImageContent，这里先返回文本
+                                # Cursor AI 会自动看到截图文件并分析
+                                return [
+                                    TextContent(type="text", text=self.format_response(result)),
+                                    # 如果 MCP 支持 ImageContent，可以添加：
+                                    # ImageContent(type="image", data=image_base64, mimeType="image/jpeg")
+                                ]
+                    except Exception:
+                        pass  # 图片处理失败，只返回文本
+                
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_click_by_som":
@@ -1072,7 +1175,12 @@ Toast 是 Android 系统级的短暂提示消息，常用于显示操作结果
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_close_popup":
-                result = self.tools.close_popup()
+                auto_learn = arguments.get("auto_learn", False)
+                confidence_threshold = arguments.get("confidence_threshold", None)
+                result = self.tools.close_popup(
+                    auto_learn=auto_learn,
+                    confidence_threshold=confidence_threshold
+                )
                 return [TextContent(type="text", text=self.format_response(result))]
             
             elif name == "mobile_assert_text":
@@ -1115,9 +1223,9 @@ Toast 是 Android 系统级的短暂提示消息，常用于显示操作结果
                 )
                 return [TextContent(type="text", text=self.format_response(result))]
             
-            # 智能关闭广告弹窗
+            # 智能关闭广告弹窗（已合并到 mobile_close_popup）
             elif name == "mobile_close_ad":
-                result = self.tools.close_ad_popup(auto_learn=True)
+                result = self.tools.close_popup(auto_learn=False)
                 return [TextContent(type="text", text=self.format_response(result))]
             
             # 模板匹配（精简版）

{mobile_mcp_ai-2.6.7.dist-info → mobile_mcp_ai-2.6.10.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mobile-mcp-ai
-Version: 2.6.7
+Version: 2.6.10
 Summary: 移动端自动化 MCP Server - 支持 Android/iOS，AI 功能可选（基础工具不需要 AI）
 Home-page: https://github.com/test111ddff-hash/mobile-mcp-ai
 Author: douzi

{mobile_mcp_ai-2.6.7.dist-info → mobile_mcp_ai-2.6.10.dist-info}/RECORD

@@ -1,7 +1,7 @@
 mobile_mcp/__init__.py,sha256=sQJZTL_sxQFzmcS7jOtS2AHCfUySz40vhX96N6u1qy4,816
 mobile_mcp/config.py,sha256=yaFLAV4bc2wX0GQPtZDo7OYF9E88tXV-av41fQsJwK4,4480
 mobile_mcp/core/__init__.py,sha256=ndMy-cLAIsQDG5op7gM_AIplycqZSZPWEkec1pEhvEY,170
-mobile_mcp/core/basic_tools_lite.py,sha256=YYwh-I54cx11OMGQN0Vu7N6mred313Yqu4Va1JOrAYg,207601
+mobile_mcp/core/basic_tools_lite.py,sha256=oWzxM38aci6ab8CypqNkYN7Ur62OqBgdVi0FMu3SVQQ,239283
 mobile_mcp/core/device_manager.py,sha256=xG5DoeNFs45pl-FTEhEWblqVwxtFK-FmVEGlNL6EqRI,8798
 mobile_mcp/core/dynamic_config.py,sha256=Ja1n1pfb0HspGByqk2_A472mYVniKmGtNEWyjUjmgK8,9811
 mobile_mcp/core/ios_client_wda.py,sha256=Nq9WxevhTWpVpolM-Ymp-b0nUQV3tXLFszmJHbDC4wA,18770
@@ -19,14 +19,14 @@ mobile_mcp/core/utils/logger.py,sha256=XXQAHUwT1jc70pq_tYFmL6f_nKrFlYm3hcgl-5RYR
 mobile_mcp/core/utils/operation_history_manager.py,sha256=gi8S8HJAMqvkUrY7_-kVbko3Xt7c4GAUziEujRd-N-Y,4792
 mobile_mcp/core/utils/smart_wait.py,sha256=N5wKTUYrNWPruBILqrAjpvtso8Z3GRWCfMIR_aZxPLg,8649
 mobile_mcp/mcp_tools/__init__.py,sha256=xkro8Rwqv_55YlVyhh-3DgRFSsLE3h1r31VIb3bpM6E,143
-mobile_mcp/mcp_tools/mcp_server.py,sha256=WfcXBIWOp3Gf8qy_SkdgLzJ1g95Dk1iq0WG50Kj_Wlo,56362
+mobile_mcp/mcp_tools/mcp_server.py,sha256=HCqlmWOPmO-ndq0U42mc-zkKPd25jiZIZZqGAPKXokU,62916
 mobile_mcp/utils/__init__.py,sha256=8EH0i7UGtx1y_j_GEgdN-cZdWn2sRtZSEOLlNF9HRnY,158
 mobile_mcp/utils/logger.py,sha256=Sqq2Nr0Y4p03erqcrbYKVPCGiFaNGHMcE_JwCkeOfU4,3626
 mobile_mcp/utils/xml_formatter.py,sha256=uwTRb3vLbqhT8O-udzWT7s7LsV-DyDUz2DkofD3hXOE,4556
 mobile_mcp/utils/xml_parser.py,sha256=QhL8CWbdmNDzmBLjtx6mEnjHgMFZzJeHpCL15qfXSpI,3926
-mobile_mcp_ai-2.6.7.dist-info/licenses/LICENSE,sha256=HrhfyXIkWY2tGFK11kg7vPCqhgh5DcxleloqdhrpyMY,11558
-mobile_mcp_ai-2.6.7.dist-info/METADATA,sha256=8hzGs59yEP80JSO45MG7USEsmXqGCPseNqjoA7H7OX0,10495
-mobile_mcp_ai-2.6.7.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
-mobile_mcp_ai-2.6.7.dist-info/entry_points.txt,sha256=KB_FglozgPHBprSM1vFbIzGyheFuHFmGanscRdMJ_8A,68
-mobile_mcp_ai-2.6.7.dist-info/top_level.txt,sha256=lLm6YpbTv855Lbh8BIA0rPxhybIrvYUzMEk9OErHT94,11
-mobile_mcp_ai-2.6.7.dist-info/RECORD,,
+mobile_mcp_ai-2.6.10.dist-info/licenses/LICENSE,sha256=HrhfyXIkWY2tGFK11kg7vPCqhgh5DcxleloqdhrpyMY,11558
+mobile_mcp_ai-2.6.10.dist-info/METADATA,sha256=VHon2Gd5-xseda14dgKTeMLu2mhX-IK75tjfp4uXjQI,10496
+mobile_mcp_ai-2.6.10.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
+mobile_mcp_ai-2.6.10.dist-info/entry_points.txt,sha256=KB_FglozgPHBprSM1vFbIzGyheFuHFmGanscRdMJ_8A,68
+mobile_mcp_ai-2.6.10.dist-info/top_level.txt,sha256=lLm6YpbTv855Lbh8BIA0rPxhybIrvYUzMEk9OErHT94,11
+mobile_mcp_ai-2.6.10.dist-info/RECORD,,