myagent-ai 1.20.4 → 1.20.5

package/agents/main_agent.py

@@ -7,6 +7,7 @@ from __future__ import annotations
 
 import asyncio
 import json
+import os
 import re
 from typing import Any, Callable, Dict, List, Optional
 
@@ -76,6 +77,18 @@ class MainAgent(BaseAgent):
 - **发送文件给用户**: 用 `file_send` 工具（参数: file_path=文件路径, description=说明），当你生成或处理了文件需要返回给用户时使用
 - **播放音频**: 用 `playaudio` 工具（参数: url=音乐链接或file_path=本地文件路径），在聊天中内嵌播放音频（支持QQ音乐、YouTube音乐、本地MP3/WAV等），播放时自动关闭语音合成
 - **播放视频**: 用 `playvideo` 工具（参数: url=视频链接或file_path=本地文件路径），在聊天中内嵌播放视频（支持抖音、YouTube、B站、本地MP4等），播放时自动关闭语音合成
+- **网页控制**: 用 `web_control` 工具在聊天中打开一个可控制的浏览器面板，可浏览网页、点击元素、填写表单、滚动页面、执行JS、管理Cookie等。
+  - 打开: `{"action": "open", "url": "https://example.com"}` — 首次使用会自动创建会话，后续可传 session_id 复用
+  - 导航: `{"action": "navigate", "url": "https://...", "session_id": "xxx"}`
+  - 获取内容: `{"action": "get_content", "what": "text|html|url|title|links|images|forms|inputs", "session_id": "xxx"}`
+  - 点击元素: `{"action": "click", "selector": "CSS选择器", "session_id": "xxx"}`
+  - 填写输入: `{"action": "fill", "selector": "CSS选择器", "value": "内容", "session_id": "xxx"}`
+  - 滚动页面: `{"action": "scroll", "direction": "up|down|top|bottom", "distance": 300, "session_id": "xxx"}`
+  - 执行JS: `{"action": "evaluate", "script": "JavaScript代码", "session_id": "xxx"}`
+  - 管理Cookie: `{"action": "set_cookies", "cookies": [{"name":"k","value":"v","domain":"example.com"}], "session_id": "xxx"}` 或 `{"action": "get_cookies", "session_id": "xxx"}`
+  - 等待: `{"action": "wait", "time": 1000}` 毫秒 或 `{"action": "wait", "selector": ".result", "timeout": 10}` 秒
+  - 关闭: `{"action": "close", "session_id": "xxx"}`
+  - 注意: 网页通过服务端代理加载，用户可在面板中手动操作。复杂交互建议先用 get_content 查看页面结构再用 click/fill。
 - **主动召回记忆**: 用 `recall_memory` 工具（参数: keyword=关键字, time_point=可选时间点如"2025-01", limit=数量默认5），根据关键字和时间搜索历史记忆
 4. 准备好内容后，最后，再检查输出格式，确保满足以下要求:
 <output>
@@ -1216,6 +1229,7 @@ class MainAgent(BaseAgent):
                 tool_result = await self._execute_v2_tool(
                     tool_name, parms, timeout, context, task_id,
                     stream_callback=stream_callback,
+                    sent_files=_sent_files,
                 )
 
                 # 发送工具结果事件
@@ -1552,6 +1566,7 @@ class MainAgent(BaseAgent):
         context: AgentContext,
         task_id: str,
         stream_callback: Optional[Callable] = None,
+        sent_files: Optional[List[Dict[str, Any]]] = None,
     ) -> Dict[str, Any]:
         """V2 工具执行"""
         result = {"success": False, "output": "", "error": ""}
@@ -1634,18 +1649,14 @@ class MainAgent(BaseAgent):
                     # [v1.16.18] 使用当前作用域的 stream_callback（而非 context._stream_callback）
                     _fresult = await _fskill.execute(_fpath, _fdesc, stream_callback=stream_callback)
                     result = {"success": True, "output": json.dumps(_fresult, ensure_ascii=False, indent=2), "data": _fresult}
-                    # [v1.18.5] 追踪发送的文件，用于持久化到会话记忆
-                    # [v1.18.9] 修复：_sent_files 可能不在作用域内，安全处理
-                    try:
-                        if _fresult.get("success") and _fresult.get("file_id"):
-                            _sent_files.append({
-                                "id": _fresult["file_id"],
-                                "name": _fresult.get("name", ""),
-                                "type": _fresult.get("type", ""),
-                                "size": _fresult.get("size", 0),
-                            })
-                    except NameError:
-                        pass  # _sent_files 不在当前作用域，跳过文件追踪
+                    # [v1.18.5→21.1] 追踪发送的文件，用于持久化到会话记忆
+                    if sent_files is not None and _fresult.get("success") and _fresult.get("file_id"):
+                        sent_files.append({
+                            "id": _fresult["file_id"],
+                            "name": _fresult.get("name", ""),
+                            "type": _fresult.get("type", ""),
+                            "size": _fresult.get("size", 0),
+                        })
                 except Exception as _fse:
                     result = {"success": False, "error": f"文件发送失败: {_fse}"}
                     logger.warning(f"[{task_id}] file_send 工具异常: {_fse}")
@@ -1727,17 +1738,14 @@ class MainAgent(BaseAgent):
                                 # 标记为媒体文件，前端渲染内嵌播放器
                                 _fresult["_media_type"] = _media_type
                                 result = {"success": True, "output": f"已发送{_media_type}文件: {_fpath.name}", "data": _fresult}
-                                try:
-                                    if _fresult.get("file_id"):
-                                        _sent_files.append({
-                                            "id": _fresult["file_id"],
-                                            "name": _fresult.get("name", ""),
-                                            "type": _fresult.get("type", ""),
-                                            "size": _fresult.get("size", 0),
-                                            "_media_type": _media_type,
-                                        })
-                                except NameError:
-                                    pass
+                                if sent_files is not None and _fresult.get("file_id"):
+                                    sent_files.append({
+                                        "id": _fresult["file_id"],
+                                        "name": _fresult.get("name", ""),
+                                        "type": _fresult.get("type", ""),
+                                        "size": _fresult.get("size", 0),
+                                        "_media_type": _media_type,
+                                    })
                             else:
                                 result = {"success": False, "error": _fresult.get("error", "文件发送失败")}
                     else:
@@ -1747,12 +1755,138 @@ class MainAgent(BaseAgent):
                     result = {"success": False, "error": f"播放工具异常: {_me}"}
                     logger.warning(f"[{task_id}] {tool_name} 工具异常: {_me}")
 
+            elif tool_name == "web_control":
+                # [v1.21.0] 网页控制器 — 在聊天中打开可控制的浏览器面板
+                try:
+                    from core.web_control import get_web_control_manager
+                    _wc_mgr = get_web_control_manager()
+                    _wc_action = params.get("action", "open")
+                    _wc_session_id = params.get("session_id", "").strip()
+
+                    # 自动获取或创建会话
+                    _wc_session = None
+                    if _wc_session_id:
+                        _wc_session = _wc_mgr.get_session(_wc_session_id)
+                    if not _wc_session:
+                        _wc_session = _wc_mgr.create_session()
+                        _wc_session_id = _wc_session.session_id
+
+                    if _wc_action == "open":
+                        # 打开面板 — 发送 SSE 事件让前端弹出控制面板
+                        _wc_url = params.get("url", "").strip()
+                        if _wc_url:
+                            _wc_session.current_url = _wc_url
+                        if stream_callback:
+                            stream_callback({
+                                "type": "v2_web_control",
+                                "data": {
+                                    "action": "open",
+                                    "session_id": _wc_session_id,
+                                    "url": _wc_url,
+                                    "panel_url": f"/api/web_control/panel?sid={_wc_session_id}",
+                                }
+                            })
+                        result = {
+                            "success": True,
+                            "output": f"已打开网页控制面板 (session: {_wc_session_id})" + (f"，URL: {_wc_url}" if _wc_url else ""),
+                            "session_id": _wc_session_id,
+                        }
+
+                    elif _wc_action == "close":
+                        _wc_mgr.close_session(_wc_session_id)
+                        if stream_callback:
+                            stream_callback({
+                                "type": "v2_web_control",
+                                "data": {"action": "close", "session_id": _wc_session_id}
+                            })
+                        result = {"success": True, "output": f"已关闭网页控制面板 (session: {_wc_session_id})"}
+
+                    elif _wc_action == "navigate":
+                        _wc_url = params.get("url", "").strip()
+                        if not _wc_url:
+                            result = {"success": False, "error": "请提供 url 参数"}
+                        else:
+                            _wc_session.current_url = _wc_url
+                            if stream_callback:
+                                stream_callback({
+                                    "type": "v2_web_control",
+                                    "data": {"action": "navigate", "session_id": _wc_session_id, "url": _wc_url}
+                                })
+                            result = {"success": True, "output": f"正在导航到: {_wc_url}"}
+
+                    elif _wc_action in ("set_cookies", "get_cookies"):
+                        # Cookie 操作 — 服务端直接处理
+                        if _wc_action == "set_cookies":
+                            _cookies = params.get("cookies", [])
+                            if isinstance(_cookies, str):
+                                import json as _jc
+                                try:
+                                    _cookies = _jc.loads(_cookies)
+                                except:
+                                    _cookies = []
+                            for _c in _cookies:
+                                if isinstance(_c, dict):
+                                    _c_domain = _c.get("domain", "").lstrip(".")
+                                    _c_name = _c.get("name", "")
+                                    _c_value = _c.get("value", "")
+                                    if _c_domain and _c_name:
+                                        _wc_session.cookies[f"{_c_domain}::{_c_name}"] = _c_value
+                            result = {"success": True, "output": f"已设置 {len(_cookies)} 个 cookie", "total_cookies": len(_wc_session.cookies)}
+                        else:
+                            _cookie_list = []
+                            for _ck, _cv in _wc_session.cookies.items():
+                                _parts = _ck.split("::", 1)
+                                if len(_parts) == 2:
+                                    _cookie_list.append({"domain": _parts[0], "name": _parts[1], "value": _cv})
+                            result = {"success": True, "output": json.dumps(_cookie_list, ensure_ascii=False), "cookies": _cookie_list}
+
+                    else:
+                        # 其他操作（click, fill, scroll, evaluate, get_content, wait, screenshot）
+                        # 通过命令队列下发到客户端执行，阻塞等待结果
+                        _wc_params = {k: v for k, v in params.items() if k not in ("action", "session_id")}
+                        _wc_timeout = int(params.get("timeout", timeout))
+                        _wc_result = await _wc_mgr.queue_command(
+                            session_id=_wc_session_id,
+                            action=_wc_action,
+                            params=_wc_params,
+                            timeout=min(_wc_timeout, 60),  # 最大 60 秒
+                        )
+                        result = _wc_result
+
+                except Exception as _wce:
+                    result = {"success": False, "error": f"网页控制器异常: {_wce}"}
+                    logger.warning(f"[{task_id}] web_control 工具异常: {_wce}")
+
             elif self.skills:
                 exec_result = await self.skills.execute(tool_name, **params)
                 if exec_result is None:
                     result["error"] = f"技能 {tool_name} 返回了空结果"
                 else:
                     result = exec_result.to_dict()
+                    # [v1.21.1] Skill 生成文件后自动通过 file_send 发送给前端
+                    if exec_result.success and exec_result.files:
+                        try:
+                            from skills.file_send import FileSendSkill
+                            _auto_fsend = FileSendSkill()
+                            for _auto_fpath in exec_result.files:
+                                if _auto_fpath and os.path.isfile(_auto_fpath):
+                                    _auto_fres = await _auto_fsend.execute(
+                                        _auto_fpath, stream_callback=stream_callback)
+                                    if _auto_fres.get("success") and _auto_fres.get("file_id"):
+                                        # 记录发送的 file_id
+                                        if not result.get("_sent_file_ids"):
+                                            result["_sent_file_ids"] = []
+                                        result["_sent_file_ids"].append(_auto_fres["file_id"])
+                                        # 追踪到 sent_files（持久化到会话记忆）
+                                        if sent_files is not None:
+                                            sent_files.append({
+                                                "id": _auto_fres["file_id"],
+                                                "name": _auto_fres.get("name", ""),
+                                                "type": _auto_fres.get("type", ""),
+                                                "size": _auto_fres.get("size", 0),
+                                            })
+                        except Exception as _afe:
+                            logger.warning(f"[{task_id}] 自动 file_send 失败: {_afe}")
             else:
                 result["error"] = f"未知工具: {tool_name}"