myagent-ai 1.20.2 → 1.20.3

package/agents/main_agent.py

@@ -74,6 +74,8 @@ class MainAgent(BaseAgent):
 - **执行命令**: 用 `command` 或 `command_run` 工具
 - **文件操作**: 用 `file_read` / `file_write` / `file_list` 等文件工具
 - **发送文件给用户**: 用 `file_send` 工具（参数: file_path=文件路径, description=说明），当你生成或处理了文件需要返回给用户时使用
+- **播放音频**: 用 `playaudio` 工具（参数: url=音乐链接或file_path=本地文件路径），在聊天中内嵌播放音频（支持QQ音乐、YouTube音乐、本地MP3/WAV等），播放时自动关闭语音合成
+- **播放视频**: 用 `playvideo` 工具（参数: url=视频链接或file_path=本地文件路径），在聊天中内嵌播放视频（支持抖音、YouTube、B站、本地MP4等），播放时自动关闭语音合成
 - **主动召回记忆**: 用 `recall_memory` 工具（参数: keyword=关键字, time_point=可选时间点如"2025-01", limit=数量默认5），根据关键字和时间搜索历史记忆
 4. 准备好内容后，最后，再检查输出格式，确保满足以下要求:
 <output>
@@ -1648,6 +1650,103 @@ class MainAgent(BaseAgent):
                     result = {"success": False, "error": f"文件发送失败: {_fse}"}
                     logger.warning(f"[{task_id}] file_send 工具异常: {_fse}")
 
+            elif tool_name in ("playaudio", "playvideo"):
+                # [v1.20.3] 音视频播放工具 — 在聊天中内嵌播放器
+                try:
+                    _media_url = params.get("url", "").strip()
+                    _media_file = params.get("file_path", "").strip()
+                    _media_type = "audio" if tool_name == "playaudio" else "video"
+                    _embed_url = None
+                    _embed_title = params.get("title", "")
+
+                    if _media_url:
+                        # 在线链接 — 提取嵌入式播放 URL
+                        import re
+                        _url_lower = _media_url.lower()
+                        # YouTube: https://www.youtube.com/watch?v=xxx 或 youtu.be/xxx
+                        _yt_match = re.search(r'(?:youtube\.com/watch\?v=|youtu\.be/|youtube\.com/embed/)([\w-]+)', _media_url)
+                        if _yt_match:
+                            _embed_url = f"https://www.youtube.com/embed/{_yt_match.group(1)}"
+                            _embed_title = _embed_title or "YouTube 视频"
+                        # Bilibili: https://www.bilibili.com/video/BVxxx 或 b23.tv/xxx
+                        elif 'bilibili.com' in _url_lower or 'b23.tv' in _url_lower:
+                            _bv_match = re.search(r'bilibili\.com/video/(BV[\w]+)', _media_url)
+                            if _bv_match:
+                                _embed_url = f"https://player.bilibili.com/player.html?bvid={_bv_match.group(1)}&autoplay=0"
+                                _embed_title = _embed_title or "B站视频"
+                            else:
+                                _embed_url = _media_url  # b23.tv 短链接直接使用
+                                _embed_title = _embed_title or "B站视频"
+                        # QQ音乐: https://y.qq.com/n/ryqq/songDetail/xxx
+                        elif 'y.qq.com' in _url_lower:
+                            _embed_url = _media_url
+                            _embed_title = _embed_title or "QQ音乐"
+                        # 网易云音乐: https://music.163.com/song?id=xxx
+                        elif 'music.163.com' in _url_lower:
+                            _song_match = re.search(r'music\.163\.com.*[?&]id=(\d+)', _media_url)
+                            if _song_match:
+                                _embed_url = f"https://music.163.com/outchain/player?type=2&id={_song_match.group(1)}&auto=0&height=66"
+                                _embed_title = _embed_title or "网易云音乐"
+                            else:
+                                _embed_url = _media_url
+                                _embed_title = _embed_title or "网易云音乐"
+                        # 抖音: https://www.douyin.com/video/xxx
+                        elif 'douyin.com' in _url_lower:
+                            _embed_url = _media_url
+                            _embed_title = _embed_title or "抖音视频"
+                        else:
+                            # 其他 URL，尝试直接嵌入
+                            _embed_url = _media_url
+                            _embed_title = _embed_title or ("在线音乐" if _media_type == "audio" else "在线视频")
+
+                    if _embed_url and stream_callback:
+                        # 在线播放 — 发送 v2_media 事件让前端渲染嵌入播放器
+                        stream_callback({
+                            "type": "v2_media",
+                            "data": {
+                                "media_type": _media_type,
+                                "embed_url": _embed_url,
+                                "title": _embed_title,
+                                "original_url": _media_url,
+                            }
+                        })
+                        result = {"success": True, "output": f"已嵌入{_embed_title}播放器: {_media_url}"}
+
+                    elif _media_file:
+                        # 本地文件 — 使用 file_send 发送文件，前端渲染内嵌播放器
+                        from pathlib import Path as _P
+                        _fpath = _P(_media_file).expanduser().resolve()
+                        if not _fpath.exists():
+                            result = {"success": False, "error": f"文件不存在: {_media_file}"}
+                        else:
+                            from skills.file_send import FileSendSkill
+                            _fskill = FileSendSkill()
+                            _desc = f"{'音频' if _media_type == 'audio' else '视频'}播放: {_fpath.name}"
+                            _fresult = await _fskill.execute(str(_fpath), _desc, stream_callback=stream_callback)
+                            if _fresult.get("success"):
+                                # 标记为媒体文件，前端渲染内嵌播放器
+                                _fresult["_media_type"] = _media_type
+                                result = {"success": True, "output": f"已发送{_media_type}文件: {_fpath.name}", "data": _fresult}
+                                try:
+                                    if _fresult.get("file_id"):
+                                        _sent_files.append({
+                                            "id": _fresult["file_id"],
+                                            "name": _fresult.get("name", ""),
+                                            "type": _fresult.get("type", ""),
+                                            "size": _fresult.get("size", 0),
+                                            "_media_type": _media_type,
+                                        })
+                                except NameError:
+                                    pass
+                            else:
+                                result = {"success": False, "error": _fresult.get("error", "文件发送失败")}
+                    else:
+                        result = {"success": False, "error": f"请提供 url（在线链接）或 file_path（本地文件路径）参数"}
+
+                except Exception as _me:
+                    result = {"success": False, "error": f"播放工具异常: {_me}"}
+                    logger.warning(f"[{task_id}] {tool_name} 工具异常: {_me}")
+
             elif self.skills:
                 exec_result = await self.skills.execute(tool_name, **params)
                 if exec_result is None:

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "myagent-ai",
-  "version": "1.20.2",
+  "version": "1.20.3",
   "description": "本地桌面端执行型AI助手 - Open Interpreter 风格 | Local Desktop Execution-Oriented AI Assistant",
   "main": "main.py",
   "bin": {

package/web/ui/chat/chat.css

@@ -646,6 +646,40 @@ input,textarea,select{font:inherit}
 .msg-attachments-files {
   margin-top:6px; /* 文件在气泡内容下方 */
 }
+/* [v1.20.3] 媒体嵌入播放器（在线音视频） */
+.msg-attachments-media {
+  margin-bottom:10px;
+}
+.msg-media-embed {
+  background:var(--bg2);border:1px solid var(--bg4);border-radius:var(--radius-sm);
+  overflow:hidden;max-width:640px;
+}
+.msg-media-header {
+  display:flex;align-items:center;gap:6px;padding:6px 10px;
+  background:var(--bg3);font-size:12px;color:var(--text2);
+}
+.msg-media-icon {font-size:14px}
+.msg-media-label {flex:1;font-weight:500}
+.msg-media-link {
+  color:var(--accent);text-decoration:none;font-size:14px;padding:2px 4px;border-radius:4px;
+}
+.msg-media-link:hover {background:var(--accent-light)}
+/* [v1.20.3] 本地音视频播放器 */
+.msg-media-player {
+  margin-bottom:8px;
+}
+.msg-media-player audio,
+.msg-media-player video {
+  border-radius:8px;
+  box-shadow:0 1px 4px rgba(0,0,0,.1);
+}
+.msg-media-title {
+  font-size:12px;color:var(--text2);margin-top:4px;padding:0 4px;
+}
+@media(max-width:768px){
+  .msg-media-embed iframe { max-width:100%!important; }
+  .msg-media-player audio, .msg-media-player video { max-width:100%!important; }
+}
 .msg-image-wrapper {
   max-width:300px;border-radius:var(--radius-sm);overflow:hidden;
   border:1px solid var(--bg4);cursor:pointer;

package/web/ui/chat/chat_main.js

@@ -2571,6 +2571,22 @@ function groupHistoryMessages(messages) {
     if (execParts.length > 0) entry.exec_events = execParts.map(function(p) { return p.data; });
     // [v1.19.3] 设置收集到的所有 agent 文件
     if (allAgentFiles.length > 0) entry._files = allAgentFiles;
+    // [v1.20.3] 从 playaudio/playvideo 工具调用中重建 _media 数据（历史回放支持）
+    var mediaEmbeds = [];
+    for (var ei = 0; ei < parts.length; ei++) {
+      var ep = parts[ei];
+      if (ep.type === 'exec' && ep.data.tool_name && (ep.data.tool_name === 'playaudio' || ep.data.tool_name === 'playvideo')) {
+        try {
+          var mparams = typeof ep.data.params === 'string' ? JSON.parse(ep.data.params) : (ep.data.params || {});
+          var murl = mparams.url || '';
+          if (murl) {
+            var mtype = ep.data.tool_name === 'playaudio' ? 'audio' : 'video';
+            mediaEmbeds.push({ media_type: mtype, embed_url: murl, title: mparams.title || '', original_url: murl });
+          }
+        } catch(mpe) { /* ignore parse errors */ }
+      }
+    }
+    if (mediaEmbeds.length > 0) entry._media = mediaEmbeds;
 
     grouped.push(entry);
   }
@@ -2691,13 +2707,59 @@ function _renderMessagesInner() {
       if (!isUser && agentFiles.length > 0) {
         for (const f of agentFiles) {
           const isImage = f.type && f.type.startsWith('image/');
+          const isAudio = f.type && f.type.startsWith('audio/');
+          const isVideo = f.type && f.type.startsWith('video/');
           if (isImage && f.id) {
             parts.push('<div class="msg-image-wrapper agent-image"><img src="/api/file/' + f.id + '" class="msg-image" loading="lazy" alt="' + escapeHtml(f.name || 'image') + '" onerror="this.onerror=null;this.style.background=\'var(--bg3)\';this.style.minHeight=\'60px\';this.alt=\'[图片加载失败]\'" onclick="openFileViewer(\'' + f.id + '\', this.src, \'' + escapeHtml(f.name) + '\')" /></div>');
           }
+          // [v1.20.3] 音频文件渲染为内嵌播放器
+          if (isAudio && f.id) {
+            parts.push('<div class="msg-media-player"><audio controls src="/api/file/' + f.id + '" style="width:100%;max-width:480px" preload="metadata" onplay="if(typeof muteTTS===\'function\')muteTTS()" onended="if(typeof unmuteTTS===\'function\')unmuteTTS()"></audio><div class="msg-media-title">' + escapeHtml(f.name || '音频') + '</div></div>');
+          }
+          // [v1.20.3] 视频文件渲染为内嵌播放器
+          if (isVideo && f.id) {
+            parts.push('<div class="msg-media-player"><video controls src="/api/file/' + f.id + '" style="width:100%;max-width:640px;border-radius:8px" preload="metadata" onplay="if(typeof muteTTS===\'function\')muteTTS()" onended="if(typeof unmuteTTS===\'function\')unmuteTTS()"></video><div class="msg-media-title">' + escapeHtml(f.name || '视频') + '</div></div>');
+          }
         }
       }
       return parts.length > 0 ? '<div class="msg-attachments msg-attachments-images">' + parts.join('') + '</div>' : '';
     })();
+    // [v1.20.3] 在线媒体嵌入播放器（YouTube/B站/抖音/QQ音乐/网易云等）
+    const mediaEmbedHtml = (() => {
+      const mediaList = (msg._media || []);
+      if (!mediaList || mediaList.length === 0) return '';
+      let parts = [];
+      for (const m of mediaList) {
+        const isAudio = m.media_type === 'audio';
+        let embedUrl = m.embed_url || '';
+        const title = m.title || (isAudio ? '在线音乐' : '在线视频');
+        const origUrl = m.original_url || embedUrl;
+        if (!embedUrl) continue;
+        // 前端 URL → 嵌入 URL 转换（历史回放时 embed_url 可能是原始 URL）
+        if (embedUrl && !embedUrl.includes('/embed/') && !embedUrl.includes('/player')) {
+          const ytMatch = embedUrl.match(/(?:youtube\.com\/watch\?v=|youtu\.be\/)([\w-]+)/);
+          if (ytMatch) { embedUrl = 'https://www.youtube.com/embed/' + ytMatch[1]; }
+          const biliMatch = embedUrl.match(/bilibili\.com\/video\/(BV[\w]+)/);
+          if (biliMatch) { embedUrl = 'https://player.bilibili.com/player.html?bvid=' + biliMatch[1] + '&autoplay=0'; }
+          const neteaseMatch = embedUrl.match(/music\.163\.com.*[?&]id=(\d+)/);
+          if (neteaseMatch) { embedUrl = 'https://music.163.com/outchain/player?type=2&id=' + neteaseMatch[1] + '&auto=0&height=66'; }
+        }
+        if (isAudio) {
+          parts.push('<div class="msg-media-embed msg-media-audio">' +
+            '<div class="msg-media-header"><span class="msg-media-icon">🎵</span><span class="msg-media-label">' + escapeHtml(title) + '</span>' +
+            '<a class="msg-media-link" href="' + escapeHtml(origUrl) + '" target="_blank" rel="noopener" title="在新窗口打开">↗</a></div>' +
+            '<iframe src="' + escapeHtml(embedUrl) + '" style="width:100%;max-width:480px;height:80px;border:none;border-radius:8px" loading="lazy" allow="autoplay" sandbox="allow-scripts allow-same-origin allow-presentation"></iframe>' +
+            '</div>');
+        } else {
+          parts.push('<div class="msg-media-embed msg-media-video">' +
+            '<div class="msg-media-header"><span class="msg-media-icon">🎬</span><span class="msg-media-label">' + escapeHtml(title) + '</span>' +
+            '<a class="msg-media-link" href="' + escapeHtml(origUrl) + '" target="_blank" rel="noopener" title="在新窗口打开">↗</a></div>' +
+            '<iframe src="' + escapeHtml(embedUrl) + '" style="width:100%;max-width:640px;height:360px;border:none;border-radius:8px" loading="lazy" allow="autoplay;encrypted-media;picture-in-picture" allowfullscreen></iframe>' +
+            '</div>');
+        }
+      }
+      return parts.length > 0 ? '<div class="msg-attachments msg-attachments-media">' + parts.join('') + '</div>' : '';
+    })();
     const fileAttachmentHtml = (() => {
       let parts = [];
       // User files（用户发送的非图片文件）
@@ -2717,12 +2779,14 @@ function _renderMessagesInner() {
             '</div>');
         }
       }
-      // Agent files (v2_file events) — 支持实时流式 _files 和历史加载的 files（只渲染非图片文件）
+      // Agent files (v2_file events) — 支持实时流式 _files 和历史加载的 files（只渲染非图片/音频/视频文件）
       const agentFiles = (msg._files || []);
       if (!isUser && agentFiles.length > 0) {
         for (const f of agentFiles) {
           const isImage = f.type && f.type.startsWith('image/');
-          if (isImage) continue; // 图片已在 imageAttachmentHtml 中渲染
+          const isAudio = f.type && f.type.startsWith('audio/');
+          const isVideo = f.type && f.type.startsWith('video/');
+          if (isImage || isAudio || isVideo) continue; // 图片/音视频已在上方渲染为内嵌播放器
           const fileId = f.id;
           const sizeStr = f.size ? formatFileSize(f.size) : '';
           const icon = _getFileIcon(f.name || f.type || '');
@@ -2845,6 +2909,7 @@ function _renderMessagesInner() {
           ${taskPlanHtml}
           ${finishReasonHtml}
           ${imageAttachmentHtml}
+          ${mediaEmbedHtml}
           ${bubbleHtml}
           ${fileAttachmentHtml}
           ${streamingIndicator}

package/web/ui/chat/flow_engine.js

@@ -1858,6 +1858,15 @@ async function sendMessage(opts) {
               state.messages[msgIdx]._files.push(evt.data);
               throttledStreamUpdate(msgIdx);
             }
+          } else if (evt.type === 'v2_media') {
+            // [v1.20.3] Agent is embedding a media player (audio/video)
+            if (evt.data) {
+              if (!state.messages[msgIdx]._media) state.messages[msgIdx]._media = [];
+              state.messages[msgIdx]._media.push(evt.data);
+              // 播放媒体时自动静音 TTS
+              if (typeof muteTTS === 'function') muteTTS();
+              throttledStreamUpdate(msgIdx);
+            }
           } else if (evt.type === 'v2_session_rename') {
             // [v1.15.8] 会话自动命名 — 后端通过 mainsubject 生成
             if (evt.data && evt.data.name) {