cerevox 3.11.3 → 3.12.0

package/dist/mcp/servers/zerocut.js

@@ -3463,90 +3463,43 @@ server.registerTool('media-analyzer', {
         const currentSession = await validateSession('media-analyzer');
         // 验证文件格式
         const fileExtension = mediaFileName.toLowerCase().split('.').pop();
-        const supportedFormats = ['jpeg', 'jpg', 'png', 'mp4', 'mp3'];
+        const supportedFormats = ['jpeg', 'jpg', 'png', 'webp', 'mp4', 'mp3'];
         if (!fileExtension || !supportedFormats.includes(fileExtension)) {
             throw new Error(`Unsupported file format. Supported formats: ${supportedFormats.join(', ')}`);
         }
         // 获取媒体文件 URL
         const mediaUrl = getMaterialUri(currentSession, mediaFileName);
-        // 构建系统提示
-        const systemPrompt = `你是一个专业的媒体内容分析师。请仔细分析媒体文件并根据用户的具体需求进行详细分析。
-
-分析要求：
-1. 准确描述媒体中的具体内容
-2. 注意细节，包括颜色、构图、风格、氛围、动作、声音等
-3. 根据用户的具体需求提供针对性的分析
-4. 如果是图片或视频，请详细描述视觉风格、色彩搭配、视觉效果等
-5. 如果是视频，请拆解分镜，然后描述各分镜动作、场景变化、镜头运动等
-6. 如果是音频，请描述音质、节奏、情感表达等
-7. 提供清晰、有用的分析结果，便于后续创作工作
-
-请用中文回答，内容要详细且实用。`;
-        // 构建用户提示
-        const userPrompt = `请分析这个媒体文件：${analysisRequest}
+        if (fileExtension === 'mp3') {
+            // 音频文件 - 生成字幕并进行分析
+            // 调用AI服务生成字幕
+            const ai = currentSession.ai;
+            const captionsResult = await ai.voiceToCaptions({
+                url: mediaUrl,
+            });
+            console.log(mediaUrl, captionsResult);
+            if (!captionsResult || !captionsResult.utterances) {
+                throw new Error('Failed to generate captions from audio');
+            }
+            const captionsFileName = `${mediaFileName}.captions.json`;
+            // 保存字幕文件到本地材料目录
+            const localDir = node_path_1.default.resolve(projectLocalDir, 'materials');
+            if (!(0, node_fs_1.existsSync)(localDir)) {
+                (0, node_fs_1.mkdirSync)(localDir, { recursive: true });
+            }
+            const captionsFilePath = node_path_1.default.join(localDir, captionsFileName);
+            await (0, promises_1.writeFile)(captionsFilePath, JSON.stringify(captionsResult, null, 2), 'utf-8');
+            // 提取字幕文本内容用于分析
+            const captionsText = captionsResult.utterances
+                .map((caption) => caption.text)
+                .join(' ');
+            const userPrompt = `请分析这个媒体文件：${prompt}
 
 请提供详细的分析结果，包括媒体的具体内容、风格特征、技术特点等相关信息。`;
-        // 根据文件类型构建消息内容
-        let messageContent;
-        if (['jpeg', 'jpg', 'png'].includes(fileExtension)) {
-            // 图片文件
-            messageContent = [
-                {
-                    type: 'image_url',
-                    image_url: {
-                        url: mediaUrl,
-                    },
-                },
+            // 构建包含字幕内容的分析提示
+            const messageContent = [
                 {
-                    type: 'text',
-                    text: userPrompt,
-                },
-            ];
-        }
-        else if (fileExtension === 'mp4') {
-            // 视频文件
-            messageContent = [
-                {
-                    type: 'video_url',
-                    video_url: {
-                        url: mediaUrl,
-                    },
-                },
-                {
-                    type: 'text',
-                    text: userPrompt,
-                },
-            ];
-        }
-        else if (fileExtension === 'mp3') {
-            // 音频文件 - 生成字幕并进行分析
-            try {
-                // 调用AI服务生成字幕
-                const ai = currentSession.ai;
-                const captionsResult = await ai.voiceToCaptions({
-                    url: mediaUrl,
-                });
-                console.log(mediaUrl, captionsResult);
-                if (!captionsResult || !captionsResult.utterances) {
-                    throw new Error('Failed to generate captions from audio');
-                }
-                const captionsFileName = `${mediaFileName}.captions.json`;
-                // 保存字幕文件到本地材料目录
-                const localDir = node_path_1.default.resolve(projectLocalDir, 'materials');
-                if (!(0, node_fs_1.existsSync)(localDir)) {
-                    (0, node_fs_1.mkdirSync)(localDir, { recursive: true });
-                }
-                const captionsFilePath = node_path_1.default.join(localDir, captionsFileName);
-                await (0, promises_1.writeFile)(captionsFilePath, JSON.stringify(captionsResult, null, 2), 'utf-8');
-                // 提取字幕文本内容用于分析
-                const captionsText = captionsResult.utterances
-                    .map((caption) => caption.text)
-                    .join(' ');
-                // 构建包含字幕内容的分析提示
-                messageContent = [
-                    {
-                        type: 'text',
-                        text: `${userPrompt}
+                    type: 'input_text',
+                    text: `${userPrompt}
 
 音频文件：${mediaFileName}
 字幕内容：${captionsText}
@@ -3559,84 +3512,54 @@ server.registerTool('media-analyzer', {
 5. 创作建议和后续应用方向
 
 字幕文件已保存为：${captionsFileName}`,
+                },
+            ];
+            // 在返回结果中包含字幕文件信息
+            const analysisPayload = {
+                model: 'Doubao-Seed-1.8',
+                input: [
+                    {
+                        role: 'user',
+                        content: messageContent,
                     },
-                ];
-                // 在返回结果中包含字幕文件信息
-                const analysisPayload = {
-                    model: 'Doubao-Seed-1.8',
-                    messages: [
-                        {
-                            role: 'system',
-                            content: systemPrompt,
-                        },
-                        {
-                            role: 'user',
-                            content: messageContent,
-                        },
-                    ],
-                };
-                console.log(JSON.stringify(analysisPayload, null, 2));
-                const completion = await ai.getCompletions(analysisPayload);
-                const analysisResult = completion.choices[0]?.message?.content;
-                if (!analysisResult) {
-                    throw new Error('No response from AI model');
-                }
-                return {
-                    content: [
-                        {
-                            type: 'text',
-                            text: JSON.stringify({
-                                success: true,
-                                mediaFileName,
-                                mediaType: fileExtension,
-                                analysisRequest,
-                                captionsFileName,
-                                captionsContent: captionsText,
-                                analysis: analysisResult,
-                                mediaUrl,
-                                timestamp: new Date().toISOString(),
-                                nextActionSuggest: '可根据字幕内容和分析结果进行后续创作，如生成相关视频、配音或其他素材。',
-                            }),
-                        },
-                    ],
-                };
+                ],
+            };
+            console.log(JSON.stringify(analysisPayload, null, 2));
+            const responses = await ai.getResponses(analysisPayload);
+            const analysisResult = responses.output?.find((item) => item.type === 'message')?.content?.[0]?.text;
+            if (!analysisResult) {
+                throw new Error('No response from AI model');
             }
-            catch (captionError) {
-                // 如果字幕生成失败，回退到原有逻辑
-                console.warn('Failed to generate captions:', captionError);
-                messageContent = [
+            return {
+                content: [
                     {
                         type: 'text',
-                        text: `${userPrompt}\n\n注意：这是一个音频文件 (${mediaFileName})，字幕生成失败，请根据文件名和用户需求提供分析建议。错误信息：${captionError}`,
+                        text: JSON.stringify({
+                            success: true,
+                            mediaFileName,
+                            mediaType: fileExtension,
+                            analysisRequest,
+                            captionsFileName,
+                            captionsContent: captionsText,
+                            analysis: analysisResult,
+                            mediaUrl,
+                            timestamp: new Date().toISOString(),
+                            nextActionSuggest: '可根据字幕内容和分析结果进行后续创作，如生成相关视频、配音或其他素材。',
+                        }),
                     },
-                ];
-            }
-        }
-        else {
-            throw new Error(`Unsupported media type: ${fileExtension}`);
+                ],
+            };
         }
-        // 调用AI模型进行媒体内容分析
         const ai = currentSession.ai;
-        const payload = {
-            model: 'Doubao-Seed-1.8',
-            messages: [
-                {
-                    role: 'system',
-                    content: systemPrompt,
-                },
-                {
-                    role: 'user',
-                    content: messageContent,
-                },
-            ],
-        };
-        console.log(JSON.stringify(payload, null, 2));
-        const completion = await ai.getCompletions(payload);
-        console.log(completion);
-        const result = completion.choices[0]?.message?.content;
-        if (!result) {
-            throw new Error('No response from AI model');
+        let type = 'video';
+        if (['jpeg', 'jpg', 'png', 'webp'].includes(fileExtension)) {
+            type = 'image';
         }
+        const result = await ai.analyzeMedia({
+            mediaUrl,
+            type,
+            prompt: analysisRequest,
+        });
         const metadata = await ai.getMediaMetadata(mediaUrl);
         return {
             content: [