cerevox 3.0.0-alpha.2 → 3.0.0-alpha.20

package/dist/mcp/servers/prompts/rules/creative-ad.md

@@ -45,7 +45,7 @@
         * 台词：使用人物名称或角色标识，如"小明：妈妈，这个玩具真好玩！" 或 "顾客：这个效果太棒了！"
     * **画面 ("start_frame"字段):** 为每个分镜构思详细的首帧画面。画风必须贴合用户诉求、商品定位和故事氛围。描述需包含构图、光影、色彩、角色神态、商品展示等关键视觉要素，达到可直接用于图片生成的标准。注意画面描述必须与文案紧密贴合，共同服务于情绪传递和商品展示。
     * **动画 ("video_prompt"字段):** 为每个分镜构思详细的动画描述。动画必须与画面作为首帧，描述紧密贴合，共同服务于情绪传递和商品展示。动画必须具备专业的镜头感和视觉效果，如镜头语言、运动、情感、动作等，也要考虑商品的展示效果。
-9. 分镜整合输出： `get-schema` 获取分镜规范 → 整合以上内容，创建初始 storyboard.json
+9. 分镜整合输出： `get-schema（type: storyboard）` 获取分镜规范 → 整合以上内容，创建初始 storyboard.json
 10. **素材生成（根据选择的模式）：**
    **模式一：批量图片生成**
     * 分组场景图片 `generate-image-serials` （一次性生成所有分镜图片）
@@ -58,7 +58,7 @@
     * 配音 `generate-scene-tts` （⚠️ 务必严格采用storyboard中场景的script或dialog作为配音输入文本）
     * 视频 `generate-video`
     * 背景音乐 `generate-music`
-11. 技术规范 → 调用 `get-schema` 获取draft_content规范 → 根据规范创建 draft_content.json
+11. 技术规范 → 调用 `get-schema（type: draft_content）` 获取draft_content规范 → 根据规范创建 draft_content.json
 12. 执行渲染 → `compile-and-run` 输出成品并自动下载到本地
 13. 关闭项目 → `project-close`
 

package/dist/mcp/servers/prompts/rules/expert.md

@@ -36,7 +36,7 @@
 
   **Action**
   1) 与用户确认思路是否正确且符合需求
-  2) 调用`get-schema`获取分镜规范 
+  2) 调用`get-schema（type: storyboard）`获取分镜规范 
   3) 根据确认结果创建项目目录下的 storyboard.json 文件
   4) Review 生成的 storyboard.json 文件，对其进行初步优化
     你可以做的优化动作：
@@ -167,7 +167,7 @@
 
   **Action**
   1) 将检查结果与用户确认，必要时更新 storyboard.json
-  2) 调用 `get-schema` 获取 draft_content 规范
+  2) 调用 `get-schema（type: draft_content）` 获取 draft_content 规范
   3) 根据确认的结果创建 draft_content.json 文件（务必要先获取 schema）
   4) 将当前的执行结果记录在 action_logs.json 中
   5) 调用 `compile-and-run` 最终合成视频并下载

package/dist/mcp/servers/prompts/rules/freeform.md

@@ -87,7 +87,7 @@
 
 ### 分镜构思
 
-- 如果用户和你讨论视频剧情，或者已经有明确的场景想法，你使用 `'get-schema` 工具来获知如何创建故事板，然后用故事板来帮助用户构思视频分镜
+- 如果用户和你讨论视频剧情，或者已经有明确的场景想法，你使用 `'get-schema（type: storyboard）` 工具来获知如何创建故事板，然后用故事板来帮助用户构思视频分镜
 - 在所有和剧情、设定有关的问题时，你都要先理解用户想法然后更新故事板，并与用户确认
 - 尤其是在生成素材前，能更新故事板就及时更新，以免后续遗忘信息，造成不一致
 
@@ -118,7 +118,7 @@
 #### 后期制作和视频处理工具
   - `generate-music`：你可以用这个工具生成适合视频内容风格的BGM
   - `audio-video-sync`：音画（唇形）同步工具，你可以使用这个工具合并音频视频，或者为人物对口型
-  - `get-schema`：你执行这个工具获取视频剪辑合成的JSON格式规范，用该规范创建 draft_content.json 文件，然后通过这个文件进行视频合成
+  - `get-schema（type: draft_content）`：你执行这个工具获取视频剪辑合成的JSON格式规范，用该规范创建 draft_content.json 文件，然后通过这个文件进行视频合成
   - `compile-and-run`：你执行这个工具编译并运行 draft_content.json 文件，生成视频
   - `run-ffmpeg`：你可以使用这个工具执行任意ffmpeg命令，这在需要对视频进行更复杂处理时非常有用
 

package/dist/mcp/servers/prompts/rules/general-video.md

@@ -8,14 +8,14 @@
 
 1. 确保项目已正确开启：`project-open` 已被调用
 2. 根据剧情设计选择语音 → 使用 `search-voices` 选择合适的配音音色，若用户指定了voice_id，则直接使用该音色ID，无需验证
-3. 剧本规范 → 调用`get-schema`获取分镜规范 → 编写 storyboard.json（受众、脚本、风格、角色、场景）
+3. 剧本规范 → 调用`get-schema（type: storyboard）`获取分镜规范 → 编写 storyboard.json（受众、脚本、风格、角色、场景）
 4. 剧本润色 → 检查并修改剧本的角色，确保每个场景角色的外貌、妆造、衣着特征在 start_frame 中描述完整以保证一致性
 5. 素材生成（严格按顺序）
   1) 配音 `generate-scene-tts` 
   2) 图片 `generate-image` + 视频 `generate-video` 
     或 `generate-video-by-ref` 参考图生视频
   3) 背景音乐 `generate-music`
-6. 技术规范 → 调用`get-schema`获取draft_content规范 → 根据规范创建 draft_content.json
+6. 技术规范 → 调用`get-schema（type: draft_content）`获取draft_content规范 → 根据规范创建 draft_content.json
 7. 执行渲染 → `compile-and-run` 输出成品并自动下载到本地
 8. 关闭项目 → `project-close`
 

package/dist/mcp/servers/prompts/rules/story-telling.md

@@ -19,7 +19,7 @@
     * **文案 ("script"字段):** 为每个分镜创作具备情感穿透力的文案。文案必须与画面描述紧密贴合，共同服务于情绪的传递。**禁止在文案中使用任何英文引号 ("")**。
     * **画面 ("start_frame"字段):** 为每个分镜构思详细的首帧画面。画风必须贴合用户诉求和故事氛围。描述需包含构图、光影、色彩、角色神态等关键视觉要素，达到可直接用于图片生成的标准。注意画面避免在运动、情感等处**锁死**，必须留有视频发挥的余地，比如人物哭泣，不要在一开始就让角色号啕大哭，动作、姿势、表情等也不要一开始就达到高潮，记住这只是首帧图片，需要为后续动画留有余地。
     * **动画 ("video_prompt"字段):** 为每个分镜构思详细的动画描述。动画必须与以画面作为首帧，描述紧密贴合，共同服务于情绪的传递。动画必须具备专业的镜头感和视觉效果，如镜头语言、运动、情感、动作等，也要考虑到光影和特效，且必须考虑到用户诉求和故事氛围。
-8. 分镜整合输出： `get-schema` 获取分镜规范 → 整合以上内容，创建初始 storyboard.json
+8. 分镜整合输出： `get-schema（type: storyboard）` 获取分镜规范 → 整合以上内容，创建初始 storyboard.json
 9. **素材生成（根据选择的模式）：**
    **模式一：批量图片生成**
     * 分组场景图片 `generate-image-serials` （一次性生成所有分镜图片）
@@ -32,7 +32,7 @@
     * 配音 `generate-scene-tts` （⚠️ 务必严格采用storyboard中场景的script或dialog作为配音输入文本）
     * 视频 `generate-video`
     * 背景音乐 `generate-music`
-10. 技术规范 → 调用`get-schema`获取 draft_content 规范 → 根据规范创建 draft_content.json
+10. 技术规范 → 调用`get-schema（type: draft_content）`获取 draft_content 规范 → 根据规范创建 draft_content.json
 11. 执行渲染 → `compile-and-run` 输出成品并自动下载到本地
 12. 关闭项目 → `project-close`
 

package/dist/mcp/servers/prompts/skills/workflows/general-video.md

@@ -13,14 +13,14 @@ description: 制作通用视频时，可以根据用户需求，按照这个流
 
 1. 确保项目已正确开启：`project-open` 已被调用
 2. 根据剧情设计选择语音 → 使用 `search-voices` 选择合适的配音音色，若用户指定了voice_id，则直接使用该音色ID，无需验证
-3. 剧本规范 → 调用`get-schema`获取分镜规范 → 编写 storyboard.json（受众、脚本、风格、角色、场景）
+3. 剧本规范 → 调用`get-schema（type: storyboard）`获取分镜规范 → 编写 storyboard.json（受众、脚本、风格、角色、场景）
 4. 剧本润色 → 检查并修改剧本的角色，确保每个场景角色的外貌、妆造、衣着特征在 start_frame 中描述完整以保证一致性
 5. 素材生成（严格按顺序）
   1) 配音 `generate-scene-tts` 
   2) 图片 `generate-image` + 视频 `generate-video` 
     或 `generate-video-by-ref` 参考图生视频
   3) 背景音乐 `generate-music`
-6. 技术规范 → 调用`get-schema`获取 draft_content 规范 → 根据规范创建 draft_content.json
+6. 技术规范 → 调用`get-schema（type: draft_content）`获取 draft_content 规范 → 根据规范创建 draft_content.json
 7. 执行渲染 → `compile-and-run` 输出成品并自动下载到本地
 8. 关闭项目 → `project-close`
 

package/dist/mcp/servers/prompts/skills/workflows/music-video.md

@@ -14,11 +14,11 @@ description: 创作专业音乐MV，基于 Zerocut 自主完成音乐MV成片的
 3. 音乐创作 → 根据主题构思音乐氛围 → 创作歌词 lyrics.txt
 4. 音乐生成 → 根据 lyrics.txt 调用 `generate-music` → 获得歌曲和 captions
 5. 分析歌曲 → 创建 timeline_analysis.json 得到 captions 的时间线
-6. 设计分镜场景 → `get-schema` 获取分镜规范 → 创建初始 storyboard.json
+6. 设计分镜场景 → `get-schema（type: storyboard）` 获取分镜规范 → 创建初始 storyboard.json
 7. 主要角色形象塑造 → `generate-character-image` → 生成主要角色形象参考图（三视图）
 8. 分镜首帧生成 → `generate-image` → 生成各场景分镜首帧
 9. 首尾帧视频生成 → `generate-video` → **可选择使用连续镜头方式**：根据创意需要，可以选择以下一场景的 start_frame 作为上一场景的 end_frame 来实现场景间连续性，或采用独立场景切换方式，每段视频的实际时长应匹配 timeline_analysis 中 proposed_video_scenes 对应场景的 video_duration_s
-10. 技术规范 → 调用`get-schema`获取 draft_content 规范 → 根据规范创建 draft_content.json
+10. 技术规范 → 调用`get-schema（type: draft_content）`获取 draft_content 规范 → 根据规范创建 draft_content.json
 11. 执行渲染 → `compile-and-run` 输出成品并自动下载到本地
 12. 关闭项目 → `project-close`
 

package/dist/mcp/servers/zerocut.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"zerocut.d.ts","sourceRoot":"","sources":["../../../src/mcp/servers/zerocut.ts"],"names":[],"mappings":";AA+5KA,wBAAsB,GAAG,kBAKxB"}
+{"version":3,"file":"zerocut.d.ts","sourceRoot":"","sources":["../../../src/mcp/servers/zerocut.ts"],"names":[],"mappings":";AA4/KA,wBAAsB,GAAG,kBAKxB"}

package/dist/mcp/servers/zerocut.js

@@ -55,7 +55,7 @@ const node_fs_1 = require("node:fs");
 const coze_1 = require("../../utils/coze");
 const mp3_duration_1 = __importDefault(require("mp3-duration"));
 const image_size_1 = __importDefault(require("image-size"));
-function createErrorResponse(error, operation) {
+function createErrorResponse(error, operation, details) {
     const errorMessage = error instanceof Error ? error.message : String(error);
     console.error(`[${operation}] Error:`, error);
     return {
@@ -67,6 +67,7 @@ function createErrorResponse(error, operation) {
                     error: errorMessage,
                     operation,
                     timestamp: new Date().toISOString(),
+                    details,
                 }),
             },
         ],
@@ -359,12 +360,11 @@ server.registerTool('retrieve-rules-context', {
         purpose: zod_1.z
             .enum([
             'general-video',
-            'music-video',
-            'stage-play',
             'story-telling',
             'creative-ad',
             'expert',
             'material-creation',
+            'anim',
             'freeform',
             'custom',
         ])
@@ -372,12 +372,11 @@ server.registerTool('retrieve-rules-context', {
             .describe(`The purpose of the rules context to retrieve.
 
 - general-video 创建通用视频
-- music-video 创建音乐视频
-- stage-play 创建舞台播放视频
 - story-telling 创建故事讲述视频
 - creative-ad 创建创意广告视频
 - expert 以专家模式创建视频，必须用户主动要求才触发
 - material-creation 素材创作模式，必须用户主动要求才触发
+- anim 漫剧创作模式，必须用户主动要求才触发
 - freeform 自由创作模式，必须用户主动要求才触发
 - custom 自定义模式`),
     },
@@ -400,12 +399,11 @@ server.registerTool('retrieve-rules-context', {
         // 当 projectRulesFile 不存在时，设置 checkStoryboardSubtitlesFlag 为 false
         checkStoryboardSubtitlesFlag = false;
         if (purpose !== 'general-video' &&
-            purpose !== 'music-video' &&
-            purpose !== 'stage-play' &&
             purpose !== 'story-telling' &&
             purpose !== 'creative-ad' &&
             purpose !== 'expert' &&
             purpose !== 'material-creation' &&
+            purpose !== 'anim' &&
             purpose !== 'freeform') {
             return createErrorResponse(`Project rules file not found: ${projectRulesFile}`, 'retrieve-rules-context');
         }
@@ -739,7 +737,10 @@ server.registerTool('generate-character-image', {
     title: 'Generate Character Image',
     description: 'Generate a turnaround image or portrait for any character.',
     inputSchema: {
-        type: zod_1.z.enum(['banana', 'seedream']).optional().default('banana'),
+        type: zod_1.z
+            .enum(['banana', 'banana-pro', 'seedream'])
+            .optional()
+            .default('banana'),
         name: zod_1.z.string().describe('The name of the character.'),
         gender: zod_1.z
             .enum(['male', 'female'])
@@ -1069,7 +1070,10 @@ server.registerTool('generate-image', {
     title: 'Generate Image',
     description: `生成图片`,
     inputSchema: {
-        type: zod_1.z.enum(['banana', 'seedream']).optional().default('seedream'),
+        type: zod_1.z
+            .enum(['banana', 'banana-pro', 'seedream'])
+            .optional()
+            .default('seedream'),
         prompt: zod_1.z
             .string()
             .describe('The prompt to generate. 一般要严格对应 storyboard 中当前场景的 start_frame 或 end_frame 中的字段描述'),
@@ -1434,6 +1438,11 @@ server.registerTool('edit-image', {
     description: 'Edit the image.',
     inputSchema: {
         prompt: zod_1.z.string().describe('要编辑图片的中文提示词'),
+        type: zod_1.z
+            .enum(['banana-pro', 'banana', 'seedream'])
+            .optional()
+            .default('seedream')
+            .describe('The type of image model to use.'),
         sourceImageFileName: zod_1.z.string().describe('The source image file name.'),
         saveToFileName: zod_1.z.string().describe('The filename to save.'),
         size: zod_1.z
@@ -1477,7 +1486,7 @@ server.registerTool('edit-image', {
             .default(false)
             .describe('Whether to add watermark to the image.'),
     },
-}, async ({ prompt, sourceImageFileName, saveToFileName, size, watermark }) => {
+}, async ({ prompt, type, sourceImageFileName, saveToFileName, size, watermark, }) => {
     try {
         // 验证session状态
         const currentSession = await validateSession('edit-image');
@@ -1503,8 +1512,9 @@ server.registerTool('edit-image', {
         const base64String = `data:${mimeType};base64,${imageBuffer.toString('base64')}`;
         imageBase64Array.push(base64String);
         const ai = currentSession.ai;
-        const processedPrompt = `转绘参考图片，${prompt}`;
+        const processedPrompt = `转绘我提供的参考图片，${prompt}`;
         const res = await ai.generateImage({
+            type,
             prompt: processedPrompt,
             size,
             watermark,
@@ -2761,7 +2771,9 @@ server.registerTool('get-schema', {
     title: 'Get Storyboard Schema or Draft Content Schema',
     description: 'Get the complete Storyboard or Draft Content JSON Schema definition. Use this schema to validate storyboard.json or draft_content.json files.',
     inputSchema: {
-        type: zod_1.z.enum(['storyboard', 'draft_content']),
+        type: zod_1.z
+            .enum(['storyboard', 'draft_content'])
+            .describe('The type of schema to retrieve. Must be either "storyboard" or "draft_content". 用 type: storyboard 的 schema 生成 storyboard.json；用 type: draft_content 的 schema 生成 draft_content.json'),
     },
 }, async ({ type }) => {
     try {
@@ -2795,34 +2807,6 @@ server.registerTool('get-schema', {
         return createErrorResponse(error, 'get-schema');
     }
 });
-server.registerTool('do-storyboard-optimization', {
-    title: 'Do Storyboard Optimization',
-    description: 'Get storyboard optimization guidelines and action instructions.',
-    inputSchema: {},
-}, async () => {
-    try {
-        // 调用 do-storyboard-optimization 工具时，设置 checkStoryboardFlag 为 true
-        checkStoryboardFlag = true;
-        const guidelinePath = (0, node_path_1.resolve)(__dirname, './prompts/actions/storyboard_optimization.md');
-        const storyboardOptimizationGuidelines = await (0, promises_1.readFile)(guidelinePath, 'utf-8');
-        return {
-            content: [
-                {
-                    type: 'text',
-                    text: JSON.stringify({
-                        content: {
-                            guideline: storyboardOptimizationGuidelines,
-                            action: '你应当根据guideline优化storyboard.json',
-                        },
-                    }),
-                },
-            ],
-        };
-    }
-    catch (error) {
-        return createErrorResponse(error, 'do-storyboard-optimization');
-    }
-});
 server.registerTool('search-voices', {
     title: 'Search Voices',
     description: 'Search voices from doubao_voices_full based on scenes, emotions, languages, and gender.',
@@ -3551,6 +3535,11 @@ server.registerTool('generate-video-by-ref', {
         prompt: zod_1.z
             .string()
             .describe('The prompt to generate video with or without reference images.'),
+        rewritePrompt: zod_1.z
+            .boolean()
+            .optional()
+            .default(true)
+            .describe('Whether to rewrite the prompt.'),
         referenceImages: zod_1.z
             .array(zod_1.z.object({
             name: zod_1.z
@@ -3571,7 +3560,12 @@ server.registerTool('generate-video-by-ref', {
             .optional()
             .default(5)
             .describe('The duration of the video in seconds.'),
-        size: zod_1.z.enum(['720x1280', '1280x720']).describe('The size of the video.'),
+        aspectRatio: zod_1.z
+            .enum(['16:9', '9:16'])
+            .describe('The aspect ratio of the video.'),
+        resolution: zod_1.z
+            .enum(['720p', '1080p'])
+            .describe('The resolution of the video.'),
         watermark: zod_1.z
             .boolean()
             .optional()
@@ -3614,7 +3608,7 @@ server.registerTool('generate-video-by-ref', {
             .default(false)
             .describe('Whether to optimize the prompt.'),
     },
-}, async ({ prompt, referenceImages, duration, size, watermark, type, mute, saveToFileName, sceneIndex, storyBoardFile, skipConsistencyCheck, optimizePrompt, }, context) => {
+}, async ({ prompt, rewritePrompt, referenceImages, duration, aspectRatio, resolution, watermark, type, mute, saveToFileName, sceneIndex, storyBoardFile, skipConsistencyCheck, optimizePrompt, }, context) => {
     try {
         // 验证session状态
         const currentSession = await validateSession('generate-video-by-ref');
@@ -3656,6 +3650,9 @@ server.registerTool('generate-video-by-ref', {
                             if (scene.is_continuous === true) {
                                 return createErrorResponse('连续镜头应使用首尾帧，请修改连续镜头设置，或将本场景改为首尾帧方式实现', 'generate-video-by-ref');
                             }
+                            if (scene.video_type !== 'references') {
+                                return createErrorResponse(`场景 ${sceneIndex} 中的 video_type (${scene.video_type}) 未设置为 'references'，不应当使用参考生视频，请使用图生视频 generate-video 方式生成`, 'generate-video-by-ref');
+                            }
                             // 检查 use_video_model 与 type 参数的一致性
                             if (scene.use_video_model &&
                                 type &&
@@ -3704,15 +3701,15 @@ server.registerTool('generate-video-by-ref', {
                             }
                             // 检查 storyBoard.orientation 与 size 参数的一致性
                             if (storyBoard.orientation) {
-                                const isLandscapeSize = size === '1280x720';
-                                const isPortraitSize = size === '720x1280';
+                                const isLandscapeSize = aspectRatio === '16:9';
+                                const isPortraitSize = aspectRatio === '9:16';
                                 if (storyBoard.orientation === 'landscape' &&
                                     !isLandscapeSize) {
-                                    return createErrorResponse(`故事板设定为横屏模式(orientation: landscape)，但视频尺寸 ${size} 为竖屏格式，请使用横屏尺寸 1280x720`, 'generate-video-by-ref');
+                                    return createErrorResponse(`故事板设定为横屏模式(orientation: landscape)，但视频为竖屏格式，请使用横屏尺寸 1280x720`, 'generate-video-by-ref');
                                 }
                                 if (storyBoard.orientation === 'portrait' &&
                                     !isPortraitSize) {
-                                    return createErrorResponse(`故事板设定为竖屏模式(orientation: portrait)，但视频尺寸 ${size} 为横屏格式，请使用竖屏尺寸 720x1280`, 'generate-video-by-ref');
+                                    return createErrorResponse(`故事板设定为竖屏模式(orientation: portrait)，但视频为横屏格式，请使用竖屏尺寸 720x1280`, 'generate-video-by-ref');
                                 }
                             }
                         }
@@ -3781,17 +3778,21 @@ server.registerTool('generate-video-by-ref', {
                 url: imageUrl,
             });
             console.log(`Added reference image URL: ${imageUrl} (name: ${imageRef.name}, type: ${imageRef.type})`);
-            promptPrefix += `参考“${imageRef.name}”（图${referenceImageUrls.length}）${imageRef.type === 'subject' ? '主体形象' : '背景'}\n`;
+            if (rewritePrompt) {
+                promptPrefix += `参考“${imageRef.name}”（图${referenceImageUrls.length}）${imageRef.type === 'subject' ? '主体形象' : '背景'}\n`;
+            }
         }
         if (promptPrefix) {
             promptPrefix += '\n';
         }
+        const finalPrompt = `${promptPrefix}${prompt}`;
         // 调用 referencesToVideo 函数
         const result = await currentSession.ai.referencesToVideo({
-            prompt: `${promptPrefix}${prompt}`,
+            prompt: finalPrompt,
             reference_images: referenceImageUrls, // 使用URL数组而不是base64数组
             duration,
-            size,
+            aspect_ratio: aspectRatio,
+            resolution,
             watermark,
             type,
             mute,
@@ -3803,9 +3804,23 @@ server.registerTool('generate-video-by-ref', {
         if (result.error) {
             return createErrorResponse(result.error, 'generate-video-by-ref');
         }
-        if (!result.url) {
+        if (!result.url && !result.taskUrl) {
             return createErrorResponse('Video generation failed: no video URL returned', 'generate-video-by-ref');
         }
+        else if (result.taskUrl) {
+            return {
+                content: [
+                    {
+                        type: 'text',
+                        text: JSON.stringify({
+                            success: true,
+                            message: '该视频生成任务正在运行中，它是异步任务，且执行时间较长，你应立即调用工具 wait-for-task-finish 来等待任务结束，如该工具调用超时，你应立即再次重新调用直到任务结束。',
+                            taskUrl: result.taskUrl,
+                        }),
+                    },
+                ],
+            };
+        }
         // 下载生成的视频
         await saveMaterial(currentSession, result.url, validatedFileName);
         // 更新媒体日志
@@ -3831,6 +3846,8 @@ server.registerTool('generate-video-by-ref', {
                         ratio: result.ratio,
                         url: result.url,
                         last_frame_url: result.last_frame_url,
+                        referenceImageUrls,
+                        prompt: finalPrompt,
                     }, null, 2),
                 },
             ],
@@ -3854,6 +3871,10 @@ server.registerTool('extend-video-duration', {
             .max(7)
             .default(3)
             .describe('Duration to extend the video in seconds (1-7).'),
+        resolution: zod_1.z
+            .enum(['720p', '1080p'])
+            .default('720p')
+            .describe('The resolution of the video.'),
         prompt: zod_1.z
             .string()
             .optional()
@@ -3870,7 +3891,7 @@ server.registerTool('extend-video-duration', {
             .string()
             .describe('The filename to save the extended video.'),
     },
-}, async ({ videoFileName, duration, prompt, type = 'turbo', endFrame, saveToFileName, }, context) => {
+}, async ({ videoFileName, duration, resolution, prompt, type = 'turbo', endFrame, saveToFileName, }, context) => {
     try {
         await validateSession('extend-video');
         validateFileName(videoFileName);
@@ -3899,6 +3920,7 @@ server.registerTool('extend-video-duration', {
             video_url: videoUri,
             prompt: finalPrompt,
             duration,
+            resolution,
             end_frame: endFrameUri,
             onProgress: async (metaData) => {
                 sendProgress(context, ++progress, undefined, `Extension progress: ${Math.round(progress * 100)}%`);
@@ -3952,49 +3974,71 @@ server.registerTool('extend-video-duration', {
         return createErrorResponse(error, 'extend-video');
     }
 });
-server.registerTool('generate-video-by-template', {
-    title: 'Generate Video by Template',
-    description: 'Generate a video based on a template. The template must be a valid JSON string.',
+server.registerTool('use-template', {
+    title: 'Use Template',
+    description: 'Find a template that matches the user request, and use it to generate a new material.',
     inputSchema: {
-        purpose: zod_1.z
-            .string()
-            .describe('The prompt to generate the video. 自动根据意图匹配模板'),
-        text_prompts: zod_1.z
-            .array(zod_1.z.string().describe('Text prompt for the template to build video.'))
-            .optional()
-            .describe('Optional text prompts to use in the template.'),
+        user_request: zod_1.z.string().describe('用户请求，根据意图自动匹配模板'),
         materials: zod_1.z
             .array(zod_1.z.string().describe('Material file name in materials directory.'))
             .optional()
             .describe('Optional materials to use in the template.'),
         saveToFileName: zod_1.z
             .string()
-            .describe('The filename to save the generated video.'),
+            .describe('The filename to save the generated material.'),
     },
-}, async ({ purpose, text_prompts, saveToFileName, materials }) => {
+}, async ({ user_request, saveToFileName, materials }) => {
     try {
-        const templates = {
-            '7569583728302817331': '宠物唱歌',
-            '7569605825011367976': '万圣节宠物弹吉他',
-        };
+        const templates = [
+            {
+                id: '7576300661140209704',
+                name: '视频编辑',
+                descript: '根据用户的要求，替换视频内容中的主体或背景。',
+                trigger: '将{A视频}中的{B主体}修改为{C主体}',
+            },
+            {
+                id: '7569583728302817331',
+                name: '宠物唱歌',
+                description: '用一张宠物照片，生成一段宠物唱歌的视频。',
+                trigger: '根据{A图片}生成一段{宠物A}唱歌的视频',
+            },
+            {
+                id: '7569605825011367976',
+                name: '万圣节宠物弹吉他',
+                description: '用一张宠物照片，生成一段宠物弹吉他的视频。',
+                trigger: '根据{A图片}生成一段{宠物A}弹吉他的视频',
+            },
+            {
+                id: '7572443489834844223',
+                name: '图生动作模仿视频',
+                description: '用一张图片和动作视频，生成一段图片主体模仿该动作视频的新视频。',
+                trigger: '生成{A图片}模仿{B视频}的视频',
+            },
+            {
+                id: '7575160546555674670',
+                name: '文生动作模仿视频',
+                description: '用一段提示词和视频，生成一段模仿该视频的新视频。',
+                trigger: '生成一段{提示词A}模仿{B视频}的视频',
+            },
+        ];
         const currentSession = await validateSession('generate-video-by-template');
         const validatedFileName = validateFileName(saveToFileName);
         const ai = currentSession.ai;
         let completion = await ai.getCompletions({
-            model: 'Doubao-Seed-1.6-flash',
+            model: 'Doubao-Seed-1.6',
             messages: [
                 {
                     role: 'system',
-                    content: `你根据用户需求，从以下模板中选择一个匹配的模板，返回模板ID：\n\n${JSON.stringify(templates)}\n\n**约束**：只输出模板ID，不需要其他解释。`,
+                    content: `你根据用户需求，从以下模板中选择一个匹配的模板，返回模板ID：\n\n${JSON.stringify(templates)}\n\n**约束**：只输出模板ID，不需要其他解释，如果没有匹配的模版，输出"无匹配模版"`,
                 },
                 {
                     role: 'user',
-                    content: `用户意图：${purpose}`,
+                    content: user_request,
                 },
             ],
         });
         const templateId = completion.choices[0]?.message?.content.trim();
-        if (!templateId) {
+        if (!templateId || templateId === '无匹配模版') {
             throw new Error('Failed to get template ID');
         }
         const workflowInfo = await ai.getCozeWorkflowInfo(templateId);
@@ -4017,11 +4061,12 @@ server.registerTool('generate-video-by-template', {
 ## **工作流输入 schema**：
 ${JSON.stringify(workflowInfo.data.workflow_detail.description)}
 
-## **prompt**:
-${text_prompts}
+## **用户需求 prompt**:
+${user_request}
 
 ## **materials**：
 ${JSON.stringify(materialUrls)}`;
+        // console.log(prompt);
         completion = await ai.getCompletions({
             model: 'Doubao-Seed-1.6-flash',
             messages: [
@@ -4043,7 +4088,6 @@ ${JSON.stringify(materialUrls)}`;
         if (!parameters) {
             throw new Error('Failed to get parameters');
         }
-        console.log(parameters);
         const result = await ai.runCozeWorkflow(templateId, JSON.parse(parameters).parameters);
         if (result.url) {
             // 保存到项目材料目录
@@ -4075,7 +4119,7 @@ ${JSON.stringify(materialUrls)}`;
         };
     }
     catch (error) {
-        return createErrorResponse(error, 'generate-video-by-template');
+        return createErrorResponse(error, 'use-template');
     }
 });
 server.registerTool('run-ffmpeg-command', {
@@ -4172,6 +4216,34 @@ server.registerTool('run-ffmpeg-command', {
         return createErrorResponse(error, 'run-ffmpeg-command');
     }
 });
+server.registerTool('do-storyboard-optimization', {
+    title: 'Do Storyboard Optimization',
+    description: 'Get storyboard optimization guidelines and action instructions.',
+    inputSchema: {},
+}, async () => {
+    try {
+        // 调用 do-storyboard-optimization 工具时，设置 checkStoryboardFlag 为 true
+        checkStoryboardFlag = true;
+        const guidelinePath = (0, node_path_1.resolve)(__dirname, './prompts/actions/storyboard_optimization.md');
+        const storyboardOptimizationGuidelines = await (0, promises_1.readFile)(guidelinePath, 'utf-8');
+        return {
+            content: [
+                {
+                    type: 'text',
+                    text: JSON.stringify({
+                        content: {
+                            guideline: storyboardOptimizationGuidelines,
+                            action: '你应当根据guideline优化storyboard.json',
+                        },
+                    }),
+                },
+            ],
+        };
+    }
+    catch (error) {
+        return createErrorResponse(error, 'do-storyboard-optimization');
+    }
+});
 server.registerTool('search-context', {
     title: 'Search Context',
     description: 'Search the context.',