cerevox 2.16.3 → 2.17.1

package/dist/mcp/servers/zerocut.js

@@ -679,7 +679,7 @@ server.registerTool('generate-character-image', {
         isTurnaround: zod_1.z
             .boolean()
             .default(true)
-            .describe('是否生成三视图。true: 生成1280x720的三视图，false: 生成720x1280的竖版人物正视图'),
+            .describe('是否生成三视图。true: 生成4096x3072的三视图，false: 生成2304x4096的竖版人物正视图'),
         saveToFileName: zod_1.z.string().describe('The filename to save.'),
     },
 }, async ({ name, gender, age, appearance, clothing, personality, style, saveToFileName, referenceImage, referenceImagePrompt, isTurnaround, }) => {
@@ -690,39 +690,58 @@ server.registerTool('generate-character-image', {
         // 根据 isTurnaround 参数生成不同的提示词和尺寸
         let prompt;
         let size;
-        if (isTurnaround) {
-            // 生成三视图
-            prompt = `
-你是一个专业的角色设计师，请根据设定生成角色全身三视图，图片为白底，图中不带任何文字。设定为：
-
-角色名称：${name}
+        let roleDescriptionPrompt = `角色名称：${name}
 角色性别：${gender}
 角色年龄：${age}
 角色外观：${appearance}
 角色服装：${clothing}
 角色性格：${personality}
 构图风格：${style}
-${referenceImagePrompt}
-三视图分别是指侧视图、正视图和背视图，从左到右按照这个顺序生成，三者都必须是全身图。
-        `;
-            size = '1280x720';
+`;
+        const ai = currentSession.ai;
+        try {
+            const promptOptimizer = await (0, promises_1.readFile)((0, node_path_1.resolve)(__dirname, './prompts/character-prompt-optimizer.md'), 'utf8');
+            const completion = await ai.getCompletions({
+                model: 'Doubao-Seed-1.6-flash',
+                messages: [
+                    {
+                        role: 'system',
+                        content: promptOptimizer,
+                    },
+                    {
+                        role: 'user',
+                        content: roleDescriptionPrompt,
+                    },
+                ],
+            });
+            const optimizedPrompt = completion.choices[0]?.message?.content.trim();
+            if (optimizedPrompt) {
+                roleDescriptionPrompt = `${optimizedPrompt} 8K,超高细节,逼真质感。`;
+            }
+        }
+        catch (error) {
+            console.warn('Failed to optimize character prompt');
+        }
+        if (referenceImage) {
+            roleDescriptionPrompt = `${referenceImagePrompt}${roleDescriptionPrompt}`;
+        }
+        if (isTurnaround) {
+            // 生成三视图
+            prompt = `
+你是一个专业的角色设计师，请根据角色设定生成角色全身三视图，画面左1/3部分是人物侧视图，中间1/3部分是人物正视图，右侧1/3部分是人物背视图，三部分都必须包括人物全身（从头到脚），构图远近、大小均相同，平面排布无透视，外表、服饰、形象保持完全一致，确保是由三部相机分别**同时**从同一角色侧面、正面和背面进行拍摄的画面。除了这三个人物形象构图外，不再有任何其他元素。图片为白底，图中不带任何文字。
+
+角色设定为：
+${roleDescriptionPrompt}
+        `.trim();
+            size = '4096x3072';
         }
         else {
             // 生成竖版人物正视图
             prompt = `
-你是一个专业的角色设计师，请根据设定生成角色全身正视图，图片为白底，图中不带任何文字。设定为：
-
-角色名称：${name}
-角色性别：${gender}
-角色年龄：${age}
-角色外观：${appearance}
-角色服装：${clothing}
-角色性格：${personality}
-构图风格：${style}
-${referenceImagePrompt}
-请生成一张完整的全身正视图，角色面向观众，展现完整的身体比例和服装细节。
-        `;
-            size = '720x1280';
+你是一个专业的角色设计师，请根据角色设定生成完整的全身正视图，角色面向观众，展现完整的身体比例和服装细节。图片为白底，图中不带任何文字。设定为：
+${roleDescriptionPrompt}
+        `.trim();
+            size = '2304x4096';
         }
         let imageBase64Array;
         if (referenceImage) {
@@ -750,7 +769,6 @@ ${referenceImagePrompt}
                 return createErrorResponse(`Failed to load reference image ${referenceImage}: ${error}`, 'generate-image');
             }
         }
-        const ai = currentSession.ai;
         const res = await ai.generateImage({
             prompt,
             size,
@@ -882,8 +900,26 @@ server.registerTool('generate-image', {
             '832x1248',
             '1248x832',
             '1512x648',
+            // 2K
+            '2048x2048',
+            '1728x2304',
+            '2304x1728',
+            '2560x1440',
+            '1440x2560',
+            '1664x2496',
+            '2496x1664',
+            '3024x1456',
+            // 4K
+            '4096x4096',
+            '3072x4096',
+            '4096x3072',
+            '4096x2304',
+            '2304x4096',
+            '2731x4096',
+            '4096x2731',
+            '4096x1968',
         ])
-            .optional()
+            .default('720x1280')
             .describe('The size of the image.'),
         saveToFileName: zod_1.z.string().describe('The filename to save.'),
         watermark: zod_1.z
@@ -920,7 +956,7 @@ server.registerTool('generate-image', {
 \`\`\`
           `),
     },
-}, async ({ prompt, sceneIndex, storyBoardFile = 'story_board.json', skipConsistencyCheck = false, size, saveToFileName, watermark, referenceImages, optimizePrompt, }) => {
+}, async ({ prompt, sceneIndex, storyBoardFile = 'story_board.json', skipConsistencyCheck = false, size = '720x1280', saveToFileName, watermark, referenceImages, optimizePrompt, }) => {
     try {
         // 验证session状态
         const currentSession = await validateSession('generate-image');
@@ -946,6 +982,49 @@ server.registerTool('generate-image', {
                             if (prompt !== startFrame && prompt !== endFrame) {
                                 return createErrorResponse('图片提示词必须严格遵照story_board的设定，如果用户明确指出不需要遵守，请将skipConsistencyCheck设置为true后再次调用', 'generate-image');
                             }
+                            // 校验 size 参数与 story_board 的 orientation 属性一致性
+                            if (size && storyBoard.orientation) {
+                                const isLandscapeSize = [
+                                    '1152x864',
+                                    '1280x720',
+                                    '1248x832',
+                                    '1512x648',
+                                    '2304x1728',
+                                    '2560x1440',
+                                    '2496x1664',
+                                    '3024x1456',
+                                    '4096x3072',
+                                    '4096x2304',
+                                    '4096x2731',
+                                    '4096x1968',
+                                ].includes(size);
+                                const isPortraitSize = [
+                                    '864x1152',
+                                    '720x1280',
+                                    '832x1248',
+                                    '1728x2304',
+                                    '1440x2560',
+                                    '1664x2496',
+                                    '3072x4096',
+                                    '2304x4096',
+                                    '2731x4096',
+                                ].includes(size);
+                                const isSquareSize = [
+                                    '1024x1024',
+                                    '2048x2048',
+                                    '4096x4096',
+                                ].includes(size);
+                                if (storyBoard.orientation === 'landscape' &&
+                                    !isLandscapeSize &&
+                                    !isSquareSize) {
+                                    return createErrorResponse(`故事板设定为横屏模式(orientation: landscape)，但生图尺寸 ${size} 为竖屏格式，请使用横屏尺寸如 1280x720、2560x1440、4096x2304 等`, 'generate-image');
+                                }
+                                if (storyBoard.orientation === 'portrait' &&
+                                    !isPortraitSize &&
+                                    !isSquareSize) {
+                                    return createErrorResponse(`故事板设定为竖屏模式(orientation: portrait)，但生图尺寸 ${size} 为横屏格式，请使用竖屏尺寸如 720x1280、1440x2560、2304x4096 等`, 'generate-image');
+                                }
+                            }
                         }
                         else {
                             console.warn(`Scene index ${sceneIndex} not found in story_board.json`);
@@ -1146,9 +1225,27 @@ server.registerTool('generate-image-series', {
             '832x1248',
             '1248x832',
             '1512x648',
+            // 2K
+            '2048x2048',
+            '1728x2304',
+            '2304x1728',
+            '2560x1440',
+            '1440x2560',
+            '1664x2496',
+            '2496x1664',
+            '3024x1456',
+            // 4K
+            '4096x4096',
+            '3072x4096',
+            '4096x3072',
+            '4096x2304',
+            '2304x4096',
+            '2731x4096',
+            '4096x2731',
+            '4096x1968',
         ])
-            .optional()
-            .describe('The size of the images.'),
+            .default('720x1280')
+            .describe('The size of the image.'),
         watermark: zod_1.z
             .boolean()
             .optional()
@@ -2840,6 +2937,180 @@ server.registerTool('search-voices', {
         return createErrorResponse(error, 'search-voices');
     }
 });
+server.registerTool('image-aligner', {
+    title: 'Image Aligner',
+    description: 'Analyze image quality and alignment with prompt using AI Image Quality Inspector.',
+    inputSchema: {
+        imageFileName: zod_1.z
+            .string()
+            .describe('The image file name in materials directory to analyze.'),
+        sceneIndex: zod_1.z.number().min(1).describe('场景索引，从1开始的下标'),
+        storyBoardFile: zod_1.z
+            .string()
+            .optional()
+            .default('story_board.json')
+            .describe('故事板文件路径'),
+        imagePrompt: zod_1.z
+            .string()
+            .optional()
+            .describe('可选的图片提示词，如果提供则覆盖story_board中的提示词'),
+        customPrompt: zod_1.z
+            .string()
+            .optional()
+            .describe('可选的额外用户要求，用于补充图片质量评估的特定需求'),
+    },
+}, async ({ imageFileName, sceneIndex, storyBoardFile = 'story_board.json', imagePrompt, customPrompt, }) => {
+    try {
+        const currentSession = await validateSession('image-aligner');
+        // 验证图片文件
+        validateImageFile(imageFileName);
+        // 获取图片 URL
+        const imageUrl = getMaterialUri(currentSession, imageFileName);
+        // 确定要使用的提示词
+        let finalPrompt = imagePrompt;
+        // 如果没有提供imagePrompt，则从story_board中获取
+        if (!imagePrompt) {
+            try {
+                const storyBoardPath = (0, node_path_1.resolve)(process.env.ZEROCUT_PROJECT_CWD || process.cwd(), projectLocalDir, storyBoardFile);
+                if ((0, node_fs_1.existsSync)(storyBoardPath)) {
+                    const storyBoardContent = await (0, promises_1.readFile)(storyBoardPath, 'utf8');
+                    const storyBoard = JSON.parse(storyBoardContent);
+                    if (storyBoard.scenes && Array.isArray(storyBoard.scenes)) {
+                        const scene = storyBoard.scenes[sceneIndex - 1]; // sceneIndex 从1开始，数组从0开始
+                        if (scene) {
+                            // 根据文件名判断优先级：若end_frame存在且imageFileName包含"_end"则优先取end_frame，否则取start_frame
+                            if (scene.end_frame && imageFileName.includes('_end')) {
+                                finalPrompt = scene.end_frame;
+                            }
+                            else {
+                                finalPrompt = scene.start_frame || scene.end_frame;
+                            }
+                            if (!finalPrompt) {
+                                return createErrorResponse(`场景 ${sceneIndex} 中未找到 start_frame 或 end_frame 提示词`, 'image-aligner');
+                            }
+                        }
+                        else {
+                            return createErrorResponse(`在 ${storyBoardFile} 中未找到场景索引 ${sceneIndex}`, 'image-aligner');
+                        }
+                    }
+                    else {
+                        return createErrorResponse(`${storyBoardFile} 文件格式不正确，缺少 scenes 数组`, 'image-aligner');
+                    }
+                }
+                else {
+                    return createErrorResponse(`故事板文件不存在: ${storyBoardPath}`, 'image-aligner');
+                }
+            }
+            catch (error) {
+                return createErrorResponse(`读取或解析故事板文件失败: ${error}`, 'image-aligner');
+            }
+        }
+        // 如果仍然没有提示词，返回错误
+        if (!finalPrompt) {
+            return createErrorResponse('未提供 imagePrompt 且无法从故事板中获取提示词', 'image-aligner');
+        }
+        // 读取图片质量检查指南
+        const alignerGuidelinePath = (0, node_path_1.resolve)(__dirname, './prompts/reasonings/image_aligner.md');
+        let alignerGuideline = '';
+        try {
+            alignerGuideline = await (0, promises_1.readFile)(alignerGuidelinePath, 'utf8');
+        }
+        catch (error) {
+            console.warn('无法读取图片质量检查指南:', error);
+            alignerGuideline =
+                '请对图片质量进行评估，包括构图、色彩、清晰度等方面。';
+        }
+        // 构建系统提示
+        const systemPrompt = `你是一个专业的AI图片质量检查员。请根据以下指南对图片进行评估：
+
+${alignerGuideline}
+
+请严格按照指南中的JSON格式返回评估结果。`;
+        // 构建用户提示
+        const userPrompt = `请对这张图片进行质量评估。
+
+原始提示词：${finalPrompt}${customPrompt
+            ? `
+
+额外要求：${customPrompt}`
+            : ''}
+
+请按照指南要求，返回包含评分、问题列表和优化建议的JSON格式结果。`;
+        // 调用AI模型进行图片质量评估
+        const ai = currentSession.ai;
+        const completion = await ai.getCompletions({
+            model: 'Doubao-Seed-1.6',
+            messages: [
+                {
+                    role: 'system',
+                    content: systemPrompt,
+                },
+                {
+                    role: 'user',
+                    content: [
+                        {
+                            type: 'image_url',
+                            image_url: {
+                                url: imageUrl,
+                            },
+                        },
+                        {
+                            type: 'text',
+                            text: userPrompt,
+                        },
+                    ],
+                },
+            ],
+        });
+        const result = completion.choices[0]?.message?.content;
+        if (!result) {
+            throw new Error('No response from AI model');
+        }
+        // 解析AI响应
+        let alignmentResult;
+        try {
+            // 尝试从响应中提取JSON
+            const jsonMatch = result.match(/```json\s*([\s\S]*?)\s*```/) ||
+                result.match(/\{[\s\S]*\}/);
+            if (jsonMatch) {
+                alignmentResult = JSON.parse(jsonMatch[1] || jsonMatch[0]);
+            }
+            else {
+                // 如果没有找到JSON格式，尝试直接解析整个响应
+                alignmentResult = JSON.parse(result);
+            }
+        }
+        catch (error) {
+            // 如果解析失败，返回原始响应
+            alignmentResult = {
+                error: 'JSON解析失败',
+                raw_response: result,
+            };
+        }
+        return {
+            content: [
+                {
+                    type: 'text',
+                    text: JSON.stringify({
+                        success: true,
+                        imageFileName,
+                        sceneIndex,
+                        storyBoardFile,
+                        imagePrompt: finalPrompt,
+                        customPrompt,
+                        promptSource: imagePrompt ? 'manual_override' : 'story_board',
+                        analysis: alignmentResult,
+                        imageUrl,
+                        nextActionSuggest: '可根据分析结果调整提示词，修改story_board后，重新生成图片。',
+                    }),
+                },
+            ],
+        };
+    }
+    catch (error) {
+        return createErrorResponse(error, 'image-aligner');
+    }
+});
 server.registerTool('lip-sync', {
     title: 'Lip Sync',
     description: 'Generate lip-synced video by matching video with audio.',