cerevox 4.75.0 → 4.76.1

package/dist/core/ai.js

@@ -365,59 +365,6 @@ let AI = class AI extends base_1.BaseClass {
                 return item;
             }) || [];
             delete options.reference_images;
-            if (reference_images?.[0]) {
-                const responses = await this.getResponses({
-                    model: 'Doubao-Seed-2.0-pro',
-                    input: [
-                        {
-                            role: 'system',
-                            content: `你根据主体信息，优化用户指令，使描述中的内容正确引用主体名称。
-
-具体方式为：
-1. 将用户指令中引用主体信息中主体名称的部分，用 “@主体名（图i）” 的形式替代，i是图片编号，注意它和前后内容之间需要用**空格**分隔
-2. 如果主体名直接是“图1、图2”等编号，则不需要替换
-
-## 例子
-
-### 输入：
-
-参考图：
-[
-  {"url": "...girl.png", "name": "女孩"},
-  {"url": "...fan.png", "name": "扇子"}
-]
-
-用户指令
-- 女孩手持扇子
-
-### 输出：
-@女孩（图1）手持 @扇子（图2）
-
----
-
-## 要求与约束
-
-- 只输出替换主体名后的用户指令，不要输出其他任何额外内容
-`,
-                        },
-                        {
-                            role: 'user',
-                            content: `## 主体信息
-
-  参考图：
-  ${JSON.stringify([...reference_images])}
-
-  ## 用户指令      
-  ${options.prompt.trim()}`,
-                        },
-                    ],
-                });
-                const optimizedPrompt = responses.output?.find((item) => item.type === 'message')?.content?.[0]?.text;
-                options.prompt = optimizedPrompt?.trim() || options.prompt;
-            }
-            else if (options.model === 'qwen') {
-                throw new Error('Must provide 1-3 reference_images');
-            }
             if (options.type === 'storyboard-sketch') {
                 options.size = '2160x3840';
                 options.model = options.model ?? 'gpt-image-vip-md';
@@ -649,200 +596,25 @@ let AI = class AI extends base_1.BaseClass {
                 }
                 : item) ?? [];
             let prompt = options.prompt;
-            if (named_ref_images.length && type.startsWith('wan')) {
-                const replacer = type === 'wan-flash' ? 'character' : '图';
-                const responses = await this.getResponses({
-                    model: 'Doubao-Seed-2.0-pro',
-                    input: [
-                        {
-                            role: 'system',
-                            content: `你根据参考图、参考视频的信息，优化用户指令，使指令描述中的内容正确引用主体名称。
-
-具体方式为：
-1. 将用户指令中引用参考图名字的部分，统一用 “主体名（${replacer}<i>）” 的形式替代，<i>是参考图片编号，注意它和前后内容之间需要用**空格**分隔
-2. 将用户指令中引用参考视频名字的部分，统一用 “视频<i>” 的形式替代，<i>是参考视频编号，注意它和前后内容之间需要用**空格**分隔
-
-## 例子
-
-### 输入：
-
-参考图：
-[
-  {"type": "reference", "url": "...dog.png", "name": "狗"},
-  {"type": "reference", "url": "...cat.png", "name": "猫"}
-]
-
-用户指令
-- 一只狗和一只猫在玩耍
-
-### 输出：
-一只狗（${replacer}1） 和 一只猫（${replacer}2） 在玩耍
-
----
-
-## 要求与约束
-
-- 只输出替换主体名后的用户指令，不要输出其他任何额外内容
-`,
-                        },
-                        {
-                            role: 'user',
-                            content: `## 参考图
-${JSON.stringify([...named_ref_images])}
-
-## 参考视频
-${JSON.stringify([...reference_videos])}
-
-## 用户指令      
-${prompt}`,
-                        },
-                    ],
-                });
-                const optimizedPrompt = responses.output?.find((item) => item.type === 'message')?.content?.[0]?.text;
-                prompt = optimizedPrompt?.trim() || prompt;
-            }
-            else if ((named_ref_images.length || reference_videos.length) &&
-                (type.startsWith('viduq3') || type.startsWith('seedance-2.0'))) {
-                const responses = await this.getResponses({
-                    model: 'Doubao-Seed-2.0-pro',
-                    input: [
-                        {
-                            role: 'system',
-                            content: `你根据主体信息，优化用户指令，使描述中的内容正确引用主体名称。
-
-具体方式为：
-- 将用户指令中引用主体信息中主体名称的部分，统一用 “主体名（@i）” 的形式替代，<i>是参考素材数组的编号，注意它和前后内容之间需要用**空格**分隔
-
-## 例子
-
-### 输入：
-
-参考素材：
-[
-  {"type": "reference", "url": "...dog.png", "name": "狗"},
-  {"type": "reference", "url": "...cat.png", "name": "猫"}
-]
-
-用户指令
-- 一只狗和一只猫在玩耍
-
-### 输出：
-一只狗（@1） 和 一只猫（@2） 在玩耍
-
----
-
-## 要求与约束
-
-- 只输出替换主体名后的用户指令，不要输出其他任何额外内容
-`,
-                        },
-                        {
-                            role: 'user',
-                            content: `## 主体信息
-
-参考素材：
-${JSON.stringify([...named_ref_images, ...reference_videos, ...reference_audios])}
-
-## 用户指令      
-${prompt}`,
-                        },
-                    ],
-                });
-                const optimizedPrompt = responses.output?.find((item) => item.type === 'message')?.content?.[0]?.text;
-                prompt = optimizedPrompt?.trim() || prompt;
-            }
-            else if (named_ref_images.length || reference_videos.length) {
-                const repl1 = type === 'kling-v3' ? '<<<image_i>>>' : '图i';
-                const repl2 = type === 'kling-v3' ? '<<<video_i>>>' : '视频i';
-                const outputExample = type === 'kling-v3'
-                    ? `1. 一只 @狗（<<<image_1>>>） 在 @房间（<<<image_2>>>） 里玩耍
-2. @女孩（<<<image_1>>>）参考 <<<video_1>>> 的特效、动作和运镜。`
-                    : `1. 一只 @狗（图1） 在 @房间（图2） 里玩耍
-2. @女孩（图1）参考 @视频1 的特效、动作和运镜。`;
-                const responses = await this.getResponses({
-                    model: 'Doubao-Seed-2.0-pro',
-                    input: [
-                        {
-                            role: 'system',
-                            content: `你根据主体信息，优化用户指令，使描述中的内容正确引用主体名称。
-
-具体方式为：
-1. 将用户指令中引用主体信息中主体名称的部分，用 “@主体名（${repl1}）” 的形式替代，i是图片编号（从1开始），注意它和前后内容之间需要用**空格**分隔
-2. 如果参考图主体名直接是“图1、图2”等编号，则不需要括号，直接用“${repl1}”形式
-3. 参考视频不用引用主体名，不需要括号，直接用“${repl2}”替代，i为视频编号
-
-## 例子
-
-### 输入：
-
-参考图：
-[
-  {"type": "reference", "url": "...dog.png", "name": "狗"},
-  {"type": "reference", "url": "...room.png", "name": "房间"}
-]
-
-参考视频
-[
-  {"type": "video", "fileName": "video1.mp4", "name": "特效"}
-]
-
-用户指令
-1. 一只狗在房间里玩耍
-2. 女孩参考视频1的特效、动作和运镜。
-
-### 输出：
-${outputExample}
-
----
-
-## 要求与约束
-
-- 只输出替换主体名后的用户指令，不要输出其他任何额外内容
-`,
-                        },
-                        {
-                            role: 'user',
-                            content: `## 主体信息
-
-参考图：
-${JSON.stringify([...named_ref_images])}
-
-参考视频：
-${JSON.stringify([...reference_videos])}
-
-## 用户指令      
-${prompt}`,
-                        },
-                    ],
-                });
-                const optimizedPrompt = responses.output?.find((item) => item.type === 'message')?.content?.[0]?.text;
-                prompt = optimizedPrompt?.trim() || prompt;
-            }
             let optimize_camera = false;
             // 用户已经传入了 storyboard
             const storyboard = reference_images?.find(item => item.type === 'storyboard');
-            if (storyboard || options.optimizeCameraMotion) {
+            if (storyboard ||
+                (options.optimizeCameraMotion &&
+                    options.optimizeCameraMotion.strategy !== 'none')) {
                 optimize_camera = true;
                 let panelCount = options.storyboardPanelCount;
                 if (!panelCount && options.duration > 15) {
                     panelCount = 6 + Math.ceil((options.duration - 15) / 5);
                 }
                 if (!storyboard) {
-                    const imageModel = 'gpt-image-vip';
-                    const imageSize = '2560x1440';
-                    // const imageSize =
-                    //   aspect_ratio === '1:1'
-                    //     ? '2048x2048'
-                    //     : aspect_ratio === '9:16' || aspect_ratio === '3:4'
-                    //       ? '1440x2560'
-                    //       : '2560x1440';
                     const res = await this.generateImage({
                         prompt,
-                        type: 'storyboard-sketch',
-                        model: imageModel,
+                        type: options.optimizeCameraMotion?.strategy === 'director'
+                            ? 'director-note'
+                            : 'storyboard-sketch',
                         panel_count: panelCount,
                         for_video_duration: options.duration,
-                        size: imageSize,
                         reference_images: reference_images?.map(item => ({
                             url: item.url,
                             name: item.name,
@@ -1275,13 +1047,6 @@ ${prompt}`,
                     prompt = `【${options.narration.tone}】旁白：“${options.narration.text}”\n\n${prompt}`;
                 }
             }
-            if (options.optimizeCameraMotion) {
-                prompt = await this.optimizeCameraMotion({
-                    prompt,
-                    duration: options.duration,
-                    withBGM: options.enableBGM || false,
-                });
-            }
             if (options.type !== 'seedance-1.5-pro' && options.duration === 0) {
                 const durationPrompt = `根据用户提供的视频提示词内容为视频确定时长，规则为：
 
@@ -1391,56 +1156,6 @@ ${prompt}`,
                 }
                 return item;
             });
-            if (reference_images?.[0]) {
-                const responses = await this.getResponses({
-                    model: 'Doubao-Seed-2.0-pro',
-                    input: [
-                        {
-                            role: 'system',
-                            content: `你根据主体信息，优化用户指令，使描述中的内容正确引用主体名称。
-
-具体方式为：
-1. 将用户指令中引用主体信息中主体名称的部分，用 “@主体名（图i）” 的形式替代，i是图片编号，注意它和前后内容之间需要用**空格**分隔
-2. 如果主体名直接是“图1、图2”等编号，则不需要替换
-
-## 例子
-
-### 输入：
-
-参考图：
-[
-  {"url": "...girl.png", "name": "女孩"},
-  {"url": "...fan.png", "name": "扇子"}
-]
-
-用户指令
-- 女孩手持扇子
-
-### 输出：
-@女孩（图1）手持 @扇子（图2）
-
----
-
-## 要求与约束
-
-- 只输出替换主体名后的用户指令，不要输出其他任何额外内容
-`,
-                        },
-                        {
-                            role: 'user',
-                            content: `## 主体信息
-
-  参考图：
-  ${JSON.stringify([...reference_images])}
-
-  ## 用户指令      
-  ${options.prompt.trim()}`,
-                        },
-                    ],
-                });
-                const optimizedPrompt = responses.output?.find((item) => item.type === 'message')?.content?.[0]?.text;
-                options.prompt = optimizedPrompt?.trim() || options.prompt;
-            }
             const workflowId = '7618124429907197990';
             const parameters = {
                 prompt: options.prompt,
@@ -1498,9 +1213,7 @@ ${prompt}`,
             const prompt = type === 'seed-3d'
                 ? '--subdivisionlevel medium --fileformat glb'
                 : '--material Shaded --fileformat glb';
-            const res = await this.session.sandbox.request(`/ai/references/to/video/generate`, 
-            // `/api/xyq/generate-video`,
-            {
+            const res = await this.session.sandbox.request(`/ai/references/to/video/generate`, {
                 method: 'POST',
                 headers: {
                     'Content-Type': 'application/json',
@@ -1529,254 +1242,6 @@ ${prompt}`,
             return { error: error.message };
         }
     }
-    async generateSeedanceVideo(options) {
-        try {
-            let { prompt, aspect_ratio: ratio = '16:9', resolution = '720p', duration = 0, model = 'seedance-2.0', waitForFinish = true, timeout = 3_600_000, optimizeCameraMotion = true, storyboardPanelCount, enableBGM = true, mute = false, } = options;
-            const references = options.references_images?.map((item, i) => {
-                if (!item.name) {
-                    item.name = `图${i + 1}`;
-                }
-                return item;
-            }) || [];
-            const videos = options.references_videos?.map((item, i) => {
-                if (!item.name) {
-                    item.name = `视频${i + 1}`;
-                }
-                return { ...item, type: 'video' };
-            }) || [];
-            const audios = options.references_audios?.map((item, i) => {
-                if (!item.name) {
-                    item.name = `音频${i + 1}`;
-                }
-                return { ...item, type: 'audio' };
-            }) || [];
-            references.push(...[...videos, ...audios]);
-            const named_refs = references;
-            const start_frame = references?.find(item => item.type === 'first_frame');
-            const end_frame = references?.find(item => item.type === 'last_frame');
-            if (!start_frame && end_frame) {
-                throw new Error('Cannot provide last_frame only without first_frame');
-            }
-            let type = 'omni_reference';
-            if (start_frame) {
-                if ((end_frame && references?.length > 2) ||
-                    (!end_frame && references?.length > 1)) {
-                    throw new Error('Can only provide first_frame or last_frame in i2v mode');
-                }
-                type = 'first_last_frames';
-                references.length = 0;
-                references.push(start_frame);
-                let prefix = `以 @1 作为首帧`;
-                if (end_frame) {
-                    prefix = `${prefix}，以 @2 作为尾帧`;
-                    references.push(end_frame);
-                }
-                prompt = `${prefix} ${prompt}`;
-                optimizeCameraMotion = false;
-            }
-            let optimize_camera = false;
-            // 用户已经传入了 storyboard
-            const storyboard = references?.find(item => item.type === 'storyboard');
-            if (storyboard || optimizeCameraMotion) {
-                optimize_camera = true;
-                if (!storyboard) {
-                    const imageModel = 'banana2';
-                    const imageSize = ratio === '1:1'
-                        ? '3840x3840'
-                        : ratio === '9:16' || ratio === '3:4'
-                            ? '2160x3840'
-                            : '3840x2160';
-                    const { urls } = await this.generateImage({
-                        prompt,
-                        type: 'storyboard-sketch',
-                        model: imageModel,
-                        panel_count: storyboardPanelCount,
-                        for_video_duration: options.duration,
-                        size: imageSize,
-                        reference_images: references?.map(item => ({
-                            url: item.url,
-                            name: item.name,
-                        })),
-                        onProgress: options.onProgress,
-                        timeout,
-                        mask_asset: true,
-                    });
-                    if (urls[0]) {
-                        references.push({
-                            type: 'storyboard',
-                            url: urls[0],
-                        });
-                        // options.onProgress?.({ storyboard: { url: urls[0] } });
-                    }
-                }
-                const idx = references?.findIndex(item => item.type === 'storyboard');
-                const hasReferenceImage = references?.some(item => item.type === 'reference');
-                const storyboardRef = references[idx];
-                prompt = await this.optimizeCameraMotion({
-                    prompt,
-                    storyboard: storyboardRef,
-                    maxShots: storyboardPanelCount || 6,
-                    duration: duration,
-                    hasReferenceImage,
-                    withBGM: enableBGM || false,
-                });
-                if (idx >= 0 && idx !== references.length - 1) {
-                    references.splice(idx, 1); // 分镜图要放在最后
-                    references.push(storyboardRef);
-                }
-            }
-            if (!start_frame && references?.[0]) {
-                const responses = await this.getResponses({
-                    model: 'Doubao-Seed-2.0-pro',
-                    input: [
-                        {
-                            role: 'system',
-                            content: `你根据主体信息，优化用户指令，使描述中的内容正确引用主体名称。
-
-具体方式为：
-- 将用户指令中引用主体信息中主体名称的部分，统一用 “主体名（@i）” 的形式替代，<i>是参考素材数组的编号，注意它和前后内容之间需要用**空格**分隔
-
-## 例子
-
-### 输入：
-
-参考素材：
-[
-  {"type": "reference", "url": "...dog.png", "name": "狗"},
-  {"type": "reference", "url": "...cat.png", "name": "猫"}
-]
-
-用户指令
-- 一只狗和一只猫在玩耍
-
-### 输出：
-一只狗（@1） 和 一只猫（@2） 在玩耍
-
----
-
-## 要求与约束
-
-- 只输出替换主体名后的用户指令，不要输出其他任何额外内容
-`,
-                        },
-                        {
-                            role: 'user',
-                            content: `## 主体信息
-
-参考素材：
-${JSON.stringify([...named_refs])}
-
-## 用户指令      
-${prompt}`,
-                        },
-                    ],
-                });
-                const optimizedPrompt = responses.output?.find((item) => item.type === 'message')?.content?.[0]?.text;
-                prompt = optimizedPrompt?.trim() || prompt;
-            }
-            if (!mute) {
-                if (!enableBGM) {
-                    prompt = `${prompt} 生成环境音效，除非上文明确提到生成BGM，否则禁止背景音乐;`;
-                }
-                prompt = `${prompt} 禁止字幕`;
-            }
-            if (duration === 0) {
-                const durationPrompt = `根据用户提供的视频提示词内容为视频确定时长，规则为：
-
-- 分镜视频时长应根据场景表现需要而设定，范围在1～16秒
-- 设置的原则：
-    1) 如有人物对话或旁白，根据声音按正常语速估算时长，并在不超过16秒的前提下，留有25%左右的buffer（即视频时长比音频估算时长稍长25%）
-    2) 如无人物对话或旁白，根据场景表现视觉需要设定时长
-
-## 返回 JSON 格式
-
-{
-  "duration": 10,
-  "reason": ""
-}
-`;
-                const schema = {
-                    name: 'choose_duration',
-                    schema: {
-                        type: 'object',
-                        properties: {
-                            duration: {
-                                type: 'integer',
-                                description: '视频时长，范围在1～16秒',
-                            },
-                            reason: {
-                                type: 'string',
-                                description: '视频时长的选择理由',
-                            },
-                        },
-                        required: ['duration'],
-                    },
-                };
-                const payload = {
-                    model: 'Doubao-Seed-2.0-pro',
-                    input: [
-                        {
-                            role: 'system',
-                            content: durationPrompt,
-                        },
-                        {
-                            role: 'user',
-                            content: `视频提示词：\n\n${prompt}`,
-                        },
-                    ],
-                    text: {
-                        format: {
-                            type: 'json_schema',
-                            ...schema,
-                        },
-                    },
-                };
-                const responses = await this.getResponses(payload);
-                // console.log(JSON.stringify(responses.output));
-                const result = responses.output?.find((item) => item.type === 'message')?.content?.[0]?.text;
-                if (!result) {
-                    throw new Error(`No response from AI model: ${JSON.stringify(responses)}`);
-                }
-                duration = JSON.parse(result).duration;
-                if (isNaN(duration) || duration < 1 || duration > 16) {
-                    throw new Error(`Invalid duration from AI model: ${result}`);
-                }
-            }
-            const res = await this.session.sandbox.request(`/api/seedance/generate-video`, 
-            // `/api/xyq/generate-video`,
-            {
-                method: 'POST',
-                headers: {
-                    'Content-Type': 'application/json',
-                },
-                body: JSON.stringify({
-                    prompt,
-                    ratio,
-                    resolution,
-                    duration,
-                    model,
-                    references: references?.map(item => item.url),
-                    type,
-                    mute,
-                    optimize_camera,
-                }),
-            });
-            const data = await res.json();
-            if (data.taskUrl && waitForFinish) {
-                return this.waitForTaskComplete({
-                    taskUrl: data.taskUrl,
-                    onProgress: options.onProgress,
-                    timeout,
-                    traceWorkflow: true,
-                });
-            }
-            return data;
-        }
-        catch (error) {
-            this.logger.error('generate video error', error);
-            return { error: error.message };
-        }
-    }
     // 统一模型
     async generateVideo(options) {
         let source_id;
@@ -1934,7 +1399,8 @@ ${prompt}`,
                 bgm = sound;
             }
             const isSeedance2 = model.startsWith('seedance-2.0');
-            const isSeedance2Vip = isSeedance2 && (model.endsWith('-vip') || model.endsWith('-hd'));
+            const isSeedance2Vip = (isSeedance2 && (model.endsWith('-vip') || model.endsWith('-hd'))) ||
+                model.includes('-4k');
             const references = images?.filter(item => item.type === 'reference');
             // 自动检查素材中的人脸
             const persons = images?.filter(item => item.type === 'person') || [];
@@ -2021,7 +1487,6 @@ ${prompt}`,
                     enableBGM,
                     seed: options.seed,
                     onProgress,
-                    optimizeCameraMotion: options.optimize_camera,
                     web_search: options.web_search,
                     waitForFinish,
                     timeout: options.timeout,
@@ -2046,6 +1511,7 @@ ${prompt}`,
                         'seedance-2.0',
                         'seedance-2.0-hd',
                         'seedance-2.0-fast',
+                        'seedance-2.0-fast-hd',
                         'seedance-2.0-vip',
                         'seedance-2.0-fast-vip',
                     ];