cerevox 2.43.1 → 3.0.0-alpha.10
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/dist/core/ai.d.ts +40 -5
- package/dist/core/ai.d.ts.map +1 -1
- package/dist/core/ai.js +92 -23
- package/dist/core/ai.js.map +1 -1
- package/dist/mcp/servers/prompts/actions/storyboard_optimization.md +5 -5
- package/dist/{utils/videoproject-schema.json → mcp/servers/prompts/draft_content-schema.json} +3 -3
- package/dist/mcp/servers/prompts/rules/creative-ad.md +6 -6
- package/dist/mcp/servers/prompts/rules/expert.md +25 -25
- package/dist/mcp/servers/prompts/rules/freeform.md +2 -3
- package/dist/mcp/servers/prompts/rules/general-video.md +10 -10
- package/dist/mcp/servers/prompts/rules/material-creation.md +2 -2
- package/dist/mcp/servers/prompts/rules/music-video.md +3 -3
- package/dist/mcp/servers/prompts/rules/stage-play.md +4 -4
- package/dist/mcp/servers/prompts/rules/story-telling.md +8 -8
- package/dist/mcp/servers/prompts/skills/storyboard/storyboard-optimization-skill.md +5 -5
- package/dist/mcp/servers/prompts/skills/video/continuity-techniques.md +1 -1
- package/dist/mcp/servers/prompts/skills/workflows/general-video.md +10 -10
- package/dist/mcp/servers/prompts/skills/workflows/music-video.md +3 -3
- package/dist/mcp/servers/prompts/zerocut-core.md +26 -27
- package/dist/mcp/servers/zerocut.d.ts.map +1 -1
- package/dist/mcp/servers/zerocut.js +464 -529
- package/dist/mcp/servers/zerocut.js.map +1 -1
- package/dist/utils/coze.d.ts +1 -0
- package/dist/utils/coze.d.ts.map +1 -1
- package/dist/utils/coze.js +19 -0
- package/dist/utils/coze.js.map +1 -1
- package/package.json +2 -2
- package/dist/timeline-editor/index.d.ts +0 -42
- package/dist/timeline-editor/index.d.ts.map +0 -1
- package/dist/timeline-editor/index.js +0 -82
- package/dist/timeline-editor/index.js.map +0 -1
- package/dist/timeline-editor/public/app.js +0 -2086
- package/dist/timeline-editor/public/index.html +0 -141
- package/dist/timeline-editor/public/style.css +0 -695
- package/dist/timeline-editor/server.d.ts +0 -137
- package/dist/timeline-editor/server.d.ts.map +0 -1
- package/dist/timeline-editor/server.js +0 -418
- package/dist/timeline-editor/server.js.map +0 -1
- /package/dist/{utils → mcp/servers/prompts}/storyboard-schema.json +0 -0
|
@@ -6,32 +6,33 @@
|
|
|
6
6
|
|
|
7
7
|
0. 下面提到的“调用xxx”指的都是调用zerocut的mcp工具
|
|
8
8
|
1. 任务会话:执行任何任务前,先调用`project-open`启动会话,完成任务后调用`project-close`关闭会话
|
|
9
|
+
- 注意:务必先等待`project-open`返回成功,再执行后续任务,⚠️禁止同时调用`project-open`和其他mcp工具!
|
|
9
10
|
2. 严格遵守指令和纪律
|
|
10
11
|
* 严格执行纪律:确保百分百按照用户需求执行标准工作流程
|
|
11
12
|
* 视频创作工作是非常严谨之工作,改动必须最小化,决不允许擅自发挥
|
|
12
13
|
* 修改生成的任何 json 配置文件时,尽量通过**写代码**的方式进行修改,避免手动编辑
|
|
13
|
-
* 部分配置文件有定义 schema,如`
|
|
14
|
+
* 部分配置文件有定义 schema,如`storyboard.json`、`draft_content.json`,创建和修改时务必先获取 schema 并严格遵守其规范
|
|
14
15
|
3. 保持上下文信息的有效性
|
|
15
16
|
* 任何一次对话,确保已召回规则上下文,规则上下文可通过`retrieve-rules-context`工具召回,任何对话开启前如有需要优先调用该接口,也可以在每次对话都主动调用。
|
|
16
|
-
* 在任务执行过程中,执行创建或修改
|
|
17
|
+
* 在任务执行过程中,执行创建或修改 storyboard.json 或 draft_content.json 时,也应再次通过`retrieve-rules-context`重新找回最新的规则上下文,再次确保当前任务的执行准确无误。
|
|
17
18
|
4. 内容一致性
|
|
18
|
-
*`generate-image`生成分镜图片素材时,应严格按照
|
|
19
|
-
*`generate-video`或`generate-video-by-ref`生成分镜视频素材时,应严格按照
|
|
19
|
+
*`generate-image`生成分镜图片素材时,应严格按照 storyboard.json 中分镜场景的 start_frame、end_frame(如有) 字段描述
|
|
20
|
+
*`generate-video`或`generate-video-by-ref`生成分镜视频素材时,应严格按照 storyboard.json 中分镜场景的 video_prompt 字段描述
|
|
20
21
|
* 如生成配音
|
|
21
|
-
* 务必保证
|
|
22
|
-
* 务必保证生成配音(tts)的文本内容与
|
|
23
|
-
* 务必保证
|
|
22
|
+
* 务必保证 storyboard.json 中的 voice_id 与配音音色准确匹配,如果是配音前通过搜索选择的音色ID,务必在 storyboard.json 中及时更新
|
|
23
|
+
* 务必保证生成配音(tts)的文本内容与 storyboard.json 中 script(或dialog) 字段的文本内容完全一致,如需调整内容,请同时更新 storyboard 中的内容
|
|
24
|
+
* 务必保证 storyboard.json 与 draft_content.json 中的内容相对应,任何修改都必须同步更新二者
|
|
24
25
|
* 务必保证素材与 draft_content.json 中的引用一致
|
|
25
26
|
* 务必保证draft_content.json 中的时间轴与素材的时间轴完全一致(素材准确时长在生成过程中已自动实时记录在 media_logs.json 文件中)
|
|
26
|
-
* 务必保证 draft_content.json 中的字幕与
|
|
27
|
+
* 务必保证 draft_content.json 中的字幕与 storyboard.json 中的字幕(场景script或dialog字段)的文本内容完全一致
|
|
27
28
|
5. 质量保证
|
|
28
|
-
*
|
|
29
|
+
* storyboard.json 内容检查
|
|
29
30
|
* 起始帧 start_frame 务必正确完整地融合stage_atmosphere各属性,且用单引号标记图中要绘制的CJK文字。
|
|
30
31
|
* video_prompt 务必正确融合stage_atmosphere的camera描述的运镜方式。
|
|
31
|
-
* 若用户需求中明确包含“自动优化分镜”,则必须在创建
|
|
32
|
+
* 若用户需求中明确包含“自动优化分镜”,则必须在创建 storyboard.json 后立即调用`do-storyboard-optimization`工具优化 storyboard.json
|
|
32
33
|
* is_continuous 为 true 的场景,生成视频时,务必采用连续分镜
|
|
33
34
|
* 字幕优化
|
|
34
|
-
* 在保证字幕文本内容与
|
|
35
|
+
* 在保证字幕文本内容与 storyboard.json 中的 script(或dialog) 字段的文本内容完全一致的前提下,应根据 tts 返回的`captions.utterances`字段对字幕的显示进行优化,将过长的字幕分段显示,在 draft_content.json 中使用分段字幕,captions 的内容在 media_logs.json 中可查询到。
|
|
35
36
|
|
|
36
37
|
## 标准工作流程
|
|
37
38
|
|
|
@@ -42,8 +43,8 @@
|
|
|
42
43
|
3. 根据用户需求补充规则上下文(重要‼️)→创建或修改 .trae/rules/custom_rules.md 将用户的需求补充进去
|
|
43
44
|
4. 需求分析与规划→分析用户需求,制定执行计划
|
|
44
45
|
5. 收集相关资料(可选)→如有需要,使用搜索工具收集相关资料
|
|
45
|
-
6. 素材准备,根据`retrieve-rules-context`召回的规则上下文,构建
|
|
46
|
-
7. 如有需要或用户明确指定“自动优化分镜”,你在创建
|
|
46
|
+
6. 素材准备,根据`retrieve-rules-context`召回的规则上下文,构建 storyboard.json 以备成必要的素材(如视频、音频、图片等)
|
|
47
|
+
7. 如有需要或用户明确指定“自动优化分镜”,你在创建 storyboard.json 后,应立即调用`do-storyboard-optimization`工具优化 storyboard.json
|
|
47
48
|
8. 素材生成阶段,按素材类型(音频、图片、视频)分别依次生成,每次生成前,务必核查【素材生成规则】。
|
|
48
49
|
9. 检查 media_logs.json 确定素材时间轴→生成 draft_content.json→执行渲染→`compile-and-run`输出成品并自动下载到本地
|
|
49
50
|
10. 关闭项目→`project-close`
|
|
@@ -54,7 +55,7 @@
|
|
|
54
55
|
2. 根据用户意图召回规则上下文→`retrieve-rules-context`
|
|
55
56
|
3. 判断当前处于什么阶段→制定执行计划
|
|
56
57
|
4. 根据用户需求补充规则上下文(重要‼️)→修改 .trae/rules/custom_rules.md 将用户的需求变更补充进去
|
|
57
|
-
5. 更新素材→根据`retrieve-rules-context`召回的规则上下文,按需更新
|
|
58
|
+
5. 更新素材→根据`retrieve-rules-context`召回的规则上下文,按需更新 storyboard.json、draft_content.json 等文件的内容和相关素材。
|
|
58
59
|
- 修改素材(指音频、视频、图片)时,除非用户指定覆盖原文件,否则保留原文件,变更文件名生成新文件(比如 sc01_bg_new.png)。
|
|
59
60
|
6. 使用修改后的 draft_content.json 执行渲染→`compile-and-run`输出成品并自动下载到本地
|
|
60
61
|
7. 关闭项目→`project-close`
|
|
@@ -65,7 +66,7 @@
|
|
|
65
66
|
projects/<id>/
|
|
66
67
|
├─ materials/ # 素材文件
|
|
67
68
|
├─ output/ # 渲染输出
|
|
68
|
-
├─
|
|
69
|
+
├─ storyboard.json # 创意脚本
|
|
69
70
|
└─ draft_content.json # 技术规范
|
|
70
71
|
```
|
|
71
72
|
|
|
@@ -85,27 +86,27 @@ projects/<id>/
|
|
|
85
86
|
## 素材生成规则
|
|
86
87
|
|
|
87
88
|
### 核心原则(不得违反‼️)
|
|
88
|
-
1. **绝对服从
|
|
89
|
+
1. **绝对服从storyboard.json**:生成任何素材时,必须严格按照storyboard.json中对应字段的具体描述执行
|
|
89
90
|
2. **字段优先级**:
|
|
90
91
|
- 生成起始帧图片:严格按照`start_frame`字段描述
|
|
91
92
|
- 生成视频:严格按照`video_prompt`字段描述
|
|
92
93
|
- 生成配音:严格按照`script`或`dialog`字段描述
|
|
93
94
|
3. **禁止信息混淆**:不得将角色总体特征、起始帧状态、视频过程变化等不同概念混淆使用
|
|
94
|
-
4. **零容忍擅自发挥**:任何偏离
|
|
95
|
+
4. **零容忍擅自发挥**:任何偏离storyboard.json具体字段描述的行为都属于擅自发挥,必须严格避免
|
|
95
96
|
|
|
96
97
|
## JSON 文件一致性与质量规则
|
|
97
98
|
|
|
98
99
|
### 通用
|
|
99
100
|
1. 引号规则:JSON格式中,字符串中如包含引号,优先使用单引号,双引号需转义。
|
|
100
101
|
|
|
101
|
-
###
|
|
102
|
+
### storyboard.json
|
|
102
103
|
|
|
103
104
|
1. 一致性:生成和修改前先获取 schema
|
|
104
|
-
2.
|
|
105
|
-
3.
|
|
106
|
-
4.
|
|
105
|
+
2. storyboard.json 中的 start_frame、end_frame 分别对应视频生成`generate-video`的首帧和尾帧
|
|
106
|
+
3. storyboard.json 中的 video_prompt 对应视频生成`generate-video`的 prompt
|
|
107
|
+
4. storyboard.json 中的 script 对应场景台词,对应场景语音生成`generate-scene-tts`,如多人台词则使用`dialog`数组:`[{name, script}]`
|
|
107
108
|
|
|
108
|
-
####
|
|
109
|
+
#### storyboard.json 示例:
|
|
109
110
|
|
|
110
111
|
```json
|
|
111
112
|
{
|
|
@@ -244,7 +245,7 @@ projects/<id>/
|
|
|
244
245
|
{
|
|
245
246
|
"id": "subtitle-001",
|
|
246
247
|
"text": "健康的身体本身就是一座坚固的'堡垒'。",
|
|
247
|
-
"syncStrategy": "与
|
|
248
|
+
"syncStrategy": "与storyboard完全一致",
|
|
248
249
|
"startMs": 0,
|
|
249
250
|
"endMs": 8000,
|
|
250
251
|
"style": {
|
|
@@ -278,15 +279,13 @@ projects/<id>/
|
|
|
278
279
|
1. 生成视频的几种方式
|
|
279
280
|
- 首帧图生视频(默认采用):先根据 start_frame 生成首帧图片如 sc01_start.png,然后用该图片作为视频的第一帧,以 video_prompt 的提示词用`generate-image`生成视频
|
|
280
281
|
- 首尾帧生视频:先根据 start_frame 生成首帧图片如 sc01_start.png,再根据 end_frame 生成尾帧图片如 sc01_end.png,用这两张图片作为视频的首尾帧,以 video_prompt 的提示词用`generate-image`生成视频
|
|
281
|
-
- 参考图生视频:根据分镜的参考图片(可选,并且如有,需确保预先生成),将
|
|
282
|
-
- 连续镜头:如果用户不希望当前场景和下一次场景之间切换镜头,或用户希望场景之间有连续的变化(比如人物在场景中移动),
|
|
282
|
+
- 参考图生视频:根据分镜的参考图片(可选,并且如有,需确保预先生成),将 storyboard 中当前 scene 的 video_type 设为 references,不生成 start_frame,直接以 video_prompt 的提示词用`generate-image-by-ref`生成视频
|
|
283
|
+
- 连续镜头:如果用户不希望当前场景和下一次场景之间切换镜头,或用户希望场景之间有连续的变化(比如人物在场景中移动),storyboard 中对应 scene 的`is_continuous`字段将为`true`。此时将下一场景的首帧图片作为当前场景的尾帧(end_frame)参数,以 video_prompt 的提示词用`generate-image`生成当前场景的视频
|
|
283
284
|
|
|
284
285
|
2. 一镜到底:当用户说采用“一镜到底”时,应当生成所有场景首帧图片再开始生成视频,每个视频都使用连续镜头。
|
|
285
286
|
|
|
286
287
|
3. 镜头自然延伸:和“一镜到底”不同的连续画面技术,当用户说“镜头自然延伸”时,应当在生成视频时,设置saveLastFrameAs参数,将其返回的图片作为下一场景的首帧图片。
|
|
287
288
|
|
|
288
|
-
4. 优化图片:当用户或工作流程要求优化图片时,可运行`image-aligner`工具,根据分析结果调整提示词,待用户确认后,修改story_board,重新生成图片。
|
|
289
|
-
|
|
290
289
|
## 工具优先级
|
|
291
290
|
|
|
292
291
|
1. 优先使用系统自有搜索工具
|
|
@@ -1 +1 @@
|
|
|
1
|
-
{"version":3,"file":"zerocut.d.ts","sourceRoot":"","sources":["../../../src/mcp/servers/zerocut.ts"],"names":[],"mappings":";
|
|
1
|
+
{"version":3,"file":"zerocut.d.ts","sourceRoot":"","sources":["../../../src/mcp/servers/zerocut.ts"],"names":[],"mappings":";AA2+KA,wBAAsB,GAAG,kBAKxB"}
|