@ninkch/dsh-infinite-canvas 0.19.20 → 0.20.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +23 -0
- package/README.zh-CN.md +23 -0
- package/assets/canvas-layout/SKILL.md +19 -2
- package/assets/canvas-studio/SKILL.md +156 -378
- package/client.js +847 -61
- package/cordis.patch.yml +13 -0
- package/docs/UI-RULES.md +4 -0
- package/docs/auto-creation-design.md +68 -0
- package/docs/guide.en.md +13 -1
- package/docs/guide.zh-CN.md +14 -0
- package/index.js +1547 -30
- package/package.json +2 -1
- package/production.js +427 -0
package/cordis.patch.yml
CHANGED
|
@@ -18,6 +18,19 @@
|
|
|
18
18
|
prefix: |
|
|
19
19
|
你是一位驻组导演兼媒体创作者({{model}} 驱动),以创作者第一视角主导每一部视频、竖屏短剧与媒体作品的完整生产。你不是"操作工具的助手"——你是这部片的导演:先有导演阐述,再有本子,然后才是生成与后期。
|
|
20
20
|
|
|
21
|
+
## 自动创作分支(最高优先级:先判后做)
|
|
22
|
+
每次开工先调 canvas_auto_status,按结果二选一:
|
|
23
|
+
- **enabled=true(自动创作已开启)→ 全自动分支,禁止逐步提问**(导演/题材/规格/影调一律不问用户):
|
|
24
|
+
1) 先 canvas_open 自动打开画布(不要等用户点面板);
|
|
25
|
+
2) 从用户消息提取 brief(拍什么/给谁看/什么情绪)。**禁止调用 ask_user_question(任何理由,不得以"只问一个"变通)**:
|
|
26
|
+
信息不足时由编剧室自行拟 3 个候选方向并选定一个,在会议记录里写明选择理由;
|
|
27
|
+
3) 同一轮内**必须**调用 canvas_auto_start 启动编剧室(调研 → 编剧A/B 独立提案 → 互评 → 监制决策 → 设定集 →
|
|
28
|
+
剧本生成 → 按场拆分 → 逐场分镜表 → G2 校验 → 预算单,全程零付费);
|
|
29
|
+
4) 运行中用 canvas_auto_status 汇报进度,不打断用户;预算单出来后汇报一次并等用户批准;
|
|
30
|
+
5) 用户批准后调 canvas_auto_generate 跑付费段(逐场建视频节点生成,失败重试,最后建成片节点)。
|
|
31
|
+
导演透镜/题材/规格/影调由监制决策自行选定并写进项目(带理由),不再问用户。
|
|
32
|
+
- **enabled=false → 保持下面的导演工作坊引导流程(一次一问)。**
|
|
33
|
+
|
|
21
34
|
## 开工前自检(每个新项目第一步,不可跳过,只报事实不猜版本)
|
|
22
35
|
按顺序各调一次 canvas_list_skills 与 artcraft_status:
|
|
23
36
|
- 两者正常返回 → 按下面的流水线开工。
|
package/docs/UI-RULES.md
CHANGED
|
@@ -70,6 +70,10 @@
|
|
|
70
70
|
|
|
71
71
|
43. **资产页工具栏**:所有操作按钮(同步全部资产到磁盘 / 导入图片/视频 / 全选本页 / 添加到画布 / 批量删除 / 清除选择)与分页**集中在项目下拉下一行**,不各自占行;按钮一律**透明底 + 1px 线框 + 文字**(禁止灰色/品牌色块底),删除按钮用红色线框 + 红字;分页为 `‹ [页码输入] / N ›`,回车/失焦跳转、非法文本不改页、越界夹取到 1..N,右侧显示总数;窄窗口自动换行,分页始终靠右。
|
|
72
72
|
|
|
73
|
+
44. **会话↔画布绑定 chip(输入行工具栏)**:chip 注入宿主 `conversation.input.left` 槽位,必须整段 try/catch(旧 runner 静默降级为无 chip)。**视觉/格式与「选择工作区」选择器一致**:浅实底胶囊(`--dsw-alias-bg-layer-2`)+ 无边框 + 10px 圆角 + 13px 字号 + 前导文件夹图标 + 内置 ⌄,整颗胶囊点击开下拉(**禁止**拆成 chip+独立箭头);下拉 = 宿主菜单语言(12px 圆角容器、32px 图标行、选中行浅灰高亮、动作组前 1px 分隔线、长列表滚动)。**版本握手**:chip 挂载时调 `bindingCapabilities`,探针失败/rev 不足(宿主进程仍是旧版)→ 菜单置顶显示「宿主插件是旧版本:请完全退出并重启 DeepSeek Harness 后再试」,且所有绑定动作(绑定/解绑/建项目/建子画布)统一被 `bindingStaleGuard` 拦截并显示该提示——**禁止**静默失败。**未绑定态**(chip 直接显示当前选中值 **「仅会话」**——选择器显示选中值,**禁止**显示「选择画布」这类提示语,否则用户选「仅会话」后看起来毫无变化)菜单顺序固定:**仅会话**(选中高亮)/ **创建项目** / 分隔线 / **已有项目列表**——**项目列表数据源 = 客户端项目表 `S.projects`(与画布管理器同一个项目下拉同源,老项目必现)**,宿主 `bindableProjects` 只做补充合并,**禁止**只依赖宿主列表(否则 IndexedDB/未同步项目全部消失);项目行(文件夹图标 + ▸)点击展开二级:该项目子画布(画布图标,点选即绑定该会话)+ **新建子画布**(内联输入);**已绑定态**(chip 文案「项目·画布」)项目锁定,菜单只列:**打开画布** / 分隔线 / 该项目子画布(选中高亮、占用行置灰标「占用中」)+ **新建子画布** / 分隔线 / **仅会话**(= 解绑回未绑定态)。**绑定成功必须乐观更新 chip**(用本地项目表立即显示「项目·画布」,宿主回读只做校正,**禁止**「选了位置不变」);**创建项目双通道**:会话在工作区 → 建工作区内嵌项目;失败/不在工作区 → 退回普通建项目通道(`canvasCreateProject`)再绑定;**失败原因显示在菜单内并保持菜单打开**(chip 下方小浮条只在菜单关闭时显示)。**文案禁止括号注释**:仅会话/创建项目/打开画布/新建子画布/占用中;**绑定只能用户显式操作**——不点 chip 即仅会话,禁止任何自动绑定/自动建项目路径;工作区自动建项目/自动绑会话一律不得复活。
|
|
74
|
+
|
|
75
|
+
45. **记忆查看器(统一弹窗第三页签)**:侧栏「记忆」按钮排在「设定集」之后(同组,项目资料类);页签顺序固定 设定集 / 资产 / 记忆;列表行为「集号. 标题 + 状态(✓/…) + 摘要」三段式,点击行展开该集记忆全文(**只读**,正文区 `<pre>` 等宽换行,禁止提供人工编辑入口——记忆由 agent 经 canvas_write_memory 单源维护);空态文案说明记忆从哪来(agent 回写),禁止出现「暂无数据」这类无指导文案。
|
|
76
|
+
|
|
73
77
|
---
|
|
74
78
|
|
|
75
79
|
**自检方式**:改完 UI 后逐条对照本文件;涉及"禁止/不得"的条目,必须在测试里有**反向断言**(例如断言某样式不存在),而不是靠肉眼确认。
|
|
@@ -0,0 +1,68 @@
|
|
|
1
|
+
# 自动创作(0.20.0 已实现版)
|
|
2
|
+
|
|
3
|
+
> 状态:**已实现并随 0.20.0 交付**(进程内执行器)。本文描述**当前真实实现**;
|
|
4
|
+
> 「真会话多智能体」(sessionController 派生七角色)保留在文末作为后续升级路径,
|
|
5
|
+
> 需要宿主确认 `productionCapabilities.multiAgent === true` 后再启用。
|
|
6
|
+
|
|
7
|
+
## 0. 设计铁律(不变)
|
|
8
|
+
|
|
9
|
+
1. **流程规范 ≠ 内容模板**:规则只管操作顺序与花钱/毁数据前的检查,绝不规定剧情。
|
|
10
|
+
2. **用户显式指令 > 一切流程**:所有闸门都有 override(用户原话)+ 审计。
|
|
11
|
+
3. **自动模式绝不提问**:brief 不足由编剧室自拟 3 个方向并选定,理由写进会议记录。
|
|
12
|
+
4. **诚实交付**:草稿就是 blocked;"完成"必须由 `canvas_production_status.ready:true` 支撑。
|
|
13
|
+
5. **窄启动**:免费段(到分镜+预算单)零付费;一次性批准令牌后才进入付费生成。
|
|
14
|
+
|
|
15
|
+
## 1. 当前实现(进程内执行器)
|
|
16
|
+
|
|
17
|
+
**入口**(三处,同一引擎):
|
|
18
|
+
- 设置卡「自动创作(实验)」:开关 + 一句话创意 + 启动/中止 + 预算单/批准/生成;
|
|
19
|
+
- 对话工具:`canvas_auto_status` / `canvas_auto_start` / `canvas_auto_budget` / `canvas_auto_generate` / `canvas_auto_abort`;
|
|
20
|
+
- 人格分支:`canvas_auto_status.enabled=true` 时禁止提问,必须同一轮 `canvas_auto_start`。
|
|
21
|
+
|
|
22
|
+
**免费段**(`autoRoom`,五轮角色提示词 + 落盘 + 生成编排):
|
|
23
|
+
```
|
|
24
|
+
调研(离线,标注) → 编剧A/B 独立提案(互不可见) → 互评(各≤3条)
|
|
25
|
+
→ 监制决策(择一/融合+理由) → 落盘:会议节点+设定集+剧本idea
|
|
26
|
+
→ canvas_open 自动开画布 → 剧本节点生成(轮询)
|
|
27
|
+
→ 按【场N】拆分 → 场景文本+分镜表(tail→prev 串联) → 分镜生成(轮询)
|
|
28
|
+
→ G2 校验(不过自动重生成一次) → 预算单 → 停,等批准
|
|
29
|
+
```
|
|
30
|
+
- 角色分工 = 独立系统提示词的轮次(同一进程,顺序执行);讨论记录 = 「编剧室会议」文本节点。
|
|
31
|
+
- **上下文继承**:设定集按名称合并不覆盖;已有节点不重建。
|
|
32
|
+
|
|
33
|
+
**付费段**(`autoPaid`,批准后):
|
|
34
|
+
```
|
|
35
|
+
逐分镜表:建 video 节点(G2/G3 把关) → canvas_open → 触发 → 轮询(失败重试2次)
|
|
36
|
+
→ 全部完成 → 建「成片」节点
|
|
37
|
+
```
|
|
38
|
+
- 一次性批准令牌绑定预算指纹(镜头/时长一变即失效);`autoAbort` 可中止付费段(保留已完成视频)。
|
|
39
|
+
- 画布页面必须打开(节点生成由客户端执行);关闭时 runner 如实报"等待画布"。
|
|
40
|
+
|
|
41
|
+
## 2. 关键组件
|
|
42
|
+
|
|
43
|
+
| 组件 | 位置 | 职责 |
|
|
44
|
+
|---|---|---|
|
|
45
|
+
| 阶段机 + 六闸门 | `production.js` | `brief→…→delivered`、G1–G6、override 审计、`status/quote/approve` |
|
|
46
|
+
| 编剧室/付费段 | `index.js`(`autoRoom`/`autoPaid`/`AUTO_RUNS`) | 轮次编排、讨论落盘、生成编排 |
|
|
47
|
+
| RPC | `autoModeGet/Set`、`autoStart/Status/Abort`、`autoQuote/Approve/Generate` | 设置卡与工具共用 |
|
|
48
|
+
| 工具 | `canvas_auto_*` 五个 | 对话智能体的入口 |
|
|
49
|
+
| 客户端 | `AutoModeCard`(设置卡)+ `ProjectsTab` 阶段行 | 开关/创意/预算/批准/进度 |
|
|
50
|
+
|
|
51
|
+
## 3. 测试
|
|
52
|
+
|
|
53
|
+
`scripts/test-production.mjs`:注入假 LLM + 假画布执行桩,端到端覆盖——
|
|
54
|
+
免费段全流程(2 场 → 2 分镜 → 预算单)、未批准拒绝付费、批准后 2 视频 + 成片节点、
|
|
55
|
+
六闸门正反例、override 审计、阶段推进/回退、预算指纹失效。
|
|
56
|
+
|
|
57
|
+
## 4. 后续升级路径(未实现,需探针确认)
|
|
58
|
+
|
|
59
|
+
- **真会话执行器**:`productionCapabilities.multiAgent === true` 时,把"角色轮次"换成
|
|
60
|
+
`sessionController` 派生的独立会话(角色章程 = 首条 prompt,预设用 `standard`),
|
|
61
|
+
可并行、互不可见性更强;轮次协议与落盘格式不变,`autoRoom` 的步骤函数换成会话调用。
|
|
62
|
+
- **联网调研**:会话执行器下给调研角色挂 `tool-web`;进程内版本暂为离线知识(已如实标注)。
|
|
63
|
+
- **多集连续生产**:按集派生 run,复用同一批准预算上限。
|
|
64
|
+
|
|
65
|
+
## 5. 回退
|
|
66
|
+
|
|
67
|
+
- 开关关闭 → 全部 `auto*` 拒绝,UI 无入口,行为与 0.19.21 一致;
|
|
68
|
+
- 任一步失败 → run 标记 `failed` 并保留已产出内容;重试不重建已存在节点(闸门拦截)。
|
package/docs/guide.en.md
CHANGED
|
@@ -130,7 +130,11 @@ canvas: project card script node text+storyboard ×N ref image nodes
|
|
|
130
130
|
|
|
131
131
|
---
|
|
132
132
|
|
|
133
|
-
|
|
133
|
+
### 3.1 Auto creation (experimental) — one sentence to storyboards + budget
|
|
134
|
+
|
|
135
|
+
Settings → 「自动创作(实验)」→ on. Then one sentence in the chat (e.g. 拍个悬疑短剧,快递员每天送的信来自未来) starts the writers room: research → two independent pitches → cross-critique → producer decision → bible → script → per-scene storyboards → **budget sheet**. No questions are asked in this mode; the transcript lands on the canvas (编剧室会议 node). Approve the budget once (settings card, or `canvas_auto_budget` + `canvas_auto_generate` from chat) and videos are generated per storyboard, ending with a final-cut node. All gates still apply (bible-first, storyboard quality…), and the canvas must stay open during generation — the runner opens it for you and reports honestly if it cannot.
|
|
136
|
+
|
|
137
|
+
### 4. Manual fine-tuning: nodes are the workbench
|
|
134
138
|
|
|
135
139
|
After the chat batch is done, the canvas is where you polish:
|
|
136
140
|
|
|
@@ -151,6 +155,14 @@ Shortcuts and gestures:
|
|
|
151
155
|
|
|
152
156
|
## 5. Model configuration: providers + models
|
|
153
157
|
|
|
158
|
+
### 5.1 Image models via `dsh-image-gen` (zero duplicate config)
|
|
159
|
+
|
|
160
|
+
If the `dsh-image-gen` plugin is installed and configured, the settings tab shows 「图片模型(来自 dsh-image-gen)」: pick one of its configured providers and a model, flip the switch on, and canvas image generation routes through its studio bridge — the API key stays on the image-gen side and the canvas needs nothing. When the plugin is missing or unconfigured, the card says so and the ordinary provider list keeps working.
|
|
161
|
+
|
|
162
|
+
### 5.2 Precise layout tools
|
|
163
|
+
|
|
164
|
+
`canvas_layout_get` reads every node's `x/y/w/h` (plus pinned flag and bounds); `canvas_layout_node` batch-places nodes by coordinate — media nodes can resize while keeping the picture ratio, and `pinned:true` protects a node from `canvas_relayout`. Use these when you need exact placement (alignment, columns, spacing); use `canvas_relayout` only as a rough tidy-up (it packs clusters in bands and never covers pinned nodes).
|
|
165
|
+
|
|
154
166
|
Settings tab → Image models / Video models / TTS voices, organized in **two levels**:
|
|
155
167
|
|
|
156
168
|
1. **Provider** (collapsed row): configure the endpoint + API key **once** (+ optional extra params);
|
package/docs/guide.zh-CN.md
CHANGED
|
@@ -134,6 +134,12 @@
|
|
|
134
134
|
|
|
135
135
|
---
|
|
136
136
|
|
|
137
|
+
### 3.1 自动创作(实验)——一句话到分镜 + 预算单
|
|
138
|
+
|
|
139
|
+
设置 → 「自动创作(实验)」→ 开启。然后在对话里说一句话(例如:拍个悬疑短剧,快递员每天送的信来自未来),即启动编剧室:调研 → 编剧A/B 独立提案 → 互评 → 监制决策 → 设定集 → 剧本 → 逐场分镜表 → **预算单**。该模式**不会向用户提问**;讨论记录落在画布「编剧室会议」节点。预算单批准一次(设置卡,或对话里 `canvas_auto_budget` + `canvas_auto_generate`)后逐分镜表生成视频,最后建成片节点。所有闸门照常生效(设定集先行、分镜质量……);生成期间画布需保持打开——runner 会替你自动打开,打不开时如实汇报。
|
|
140
|
+
|
|
141
|
+
---
|
|
142
|
+
|
|
137
143
|
## 4. 手动微调:节点就是工作台
|
|
138
144
|
|
|
139
145
|
对话批量跑完后,画布是你精修的地方:
|
|
@@ -155,6 +161,14 @@
|
|
|
155
161
|
|
|
156
162
|
## 5. 模型配置:供应商 + 模型
|
|
157
163
|
|
|
164
|
+
### 5.1 图片模型:直接用 `dsh-image-gen`(零重复配置)
|
|
165
|
+
|
|
166
|
+
装了 `dsh-image-gen` 并配置好后,设置页出现「图片模型(来自 dsh-image-gen)」:选它已就绪的服务商和模型、打开开关,画布生图即走它的 studio 桥——API Key 留在 image-gen 侧,画布什么都不用填。插件缺失或未配置时,卡片会如实提示,原普通供应商列表照常可用。
|
|
167
|
+
|
|
168
|
+
### 5.2 精准布局工具
|
|
169
|
+
|
|
170
|
+
`canvas_layout_get` 读取全部节点的 `x/y/w/h`(含 pinned 标记与包围盒);`canvas_layout_node` 按坐标批量摆放——媒体节点可改尺寸且保持画面比例,`pinned:true` 钉住的节点 `canvas_relayout` 不会移动。需要精确摆放(对齐/分列/指定坐标)时用这两个工具;`canvas_relayout` 只作粗排兜底(按带高打包簇、绝不覆盖钉住节点)。
|
|
171
|
+
|
|
158
172
|
设置页签 → 图片模型 / 视频模型 / TTS 配音,采用**两级结构**:
|
|
159
173
|
|
|
160
174
|
1. **供应商**(折叠行):**一个供应商只配一次**接口地址 + API Key(+ 可选扩展参数);
|