@q253595422/dsh-imagegen-video 1.30.0 → 1.30.2
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +11 -0
- package/docs/releases/v1.30.1.md +67 -0
- package/docs/releases/v1.30.2.md +96 -0
- package/lib/client.js +494 -42
- package/lib/client.js.map +1 -1
- package/lib/index.js +68 -24
- package/lib/locale-tables-chunk.js +63 -0
- package/package.json +1 -1
package/CHANGELOG.md
CHANGED
|
@@ -5,6 +5,17 @@ Attribution for third-party code is in [NOTICE](./NOTICE).
|
|
|
5
5
|
|
|
6
6
|
## Releases
|
|
7
7
|
|
|
8
|
+
### 1.30.1 — 三个「已经实现但没有入口」的功能补上界面
|
|
9
|
+
|
|
10
|
+
- **画布整图导出 / 导入接上界面**:后端两条路由与 `buildCanvasBundle` / `parseCanvasBundle` 早就写好了,客户端一直是零引用。现在画布顶栏全屏按钮右侧两个入口。导出把文档连同每个图片资产的字节打成一个 JSON;片段是**引用而非拷贝**(捎上整段视频会让体积不可用),所以带片段的画布一定会产生 `unresolved`,提示按 `asset` / `video` 分开计数告诉用户换台机器后哪部分打不开。导入**总是创建新画布**、分配新 id,绝不覆盖已有画布。
|
|
11
|
+
- **两处实现细节**:导出在 `finally` 里 `revokeObjectURL`(几百 MB 的 blob 留在文档生命周期里是内存泄漏);导入**刻意不走 `seedDocument`**——那个函数会给空画布注入一对起点节点,对新画布是对的、对导入是错的,导出一张空画布应当收回一张空画布。
|
|
12
|
+
- **工作流三项开关接上界面**:底栏工作流按钮旁多一个箭头,可切换「复用上次产物」(默认开)、「强制重跑选中节点」(默认关)、「层内并发」(默认开)。三个默认值都等于升级前写死的行为,所以**直接点主按钮与旧版完全一致**——这也是没有采纳「把运行塞进菜单」的原因:那会让常用路径每次都多点一下,而默认值本来就保证了不会误关复用。
|
|
13
|
+
- **「复用」有两层,必须同时受控**:`runWorkflowPlan` 的 `reuse` 数组(节点级不提交)与 `runWorkflowNode` 的 `reuse` 布尔闸门(`hasProduce` 时短路成 cached)是两回事。此前调用点只写死了后者,只关前一层的话节点仍会被短路——用户看到开关关了,实际什么都没重跑。
|
|
14
|
+
- **补上「写错了也不会有任何测试变红」的那一层**:执行器层原本覆盖得不错,缺的是界面有没有把参数传下去。`smoke-workflow.mjs` 新增接线断言(默认值、两处 `reuse` 同受控、`maxParallel` 方向、重跑只交起点、`useCallback` 依赖),并补执行器两个真实边界:`maxParallel=2` 时同时在飞**恰好** 2 个(此前只测 1 与「不限」两个极端),以及 `0`/`-3`/`1.5`/`NaN` 一律按 1 处理(漏掉归一会让宽度变 0,一个节点都不派发,工作流静默挂住)。
|
|
15
|
+
- **`smoke.mjs` 真机断言**:在 jsdom 渲染的画布上确认两个按钮确实在顶栏、`accept` 正确、且没有被打上 `data-dock-item`(那是底栏瓦片的标记,布局守卫会逐个量宽度)。
|
|
16
|
+
- **反向用例实证**:把单节点闸门改回 `true`、把限流归一拆掉、把导出按钮文案改错,各自都让对应断言变红;还原后恢复绿色。
|
|
17
|
+
- **已知未覆盖**:导出/导入只验证到渲染与接线,真实的几百 MB 导出、跨机器导入、`unresolved` 长文案折行需一次真机走查;大画布导出期间只有按钮变灰,没有百分比进度。导入不做版本兼容转换。
|
|
18
|
+
|
|
8
19
|
### 1.30.0 — 模型能力改为内置基线表;修好聚合网关模型被误判为未知协议
|
|
9
20
|
|
|
10
21
|
- **新增 `src/model-baseline.ts`:一张内置的模型基线表**,把「哪些模型 id 属于哪个协议族、以及它是否还该被推荐」从代码分支里搬到数据表。此前每加一个族就要在 `describeModel` 的 if 链上加一段、每出一个新 id 都要改代码;现在弃用一个上游模型是**表里改一行**,与请求拼装逻辑分开评审、分开回溯。
|
|
@@ -0,0 +1,67 @@
|
|
|
1
|
+
# v1.30.1 — 三个「已经实现但没有入口」的功能补上界面
|
|
2
|
+
|
|
3
|
+
本版不加新能力,只把此前写完却没人能点到的三处接到界面上,并补上它们一直缺的测试。三个功能各自的逻辑早就在仓库里,缺的是入口和「关掉之后真的失效」的证据。
|
|
4
|
+
|
|
5
|
+
## 1. 画布整图导出 / 导入
|
|
6
|
+
|
|
7
|
+
后端两条路由(`/canvas/bundle/export`、`/canvas/bundle/import`)和 `buildCanvasBundle` / `parseCanvasBundle` 早就写好了,但客户端**零引用**——整个功能从外面看不到。
|
|
8
|
+
|
|
9
|
+
现在画布顶栏、全屏按钮右侧两个入口:
|
|
10
|
+
|
|
11
|
+
- **导出**:把画布文档连同每个图片资产的字节打成一个 JSON 文件下载。片段(视频)是**引用而非拷贝**——一个包捎上整段视频会把体积推到不可用的量级。所以带片段的画布导出时一定会产生 `unresolved`,这不是失败:文档和全部静图都是完整的,提示只是告诉用户**换台机器后哪一部分打不开**,并且按 `kind` 分开计数——`asset` 是图片字节缺失,`video` 是片段没进包,两者对用户的意义不同。
|
|
12
|
+
- **导入**:**总是创建新画布**、分配新 id,绝不覆盖已有画布。导出者很可能就是导入者,让他能把自己的原画布冲掉不是「方便」是危险。
|
|
13
|
+
|
|
14
|
+
两处实现细节值得记下:
|
|
15
|
+
|
|
16
|
+
- 导出用 `Blob` + `createObjectURL`,并在 `finally` 里 `revokeObjectURL`。几百 MB 的 blob 留在文档生命周期里是实打实的内存泄漏。
|
|
17
|
+
- 导入**刻意不走 `seedDocument`**。那个函数会给节点为空的画布注入一对 text + config 起点节点——对新画布是对的,对导入是错的:导出一张空画布应当收回一张空画布,而不是被悄悄塞进两个用户没放过的节点。
|
|
18
|
+
- 导入后必须自己把新画布插进 `projects`。导入路由不返回项目列表,不插的话下拉里没有它,而 `document.id` 已指向它,`currentProject` 查不到会让收藏/删除按钮落在错误状态。
|
|
19
|
+
|
|
20
|
+
## 2. 工作流:续跑、强制重跑、层内并发
|
|
21
|
+
|
|
22
|
+
执行器三项能力全都有(`reuse`、`rerun`、`maxParallel`),但调用点把单节点那层的 `reuse` 写死成 `true`,另外两项根本没传。
|
|
23
|
+
|
|
24
|
+
现在底栏工作流按钮旁边多一个箭头,打开三个开关:
|
|
25
|
+
|
|
26
|
+
- **复用上次产物**(默认开)——关掉时全链重新提交,按节点数计费。
|
|
27
|
+
- **强制重跑选中节点**(默认关)——闭包由执行器自己算,界面只交出起点。
|
|
28
|
+
- **层内并发**(默认开)——关掉时传 `maxParallel: 1`。
|
|
29
|
+
|
|
30
|
+
三个默认值都等于升级前写死的行为,所以**直接点主按钮与旧版完全一致**。这是我没有采纳「把运行塞进菜单」的原因:那会让常用路径每次都多点一下,换来的只是「先看见复用是开着的」,而默认值本来就保证了这一点。
|
|
31
|
+
|
|
32
|
+
> **「复用」有两层,必须同时受控。** `runWorkflowPlan` 的 `reuse` 数组(节点级不提交、记 cached)与 `runWorkflowNode` 的 `reuse` 布尔闸门(`hasProduce` 时短路成 cached)是两回事。只关前一层的话,节点仍会在后一层被短路:用户看到开关关了,实际什么都没重跑。
|
|
33
|
+
|
|
34
|
+
## 3. 测试:补上「写错了也不会有任何测试变红」的那一层
|
|
35
|
+
|
|
36
|
+
这是本版真正花时间的地方。
|
|
37
|
+
|
|
38
|
+
执行器层原本覆盖得不错,缺的是**界面到底有没有把参数传下去**。这类故障不会让任何执行器测试变红——开关照常可点、执行器照常正确,只是值停在了半路。
|
|
39
|
+
|
|
40
|
+
新增两处:
|
|
41
|
+
|
|
42
|
+
- **`smoke-workflow.mjs`** 补执行器两个真实边界:`maxParallel=2` 时同时在飞的数量**恰好**是 2(此前只测了 1 和「不限」两个极端,而 2、3 才是用户真会填的值);`0`、`-3`、`1.5`、`NaN` 一律按 1 处理(漏掉归一会让限流宽度变成 0,一个节点都不派发,整条工作流静默挂住)。
|
|
43
|
+
- 同一文件新增接线断言:三个开关的默认值、两处 `reuse` 同受控、`maxParallel` 方向、重跑只交起点、`useCallback` 依赖数组含三个 state。
|
|
44
|
+
- **`smoke.mjs`** 在真实 jsdom 渲染的画布上断言两个按钮确实在顶栏、`accept` 正确、且没有被打上 `data-dock-item`(那个属性是底栏瓦片的标记,布局守卫会逐个量宽度)。
|
|
45
|
+
|
|
46
|
+
反向验证:把单节点闸门改回字面量 `true`、把归一拆掉、把导出按钮的文案改错,各自都让对应断言变红;还原后恢复绿色。
|
|
47
|
+
|
|
48
|
+
## 真机走查(1.30.1 部署到 uireview 后实测)
|
|
49
|
+
|
|
50
|
+
导出/导入不是只验到接线,做完了一次完整往返:
|
|
51
|
+
|
|
52
|
+
- 源画布 16 个节点、4 个图片节点、3 个真实资产(1.7MB + 1.8MB + 76KB)。导出 **538ms**、**4.78MB**,包结构 `format / version / exportedAt / title / document / assets / unresolved` 齐全,正确报出 1 条 `{kind:'video', reason:'clip-not-bundled'}`——画布里有 7 个视频节点,包只带了那 1 条没成片的引用。
|
|
53
|
+
- 导入 **99ms**,新 id、16 个节点、`unresolved` 原样透传,画布列表 +1。逐字段比对源与新画布:**`JSON.stringify` 完全相等**,3 个资产的 `assetId` 与字节数一字不差。
|
|
54
|
+
- 走界面按钮(`<input type=file>`)再跑一遍:文件选择器触发、解析、导入、新画布插入都正常,提示文案是「已导入为「未命名画布」 有 1 个片段引用了原机器上的视频,这里打不开。」
|
|
55
|
+
|
|
56
|
+
顺带确认了两件原本只是「应该如此」的事:
|
|
57
|
+
|
|
58
|
+
- **导入不覆盖**:源画布 id 与新画布 id 不同,导入后列表只增不减。
|
|
59
|
+
- **空资产不被伪造**:源画布那个 `assetId` 为空的图片节点(图片描述技能的产物),导入后仍是空,没有被塞进一个假资产。
|
|
60
|
+
|
|
61
|
+
工作流三个开关在真机上也逐个看过了:菜单三项齐全、默认值对(复用开 / 重跑关 / 并发开)、禁用态文案正确、长提示文案不被压扁。
|
|
62
|
+
|
|
63
|
+
## 边界如实说明
|
|
64
|
+
|
|
65
|
+
- 大画布导出期间界面只有按钮变灰,没有百分比。几百 MB 的极端体积没有实测过。
|
|
66
|
+
- 导入不做版本兼容转换:包的 `version` 高于当前插件时由 `parseCanvasBundle` 拒绝,没有「尽力读一下」的路径。
|
|
67
|
+
- 导入时若已有同名画布,两份会并列存在(导入总是新建),没有「重命名并覆盖」的选项。
|
|
@@ -0,0 +1,96 @@
|
|
|
1
|
+
# v1.30.2 — 支持只收单一分辨率档位的视频模型(MiniMax-H3 / Nbility)
|
|
2
|
+
|
|
3
|
+
Nbility 网关上的 `MiniMax-H3` 只有一个可用档位:**768P**。720P 和 1080P 都会被上游 400 拒绝:
|
|
4
|
+
|
|
5
|
+
```
|
|
6
|
+
MiniMax-H3 supports only 768P at normalizeRequest
|
|
7
|
+
```
|
|
8
|
+
|
|
9
|
+
而插件此前把 `MiniMax-H3` 归进通用的 `openai-video` 族,只提供 `480P / 720P / 1080P` 三档、默认 720P——**每一个请求都注定失败**,且报错发生在提交之后,用户看到的是一次「提交被拒」而不是「这个模型不接受这档分辨率」。
|
|
10
|
+
|
|
11
|
+
本版修的就是这件事,同时把「分辨率档位散落在四处、各写一份」这个结构性原因一并消掉。
|
|
12
|
+
|
|
13
|
+
## 1. 档位类型加上 768P
|
|
14
|
+
|
|
15
|
+
`VideoResolution` 原本是 `'480P' | '720P' | '1080P'`。它不是营销话术的集合,而是**线上实际会发出去的字符串**,所以有模型只认 768P 时,类型就必须能说出 768P:
|
|
16
|
+
|
|
17
|
+
```ts
|
|
18
|
+
export type VideoResolution = '480P' | '720P' | '768P' | '1080P'
|
|
19
|
+
```
|
|
20
|
+
|
|
21
|
+
`RESOLUTION_RANK` 同步插入(`480P < 720P < 768P < 1080P`)。位置不是随手放的:`normalizeVideoResolution` 的降级语义是「取不超过请求档位的最高支持档」,768P 排在这里,1080P 的请求才会落到 768P(而不是掉到 720P),480P 的请求才会升到 768P,而 768P 本身原样保留。
|
|
22
|
+
|
|
23
|
+
## 2. MiniMax-H3 单独特化,但仍走通用族的线上格式
|
|
24
|
+
|
|
25
|
+
family **没有**新增。实测 `POST https://api.nbility.ai/v1/videos` 接受的就是通用形状,网关自己把 `size` 归一化成 resolution、`seconds` 归一化成 duration、`aspect_ratio` 归一化成 ratio,回读也是这三个字段。所以 `submitBody` 一个字都不用改。
|
|
26
|
+
|
|
27
|
+
窄化的是**能力**,写在 `describeVideoModel` 里、`isLikelyVideoModelId` 之前:
|
|
28
|
+
|
|
29
|
+
- `resolutions: ['768P']` — 唯一能成功的档位。
|
|
30
|
+
- `modes: ['text']` — 参考图只接受公网 HTTPS URL(`Reference media requires a public HTTPS URL; uploads and Base64 are not supported`),而本插件只会发 data URL。与其让图生视频在线上被拒,不如面板上就不提供这个模式。
|
|
31
|
+
- `aspectRatios` 六档 — 16:9 / 9:16 / 1:1 / 4:3 / 3:4 / 21:9 实测全部被接受。
|
|
32
|
+
|
|
33
|
+
时长沿用默认的 5 / 10 秒:上游真实范围是 1..15 的整数,两个档位都在内。同网关的 `doubao-seedance-2-0` 不受这个分支影响,仍走 seedance 族(实测它走的是**同一个** `/v1/videos`,但 768P 反而报 `unsupported Seedance resolution`——两个模型的能力刚好相反,这正是不能把它们合并成一个分支的原因)。
|
|
34
|
+
|
|
35
|
+
## 3. 四处内联的三档白名单收成一处
|
|
36
|
+
|
|
37
|
+
原来 `'480P' || '720P' || '1080P' ? … : '720P'` 这句话在四个地方各写一遍:
|
|
38
|
+
|
|
39
|
+
| 位置 | 改法 |
|
|
40
|
+
| --- | --- |
|
|
41
|
+
| `routes.ts` 的 `parseVideoRequest` | `parseVideoResolution(body.resolution)` |
|
|
42
|
+
| `routes.ts` 的 code-render probe | 同上(原先只认 480P/1080P,其余一律当 720P,会和面板显示不符) |
|
|
43
|
+
| `agent-video-tools.ts` 的工具入参 | 同上 + 参数说明改成「以所选模型接受的档位为准」 |
|
|
44
|
+
| `client/CanvasWorkspace.tsx` 的 fallback 列表 | `[...VIDEO_RESOLUTIONS]` |
|
|
45
|
+
|
|
46
|
+
新增 `parseVideoResolution(value, fallback = '720P')` 与 `resolutionRank()`,后者让 `video-director.ts` 里两份私有的 `['480P','720P','1080P']` 排序数组消失——规划器判断「只能降档不能升档」时用的就是目录里那份顺序,两处不会再各自漂移。
|
|
47
|
+
|
|
48
|
+
`VideoPanel.tsx:39` 那个 `RESOLUTIONS` 常量是死代码(全仓零引用),删除。
|
|
49
|
+
|
|
50
|
+
## 4. 分镜板的分辨率下拉框跟随模型
|
|
51
|
+
|
|
52
|
+
`storyboard-board.tsx` 原先硬编码三个 `<option>`,不看模型。现在从 `describeVideoModel(board.model)` 派生,模型未设置时给出全部档位。
|
|
53
|
+
|
|
54
|
+
一个取舍写在这里:**画布已有的、但模型不支持的档位不删掉,而是保留成一个选项**。用户打开一张旧画布时,把它文档里的值悄悄改写掉,比显示一个走不通的旧值更糟——前者不可见,后者看得见。
|
|
55
|
+
|
|
56
|
+
## 5. 本地渲染(code-render)给 768P 真实短边
|
|
57
|
+
|
|
58
|
+
`dimensionsFor` 原本 `480P → 480`、`1080P → 1080`、其余 → 720。768P 会落进 720 分支,probe 上报的像素数就和面板标签不一致。现在补上 768。
|
|
59
|
+
|
|
60
|
+
## 测试
|
|
61
|
+
|
|
62
|
+
`scripts/smoke-video.mjs` 新增 **V1l**,全部走离线假上游:
|
|
63
|
+
|
|
64
|
+
- 目录断言:`MiniMax-H3` 的 family 仍是 `openai-video`、`resolutions` 恰为 `['768P']`、`modes` 恰为 `['text']`、六档画幅;同时确认 `doubao-seedance-2-0` 仍归 seedance、通用模型 `kling-v2-master` 仍保留三档(特化没有外溢)。
|
|
65
|
+
- 归一化断言:1080P / 480P / 未知词都落到 768P,768P 原样保留。
|
|
66
|
+
- 解析与排序:`parseVideoResolution` 的大小写、空白、缺省与未知词行为;`resolutionRank('720P') < resolutionRank('768P') < resolutionRank('1080P')`。
|
|
67
|
+
- 端到端:发一个 1080P 请求,断言线上 body 是 `size: '768P'`(而非 `resolution`)、`seconds` 是字符串 `'5'`、`aspect_ratio` 正确、text 模式不带 `image`、轮询用网关返回的 `task_…` id。
|
|
68
|
+
|
|
69
|
+
38 项全绿(含此前 35 项):V1l 覆盖 768P 特化与端到端提交,V1m 覆盖 200 + HTML 的错误解释。
|
|
70
|
+
|
|
71
|
+
## 真机验证(Nbility 网关,api.nbility.ai)
|
|
72
|
+
|
|
73
|
+
- 提交 `MiniMax-H3` / 768P / 5 秒 / 16:9 → `queued`,轮询 `in_progress`(progress 0/33/99)→ `completed`,顶层 `url` 指向 COS 上的 mp4。5 秒片子约 3 分钟。
|
|
74
|
+
- 720P、1080P、以及 `size: "720P"` 的扁平写法,全部被上游 400 拒绝,报错原文记录在注释与测试里。
|
|
75
|
+
- 参考图 data URI 被拒;公网 HTTPS URL 可(本版因此不提供图片模式)。
|
|
76
|
+
|
|
77
|
+
## 6. 200 + HTML 不再被当成接口响应
|
|
78
|
+
|
|
79
|
+
真机部署时发现一个跟本次需求直接相关的坑:渠道里 `apiUrl` 写成 `https://api.nbility.ai`(少了 `/v1`)时,上游返回 **200** 和它自己的首页 HTML。插件原本把非 JSON 的响应体截 300 字符塞进错误消息,用户看到的是:
|
|
80
|
+
|
|
81
|
+
```
|
|
82
|
+
submit failed: <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> …
|
|
83
|
+
```
|
|
84
|
+
|
|
85
|
+
现在识别出 HTML 就换成能指向原因的话:
|
|
86
|
+
|
|
87
|
+
> 返回的是网页而不是接口响应,通常是渠道的 API 地址少了路径(例如末尾缺 /v1)
|
|
88
|
+
|
|
89
|
+
这不是只为一个网关打的补丁:任何把站点根地址填进「API 地址」的渠道都会撞上同一件事,而「渠道地址少一段路径」恰恰是用户最难自己看出来的配置错误。新增 **V1m** 覆盖:假上游对提交回 200 + HTML,断言消息点名了原因、且不含任何 markup。
|
|
90
|
+
|
|
91
|
+
## 边界如实说明
|
|
92
|
+
|
|
93
|
+
- 768P 是**上游唯一可用的档位**,不是「推荐档位」。面板上它会是 MiniMax-H3 唯一可点的按钮。
|
|
94
|
+
- 参考图只支持公网 HTTPS URL,而插件没有上传通道(`/v1/files`、`/v1/uploads`、`/v1/assets` 均不存在),所以图生 / 首尾帧 / 参考生三种模式对 MiniMax-H3 完全不可用。要支持,得先有一条把本地图变成公网 URL 的链路,本版没做。
|
|
95
|
+
- 取消(`REMOTE_CANCEL`)仍是 unsupported:网关没有实测的取消端点,插件不伪造一个。
|
|
96
|
+
- `doubao-seedance-2-0` 在同一网关上走同一个 `/v1/videos`,但插件会按 seedance 族发 `content[]` 到 `/contents/generations/tasks`——该路径在此网关上一律 `Invalid URL`。也就是说**这个模型在这个网关下仍未接通**,本版没有修它(不在本次需求范围内,且需要单独验证 Seedance 在那个网关上的真实形状)。
|