@q253595422/dsh-imagegen-video 1.30.0 → 1.30.4

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
package/CHANGELOG.md CHANGED
@@ -5,6 +5,39 @@ Attribution for third-party code is in [NOTICE](./NOTICE).
5
5
 
6
6
  ## Releases
7
7
 
8
+ ### 1.30.4 — 接通 Nbility 的 MiniMax-H3;修好 DSH 0.2.2-rc.3 的侧栏回归
9
+
10
+ - **版本说明**:1.30.1 与 1.30.3 这两个号从未打过 tag。1.30.1 的内容随 1.30.2 一起发过;1.30.3 那次 Release 在跑之前被取消,仓库里没有 `v1.30.3`,npm 上也没有。为避免复用已被占用的号,本次以 **1.30.4** 发出,**包含 1.30.3 说明页里的全部内容**,外加 `v1.30.2` 之后完成的侧栏修复。
11
+ - **本版内容 = 下面 1.30.3 那一节的每一条(MiniMax-H3 的 768P 档位与参考图上传、档位白名单收口、V1l/V1n/V1o、工作流菜单关闭清单收口)+ 侧栏修复(末尾那一节)**。
12
+ - **侧栏切换器重新独占一行(DSH 0.2.2-rc.3 回归)**:rc.3 给「新会话」按钮套了一层 `div.newSessionRow`(`display:flex; gap:6px`,同时是新的 `sidebar.session.action` 槽位出口),并把行缩进从按钮搬到了这层。插件仍按「插到按钮前面」落位,于是切换器进了那个 flex 行——会话 / 生图 / 新会话 三个按钮挤在同一行。现在落位对象改为「承载该动作的 root 级块」,缩进也对这一层量(rc.3 里按钮自身的 `margin` 是 `0`,量按钮会两边各宽 4px)。块里含品牌行时退回旧行为,不把切换器抬到 logo 上方。
13
+ - **为什么原来的测试没拦住**:D3 / D3b 两个 fixture 都是旧结构(按钮直接挂在列上),测的正是「插到按钮前」;回归发生在「按钮不再直接挂在列上」的时候。新增 **D3c** 按 rc.3 的真实结构(`root > newSessionRow > button`)挂载并断言切换器是 `newSessionRow` 的前一个兄弟、`parentElement` 是列而非动作行。反向验证过:把落点改回「按钮本身」,D3 与 D3c 各自变红。
14
+ - **未真机实测**:折叠成 rail 的那一态需要重启宿主才能看到;rc.3 在折叠态把 row 改成 `flex-direction: column`,按新落位理论上同样成立,但这是推断。
15
+
16
+ ### 1.30.3 — 接通 Nbility 的 MiniMax-H3(768P + 参考图上传)
17
+
18
+ > 本号从未发布(Release 被取消,无 tag、无 npm 包)。条目保留在此作为改动记录;内容全部随 1.30.4 发出。
19
+
20
+ - **`minimax` 协议族**:`MiniMax-H3` 此前被归进通用的 `openai-video` 族,只提供 480P/720P/1080P 三档;而上游只认 **768P**,720P / 1080P 一律 400(`MiniMax-H3 supports only 768P at normalizeRequest`)——每个请求都注定失败。补上 768P 档位后,图生视频仍然失败:参考图必须是公网 HTTPS URL,而插件只会发 data URI。官方契约的 `POST /v1/media/uploads` 正是把本地图换成公网 URL 的那条腿。
21
+ - **两条提交形状**:文生视频发扁平 `{model, prompt, resolution: '768P', duration, ratio}`;有参考图时先 multipart 上传,再发 `content[]` + 每项 `role`(`image` → `first_frame`,`keyframe` → `first_frame` + `last_frame`,`reference` → `reference_image`,上限 9 张)。
22
+ - **上传有自己的失败域**:新增诊断阶段 `video-upload` 与失败码 `video-upload-failed` / `video-unreachable`。上传的 413 与提交的 401 是完全不同的问题,混在一个 phase 里没法排查。「上传 + 建任务」共用同一个 `SUBMIT_TIMEOUT_MS` 预算,避免卡住的上传让整体耗时翻倍。
23
+ - **档位白名单收成一处**:四处各写一份的三档判断收成 `parseVideoResolution` / `resolutionRank`,`video-director.ts` 里两份私有排序数组消失;分镜板分辨率下拉框改为从模型目录派生。
24
+ - **code-render 给 768P 真实短边**;`200 + HTML` 改为点名「渠道地址少了路径」而不是把 markup 塞进错误消息。
25
+ - **工作流运行选项菜单关不掉已修**:根因是关闭清单被抄了多份,工作流菜单是后加的第三个,成了画布上唯一关不掉的浮层。收成一处 `closeDockMenus()`,五条关闭路径(悬停离开 / Escape / 点画布 / 打开其它菜单 / 技能菜单)全部改调它,箭头按钮改成 toggle。
26
+ - **测试**:`smoke-video.mjs` 新增 V1l/V1n/V1o(目录与文生视频、三种参考图模式的 role 与上传、上传失败与前置守卫),41 项全绿;`smoke-workflow.mjs` 锁「平行关闭清单只有一份」而不是「某处有没有写 `setWorkflowMenu(null)`」。
27
+ - **真机**(api.nbility.ai):文生视频 1,859,764 字节、图生视频 1,628,276 字节、首尾帧 959,479 字节(376 秒)。
28
+ - **版本说明**:本版内容原本准备以 1.30.2 发布,但那个号已被一次不完整的发布占用(只含 768P,缺参考图上传;且发布后 main 被重置,那批代码不在 main 上)。为不覆盖已发布版本的资产,以 1.30.3 发出。
29
+
30
+ ### 1.30.1 — 三个「已经实现但没有入口」的功能补上界面
31
+
32
+ - **画布整图导出 / 导入接上界面**:后端两条路由与 `buildCanvasBundle` / `parseCanvasBundle` 早就写好了,客户端一直是零引用。现在画布顶栏全屏按钮右侧两个入口。导出把文档连同每个图片资产的字节打成一个 JSON;片段是**引用而非拷贝**(捎上整段视频会让体积不可用),所以带片段的画布一定会产生 `unresolved`,提示按 `asset` / `video` 分开计数告诉用户换台机器后哪部分打不开。导入**总是创建新画布**、分配新 id,绝不覆盖已有画布。
33
+ - **两处实现细节**:导出在 `finally` 里 `revokeObjectURL`(几百 MB 的 blob 留在文档生命周期里是内存泄漏);导入**刻意不走 `seedDocument`**——那个函数会给空画布注入一对起点节点,对新画布是对的、对导入是错的,导出一张空画布应当收回一张空画布。
34
+ - **工作流三项开关接上界面**:底栏工作流按钮旁多一个箭头,可切换「复用上次产物」(默认开)、「强制重跑选中节点」(默认关)、「层内并发」(默认开)。三个默认值都等于升级前写死的行为,所以**直接点主按钮与旧版完全一致**——这也是没有采纳「把运行塞进菜单」的原因:那会让常用路径每次都多点一下,而默认值本来就保证了不会误关复用。
35
+ - **「复用」有两层,必须同时受控**:`runWorkflowPlan` 的 `reuse` 数组(节点级不提交)与 `runWorkflowNode` 的 `reuse` 布尔闸门(`hasProduce` 时短路成 cached)是两回事。此前调用点只写死了后者,只关前一层的话节点仍会被短路——用户看到开关关了,实际什么都没重跑。
36
+ - **补上「写错了也不会有任何测试变红」的那一层**:执行器层原本覆盖得不错,缺的是界面有没有把参数传下去。`smoke-workflow.mjs` 新增接线断言(默认值、两处 `reuse` 同受控、`maxParallel` 方向、重跑只交起点、`useCallback` 依赖),并补执行器两个真实边界:`maxParallel=2` 时同时在飞**恰好** 2 个(此前只测 1 与「不限」两个极端),以及 `0`/`-3`/`1.5`/`NaN` 一律按 1 处理(漏掉归一会让宽度变 0,一个节点都不派发,工作流静默挂住)。
37
+ - **`smoke.mjs` 真机断言**:在 jsdom 渲染的画布上确认两个按钮确实在顶栏、`accept` 正确、且没有被打上 `data-dock-item`(那是底栏瓦片的标记,布局守卫会逐个量宽度)。
38
+ - **反向用例实证**:把单节点闸门改回 `true`、把限流归一拆掉、把导出按钮文案改错,各自都让对应断言变红;还原后恢复绿色。
39
+ - **已知未覆盖**:导出/导入只验证到渲染与接线,真实的几百 MB 导出、跨机器导入、`unresolved` 长文案折行需一次真机走查;大画布导出期间只有按钮变灰,没有百分比进度。导入不做版本兼容转换。
40
+
8
41
  ### 1.30.0 — 模型能力改为内置基线表;修好聚合网关模型被误判为未知协议
9
42
 
10
43
  - **新增 `src/model-baseline.ts`:一张内置的模型基线表**,把「哪些模型 id 属于哪个协议族、以及它是否还该被推荐」从代码分支里搬到数据表。此前每加一个族就要在 `describeModel` 的 if 链上加一段、每出一个新 id 都要改代码;现在弃用一个上游模型是**表里改一行**,与请求拼装逻辑分开评审、分开回溯。
@@ -0,0 +1,67 @@
1
+ # v1.30.1 — 三个「已经实现但没有入口」的功能补上界面
2
+
3
+ 本版不加新能力,只把此前写完却没人能点到的三处接到界面上,并补上它们一直缺的测试。三个功能各自的逻辑早就在仓库里,缺的是入口和「关掉之后真的失效」的证据。
4
+
5
+ ## 1. 画布整图导出 / 导入
6
+
7
+ 后端两条路由(`/canvas/bundle/export`、`/canvas/bundle/import`)和 `buildCanvasBundle` / `parseCanvasBundle` 早就写好了,但客户端**零引用**——整个功能从外面看不到。
8
+
9
+ 现在画布顶栏、全屏按钮右侧两个入口:
10
+
11
+ - **导出**:把画布文档连同每个图片资产的字节打成一个 JSON 文件下载。片段(视频)是**引用而非拷贝**——一个包捎上整段视频会把体积推到不可用的量级。所以带片段的画布导出时一定会产生 `unresolved`,这不是失败:文档和全部静图都是完整的,提示只是告诉用户**换台机器后哪一部分打不开**,并且按 `kind` 分开计数——`asset` 是图片字节缺失,`video` 是片段没进包,两者对用户的意义不同。
12
+ - **导入**:**总是创建新画布**、分配新 id,绝不覆盖已有画布。导出者很可能就是导入者,让他能把自己的原画布冲掉不是「方便」是危险。
13
+
14
+ 两处实现细节值得记下:
15
+
16
+ - 导出用 `Blob` + `createObjectURL`,并在 `finally` 里 `revokeObjectURL`。几百 MB 的 blob 留在文档生命周期里是实打实的内存泄漏。
17
+ - 导入**刻意不走 `seedDocument`**。那个函数会给节点为空的画布注入一对 text + config 起点节点——对新画布是对的,对导入是错的:导出一张空画布应当收回一张空画布,而不是被悄悄塞进两个用户没放过的节点。
18
+ - 导入后必须自己把新画布插进 `projects`。导入路由不返回项目列表,不插的话下拉里没有它,而 `document.id` 已指向它,`currentProject` 查不到会让收藏/删除按钮落在错误状态。
19
+
20
+ ## 2. 工作流:续跑、强制重跑、层内并发
21
+
22
+ 执行器三项能力全都有(`reuse`、`rerun`、`maxParallel`),但调用点把单节点那层的 `reuse` 写死成 `true`,另外两项根本没传。
23
+
24
+ 现在底栏工作流按钮旁边多一个箭头,打开三个开关:
25
+
26
+ - **复用上次产物**(默认开)——关掉时全链重新提交,按节点数计费。
27
+ - **强制重跑选中节点**(默认关)——闭包由执行器自己算,界面只交出起点。
28
+ - **层内并发**(默认开)——关掉时传 `maxParallel: 1`。
29
+
30
+ 三个默认值都等于升级前写死的行为,所以**直接点主按钮与旧版完全一致**。这是我没有采纳「把运行塞进菜单」的原因:那会让常用路径每次都多点一下,换来的只是「先看见复用是开着的」,而默认值本来就保证了这一点。
31
+
32
+ > **「复用」有两层,必须同时受控。** `runWorkflowPlan` 的 `reuse` 数组(节点级不提交、记 cached)与 `runWorkflowNode` 的 `reuse` 布尔闸门(`hasProduce` 时短路成 cached)是两回事。只关前一层的话,节点仍会在后一层被短路:用户看到开关关了,实际什么都没重跑。
33
+
34
+ ## 3. 测试:补上「写错了也不会有任何测试变红」的那一层
35
+
36
+ 这是本版真正花时间的地方。
37
+
38
+ 执行器层原本覆盖得不错,缺的是**界面到底有没有把参数传下去**。这类故障不会让任何执行器测试变红——开关照常可点、执行器照常正确,只是值停在了半路。
39
+
40
+ 新增两处:
41
+
42
+ - **`smoke-workflow.mjs`** 补执行器两个真实边界:`maxParallel=2` 时同时在飞的数量**恰好**是 2(此前只测了 1 和「不限」两个极端,而 2、3 才是用户真会填的值);`0`、`-3`、`1.5`、`NaN` 一律按 1 处理(漏掉归一会让限流宽度变成 0,一个节点都不派发,整条工作流静默挂住)。
43
+ - 同一文件新增接线断言:三个开关的默认值、两处 `reuse` 同受控、`maxParallel` 方向、重跑只交起点、`useCallback` 依赖数组含三个 state。
44
+ - **`smoke.mjs`** 在真实 jsdom 渲染的画布上断言两个按钮确实在顶栏、`accept` 正确、且没有被打上 `data-dock-item`(那个属性是底栏瓦片的标记,布局守卫会逐个量宽度)。
45
+
46
+ 反向验证:把单节点闸门改回字面量 `true`、把归一拆掉、把导出按钮的文案改错,各自都让对应断言变红;还原后恢复绿色。
47
+
48
+ ## 真机走查(1.30.1 部署到 uireview 后实测)
49
+
50
+ 导出/导入不是只验到接线,做完了一次完整往返:
51
+
52
+ - 源画布 16 个节点、4 个图片节点、3 个真实资产(1.7MB + 1.8MB + 76KB)。导出 **538ms**、**4.78MB**,包结构 `format / version / exportedAt / title / document / assets / unresolved` 齐全,正确报出 1 条 `{kind:'video', reason:'clip-not-bundled'}`——画布里有 7 个视频节点,包只带了那 1 条没成片的引用。
53
+ - 导入 **99ms**,新 id、16 个节点、`unresolved` 原样透传,画布列表 +1。逐字段比对源与新画布:**`JSON.stringify` 完全相等**,3 个资产的 `assetId` 与字节数一字不差。
54
+ - 走界面按钮(`<input type=file>`)再跑一遍:文件选择器触发、解析、导入、新画布插入都正常,提示文案是「已导入为「未命名画布」 有 1 个片段引用了原机器上的视频,这里打不开。」
55
+
56
+ 顺带确认了两件原本只是「应该如此」的事:
57
+
58
+ - **导入不覆盖**:源画布 id 与新画布 id 不同,导入后列表只增不减。
59
+ - **空资产不被伪造**:源画布那个 `assetId` 为空的图片节点(图片描述技能的产物),导入后仍是空,没有被塞进一个假资产。
60
+
61
+ 工作流三个开关在真机上也逐个看过了:菜单三项齐全、默认值对(复用开 / 重跑关 / 并发开)、禁用态文案正确、长提示文案不被压扁。
62
+
63
+ ## 边界如实说明
64
+
65
+ - 大画布导出期间界面只有按钮变灰,没有百分比。几百 MB 的极端体积没有实测过。
66
+ - 导入不做版本兼容转换:包的 `version` 高于当前插件时由 `parseCanvasBundle` 拒绝,没有「尽力读一下」的路径。
67
+ - 导入时若已有同名画布,两份会并列存在(导入总是新建),没有「重命名并覆盖」的选项。
@@ -0,0 +1,151 @@
1
+ # v1.30.3 — 接通 Nbility 的 MiniMax-H3(768P + 参考图上传)
2
+
3
+ > 本版内容原本准备以 **1.30.2** 发布,但那个版本号已经被一次不完整的发布占用(只包含 768P 档位,参考图上传那条腿没有进去,且发布后 main 被重置、那批代码不在 main 上)。为不覆盖已发布版本的资产,本次以 **1.30.3** 发出,包含 1.30.2 应有的全部内容。
4
+
5
+ Nbility 网关上的 `MiniMax-H3` 只有一个可用档位:**768P**。720P 和 1080P 都会被上游 400 拒绝:
6
+
7
+ ```
8
+ MiniMax-H3 supports only 768P at normalizeRequest
9
+ ```
10
+
11
+ 而插件此前把 `MiniMax-H3` 归进通用的 `openai-video` 族,只提供 `480P / 720P / 1080P` 三档、默认 720P——**每一个请求都注定失败**,且报错发生在提交之后,用户看到的是一次「提交被拒」而不是「这个模型不接受这档分辨率」。
12
+
13
+ 把档位补上之后,画布上的第二个问题暴露出来:图生视频仍然 400,因为参考图必须是公网 HTTPS URL,而插件只会发 data URI。官方契约里有一条 `POST /v1/media/uploads` 正好解决这件事——所以这一版是两件事:**多一个档位**,和**多一条上传腿**。
14
+
15
+ 顺带把「分辨率档位散落在四处、各写一份」这个结构性原因一并消掉。
16
+
17
+ ## 1. 档位类型加上 768P
18
+
19
+ `VideoResolution` 原本是 `'480P' | '720P' | '1080P'`。它不是营销话术的集合,而是**线上实际会发出去的字符串**,所以有模型只认 768P 时,类型就必须能说出 768P:
20
+
21
+ ```ts
22
+ export type VideoResolution = '480P' | '720P' | '768P' | '1080P'
23
+ ```
24
+
25
+ `RESOLUTION_RANK` 同步插入(`480P < 720P < 768P < 1080P`)。位置不是随手放的:`normalizeVideoResolution` 的降级语义是「取不超过请求档位的最高支持档」,768P 排在这里,1080P 的请求才会落到 768P(而不是掉到 720P),480P 的请求才会升到 768P,而 768P 本身原样保留。
26
+
27
+ ## 2. MiniMax-H3 有了自己的协议族
28
+
29
+ 一开始的判断是「只差一个分辨率档位」:实测 `POST https://api.nbility.ai/v1/videos` 确实也吃通用形状,网关自己把 `size` 归一化成 resolution、`seconds` 归一化成 duration。按这个判断,MiniMax-H3 只要窄化能力、留在 `openai-video` 族就够了。
30
+
31
+ 但官方契约(`nbility.ai/docs/api/videos/minimax-h3`)里有第二个端点:`POST /v1/media/uploads`。参考图必须是**公网 HTTPS URL**,data URI 一律被拒(`Reference media requires a public HTTPS URL; uploads and Base64 are not supported`)——而这个上传端点正是把本地图变成公网 URL 的那条腿。插件只持有 data URL,通用形状里没有任何位置能放这次上传,所以 family 必须新增 `minimax`:
32
+
33
+ - **文生视频**:扁平 `{model, prompt, resolution: '768P', duration, ratio}`。
34
+ - **有参考图**:先 `POST /v1/media/uploads`(multipart `file`),拿到 1 小时后过期的 URL,再发 `content: [{type:'text',text}, {type:'image_url',image_url:{url},role}, …]`。
35
+ - `role` 按模式给:`image` → `first_frame`;`keyframe` → `first_frame` + `last_frame`;`reference` → 每张 `reference_image`(上游上限 9 张)。
36
+
37
+ 窄化的能力写在 `describeVideoModel` 里、`isLikelyVideoModelId` 之前:`resolutions: ['768P']`(唯一能成功的档位)、`modes: ['text','image','keyframe','reference']`、`aspectRatios` 六档(16:9 / 9:16 / 1:1 / 4:3 / 3:4 / 21:9 实测全部被接受)。时长沿用默认的 5 / 10 秒:上游真实范围是 1..15 的整数,两个档位都在内。
38
+
39
+ 上传腿的两个约束值得写下来,因为它们是**失败域**,不是参数:
40
+
41
+ - 上传有自己的诊断阶段 `video-upload`,失败码为 `video-upload-failed`(HTTP 层,带状态码与上游原话)或 `video-unreachable`(连接层)。提交阶段的 401 和上传阶段的 413 是完全不同的两件事,混在一个 phase 里就没法排查。
42
+ - 「上传 + 建任务」共用同一个 `SUBMIT_TIMEOUT_MS` 预算。否则一个卡住的上传会让整体耗时翻倍,而用户看到的只是一个没完没了的转圈。
43
+
44
+ 同网关的 `doubao-seedance-2-0` 不受这个分支影响,仍走 seedance 族(实测它走的是**同一个** `/v1/videos`,但 768P 反而报 `unsupported Seedance resolution`——两个模型的能力刚好相反,这正是不能把它们合并成一个分支的原因)。
45
+
46
+ ## 3. 四处内联的三档白名单收成一处
47
+
48
+ 原来 `'480P' || '720P' || '1080P' ? … : '720P'` 这句话在四个地方各写一遍:
49
+
50
+ | 位置 | 改法 |
51
+ | --- | --- |
52
+ | `routes.ts` 的 `parseVideoRequest` | `parseVideoResolution(body.resolution)` |
53
+ | `routes.ts` 的 code-render probe | 同上(原先只认 480P/1080P,其余一律当 720P,会和面板显示不符) |
54
+ | `agent-video-tools.ts` 的工具入参 | 同上 + 参数说明改成「以所选模型接受的档位为准」 |
55
+ | `client/CanvasWorkspace.tsx` 的 fallback 列表 | `[...VIDEO_RESOLUTIONS]` |
56
+
57
+ 新增 `parseVideoResolution(value, fallback = '720P')` 与 `resolutionRank()`,后者让 `video-director.ts` 里两份私有的 `['480P','720P','1080P']` 排序数组消失——规划器判断「只能降档不能升档」时用的就是目录里那份顺序,两处不会再各自漂移。
58
+
59
+ `VideoPanel.tsx:39` 那个 `RESOLUTIONS` 常量是死代码(全仓零引用),删除。
60
+
61
+ ## 4. 分镜板的分辨率下拉框跟随模型
62
+
63
+ `storyboard-board.tsx` 原先硬编码三个 `<option>`,不看模型。现在从 `describeVideoModel(board.model)` 派生,模型未设置时给出全部档位。
64
+
65
+ 一个取舍写在这里:**画布已有的、但模型不支持的档位不删掉,而是保留成一个选项**。用户打开一张旧画布时,把它文档里的值悄悄改写掉,比显示一个走不通的旧值更糟——前者不可见,后者看得见。
66
+
67
+ ## 5. 本地渲染(code-render)给 768P 真实短边
68
+
69
+ `dimensionsFor` 原本 `480P → 480`、`1080P → 1080`、其余 → 720。768P 会落进 720 分支,probe 上报的像素数就和面板标签不一致。现在补上 768。
70
+
71
+ ## 6. 200 + HTML 不再被当成接口响应
72
+
73
+ 真机部署时发现一个跟本次需求直接相关的坑:渠道里 `apiUrl` 写成 `https://api.nbility.ai`(少了 `/v1`)时,上游返回 **200** 和它自己的首页 HTML。插件原本把非 JSON 的响应体截 300 字符塞进错误消息,用户看到的是:
74
+
75
+ ```
76
+ submit failed: <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> …
77
+ ```
78
+
79
+ 现在识别出 HTML 就换成能指向原因的话:
80
+
81
+ > 返回的是网页而不是接口响应,通常是渠道的 API 地址少了路径(例如末尾缺 /v1)
82
+
83
+ 这不是只为一个网关打的补丁:任何把站点根地址填进「API 地址」的渠道都会撞上同一件事,而「渠道地址少一段路径」恰恰是用户最难自己看出来的配置错误。新增 **V1m** 覆盖:假上游对提交回 200 + HTML,断言消息点名了原因、且不含任何 markup。
84
+
85
+ ## 7. 工作流运行选项菜单关不掉
86
+
87
+ 真机验收时用户报的:菜单点开之后「一直挂在上面,只能运行工作流他才关掉」——即唯一的关闭入口是那个会**真花钱提交任务**的菜单项。
88
+
89
+ 根因不是漏了一个 `onClose`,而是关闭清单被抄了几份。底栏浮层有三个(背景、图片、工作流选项),每条关闭路径各自写一遍自己认识的那两个 state:
90
+
91
+ | 关闭路径 | 修复前 |
92
+ | --- | --- |
93
+ | 悬停离开(280ms 计时器) | 只清 background / image |
94
+ | Escape | 只清 background / image |
95
+ | 点画布空白处 | 只清 background / image |
96
+ | 打开其它底栏菜单 | 只互斥 background / image |
97
+ | 技能菜单打开时 | 只清 background / image / context … |
98
+
99
+ 工作流菜单是后加的第三个,于是它成了画布上唯一关不掉的浮层。修法是**把清单收成一处** `closeDockMenus()`,五条路径全部改成调它;同时箭头按钮从「无条件重设坐标」改成 toggle,再点一次就收起。
100
+
101
+ `smoke-workflow.mjs` 锁的不是「某处有没有写 `setWorkflowMenu(null)`」——那正是漏掉时也照样能通过的写法——而是:
102
+
103
+ - `closeDockMenus` 存在且三件事都在里面;
104
+ - 全文件里 `setBackgroundMenu(null); setImageMenu(null)` 这种平行清单**只有一份**(抄几份就会漏几处);
105
+ - 打开其它菜单时先收掉已开的浮层;
106
+ - 箭头按钮的 toggle 分支在。
107
+
108
+ 反向用例两条:把工作流菜单从统一清单里摘出去 → 变红;某个入口又自己抄一份清单 → 变红。
109
+
110
+ 真机复验(uireview 实例,1.30.2 部署后,同一份代码随 1.30.3 发出):点开 → Esc 关;点开 → 点画布关;点开 → 再点箭头关;点开 → 打开背景菜单关(互斥)。四条全部按预期。
111
+
112
+ ## 测试
113
+
114
+ `scripts/smoke-video.mjs` 新增三条,全部走离线假上游(假上游新增 `POST /v1/media/uploads` 分支,记录每次上传的文件名、mime、字节数):
115
+
116
+ **V1l** — 目录与文生视频:
117
+
118
+ - `MiniMax-H3` 的 family 是 `minimax`、`resolutions` 恰为 `['768P']`、`modes` 恰为 `['text','image','keyframe','reference']`、六档画幅;同时确认 `doubao-seedance-2-0` 仍归 seedance、通用模型 `kling-v2-master` 仍保留三档(特化没有外溢)。
119
+ - 归一化:1080P / 480P / 未知词都落到 768P,768P 原样保留。
120
+ - 解析与排序:`parseVideoResolution` 的大小写、空白、缺省与未知词行为;`resolutionRank('720P') < resolutionRank('768P') < resolutionRank('1080P')`。
121
+ - 端到端:发一个 1080P 请求,断言线上 body 是 `{model, prompt, resolution:'768P', duration:5, ratio}`,且**不含** `content` / `size` / `seconds`;`uploads.length === 0`(文生视频不该触发上传)。
122
+
123
+ **V1n** — 三种参考图模式各跑一次(都传 1080P + 9:16 + 8 秒,证明归一化与模式无关):
124
+
125
+ | 模式 | 上传张数 | 送达的 `role` |
126
+ | --- | --- | --- |
127
+ | `image` | 1 | `first_frame` |
128
+ | `keyframe` | 2 | `first_frame`, `last_frame` |
129
+ | `reference` | 3 | `reference_image` ×3 |
130
+
131
+ 断言上传带 `Bearer`、mime 为 `image/png`、文件名为 `reference-N.png`、字节非空;`content[0]` 恰为 `{type:'text',text}`,媒体项 `image_url.url` 是假上游返回的 URL 而**不是** `data:` 开头。
132
+
133
+ **V1o** — 上传失败与其前置守卫:上传回 413 + `{error:{message:'file too large'}}` → 抛 `video-upload-failed`,消息含上游原话与 `HTTP 413`,且 `submits.length === 0`(没有建任务);诊断里 `phase === 'video-upload'`、`url` 指向 `/v1/media/uploads`、`status === 413`、`hadAuth === true`。另断言空 prompt(`' '`)抛 `video-bad-prompt` 且 `uploads.length === 0`——守卫必须在上传之前,否则用户为一次注定失败的提交付了上传流量。
134
+
135
+ 41 项全绿(含此前 36 项)。
136
+
137
+ ## 真机验证(Nbility 网关,api.nbility.ai)
138
+
139
+ - 文生视频:`MiniMax-H3` / 768P / 5 秒 / 16:9 → `queued` → `in_progress`(progress 0/33/99)→ `completed`,顶层 `url` 指向 COS 上的 mp4,1,859,764 字节。5 秒片子约 3 分钟。
140
+ - 图生视频:512×512 PNG 上传换 URL → 以 1080P / 9:16 提交(1080P 是故意的,用来证明归一化)→ 成功,1,628,276 字节;换 768P / 9:16 再跑一次,1,342,898 字节、208 秒。
141
+ - 拦截 fetch 核对插件真正发出的 multipart:`content-type: multipart/form-data; boundary=…`、`authorization: Bearer sk-kj…`、首部 `Content-Disposition: form-data; name="file"; filename="reference-1.png"` + `Content-Type: image/png`,正文 94,788 字节、首字节是真实 PNG 头。
142
+ - 720P、1080P、以及 `size: "720P"` 的扁平写法,全部被上游 400 拒绝,报错原文记录在注释与测试里。
143
+
144
+ ## 边界如实说明
145
+
146
+ - 768P 是**上游唯一可用的档位**,不是「推荐档位」。面板上它会是 MiniMax-H3 唯一可点的按钮。
147
+ - 参考图走 `POST /v1/media/uploads` 换公网 URL,换来的 **URL 1 小时后过期**:提交任务必须紧接着做,不能先攒一批图再慢慢提交。插件在一次 `SUBMIT_TIMEOUT_MS` 预算内完成「上传 + 建任务」,就是为了不让 URL 在自己的流程里老掉。
148
+ - 上传的大小/格式边界由上游裁定,插件不做客户端预检(图片 ≤30 MB、边长 256–5760 px;视频 ≤50 MB;音频 ≤15 MB)。失败会带上游原话回来。
149
+ - 取消(`REMOTE_CANCEL`)仍是 unsupported:网关没有实测的取消端点,插件不伪造一个。
150
+ - `doubao-seedance-2-0` 在同一网关上走同一个 `/v1/videos`,但插件会按 seedance 族发 `content[]` 到 `/contents/generations/tasks`——该路径在此网关上一律 `Invalid URL`。也就是说**这个模型在这个网关下仍未接通**,本版没有修它(不在本次需求范围内,且需要单独验证 Seedance 在那个网关上的真实形状)。
151
+ - 首尾帧的宽高比必须相差 ≤2%(上游约束);插件不在本地校验,冲突时由上游拒绝。
@@ -0,0 +1,189 @@
1
+ # v1.30.4 — 接通 Nbility 的 MiniMax-H3;修好 DSH 0.2.2-rc.3 的侧栏回归
2
+
3
+ > **版本说明**:1.30.1 与 1.30.3 这两个号从未真正打过 tag。1.30.1 的功能随 **1.30.2** 一起发出过;1.30.3 那次 Release 在跑之前被取消,仓库里没有 `v1.30.3`,npm 上也没有 1.30.3。为避免复用已被占用的号,本次以 **1.30.4** 发出,**包含 1.30.3 说明页里的全部内容**,外加 `v1.30.2` 之后完成的侧栏修复。
4
+ >
5
+ > 也就是说:从 1.30.2 升级到 1.30.4,拿到的是下面两件事的全部,不存在「漏掉中间某一版」的问题。
6
+
7
+ 本版两件事,彼此无关:
8
+
9
+ 1. **生视频**:Nbility 网关上的 `MiniMax-H3` 此前每一个请求都注定失败——档位不对,图生视频还多缺一条上传腿。
10
+ 2. **侧栏**:DSH 更新到 0.2.2-rc.3 之后,插件的「会话 / 生图」切换器被挤进了宿主的动作行,三个按钮并排一行。
11
+
12
+ ## 一、MiniMax-H3:768P 与参考图上传
13
+
14
+ Nbility 网关上的 `MiniMax-H3` 只有一个可用档位:**768P**。720P 和 1080P 都会被上游 400 拒绝:
15
+
16
+ ```
17
+ MiniMax-H3 supports only 768P at normalizeRequest
18
+ ```
19
+
20
+ 而插件此前把 `MiniMax-H3` 归进通用的 `openai-video` 族,只提供 `480P / 720P / 1080P` 三档、默认 720P——**每一个请求都注定失败**,且报错发生在提交之后,用户看到的是一次「提交被拒」而不是「这个模型不接受这档分辨率」。
21
+
22
+ 把档位补上之后,画布上的第二个问题暴露出来:图生视频仍然 400,因为参考图必须是公网 HTTPS URL,而插件只会发 data URI。官方契约里有一条 `POST /v1/media/uploads` 正好解决这件事——所以这一版是两件事:**多一个档位**,和**多一条上传腿**。
23
+
24
+ 顺带把「分辨率档位散落在四处、各写一份」这个结构性原因一并消掉。
25
+
26
+ ### 1. 档位类型加上 768P
27
+
28
+ `VideoResolution` 原本是 `'480P' | '720P' | '1080P'`。它不是营销话术的集合,而是**线上实际会发出去的字符串**,所以有模型只认 768P 时,类型就必须能说出 768P:
29
+
30
+ ```ts
31
+ export type VideoResolution = '480P' | '720P' | '768P' | '1080P'
32
+ ```
33
+
34
+ `RESOLUTION_RANK` 同步插入(`480P < 720P < 768P < 1080P`)。位置不是随手放的:`normalizeVideoResolution` 的降级语义是「取不超过请求档位的最高支持档」,768P 排在这里,1080P 的请求才会落到 768P(而不是掉到 720P),480P 的请求才会升到 768P,而 768P 本身原样保留。
35
+
36
+ ### 2. MiniMax-H3 有了自己的协议族
37
+
38
+ 一开始的判断是「只差一个分辨率档位」:实测 `POST https://api.nbility.ai/v1/videos` 确实也吃通用形状,网关自己把 `size` 归一化成 resolution、`seconds` 归一化成 duration。按这个判断,MiniMax-H3 只要窄化能力、留在 `openai-video` 族就够了。
39
+
40
+ 但官方契约(`nbility.ai/docs/api/videos/minimax-h3`)里有第二个端点:`POST /v1/media/uploads`。参考图必须是**公网 HTTPS URL**,data URI 一律被拒(`Reference media requires a public HTTPS URL; uploads and Base64 are not supported`)——而这个上传端点正是把本地图变成公网 URL 的那条腿。插件只持有 data URL,通用形状里没有任何位置能放这次上传,所以 family 必须新增 `minimax`:
41
+
42
+ - **文生视频**:扁平 `{model, prompt, resolution: '768P', duration, ratio}`。
43
+ - **有参考图**:先 `POST /v1/media/uploads`(multipart `file`),拿到 1 小时后过期的 URL,再发 `content: [{type:'text',text}, {type:'image_url',image_url:{url},role}, …]`。
44
+ - `role` 按模式给:`image` → `first_frame`;`keyframe` → `first_frame` + `last_frame`;`reference` → 每张 `reference_image`(上游上限 9 张)。
45
+
46
+ 窄化的能力写在 `describeVideoModel` 里、`isLikelyVideoModelId` 之前:`resolutions: ['768P']`(唯一能成功的档位)、`modes: ['text','image','keyframe','reference']`、`aspectRatios` 六档(16:9 / 9:16 / 1:1 / 4:3 / 3:4 / 21:9 实测全部被接受)。时长沿用默认的 5 / 10 秒:上游真实范围是 1..15 的整数,两个档位都在内。
47
+
48
+ 上传腿的两个约束值得写下来,因为它们是**失败域**,不是参数:
49
+
50
+ - 上传有自己的诊断阶段 `video-upload`,失败码为 `video-upload-failed`(HTTP 层,带状态码与上游原话)或 `video-unreachable`(连接层)。提交阶段的 401 和上传阶段的 413 是完全不同的两件事,混在一个 phase 里就没法排查。
51
+ - 「上传 + 建任务」共用同一个 `SUBMIT_TIMEOUT_MS` 预算。否则一个卡住的上传会让整体耗时翻倍,而用户看到的只是一个没完没了的转圈。
52
+
53
+ 同网关的 `doubao-seedance-2-0` 不受这个分支影响,仍走 seedance 族(实测它走的是**同一个** `/v1/videos`,但 768P 反而报 `unsupported Seedance resolution`——两个模型的能力刚好相反,这正是不能把它们合并成一个分支的原因)。
54
+
55
+ ### 3. 四处内联的三档白名单收成一处
56
+
57
+ 原来 `'480P' || '720P' || '1080P' ? … : '720P'` 这句话在四个地方各写一遍:
58
+
59
+ | 位置 | 改法 |
60
+ | --- | --- |
61
+ | `routes.ts` 的 `parseVideoRequest` | `parseVideoResolution(body.resolution)` |
62
+ | `routes.ts` 的 code-render probe | 同上(原先只认 480P/1080P,其余一律当 720P,会和面板显示不符) |
63
+ | `agent-video-tools.ts` 的工具入参 | 同上 + 参数说明改成「以所选模型接受的档位为准」 |
64
+ | `client/CanvasWorkspace.tsx` 的 fallback 列表 | `[...VIDEO_RESOLUTIONS]` |
65
+
66
+ 新增 `parseVideoResolution(value, fallback = '720P')` 与 `resolutionRank()`,后者让 `video-director.ts` 里两份私有的 `['480P','720P','1080P']` 排序数组消失——规划器判断「只能降档不能升档」时用的就是目录里那份顺序,两处不会再各自漂移。
67
+
68
+ `VideoPanel.tsx:39` 那个 `RESOLUTIONS` 常量是死代码(全仓零引用),删除。
69
+
70
+ ### 4. 分镜板的分辨率下拉框跟随模型
71
+
72
+ `storyboard-board.tsx` 原先硬编码三个 `<option>`,不看模型。现在从 `describeVideoModel(board.model)` 派生,模型未设置时给出全部档位。
73
+
74
+ 一个取舍写在这里:**画布已有的、但模型不支持的档位不删掉,而是保留成一个选项**。用户打开一张旧画布时,把它文档里的值悄悄改写掉,比显示一个走不通的旧值更糟——前者不可见,后者看得见。
75
+
76
+ ### 5. 本地渲染(code-render)给 768P 真实短边
77
+
78
+ `dimensionsFor` 原本 `480P → 480`、`1080P → 1080`、其余 → 720。768P 会落进 720 分支,probe 上报的像素数就和面板标签不一致。现在补上 768。
79
+
80
+ ### 6. 200 + HTML 不再被当成接口响应
81
+
82
+ 真机部署时发现一个跟本次需求直接相关的坑:渠道里 `apiUrl` 写成 `https://api.nbility.ai`(少了 `/v1`)时,上游返回 **200** 和它自己的首页 HTML。插件原本把非 JSON 的响应体截 300 字符塞进错误消息,用户看到的是:
83
+
84
+ ```
85
+ submit failed: <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> …
86
+ ```
87
+
88
+ 现在识别出 HTML 就换成能指向原因的话:
89
+
90
+ > 返回的是网页而不是接口响应,通常是渠道的 API 地址少了路径(例如末尾缺 /v1)
91
+
92
+ 这不是只为一个网关打的补丁:任何把站点根地址填进「API 地址」的渠道都会撞上同一件事,而「渠道地址少一段路径」恰恰是用户最难自己看出来的配置错误。新增 **V1m** 覆盖:假上游对提交回 200 + HTML,断言消息点名了原因、且不含任何 markup。
93
+
94
+ ### 7. 工作流运行选项菜单关不掉
95
+
96
+ 真机验收时用户报的:菜单点开之后「一直挂在上面,只能运行工作流他才关掉」——即唯一的关闭入口是那个会**真花钱提交任务**的菜单项。
97
+
98
+ 根因不是漏了一个 `onClose`,而是关闭清单被抄了几份。底栏浮层有三个(背景、图片、工作流选项),每条关闭路径各自写一遍自己认识的那两个 state:
99
+
100
+ | 关闭路径 | 修复前 |
101
+ | --- | --- |
102
+ | 悬停离开(280ms 计时器) | 只清 background / image |
103
+ | Escape | 只清 background / image |
104
+ | 点画布空白处 | 只清 background / image |
105
+ | 打开其它底栏菜单 | 只互斥 background / image |
106
+ | 技能菜单打开时 | 只清 background / image / context … |
107
+
108
+ 工作流菜单是后加的第三个,于是它成了画布上唯一关不掉的浮层。修法是**把清单收成一处** `closeDockMenus()`,五条路径全部改成调它;同时箭头按钮从「无条件重设坐标」改成 toggle,再点一次就收起。
109
+
110
+ `smoke-workflow.mjs` 锁的不是「某处有没有写 `setWorkflowMenu(null)`」——那正是漏掉时也照样能通过的写法——而是:
111
+
112
+ - `closeDockMenus` 存在且三件事都在里面;
113
+ - 全文件里 `setBackgroundMenu(null); setImageMenu(null)` 这种平行清单**只有一份**(抄几份就会漏几处);
114
+ - 打开其它菜单时先收掉已开的浮层;
115
+ - 箭头按钮的 toggle 分支在。
116
+
117
+ 反向用例两条:把工作流菜单从统一清单里摘出去 → 变红;某个入口又自己抄一份清单 → 变红。
118
+
119
+ 真机复验(uireview 实例):点开 → Esc 关;点开 → 点画布关;点开 → 再点箭头关;点开 → 打开背景菜单关(互斥)。四条全部按预期。
120
+
121
+ ### MiniMax-H3 的测试
122
+
123
+ `scripts/smoke-video.mjs` 新增三条,全部走离线假上游(假上游新增 `POST /v1/media/uploads` 分支,记录每次上传的文件名、mime、字节数):
124
+
125
+ **V1l** — 目录与文生视频:
126
+
127
+ - `MiniMax-H3` 的 family 是 `minimax`、`resolutions` 恰为 `['768P']`、`modes` 恰为 `['text','image','keyframe','reference']`、六档画幅;同时确认 `doubao-seedance-2-0` 仍归 seedance、通用模型 `kling-v2-master` 仍保留三档(特化没有外溢)。
128
+ - 归一化:1080P / 480P / 未知词都落到 768P,768P 原样保留。
129
+ - 解析与排序:`parseVideoResolution` 的大小写、空白、缺省与未知词行为;`resolutionRank('720P') < resolutionRank('768P') < resolutionRank('1080P')`。
130
+ - 端到端:发一个 1080P 请求,断言线上 body 是 `{model, prompt, resolution:'768P', duration:5, ratio}`,且**不含** `content` / `size` / `seconds`;`uploads.length === 0`(文生视频不该触发上传)。
131
+
132
+ **V1n** — 三种参考图模式各跑一次(都传 1080P + 9:16 + 8 秒,证明归一化与模式无关):
133
+
134
+ | 模式 | 上传张数 | 送达的 `role` |
135
+ | --- | --- | --- |
136
+ | `image` | 1 | `first_frame` |
137
+ | `keyframe` | 2 | `first_frame`, `last_frame` |
138
+ | `reference` | 3 | `reference_image` ×3 |
139
+
140
+ 断言上传带 `Bearer`、mime 为 `image/png`、文件名为 `reference-N.png`、字节非空;`content[0]` 恰为 `{type:'text',text}`,媒体项 `image_url.url` 是假上游返回的 URL 而**不是** `data:` 开头。
141
+
142
+ **V1o** — 上传失败与其前置守卫:上传回 413 + `{error:{message:'file too large'}}` → 抛 `video-upload-failed`,消息含上游原话与 `HTTP 413`,且 `submits.length === 0`(没有建任务);诊断里 `phase === 'video-upload'`、`url` 指向 `/v1/media/uploads`、`status === 413`、`hadAuth === true`。另断言空 prompt(`' '`)抛 `video-bad-prompt` 且 `uploads.length === 0`——守卫必须在上传之前,否则用户为一次注定失败的提交付了上传流量。
143
+
144
+ 41 项全绿(含此前 36 项)。
145
+
146
+ ### MiniMax-H3 的真机验证(Nbility 网关,api.nbility.ai)
147
+
148
+ - 文生视频:`MiniMax-H3` / 768P / 5 秒 / 16:9 → `queued` → `in_progress`(progress 0/33/99)→ `completed`,顶层 `url` 指向 COS 上的 mp4,1,859,764 字节。5 秒片子约 3 分钟。
149
+ - 图生视频:512×512 PNG 上传换 URL → 以 1080P / 9:16 提交(1080P 是故意的,用来证明归一化)→ 成功,1,628,276 字节;换 768P / 9:16 再跑一次,1,342,898 字节、208 秒。
150
+ - 拦截 fetch 核对插件真正发出的 multipart:`content-type: multipart/form-data; boundary=…`、`authorization: Bearer …`、首部 `Content-Disposition: form-data; name="file"; filename="reference-1.png"` + `Content-Type: image/png`,正文 94,788 字节、首字节是真实 PNG 头。
151
+ - 720P、1080P、以及 `size: "720P"` 的扁平写法,全部被上游 400 拒绝,报错原文记录在注释与测试里。
152
+
153
+ ## 二、侧栏切换器重新独占一行(DSH 0.2.2-rc.3 回归)
154
+
155
+ DSH 0.2.2-rc.3 改了侧栏结构:它把「新会话」按钮套进一层 `div.newSessionRow`,并把行的缩进从按钮搬到了这一层。
156
+
157
+ ```
158
+ root
159
+ ├ logoRow
160
+ ├ newSessionRow ← rc.3 新增。display:flex; gap:6px,同时是 sidebar.session.action 槽位出口
161
+ │ └ button.newSession
162
+ ├ scrollRegion …
163
+ └ footArea
164
+ ```
165
+
166
+ 插件原来的落位规则是「插到按钮前面」。按钮以前是侧栏列的子元素,插到它前面就独占一行;现在按钮的父元素变成了那个 flex 行,切换器被塞进同一行,于是「会话 / 生图 / 新会话」三个按钮并排。
167
+
168
+ 修法是**把落位对象从「按钮」换成「承载该动作的 root 级块」**(`actionSeat`,复用 `markBlocks` 已经在用的 `newSessionBlock`),缩进也对这一层量——rc.3 里按钮自身的 `margin` 是 `0`,量按钮会让切换器两边各宽 4px。块里含品牌行时退回旧行为,避免把切换器抬到 logo 上方。
169
+
170
+ ### 为什么原来的测试没拦住
171
+
172
+ 原有的 D3 / D3b 两个 fixture 都是旧结构(按钮直接挂在列上),它们测的是「插到按钮前」,而这个回归恰恰发生在「按钮不再直接挂在列上」的时候。新增 **D3c** 按 rc.3 的真实结构挂载,断言:
173
+
174
+ - 切换器的 `parentElement` 是列,**不是**动作行;
175
+ - 切换器是 `newSessionRow` 的前一个兄弟;
176
+ - `row.contains(tabs) === false`;
177
+ - 两侧缩进都取自 row(4px)。
178
+
179
+ 反向验证过:把落点改回「按钮本身」,D3 与 D3c 各自变红。
180
+
181
+ ## 边界如实说明
182
+
183
+ - 768P 是**上游唯一可用的档位**,不是「推荐档位」。面板上它会是 MiniMax-H3 唯一可点的按钮。
184
+ - 参考图走 `POST /v1/media/uploads` 换公网 URL,换来的 **URL 1 小时后过期**:提交任务必须紧接着做,不能先攒一批图再慢慢提交。插件在一次 `SUBMIT_TIMEOUT_MS` 预算内完成「上传 + 建任务」,就是为了不让 URL 在自己的流程里老掉。
185
+ - 上传的大小/格式边界由上游裁定,插件不做客户端预检(图片 ≤30 MB、边长 256–5760 px;视频 ≤50 MB;音频 ≤15 MB)。失败会带上游原话回来。
186
+ - 取消(`REMOTE_CANCEL`)仍是 unsupported:网关没有实测的取消端点,插件不伪造一个。
187
+ - `doubao-seedance-2-0` 在同一网关上走同一个 `/v1/videos`,但插件会按 seedance 族发 `content[]` 到 `/contents/generations/tasks`——该路径在此网关上一律 `Invalid URL`。也就是说**这个模型在这个网关下仍未接通**,本版没有修它(需要单独验证 Seedance 在那个网关上的真实形状)。
188
+ - 首尾帧的宽高比必须相差 ≤2%(上游约束);插件不在本地校验,冲突时由上游拒绝。
189
+ - 侧栏修复的验证面:jsdom 挂载 + 真实宿主 CSS 渲染对比 + CI。**折叠成 rail 的那一态没有真机实测**(需要重启宿主才能看到);rc.3 在折叠态把 row 改成 `flex-direction: column`,按新落位理论上同样成立,但这是推断,不是实测。