@q253595422/dsh-imagegen-video 1.30.2 → 1.31.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
package/CHANGELOG.md CHANGED
@@ -5,6 +5,75 @@ Attribution for third-party code is in [NOTICE](./NOTICE).
5
5
 
6
6
  ## Releases
7
7
 
8
+ ### 1.31.0 — 画布四件新事:Agent 改画布前先提案、连线说明用途、节点成组、原生姿势人偶
9
+
10
+ 本版是 `v1.30.4` 之后累积 40 个提交的一次发出,含四块独立内容与两条社区 issue 的修复。完整说明见 [docs/releases/v1.31.0.md](./docs/releases/v1.31.0.md)。
11
+
12
+ - **Agent 写画布先出提案,用户点头才落盘**:八个画布工具此前一调用就改文件,乐观锁挡得住「两个写入者同时改」、挡不住「用户不在场」——模型可以在用户睡觉时把画布重排一遍。现在写操作产出提案(存 `canvas/proposals/`,与 `pages/` 分开),画布右上浮出提案条,常驻一句「接受之前画布不会有任何变化」。接受是增量的:只增删提案点名的节点与连线,用户在这期间改的标题、拖过的坐标都留着。
13
+ - **连线有了语义角色**(`input` / `first` / `last` / `reference`)。首尾帧以前是「`connections` 数组前两张图」,删一条边再重连就把首尾帧对调,画布上看不出区别。`role` 是可选字段,1429 份真实画布零迁移、往返 0 变化。
14
+ - **生成前自动补边**:图拖到配置节点旁边却没拉线时,生成会完全忽略它。现在提交那一刻把边缘间距在 1.5 个目标节点短边内、尚未连入的图片补成连线,最多 4 张;只在提交时补、不在拖拽时猜,且不夺已有角色。
15
+ - **节点成组**:框选 → 右键「成组」,拖任一个整组一起动。协议只加可选字段 `groups?`,不升 version;1429 份画布全量往返 0 份凭空长出 `groups`。
16
+ - **原生姿势节点**:17 关节层级 + 正向运动学 + 透视投影,纯 Canvas 2D 手写,不引 three.js(WebGL 在远程桌面/禁用加速时是最容易失效的一环)。11 个预设、逐关节三轴滑杆、导出 1024×1024 PNG。它不是新节点类型,而是 `type: 'image'` + `metadata.pose`,下游全链路零改动。
17
+ - **一条过期的提议会把整张画布对 Agent 锁死**:用户在接受之前随手删掉一个提议点名的节点,那条提议就应用不上了。`draftOf` 每叠加一次就抛错,于是这张画布上的 `add_canvas_node` / `update_canvas_node` / `connect_canvas_nodes` **全部永久失败**——只有用户碰巧去点一次「接受」才能恢复(`acceptOne` 遇到同一条提议会自己把它移除,判断是「它不可能再生效,留着只会挡住队列」)。两处对同一件事有两种判断,没有道理。现在读、写都跳过并移除这种提议,并在 note 里如实说明「N 条提议已作废」——写路径也照常工作,不再被一条早已作废的提议挡住。反向注入实测:只跳过不清理 → F22 红;写路径不说 → F22 红;读路径不说 → F22 红。
18
+ - **`update_canvas_node` 能改 config 节点产出什么了,也能改节点尺寸**:`add_canvas_node` 收 `mode` / `width` / `height`,`update_canvas_node` 一个都不收——于是「加的时候选错了」只能删了重建,而重建会换掉节点 id、坐标和已经连好的线。探针实测:update 传 `mode` / `width` / `height` 全部被静默忽略,工具还回一句「This call changed nothing」,模型会以为改成了。现在三个字段都与 add 对齐;`mode` 只接受 config 节点(写到图片节点上直接报错,而不是在文档里长出一个谁也不读的键),非法值仍由 schema 的 enum 与工具内的 `parseMode` 拦。反向注入实测:三个字段都不认 → F23 红;不拦非 config → F23 红;`parseMode` 放行 → 宿主的 enum 先挡下了,这一层测不到(注释里已写明)。
19
+ - **一条用户已经改过的提案,不再让 `read_canvas` 整个失败**:用户在接受之前自己删掉了提案点名的节点,那条提案就对不上了。`read_canvas` 和写工具走的是同一个叠加草稿(`draftOf`),于是**只读工具也抛错**——探针实测:「A pending change on this canvas no longer applies…」,模型连「画布现在长什么样」都看不到,而用户那边一切正常(`acceptOne` 自己会把过期提案移除)。现在读路径跳过应用不了的提案,并如实说明「N 条改动对不上、已略过」;写路径仍报错(起点不确定时继续算,会把那条坏掉的差异固化进新提案)。同时把「待确认 N 条」改成只数真正叠进草稿的条数,否则会出现「1 条待确认」加「另有 1 条已略过」这种总数只有一条的自相矛盾。反向注入实测:读路径退回抛错 → F22 红;只数总数 → F22 红;跳过但不报告 → F22 红。
20
+ - **config 节点会告诉 Agent 它产出什么,Agent 也能造出视频配置节点**:config 的 `metadata.mode`(image / video / text)决定按 run 得到图片、视频还是文字,但 `projectNode` 没投影它——模型只看到「这是个 config」,判断不出该不该往这里连图片。同一处还有一句恒为真的死判断:`createNode` 里「`metadata.mode` 没设就写成 `image`」,而 `metadata.mode` 从来没被赋过值,于是 Agent **根本造不出视频配置节点**(而视频配置正是「连两张图做插帧」的那个)。现在 `mode` 进投影、进参数表(enum 由 schema 挡非法值)、进文本渲染的标签(`[config:video]`),省略时仍默认 `image`。反向注入实测:去掉投影 → F21 红;把取值固定回 `image` → F21 红。
21
+ - **`add_canvas_node` 把一直生效的 `width` / `height` 写进了参数表**:`createNode` 从第一天就在读这两个键,传了也确实生效,但 schema 里没声明——模型只能靠猜,猜不到就用默认尺寸。现在补上声明,并用一条断言把「schema 声明的参数」与「代码真正接受的参数」锁在一起,免得下次再漂。反向注入实测:删掉声明 → F20 红。
22
+ - **Agent 加的节点依次排开,不再全叠在原点**:`add_canvas_node` 的说明写着「Omit x/y to place it in a free column to the right of the existing nodes」,实现却把缺省钉成 `0,0`。探针实测:连着加 A、B、C 三个节点,三个坐标都是 `(0,0)`——用户打开画布只看到最上面那一个,还以为 Agent 只加了一个。现在省略 x 就落在「现有节点最右边 + 一个列间距」,间距取画布自己的 `NODE_GAP`(90),模型明确给了坐标则照用、不被覆盖。反向注入实测:去掉自动摆放 → F19 红。
23
+ - **Agent 删掉节点时,分组里不再留下指向它的悬空 id**:用户在画布上把几个节点框成一组,Agent 只认识节点和连线,删掉其中一个之后组里仍留着那个 id——探针实测 `groups[0].nodeIds` 是两个,其中一个已不存在。画布自己删节点走的是 `pruneGroupsField`(去掉悬空成员、清空则整组消失、本来没有 `groups` 字段就继续没有),提案这条接受路径漏了它。现在 `apply` 复用同一个函数,两种删除语义不再各写一套。这一条同时守住老画布:写回时若 `groups` 变成 `undefined` 就删掉这个键,`pruneGroupsField` 的意义正是「1429 份不带 `groups` 的老画布,第一次删节点不该因此长出一个 `groups: []`」。反向注入实测:去掉 `pruneGroupsField` → F17 红;把「没有键」改成「写空数组」→ F17/F18 各自红。
24
+ - **`list_canvases` 带出待确认条数,两个工具的计数对得上了**:`nodeCount` 只数已保存的节点,Agent 刚提议的节点不在里面,而 `read_canvas` 看得到——探针实测 list 说 1 个、read 说 2 个。两个数字打架,模型会以为自己提议失败,于是再提一遍。现在每行多一个 `pending`(复用下拉「待确认」标记的 `countByCanvas`,不为每份画布各扫一遍目录),`nodeCount + pending` 正好等于 `read_canvas` 给出的节点数;渲染成文本时也会写明「N change(s) awaiting the user's accept」。反向注入实测:去掉 `pending` → F16 红。
25
+ - **`read_canvas` 与写工具用同一个起点,读得到自己刚提议的改动**:写工具一直在「真实文档 + 本待确认提案」的草稿上算(这是连着的两步操作能成立的前提),但 `read_canvas` 只读真实文档。于是 Agent 刚提议加了一个节点、回头一读却是空白画布,还附一句「This canvas is empty. Create nodes, wire them…」——模型以为自己没加成功,再添加一遍。探针实测:`add` → `read`(0 个节点)→ 再 `add`,同一个标题落进两条提案。现在读写共用同一个 `draftOf()`,读到的这份还明确标注「这些只是提议,用户没接受、他看到的画布上还没有」。测试套件里 B1 原来断言「读工具仍然说空,这正是还没接受该有的样子」——那条断言把缺陷写成了规格,现在改成正面要求,并补上「接受之后这句必须消失」(否则模型每次读都被告知有未接受的改动,于是反复提议同一件事)。反向注入实测:把 `read_canvas` 改回只读真实文档 → B1 红。
26
+ - **Agent 改连线角色时,改的是那一条线,不是被当成「什么都没改」**:`connect_canvas_nodes` 发现两端已经连着就直接返回,哪怕这次明确传了不同的 `role`。真实用法正好踩在这里——Agent 先 `connect(A → B)`(默认 `input`),接着说「把这张设成首帧」再调一次带 `role: 'first'` 的连接。第二次调用被当成无改动,工具还回一句「This call changed nothing, so there is no pending change to accept」,模型于是以为自己设好了;而视频插帧读的正是 `role`,用户拿到的是首尾帧用错了图。更深一层:`diffOf` 只比连线的 **id 集合**,从不比内容,所以「改一条已有连线的角色」在提案机制里根本不存在——即使工具改了草稿也算不出差异。现在协议里加了 `updatedConnections`(只带真正变过的键,与 `updatedNodes` 同源),`diffOf` 按 `roleOf` 的语义比对(`'input'` 与「没有 role」等价),`apply` 找不到那条边(用户已断开)时明确报 `proposal-stale` 而不是静默跳过,`coerceProposal` 也把认不得的角色当坏文件挡在队列外。界面上这类改动单独一句「调整 N 条线的角色」,三份语言表都补齐了。反向注入实测:恢复「边已存在就 return」→ F13 红;`diffOf` 不比对角色 → F13 红;`apply` 找不到边时改成 `continue` → F14 红;去掉角色白名单 → R5h 红。
27
+ - **读不懂的提案不再永久卡在队首**:`proposals/` 是旁路目录,谁都能往里写(老版本写的、手工改过的)。一条 `change.title` 是数字、或者补丁里字段类型不对的提案,之前读得出来、排进队列,接受时 `apply` 成功返回,`store.save` 却因为文档不合法抛「malformed canvas document」——而「应用不了就自己出队」那条路只在 `apply` 返回 `undefined` 时才走到,于是它一直占着队首:用户点多少次都是同一条错误,后面本来能用的提案全被挡住。现在两道门:读入时把 `change.title` 的类型一并校验(形状不对就当坏文件跳过,与其余字段一致),接受前再用文档校验器验一遍结果——不合格按「永远应用不了」处理,移除并如实报错。探针实测过前一种在修复前后从「点不动」变成「根本不出现在队列里」。反向注入实测:去掉读入校验 → R5f 红;去掉接受后校验 → R5g 红(报的正是那句 `malformed canvas document`)。
28
+ - **接受提案期间切了画布,不会再把当前画布换成另一本**:`acceptProposal` 要先写本地编辑、再等接受接口返回,两个网络往返之间用户完全可能点开别的画布。返回的文档属于**那本**画布,此前直接 `setDocument` 就会把眼前的画布换成另一本的内容,而项目下拉仍指着当前这本,旧 `revision` 还会顺着下一次 autosave 写到错的画布上。`writeCanvas` 早就为同一种竞态装了 `live.id !== next.id` 的守门,这条路径漏了。现在两个位置都检查画布有没有换过(成功路径与错误路径各一处),换过就原地返回——提案在服务端已经应用,切回去读到的就是新文档。反向注入实测:删掉那道检查、把它挪到 `setDocument` 之后,各自变红。
29
+ - **本地编辑保存失败时,接受提案先停下**:接受前要先把用户那笔还没 autosave 的编辑写出去,但 `flushPendingCanvas` 返回 `void`——`writeCanvas` 内部的失败被吞成 `false`,调用方 `await` 一个「什么都没有」也就看不出区别。于是写入失败照样接受,服务端基于它那份没有这笔编辑的文档应用提案、返回整份新文档,客户端用它覆盖本地并推进 `syncedRef`:用户刚拖的节点、刚改的标题彻底消失,autosave 也不会补写。现在 flush 返回成败,失败就中止并说明原因,屏幕上的编辑原样留着。反向注入实测:去掉那道检查、把返回值改回 `void`,各自变红。
30
+ - **提案摘要按当前语言渲染,不再永远是中文**:提案条上其余每一行都走语言表,只有摘要这一行是 Agent 工具用中文拼好后写进提案文件的——英文、俄文用户看到的是中文。现在服务端只记结构化数量(`counts`),句子由客户端按当前语言渲染;旧提案(已落在磁盘上、没有 `counts`)退回它自带的那句。反向注入实测:服务端不写 `counts`、俄文表漏一个键,S1/S2/S3 各自变红。
31
+ - **顺带删掉的连线不再算作一条独立改动**:删节点时,`diffOf` 把它连带消失的连线也记进 `removedConnectionIds`,提案条于是显示「删除 1 个节点、断开 1 条线」,让用户以为漏了一条改动。`apply` 删节点时本来就会过滤这些线,diff 现在同样只报「两端都还在、却没了」的。
32
+ - **连发的提案不再随机重排**:Agent 一次任务连发多条提案时常落在同一毫秒,而队列的 tie-break 是 `id.localeCompare`——uuid 是随机的,于是顺序也跟着随机(探针实测八次里两次被重排),用户看到「先加节点、再连线」被翻成反的。时间戳现在在进程内严格递增。
33
+ - **过期的提案不再卡在队首挡住后面所有改动**:`apply` 是纯函数,一条提案点名的节点被删掉后,以后每一次接受都会失败。它此前会一直留在队列头,而界面只让用户点队首那一条——后面本来能应用的提案全被它挡着,用户连点三次「接受」看到的都是同一条 `proposal-stale`,队列一动不动,除非自己想到去点「丢弃」。探针实测确认过这个死锁。现在过期提案在接受失败的同时把自己从列表里移除:错误照旧报(用户需要知道这条没生效),但那把卡住队列的钥匙由服务端收走。反向注入实测:去掉那行移除,R5c / R5d 各自变红。
34
+ - **接受提案现在可以撤销**:接受是一次真正的画布改动,但它此前完全没进撤销栈。用户接受后觉得不对、按 Cmd+Z,弹掉的是他上一次手动编辑——接受的结果跟着一起消失,那笔更早的工作再也回不来,而界面上看起来「撤了一次」。现在接受成功时先记一份快照再换文档(顺序反了会压进「接受之后」的文档,撤销变成空操作),失败路径不记(文档没变,空转的历史项会让下一次撤销失灵)。反向注入实测:去掉快照、以及把快照挪到换文档之后,各自都让验收脚本变红。
35
+ - **接受「改节点」的提案不再回退用户刚拖的坐标**:Agent 改动过的节点此前被记成**整份节点**,接受时整份替换文档里的那份——于是「提议把标题改成 X」之后用户把节点拖到别处、再点接受,节点会静静跳回提议时的位置。探针实测:拖到 `1234,567`,接受后回到 `100,100`;而提案条上正写着「接受之前,画布不会有任何变化」。现在 `updatedNodes` 记的是**字段补丁**:`{id, fields, metadata}`,接受时只在当前文档上覆盖提案点名的那些键,`metadata` 也逐键合(用户之后换的模型、点上的 cast 不会被「改一个 prompt」顺带抹掉)。旧格式的提案文件(整份节点)在读取时归一成补丁,结果与它当初的意图一致。
36
+ - **接受的连线必须两端都还在**:`apply` 加连线时此前只查 id 是否重复,不查端点。用户在提议之后删掉下游节点,接受照样成功,文档里于是留下一条指向不存在节点的边——画布自己的删除语义是「删节点连带删连线」,两边不一致会渲染出一条画不出来的幽灵边。现在端点缺一个就报 `proposal-stale`,与「提案点名的节点已经被删」同一类结局。
37
+ - **反向验证**:把 `nodePatchOf` 换回整份节点、把 `apply` 换回整份替换、删掉端点校验,F10 / F11 / F12 各自变红(实测 3 failed / 20 passed),还原后 23 项全绿。
38
+ - **Agent 写画布先出提案,用户点头才落盘**:八个画布工具此前一调用就改文件,模型可以在用户不在场时把画布重排一遍。现在写操作产出提案(存 `canvas/proposals/`,与 `pages/` 分开),画布右上浮出提案条,写明「接受之前,画布不会有任何变化」。接受时**增量**应用:只增删提案点名的节点与连线,用户在这期间改的标题、拖过的坐标都留着;两个窗口同时写由 `save(next, revision)` 那把乐观锁挡下,报 `canvas-conflict` 让用户重试。
39
+ - **接受一条不作废后面几条**:每条提案都记 `baseRevision`,但接受时**不拿它当闸门**。按 revision 比对会砸在最常见的路径上——Agent 一次任务连着提议三条(加节点、加配置节点、连线),三条的 baseRevision 是同一个数;用户接受第一条后 revision +1,第二三条全被判过期,界面写着「还有 2 条在后面」却一条都点不动。它想防的三件事各有更合适的机制:`apply` 的增量语义(不覆盖用户编辑)、`save` 的乐观锁(并发)、`apply` 返回 `undefined`(节点已被删)。接受逻辑收敛到 `ProposalStore.acceptOne`,路由与测试跑的是同一段代码——此前测试自己重写了一遍流程,于是测试绿着、线上坏着。
40
+ - **提案条的浮层位置量出来,不写死**:它与画布的 `.errorToast` 曾都定在 `top: 14px`,而注释还写着「刻意错开」——注释描述意图,不是代码。现在画布实测顶栏高度后传给提案条(窄面板下顶栏 `flex-wrap` 换成两行,47px→83px),提案条按实测值排在它下面;错误提示出现时再用 `max()` 取两者较高的那个。真机验收脚本把顶栏(真实规模:选择器 + 标题 + 七个 30px 图标按钮)、错误提示、提案条三样一起画出来量命中,写死 `top` 会立刻变红。
41
+ - **删除画布时清掉它的提案**,不留下永远不再展示的孤儿文件;清理失败不影响删除本身。
42
+ - **接受提案前先把本地未同步的编辑写出去**:用户在拖动节点之后、autosave 的 650 ms 计时器到期之前点了「接受」,那笔拖动还只在浏览器内存里。accept 接口只带 `canvasId` + `proposalId`,服务端基于自己那份文档应用提案并返回整份新文档——客户端直接拿它替换本地视图,拖动就被静默抹掉,而且因为 `syncedRef` 同时被推进,autosave 也不会再补写。实测确认过:不先写就接受时,节点停在 `0,0` 而不是 `1234,567`。现在 `acceptProposal` 先 `await flushPendingCanvas()`(走与 autosave 同一条写入路径,含冲突读回重试),再发 accept。
43
+ - **下拉里能看到别的画布上有改动在等**:提案条只显示**当前打开**那本画布的待确认改动,Agent 在别的画布上提了改动、用户切走之后就再没有地方能看到它们。列表接口现在带回每份画布的 `proposalCount`(一次 readdir,不逐画布读盘),下拉的选项写作「标题 · 有 N 条待确认」;没有提案的画布不带这个字段,而不是写 0。
44
+ - **这些标记会自己更新,不用切画布**:`proposals` 接口现在一次遍历同时返回「本画布的提案」和「每份画布的条数」,画布每 5 秒轮询提案时顺带刷新下拉。此前只在切画布时刷一次——用户停在画布 B、Agent 在画布 A 上提了改动,那条提示永远不会出现。一份画布都没打开时也照常轮询(空 `canvasId` 只返回计数、不返回任何提案),不然「刚打开面板」那段时间下拉是空的。
45
+ - **非 JSON 响应不再是一句「(HTTP 404)」(#48)**:此前生图链路上 9 处 `JSON.parse` 失败分支各自拼一句 `上游接口返回了非 JSON 响应(HTTP 404)`,既不带请求地址,也没说返回的其实是一页 HTML。事后形态最难查:网关把 `/models` 挂在根上(「检测模型」绿灯),而 `/images/generations` 只在 `/v1` 下(每次生成必失败),用户拿不到任何自查线索。现在报错形如 `上游接口返回了非 JSON 响应(HTTP 404, text/html):https://host/images/generations —— 返回的是网页而不是接口响应,通常说明渠道的 API 地址少了路径(例如末尾缺 /v1)或填成了站点首页`。空响应体、二进制响应体、纯文本各有对应的一句,纯文本给截断摘要而不是把整页 markup 贴进来。
46
+ - **同一句判定只写一处**:新增 `src/upstream-diagnosis.ts`(`bodyShapeOf` / `diagnoseNonJsonBody` / `requestAddress`)。视频引擎 1.30.x 已经单独修过这个 HTML 判定并留了内联正则——同一件事第二份实现,正是这次三条链路各说各话的原因。现在视频引擎的 `readJsonWithText` 也改用共享判定。
47
+ - **括号里只报媒体类型,不带参数**:最初把整条 `Content-Type` 写进句子,于是消息里出现 `text/html; charset=utf-8`。视频套件 `V1m`(「返回的 markup 不得被贴进消息」)因此在一条**根本不含 markup** 的消息上变红——守门抓错了对象,和它要防的 bug 一样费事。现在 `mediaTypeOf()` 只留 `text/html`;消息短一截,`charset=` 也不再把读者的注意力从「你的地址填错了」上带走。
48
+ - **错误码一律不变**(仍 `upstream-invalid` / `video-submit-failed` / `video-upload-failed` 等):这次改的是那句话,不是失败分类,面板与诊断按码分组的行为不动。**不做 `/v1` 自动回退**——那会静默改写用户填的地址语义,且无真网关可验;把地址与原因说清楚比替用户猜更诚实。
49
+ - **Magpie 网关能发现图像模型了(#47)**:Magpie 的 `/v1/models` 只返回聊天模型,图像条目在 `?kind=image` 后面(老版本认 `X-Magpie-Drawers: 1` 头)。旧实现「第一个返回记录的候选就赢」,普通列表必然先命中,于是「检测模型」绿灯、图像模型恒为 0。现在图像发现自己走一遍带 `kind=image` 的候选并带头,且兼容 Magpie 两种私有形状(`kind:"image"`、嵌套 `modalities.output:["image"]`)。
50
+ - **回退有两条,不止一条**:`?kind=image` 报错或 404 要退回普通候选;**作用域列表返回 200 但里面认不出图像模型**(网关静默忽略未知参数)时也要回退再合并。少了后一条,结果就是「检测成功但一个模型都没有」。聊天模型列表不受影响:不请求 `kind=image`、不带 Magpie 头。
51
+ - **测试**:新增 `scripts/smoke-upstream-diagnosis.mjs`(7 组,驱动真实生成路径断地址与成因、且断言 markup 不进来)与 `scripts/smoke-magpie-discovery.mjs`(10 组)。均已接入 `pnpm test` 与 `test:negative`(新组 `magpie` / `diagnosis`)。反向用例实测能打红:magpie 4/4、diagnosis 3/3,各自因**目标断言**变红。
52
+ - **反向用例本身踩到的两个坑**(都已修):① 把两种 Magpie 形状的注入写成「全部条目标成图像」,会先撞上另一条用例的断言,报成「RED but wrong reason」;并列的识别条件必须各自独立注入。② 注入 HTML 判定时若连 `/v1` 那句一起删,会先命中 `/v1/` 断言——注入要只摘掉它要证明的那一个条件。
53
+ - **边界如实说明**:没有对真实 Magpie 实例发起过调用,全部基于 issue 里用户实测的接口行为与桩 fetch;`?kind=all` 未实现(issue 标为「必要时」)。
54
+
55
+ ### 1.30.4 — 接通 Nbility 的 MiniMax-H3;修好 DSH 0.2.2-rc.3 的侧栏回归
56
+
57
+ - **版本说明**:1.30.1 与 1.30.3 这两个号从未打过 tag。1.30.1 的内容随 1.30.2 一起发过;1.30.3 那次 Release 在跑之前被取消,仓库里没有 `v1.30.3`,npm 上也没有。为避免复用已被占用的号,本次以 **1.30.4** 发出,**包含 1.30.3 说明页里的全部内容**,外加 `v1.30.2` 之后完成的侧栏修复。
58
+ - **本版内容 = 下面 1.30.3 那一节的每一条(MiniMax-H3 的 768P 档位与参考图上传、档位白名单收口、V1l/V1n/V1o、工作流菜单关闭清单收口)+ 侧栏修复(末尾那一节)**。
59
+ - **侧栏切换器重新独占一行(DSH 0.2.2-rc.3 回归)**:rc.3 给「新会话」按钮套了一层 `div.newSessionRow`(`display:flex; gap:6px`,同时是新的 `sidebar.session.action` 槽位出口),并把行缩进从按钮搬到了这层。插件仍按「插到按钮前面」落位,于是切换器进了那个 flex 行——会话 / 生图 / 新会话 三个按钮挤在同一行。现在落位对象改为「承载该动作的 root 级块」,缩进也对这一层量(rc.3 里按钮自身的 `margin` 是 `0`,量按钮会两边各宽 4px)。块里含品牌行时退回旧行为,不把切换器抬到 logo 上方。
60
+ - **为什么原来的测试没拦住**:D3 / D3b 两个 fixture 都是旧结构(按钮直接挂在列上),测的正是「插到按钮前」;回归发生在「按钮不再直接挂在列上」的时候。新增 **D3c** 按 rc.3 的真实结构(`root > newSessionRow > button`)挂载并断言切换器是 `newSessionRow` 的前一个兄弟、`parentElement` 是列而非动作行。反向验证过:把落点改回「按钮本身」,D3 与 D3c 各自变红。
61
+ - **未真机实测**:折叠成 rail 的那一态需要重启宿主才能看到;rc.3 在折叠态把 row 改成 `flex-direction: column`,按新落位理论上同样成立,但这是推断。
62
+
63
+ ### 1.30.3 — 接通 Nbility 的 MiniMax-H3(768P + 参考图上传)
64
+
65
+ > 本号从未发布(Release 被取消,无 tag、无 npm 包)。条目保留在此作为改动记录;内容全部随 1.30.4 发出。
66
+
67
+ - **`minimax` 协议族**:`MiniMax-H3` 此前被归进通用的 `openai-video` 族,只提供 480P/720P/1080P 三档;而上游只认 **768P**,720P / 1080P 一律 400(`MiniMax-H3 supports only 768P at normalizeRequest`)——每个请求都注定失败。补上 768P 档位后,图生视频仍然失败:参考图必须是公网 HTTPS URL,而插件只会发 data URI。官方契约的 `POST /v1/media/uploads` 正是把本地图换成公网 URL 的那条腿。
68
+ - **两条提交形状**:文生视频发扁平 `{model, prompt, resolution: '768P', duration, ratio}`;有参考图时先 multipart 上传,再发 `content[]` + 每项 `role`(`image` → `first_frame`,`keyframe` → `first_frame` + `last_frame`,`reference` → `reference_image`,上限 9 张)。
69
+ - **上传有自己的失败域**:新增诊断阶段 `video-upload` 与失败码 `video-upload-failed` / `video-unreachable`。上传的 413 与提交的 401 是完全不同的问题,混在一个 phase 里没法排查。「上传 + 建任务」共用同一个 `SUBMIT_TIMEOUT_MS` 预算,避免卡住的上传让整体耗时翻倍。
70
+ - **档位白名单收成一处**:四处各写一份的三档判断收成 `parseVideoResolution` / `resolutionRank`,`video-director.ts` 里两份私有排序数组消失;分镜板分辨率下拉框改为从模型目录派生。
71
+ - **code-render 给 768P 真实短边**;`200 + HTML` 改为点名「渠道地址少了路径」而不是把 markup 塞进错误消息。
72
+ - **工作流运行选项菜单关不掉已修**:根因是关闭清单被抄了多份,工作流菜单是后加的第三个,成了画布上唯一关不掉的浮层。收成一处 `closeDockMenus()`,五条关闭路径(悬停离开 / Escape / 点画布 / 打开其它菜单 / 技能菜单)全部改调它,箭头按钮改成 toggle。
73
+ - **测试**:`smoke-video.mjs` 新增 V1l/V1n/V1o(目录与文生视频、三种参考图模式的 role 与上传、上传失败与前置守卫),41 项全绿;`smoke-workflow.mjs` 锁「平行关闭清单只有一份」而不是「某处有没有写 `setWorkflowMenu(null)`」。
74
+ - **真机**(api.nbility.ai):文生视频 1,859,764 字节、图生视频 1,628,276 字节、首尾帧 959,479 字节(376 秒)。
75
+ - **版本说明**:本版内容原本准备以 1.30.2 发布,但那个号已被一次不完整的发布占用(只含 768P,缺参考图上传;且发布后 main 被重置,那批代码不在 main 上)。为不覆盖已发布版本的资产,以 1.30.3 发出。
76
+
8
77
  ### 1.30.1 — 三个「已经实现但没有入口」的功能补上界面
9
78
 
10
79
  - **画布整图导出 / 导入接上界面**:后端两条路由与 `buildCanvasBundle` / `parseCanvasBundle` 早就写好了,客户端一直是零引用。现在画布顶栏全屏按钮右侧两个入口。导出把文档连同每个图片资产的字节打成一个 JSON;片段是**引用而非拷贝**(捎上整段视频会让体积不可用),所以带片段的画布一定会产生 `unresolved`,提示按 `asset` / `video` 分开计数告诉用户换台机器后哪部分打不开。导入**总是创建新画布**、分配新 id,绝不覆盖已有画布。
package/README.md CHANGED
@@ -103,7 +103,12 @@ dsh plugin --profile web add ./q253595422-dsh-imagegen-video-X.Y.Z.tgz
103
103
  <details>
104
104
  <summary><b>画布、文件节点与技能细节</b></summary>
105
105
 
106
- - 支持图片、文本、视频、生成配置、文件与**分镜**节点;图片节点可标注、移除背景或拆分图层。
106
+ - 支持图片、文本、视频、生成配置、文件、**姿势**与**分镜**节点;图片节点可标注、移除背景或拆分图层。
107
+ - **姿势节点**:一个会自己算的 3D 人偶参考——17 个关节、11 个预设、逐关节三轴滑杆,默认 3/4 视角,导出 1024×1024 PNG 就是一张普通图片,下游生成与导出不需要知道「姿势」这件事存在。
108
+ - **节点成组**:框选几个节点右键「成组」,之后拖任一个整组一起动;解散、改名、删成员都会自动收拾。框的位置由成员算出来,不存第二份坐标。
109
+ - **连线说清用途**:连线可标首帧 / 尾帧 / 素材,视频插帧不再按数组顺序猜。标记只在画布上生效,老画布保持原样。
110
+ - **生成前自动连边**:图拖到配置节点旁边却没拉线时,提交生成那一刻会把近处的图补成连线(边缘距离在 1.5 个节点短边内,最多 4 张),补出来的线看得见、删得掉、一步就能撤销。
111
+ - **Agent 改画布先出提案**:对话里的 Agent 想增删节点、连线时,改动先出现在画布右上的提案条上,写明「接受之前画布不会有任何变化」;接受是增量的,你自己拖过的坐标、改过的标题都留着。
107
112
  - **分镜**:一个节点就是一列镜头,每镜一条提示词与一个时长,顺序即片序。可以「每镜独立」一次提交全部待生成的镜头,也可以「接上一镜尾帧」一次跑一镜——用上一镜的最后一帧当这一镜的第一帧。每一镜的成品都是普通视频节点,预览、下载、收藏、重试和拼接都走原来那条链路;分镜自己有「拼接全部镜头」,交给同一套本机 ffmpeg 和同一张顺序确认卡。
108
113
  - **时间线**:画布底部的胶片按钮把选中的成片按阅读顺序排成一条,可以重排、逐段设入点/出点、给每条接缝选硬切 / 叠化 / 淡入淡出并调时长,也可以整体关掉声音。面板上显示的总时长与最终文件一致。
109
114
  - **身份锚定**:任意有图的图片节点右键「钉为身份参考」,选角色 / 物品 / 风格并起名。之后每一次图像与视频生成都会自动带上这些参考,提示词里补一句说明谁是第几张;连线仍然优先,二者去重合并。定义存在节点上,重拍那张图就能改脸。
@@ -386,7 +391,7 @@ dsh plugin --profile web add ./q253595422-dsh-imagegen-video-X.Y.Z.tgz
386
391
  <img src="docs/images/wechat-group-qr.png" alt="微信群「龙虾吹水🦞群」的加群二维码" width="360" />
387
392
  </div>
388
393
 
389
- > 二维码 7 天内有效(2026 年 11 月 13 日前)。过期或人数已满时,请改到
394
+ > 二维码 7 天内有效(2026 年 11 月 21 日前)。过期或人数已满时,请改到
390
395
  > [Issues](https://github.com/q253595422/dsh-imagegen-video/issues) 提问题,
391
396
  > 并提醒维护者换一张新码。安全敏感的问题不要发在群里,也不要贴 API 密钥。
392
397
 
@@ -0,0 +1,151 @@
1
+ # v1.30.3 — 接通 Nbility 的 MiniMax-H3(768P + 参考图上传)
2
+
3
+ > 本版内容原本准备以 **1.30.2** 发布,但那个版本号已经被一次不完整的发布占用(只包含 768P 档位,参考图上传那条腿没有进去,且发布后 main 被重置、那批代码不在 main 上)。为不覆盖已发布版本的资产,本次以 **1.30.3** 发出,包含 1.30.2 应有的全部内容。
4
+
5
+ Nbility 网关上的 `MiniMax-H3` 只有一个可用档位:**768P**。720P 和 1080P 都会被上游 400 拒绝:
6
+
7
+ ```
8
+ MiniMax-H3 supports only 768P at normalizeRequest
9
+ ```
10
+
11
+ 而插件此前把 `MiniMax-H3` 归进通用的 `openai-video` 族,只提供 `480P / 720P / 1080P` 三档、默认 720P——**每一个请求都注定失败**,且报错发生在提交之后,用户看到的是一次「提交被拒」而不是「这个模型不接受这档分辨率」。
12
+
13
+ 把档位补上之后,画布上的第二个问题暴露出来:图生视频仍然 400,因为参考图必须是公网 HTTPS URL,而插件只会发 data URI。官方契约里有一条 `POST /v1/media/uploads` 正好解决这件事——所以这一版是两件事:**多一个档位**,和**多一条上传腿**。
14
+
15
+ 顺带把「分辨率档位散落在四处、各写一份」这个结构性原因一并消掉。
16
+
17
+ ## 1. 档位类型加上 768P
18
+
19
+ `VideoResolution` 原本是 `'480P' | '720P' | '1080P'`。它不是营销话术的集合,而是**线上实际会发出去的字符串**,所以有模型只认 768P 时,类型就必须能说出 768P:
20
+
21
+ ```ts
22
+ export type VideoResolution = '480P' | '720P' | '768P' | '1080P'
23
+ ```
24
+
25
+ `RESOLUTION_RANK` 同步插入(`480P < 720P < 768P < 1080P`)。位置不是随手放的:`normalizeVideoResolution` 的降级语义是「取不超过请求档位的最高支持档」,768P 排在这里,1080P 的请求才会落到 768P(而不是掉到 720P),480P 的请求才会升到 768P,而 768P 本身原样保留。
26
+
27
+ ## 2. MiniMax-H3 有了自己的协议族
28
+
29
+ 一开始的判断是「只差一个分辨率档位」:实测 `POST https://api.nbility.ai/v1/videos` 确实也吃通用形状,网关自己把 `size` 归一化成 resolution、`seconds` 归一化成 duration。按这个判断,MiniMax-H3 只要窄化能力、留在 `openai-video` 族就够了。
30
+
31
+ 但官方契约(`nbility.ai/docs/api/videos/minimax-h3`)里有第二个端点:`POST /v1/media/uploads`。参考图必须是**公网 HTTPS URL**,data URI 一律被拒(`Reference media requires a public HTTPS URL; uploads and Base64 are not supported`)——而这个上传端点正是把本地图变成公网 URL 的那条腿。插件只持有 data URL,通用形状里没有任何位置能放这次上传,所以 family 必须新增 `minimax`:
32
+
33
+ - **文生视频**:扁平 `{model, prompt, resolution: '768P', duration, ratio}`。
34
+ - **有参考图**:先 `POST /v1/media/uploads`(multipart `file`),拿到 1 小时后过期的 URL,再发 `content: [{type:'text',text}, {type:'image_url',image_url:{url},role}, …]`。
35
+ - `role` 按模式给:`image` → `first_frame`;`keyframe` → `first_frame` + `last_frame`;`reference` → 每张 `reference_image`(上游上限 9 张)。
36
+
37
+ 窄化的能力写在 `describeVideoModel` 里、`isLikelyVideoModelId` 之前:`resolutions: ['768P']`(唯一能成功的档位)、`modes: ['text','image','keyframe','reference']`、`aspectRatios` 六档(16:9 / 9:16 / 1:1 / 4:3 / 3:4 / 21:9 实测全部被接受)。时长沿用默认的 5 / 10 秒:上游真实范围是 1..15 的整数,两个档位都在内。
38
+
39
+ 上传腿的两个约束值得写下来,因为它们是**失败域**,不是参数:
40
+
41
+ - 上传有自己的诊断阶段 `video-upload`,失败码为 `video-upload-failed`(HTTP 层,带状态码与上游原话)或 `video-unreachable`(连接层)。提交阶段的 401 和上传阶段的 413 是完全不同的两件事,混在一个 phase 里就没法排查。
42
+ - 「上传 + 建任务」共用同一个 `SUBMIT_TIMEOUT_MS` 预算。否则一个卡住的上传会让整体耗时翻倍,而用户看到的只是一个没完没了的转圈。
43
+
44
+ 同网关的 `doubao-seedance-2-0` 不受这个分支影响,仍走 seedance 族(实测它走的是**同一个** `/v1/videos`,但 768P 反而报 `unsupported Seedance resolution`——两个模型的能力刚好相反,这正是不能把它们合并成一个分支的原因)。
45
+
46
+ ## 3. 四处内联的三档白名单收成一处
47
+
48
+ 原来 `'480P' || '720P' || '1080P' ? … : '720P'` 这句话在四个地方各写一遍:
49
+
50
+ | 位置 | 改法 |
51
+ | --- | --- |
52
+ | `routes.ts` 的 `parseVideoRequest` | `parseVideoResolution(body.resolution)` |
53
+ | `routes.ts` 的 code-render probe | 同上(原先只认 480P/1080P,其余一律当 720P,会和面板显示不符) |
54
+ | `agent-video-tools.ts` 的工具入参 | 同上 + 参数说明改成「以所选模型接受的档位为准」 |
55
+ | `client/CanvasWorkspace.tsx` 的 fallback 列表 | `[...VIDEO_RESOLUTIONS]` |
56
+
57
+ 新增 `parseVideoResolution(value, fallback = '720P')` 与 `resolutionRank()`,后者让 `video-director.ts` 里两份私有的 `['480P','720P','1080P']` 排序数组消失——规划器判断「只能降档不能升档」时用的就是目录里那份顺序,两处不会再各自漂移。
58
+
59
+ `VideoPanel.tsx:39` 那个 `RESOLUTIONS` 常量是死代码(全仓零引用),删除。
60
+
61
+ ## 4. 分镜板的分辨率下拉框跟随模型
62
+
63
+ `storyboard-board.tsx` 原先硬编码三个 `<option>`,不看模型。现在从 `describeVideoModel(board.model)` 派生,模型未设置时给出全部档位。
64
+
65
+ 一个取舍写在这里:**画布已有的、但模型不支持的档位不删掉,而是保留成一个选项**。用户打开一张旧画布时,把它文档里的值悄悄改写掉,比显示一个走不通的旧值更糟——前者不可见,后者看得见。
66
+
67
+ ## 5. 本地渲染(code-render)给 768P 真实短边
68
+
69
+ `dimensionsFor` 原本 `480P → 480`、`1080P → 1080`、其余 → 720。768P 会落进 720 分支,probe 上报的像素数就和面板标签不一致。现在补上 768。
70
+
71
+ ## 6. 200 + HTML 不再被当成接口响应
72
+
73
+ 真机部署时发现一个跟本次需求直接相关的坑:渠道里 `apiUrl` 写成 `https://api.nbility.ai`(少了 `/v1`)时,上游返回 **200** 和它自己的首页 HTML。插件原本把非 JSON 的响应体截 300 字符塞进错误消息,用户看到的是:
74
+
75
+ ```
76
+ submit failed: <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> …
77
+ ```
78
+
79
+ 现在识别出 HTML 就换成能指向原因的话:
80
+
81
+ > 返回的是网页而不是接口响应,通常是渠道的 API 地址少了路径(例如末尾缺 /v1)
82
+
83
+ 这不是只为一个网关打的补丁:任何把站点根地址填进「API 地址」的渠道都会撞上同一件事,而「渠道地址少一段路径」恰恰是用户最难自己看出来的配置错误。新增 **V1m** 覆盖:假上游对提交回 200 + HTML,断言消息点名了原因、且不含任何 markup。
84
+
85
+ ## 7. 工作流运行选项菜单关不掉
86
+
87
+ 真机验收时用户报的:菜单点开之后「一直挂在上面,只能运行工作流他才关掉」——即唯一的关闭入口是那个会**真花钱提交任务**的菜单项。
88
+
89
+ 根因不是漏了一个 `onClose`,而是关闭清单被抄了几份。底栏浮层有三个(背景、图片、工作流选项),每条关闭路径各自写一遍自己认识的那两个 state:
90
+
91
+ | 关闭路径 | 修复前 |
92
+ | --- | --- |
93
+ | 悬停离开(280ms 计时器) | 只清 background / image |
94
+ | Escape | 只清 background / image |
95
+ | 点画布空白处 | 只清 background / image |
96
+ | 打开其它底栏菜单 | 只互斥 background / image |
97
+ | 技能菜单打开时 | 只清 background / image / context … |
98
+
99
+ 工作流菜单是后加的第三个,于是它成了画布上唯一关不掉的浮层。修法是**把清单收成一处** `closeDockMenus()`,五条路径全部改成调它;同时箭头按钮从「无条件重设坐标」改成 toggle,再点一次就收起。
100
+
101
+ `smoke-workflow.mjs` 锁的不是「某处有没有写 `setWorkflowMenu(null)`」——那正是漏掉时也照样能通过的写法——而是:
102
+
103
+ - `closeDockMenus` 存在且三件事都在里面;
104
+ - 全文件里 `setBackgroundMenu(null); setImageMenu(null)` 这种平行清单**只有一份**(抄几份就会漏几处);
105
+ - 打开其它菜单时先收掉已开的浮层;
106
+ - 箭头按钮的 toggle 分支在。
107
+
108
+ 反向用例两条:把工作流菜单从统一清单里摘出去 → 变红;某个入口又自己抄一份清单 → 变红。
109
+
110
+ 真机复验(uireview 实例,1.30.2 部署后,同一份代码随 1.30.3 发出):点开 → Esc 关;点开 → 点画布关;点开 → 再点箭头关;点开 → 打开背景菜单关(互斥)。四条全部按预期。
111
+
112
+ ## 测试
113
+
114
+ `scripts/smoke-video.mjs` 新增三条,全部走离线假上游(假上游新增 `POST /v1/media/uploads` 分支,记录每次上传的文件名、mime、字节数):
115
+
116
+ **V1l** — 目录与文生视频:
117
+
118
+ - `MiniMax-H3` 的 family 是 `minimax`、`resolutions` 恰为 `['768P']`、`modes` 恰为 `['text','image','keyframe','reference']`、六档画幅;同时确认 `doubao-seedance-2-0` 仍归 seedance、通用模型 `kling-v2-master` 仍保留三档(特化没有外溢)。
119
+ - 归一化:1080P / 480P / 未知词都落到 768P,768P 原样保留。
120
+ - 解析与排序:`parseVideoResolution` 的大小写、空白、缺省与未知词行为;`resolutionRank('720P') < resolutionRank('768P') < resolutionRank('1080P')`。
121
+ - 端到端:发一个 1080P 请求,断言线上 body 是 `{model, prompt, resolution:'768P', duration:5, ratio}`,且**不含** `content` / `size` / `seconds`;`uploads.length === 0`(文生视频不该触发上传)。
122
+
123
+ **V1n** — 三种参考图模式各跑一次(都传 1080P + 9:16 + 8 秒,证明归一化与模式无关):
124
+
125
+ | 模式 | 上传张数 | 送达的 `role` |
126
+ | --- | --- | --- |
127
+ | `image` | 1 | `first_frame` |
128
+ | `keyframe` | 2 | `first_frame`, `last_frame` |
129
+ | `reference` | 3 | `reference_image` ×3 |
130
+
131
+ 断言上传带 `Bearer`、mime 为 `image/png`、文件名为 `reference-N.png`、字节非空;`content[0]` 恰为 `{type:'text',text}`,媒体项 `image_url.url` 是假上游返回的 URL 而**不是** `data:` 开头。
132
+
133
+ **V1o** — 上传失败与其前置守卫:上传回 413 + `{error:{message:'file too large'}}` → 抛 `video-upload-failed`,消息含上游原话与 `HTTP 413`,且 `submits.length === 0`(没有建任务);诊断里 `phase === 'video-upload'`、`url` 指向 `/v1/media/uploads`、`status === 413`、`hadAuth === true`。另断言空 prompt(`' '`)抛 `video-bad-prompt` 且 `uploads.length === 0`——守卫必须在上传之前,否则用户为一次注定失败的提交付了上传流量。
134
+
135
+ 41 项全绿(含此前 36 项)。
136
+
137
+ ## 真机验证(Nbility 网关,api.nbility.ai)
138
+
139
+ - 文生视频:`MiniMax-H3` / 768P / 5 秒 / 16:9 → `queued` → `in_progress`(progress 0/33/99)→ `completed`,顶层 `url` 指向 COS 上的 mp4,1,859,764 字节。5 秒片子约 3 分钟。
140
+ - 图生视频:512×512 PNG 上传换 URL → 以 1080P / 9:16 提交(1080P 是故意的,用来证明归一化)→ 成功,1,628,276 字节;换 768P / 9:16 再跑一次,1,342,898 字节、208 秒。
141
+ - 拦截 fetch 核对插件真正发出的 multipart:`content-type: multipart/form-data; boundary=…`、`authorization: Bearer sk-kj…`、首部 `Content-Disposition: form-data; name="file"; filename="reference-1.png"` + `Content-Type: image/png`,正文 94,788 字节、首字节是真实 PNG 头。
142
+ - 720P、1080P、以及 `size: "720P"` 的扁平写法,全部被上游 400 拒绝,报错原文记录在注释与测试里。
143
+
144
+ ## 边界如实说明
145
+
146
+ - 768P 是**上游唯一可用的档位**,不是「推荐档位」。面板上它会是 MiniMax-H3 唯一可点的按钮。
147
+ - 参考图走 `POST /v1/media/uploads` 换公网 URL,换来的 **URL 1 小时后过期**:提交任务必须紧接着做,不能先攒一批图再慢慢提交。插件在一次 `SUBMIT_TIMEOUT_MS` 预算内完成「上传 + 建任务」,就是为了不让 URL 在自己的流程里老掉。
148
+ - 上传的大小/格式边界由上游裁定,插件不做客户端预检(图片 ≤30 MB、边长 256–5760 px;视频 ≤50 MB;音频 ≤15 MB)。失败会带上游原话回来。
149
+ - 取消(`REMOTE_CANCEL`)仍是 unsupported:网关没有实测的取消端点,插件不伪造一个。
150
+ - `doubao-seedance-2-0` 在同一网关上走同一个 `/v1/videos`,但插件会按 seedance 族发 `content[]` 到 `/contents/generations/tasks`——该路径在此网关上一律 `Invalid URL`。也就是说**这个模型在这个网关下仍未接通**,本版没有修它(不在本次需求范围内,且需要单独验证 Seedance 在那个网关上的真实形状)。
151
+ - 首尾帧的宽高比必须相差 ≤2%(上游约束);插件不在本地校验,冲突时由上游拒绝。
@@ -0,0 +1,189 @@
1
+ # v1.30.4 — 接通 Nbility 的 MiniMax-H3;修好 DSH 0.2.2-rc.3 的侧栏回归
2
+
3
+ > **版本说明**:1.30.1 与 1.30.3 这两个号从未真正打过 tag。1.30.1 的功能随 **1.30.2** 一起发出过;1.30.3 那次 Release 在跑之前被取消,仓库里没有 `v1.30.3`,npm 上也没有 1.30.3。为避免复用已被占用的号,本次以 **1.30.4** 发出,**包含 1.30.3 说明页里的全部内容**,外加 `v1.30.2` 之后完成的侧栏修复。
4
+ >
5
+ > 也就是说:从 1.30.2 升级到 1.30.4,拿到的是下面两件事的全部,不存在「漏掉中间某一版」的问题。
6
+
7
+ 本版两件事,彼此无关:
8
+
9
+ 1. **生视频**:Nbility 网关上的 `MiniMax-H3` 此前每一个请求都注定失败——档位不对,图生视频还多缺一条上传腿。
10
+ 2. **侧栏**:DSH 更新到 0.2.2-rc.3 之后,插件的「会话 / 生图」切换器被挤进了宿主的动作行,三个按钮并排一行。
11
+
12
+ ## 一、MiniMax-H3:768P 与参考图上传
13
+
14
+ Nbility 网关上的 `MiniMax-H3` 只有一个可用档位:**768P**。720P 和 1080P 都会被上游 400 拒绝:
15
+
16
+ ```
17
+ MiniMax-H3 supports only 768P at normalizeRequest
18
+ ```
19
+
20
+ 而插件此前把 `MiniMax-H3` 归进通用的 `openai-video` 族,只提供 `480P / 720P / 1080P` 三档、默认 720P——**每一个请求都注定失败**,且报错发生在提交之后,用户看到的是一次「提交被拒」而不是「这个模型不接受这档分辨率」。
21
+
22
+ 把档位补上之后,画布上的第二个问题暴露出来:图生视频仍然 400,因为参考图必须是公网 HTTPS URL,而插件只会发 data URI。官方契约里有一条 `POST /v1/media/uploads` 正好解决这件事——所以这一版是两件事:**多一个档位**,和**多一条上传腿**。
23
+
24
+ 顺带把「分辨率档位散落在四处、各写一份」这个结构性原因一并消掉。
25
+
26
+ ### 1. 档位类型加上 768P
27
+
28
+ `VideoResolution` 原本是 `'480P' | '720P' | '1080P'`。它不是营销话术的集合,而是**线上实际会发出去的字符串**,所以有模型只认 768P 时,类型就必须能说出 768P:
29
+
30
+ ```ts
31
+ export type VideoResolution = '480P' | '720P' | '768P' | '1080P'
32
+ ```
33
+
34
+ `RESOLUTION_RANK` 同步插入(`480P < 720P < 768P < 1080P`)。位置不是随手放的:`normalizeVideoResolution` 的降级语义是「取不超过请求档位的最高支持档」,768P 排在这里,1080P 的请求才会落到 768P(而不是掉到 720P),480P 的请求才会升到 768P,而 768P 本身原样保留。
35
+
36
+ ### 2. MiniMax-H3 有了自己的协议族
37
+
38
+ 一开始的判断是「只差一个分辨率档位」:实测 `POST https://api.nbility.ai/v1/videos` 确实也吃通用形状,网关自己把 `size` 归一化成 resolution、`seconds` 归一化成 duration。按这个判断,MiniMax-H3 只要窄化能力、留在 `openai-video` 族就够了。
39
+
40
+ 但官方契约(`nbility.ai/docs/api/videos/minimax-h3`)里有第二个端点:`POST /v1/media/uploads`。参考图必须是**公网 HTTPS URL**,data URI 一律被拒(`Reference media requires a public HTTPS URL; uploads and Base64 are not supported`)——而这个上传端点正是把本地图变成公网 URL 的那条腿。插件只持有 data URL,通用形状里没有任何位置能放这次上传,所以 family 必须新增 `minimax`:
41
+
42
+ - **文生视频**:扁平 `{model, prompt, resolution: '768P', duration, ratio}`。
43
+ - **有参考图**:先 `POST /v1/media/uploads`(multipart `file`),拿到 1 小时后过期的 URL,再发 `content: [{type:'text',text}, {type:'image_url',image_url:{url},role}, …]`。
44
+ - `role` 按模式给:`image` → `first_frame`;`keyframe` → `first_frame` + `last_frame`;`reference` → 每张 `reference_image`(上游上限 9 张)。
45
+
46
+ 窄化的能力写在 `describeVideoModel` 里、`isLikelyVideoModelId` 之前:`resolutions: ['768P']`(唯一能成功的档位)、`modes: ['text','image','keyframe','reference']`、`aspectRatios` 六档(16:9 / 9:16 / 1:1 / 4:3 / 3:4 / 21:9 实测全部被接受)。时长沿用默认的 5 / 10 秒:上游真实范围是 1..15 的整数,两个档位都在内。
47
+
48
+ 上传腿的两个约束值得写下来,因为它们是**失败域**,不是参数:
49
+
50
+ - 上传有自己的诊断阶段 `video-upload`,失败码为 `video-upload-failed`(HTTP 层,带状态码与上游原话)或 `video-unreachable`(连接层)。提交阶段的 401 和上传阶段的 413 是完全不同的两件事,混在一个 phase 里就没法排查。
51
+ - 「上传 + 建任务」共用同一个 `SUBMIT_TIMEOUT_MS` 预算。否则一个卡住的上传会让整体耗时翻倍,而用户看到的只是一个没完没了的转圈。
52
+
53
+ 同网关的 `doubao-seedance-2-0` 不受这个分支影响,仍走 seedance 族(实测它走的是**同一个** `/v1/videos`,但 768P 反而报 `unsupported Seedance resolution`——两个模型的能力刚好相反,这正是不能把它们合并成一个分支的原因)。
54
+
55
+ ### 3. 四处内联的三档白名单收成一处
56
+
57
+ 原来 `'480P' || '720P' || '1080P' ? … : '720P'` 这句话在四个地方各写一遍:
58
+
59
+ | 位置 | 改法 |
60
+ | --- | --- |
61
+ | `routes.ts` 的 `parseVideoRequest` | `parseVideoResolution(body.resolution)` |
62
+ | `routes.ts` 的 code-render probe | 同上(原先只认 480P/1080P,其余一律当 720P,会和面板显示不符) |
63
+ | `agent-video-tools.ts` 的工具入参 | 同上 + 参数说明改成「以所选模型接受的档位为准」 |
64
+ | `client/CanvasWorkspace.tsx` 的 fallback 列表 | `[...VIDEO_RESOLUTIONS]` |
65
+
66
+ 新增 `parseVideoResolution(value, fallback = '720P')` 与 `resolutionRank()`,后者让 `video-director.ts` 里两份私有的 `['480P','720P','1080P']` 排序数组消失——规划器判断「只能降档不能升档」时用的就是目录里那份顺序,两处不会再各自漂移。
67
+
68
+ `VideoPanel.tsx:39` 那个 `RESOLUTIONS` 常量是死代码(全仓零引用),删除。
69
+
70
+ ### 4. 分镜板的分辨率下拉框跟随模型
71
+
72
+ `storyboard-board.tsx` 原先硬编码三个 `<option>`,不看模型。现在从 `describeVideoModel(board.model)` 派生,模型未设置时给出全部档位。
73
+
74
+ 一个取舍写在这里:**画布已有的、但模型不支持的档位不删掉,而是保留成一个选项**。用户打开一张旧画布时,把它文档里的值悄悄改写掉,比显示一个走不通的旧值更糟——前者不可见,后者看得见。
75
+
76
+ ### 5. 本地渲染(code-render)给 768P 真实短边
77
+
78
+ `dimensionsFor` 原本 `480P → 480`、`1080P → 1080`、其余 → 720。768P 会落进 720 分支,probe 上报的像素数就和面板标签不一致。现在补上 768。
79
+
80
+ ### 6. 200 + HTML 不再被当成接口响应
81
+
82
+ 真机部署时发现一个跟本次需求直接相关的坑:渠道里 `apiUrl` 写成 `https://api.nbility.ai`(少了 `/v1`)时,上游返回 **200** 和它自己的首页 HTML。插件原本把非 JSON 的响应体截 300 字符塞进错误消息,用户看到的是:
83
+
84
+ ```
85
+ submit failed: <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> …
86
+ ```
87
+
88
+ 现在识别出 HTML 就换成能指向原因的话:
89
+
90
+ > 返回的是网页而不是接口响应,通常是渠道的 API 地址少了路径(例如末尾缺 /v1)
91
+
92
+ 这不是只为一个网关打的补丁:任何把站点根地址填进「API 地址」的渠道都会撞上同一件事,而「渠道地址少一段路径」恰恰是用户最难自己看出来的配置错误。新增 **V1m** 覆盖:假上游对提交回 200 + HTML,断言消息点名了原因、且不含任何 markup。
93
+
94
+ ### 7. 工作流运行选项菜单关不掉
95
+
96
+ 真机验收时用户报的:菜单点开之后「一直挂在上面,只能运行工作流他才关掉」——即唯一的关闭入口是那个会**真花钱提交任务**的菜单项。
97
+
98
+ 根因不是漏了一个 `onClose`,而是关闭清单被抄了几份。底栏浮层有三个(背景、图片、工作流选项),每条关闭路径各自写一遍自己认识的那两个 state:
99
+
100
+ | 关闭路径 | 修复前 |
101
+ | --- | --- |
102
+ | 悬停离开(280ms 计时器) | 只清 background / image |
103
+ | Escape | 只清 background / image |
104
+ | 点画布空白处 | 只清 background / image |
105
+ | 打开其它底栏菜单 | 只互斥 background / image |
106
+ | 技能菜单打开时 | 只清 background / image / context … |
107
+
108
+ 工作流菜单是后加的第三个,于是它成了画布上唯一关不掉的浮层。修法是**把清单收成一处** `closeDockMenus()`,五条路径全部改成调它;同时箭头按钮从「无条件重设坐标」改成 toggle,再点一次就收起。
109
+
110
+ `smoke-workflow.mjs` 锁的不是「某处有没有写 `setWorkflowMenu(null)`」——那正是漏掉时也照样能通过的写法——而是:
111
+
112
+ - `closeDockMenus` 存在且三件事都在里面;
113
+ - 全文件里 `setBackgroundMenu(null); setImageMenu(null)` 这种平行清单**只有一份**(抄几份就会漏几处);
114
+ - 打开其它菜单时先收掉已开的浮层;
115
+ - 箭头按钮的 toggle 分支在。
116
+
117
+ 反向用例两条:把工作流菜单从统一清单里摘出去 → 变红;某个入口又自己抄一份清单 → 变红。
118
+
119
+ 真机复验(uireview 实例):点开 → Esc 关;点开 → 点画布关;点开 → 再点箭头关;点开 → 打开背景菜单关(互斥)。四条全部按预期。
120
+
121
+ ### MiniMax-H3 的测试
122
+
123
+ `scripts/smoke-video.mjs` 新增三条,全部走离线假上游(假上游新增 `POST /v1/media/uploads` 分支,记录每次上传的文件名、mime、字节数):
124
+
125
+ **V1l** — 目录与文生视频:
126
+
127
+ - `MiniMax-H3` 的 family 是 `minimax`、`resolutions` 恰为 `['768P']`、`modes` 恰为 `['text','image','keyframe','reference']`、六档画幅;同时确认 `doubao-seedance-2-0` 仍归 seedance、通用模型 `kling-v2-master` 仍保留三档(特化没有外溢)。
128
+ - 归一化:1080P / 480P / 未知词都落到 768P,768P 原样保留。
129
+ - 解析与排序:`parseVideoResolution` 的大小写、空白、缺省与未知词行为;`resolutionRank('720P') < resolutionRank('768P') < resolutionRank('1080P')`。
130
+ - 端到端:发一个 1080P 请求,断言线上 body 是 `{model, prompt, resolution:'768P', duration:5, ratio}`,且**不含** `content` / `size` / `seconds`;`uploads.length === 0`(文生视频不该触发上传)。
131
+
132
+ **V1n** — 三种参考图模式各跑一次(都传 1080P + 9:16 + 8 秒,证明归一化与模式无关):
133
+
134
+ | 模式 | 上传张数 | 送达的 `role` |
135
+ | --- | --- | --- |
136
+ | `image` | 1 | `first_frame` |
137
+ | `keyframe` | 2 | `first_frame`, `last_frame` |
138
+ | `reference` | 3 | `reference_image` ×3 |
139
+
140
+ 断言上传带 `Bearer`、mime 为 `image/png`、文件名为 `reference-N.png`、字节非空;`content[0]` 恰为 `{type:'text',text}`,媒体项 `image_url.url` 是假上游返回的 URL 而**不是** `data:` 开头。
141
+
142
+ **V1o** — 上传失败与其前置守卫:上传回 413 + `{error:{message:'file too large'}}` → 抛 `video-upload-failed`,消息含上游原话与 `HTTP 413`,且 `submits.length === 0`(没有建任务);诊断里 `phase === 'video-upload'`、`url` 指向 `/v1/media/uploads`、`status === 413`、`hadAuth === true`。另断言空 prompt(`' '`)抛 `video-bad-prompt` 且 `uploads.length === 0`——守卫必须在上传之前,否则用户为一次注定失败的提交付了上传流量。
143
+
144
+ 41 项全绿(含此前 36 项)。
145
+
146
+ ### MiniMax-H3 的真机验证(Nbility 网关,api.nbility.ai)
147
+
148
+ - 文生视频:`MiniMax-H3` / 768P / 5 秒 / 16:9 → `queued` → `in_progress`(progress 0/33/99)→ `completed`,顶层 `url` 指向 COS 上的 mp4,1,859,764 字节。5 秒片子约 3 分钟。
149
+ - 图生视频:512×512 PNG 上传换 URL → 以 1080P / 9:16 提交(1080P 是故意的,用来证明归一化)→ 成功,1,628,276 字节;换 768P / 9:16 再跑一次,1,342,898 字节、208 秒。
150
+ - 拦截 fetch 核对插件真正发出的 multipart:`content-type: multipart/form-data; boundary=…`、`authorization: Bearer …`、首部 `Content-Disposition: form-data; name="file"; filename="reference-1.png"` + `Content-Type: image/png`,正文 94,788 字节、首字节是真实 PNG 头。
151
+ - 720P、1080P、以及 `size: "720P"` 的扁平写法,全部被上游 400 拒绝,报错原文记录在注释与测试里。
152
+
153
+ ## 二、侧栏切换器重新独占一行(DSH 0.2.2-rc.3 回归)
154
+
155
+ DSH 0.2.2-rc.3 改了侧栏结构:它把「新会话」按钮套进一层 `div.newSessionRow`,并把行的缩进从按钮搬到了这一层。
156
+
157
+ ```
158
+ root
159
+ ├ logoRow
160
+ ├ newSessionRow ← rc.3 新增。display:flex; gap:6px,同时是 sidebar.session.action 槽位出口
161
+ │ └ button.newSession
162
+ ├ scrollRegion …
163
+ └ footArea
164
+ ```
165
+
166
+ 插件原来的落位规则是「插到按钮前面」。按钮以前是侧栏列的子元素,插到它前面就独占一行;现在按钮的父元素变成了那个 flex 行,切换器被塞进同一行,于是「会话 / 生图 / 新会话」三个按钮并排。
167
+
168
+ 修法是**把落位对象从「按钮」换成「承载该动作的 root 级块」**(`actionSeat`,复用 `markBlocks` 已经在用的 `newSessionBlock`),缩进也对这一层量——rc.3 里按钮自身的 `margin` 是 `0`,量按钮会让切换器两边各宽 4px。块里含品牌行时退回旧行为,避免把切换器抬到 logo 上方。
169
+
170
+ ### 为什么原来的测试没拦住
171
+
172
+ 原有的 D3 / D3b 两个 fixture 都是旧结构(按钮直接挂在列上),它们测的是「插到按钮前」,而这个回归恰恰发生在「按钮不再直接挂在列上」的时候。新增 **D3c** 按 rc.3 的真实结构挂载,断言:
173
+
174
+ - 切换器的 `parentElement` 是列,**不是**动作行;
175
+ - 切换器是 `newSessionRow` 的前一个兄弟;
176
+ - `row.contains(tabs) === false`;
177
+ - 两侧缩进都取自 row(4px)。
178
+
179
+ 反向验证过:把落点改回「按钮本身」,D3 与 D3c 各自变红。
180
+
181
+ ## 边界如实说明
182
+
183
+ - 768P 是**上游唯一可用的档位**,不是「推荐档位」。面板上它会是 MiniMax-H3 唯一可点的按钮。
184
+ - 参考图走 `POST /v1/media/uploads` 换公网 URL,换来的 **URL 1 小时后过期**:提交任务必须紧接着做,不能先攒一批图再慢慢提交。插件在一次 `SUBMIT_TIMEOUT_MS` 预算内完成「上传 + 建任务」,就是为了不让 URL 在自己的流程里老掉。
185
+ - 上传的大小/格式边界由上游裁定,插件不做客户端预检(图片 ≤30 MB、边长 256–5760 px;视频 ≤50 MB;音频 ≤15 MB)。失败会带上游原话回来。
186
+ - 取消(`REMOTE_CANCEL`)仍是 unsupported:网关没有实测的取消端点,插件不伪造一个。
187
+ - `doubao-seedance-2-0` 在同一网关上走同一个 `/v1/videos`,但插件会按 seedance 族发 `content[]` 到 `/contents/generations/tasks`——该路径在此网关上一律 `Invalid URL`。也就是说**这个模型在这个网关下仍未接通**,本版没有修它(需要单独验证 Seedance 在那个网关上的真实形状)。
188
+ - 首尾帧的宽高比必须相差 ≤2%(上游约束);插件不在本地校验,冲突时由上游拒绝。
189
+ - 侧栏修复的验证面:jsdom 挂载 + 真实宿主 CSS 渲染对比 + CI。**折叠成 rail 的那一态没有真机实测**(需要重启宿主才能看到);rc.3 在折叠态把 row 改成 `flex-direction: column`,按新落位理论上同样成立,但这是推断,不是实测。