@q253595422/dsh-imagegen-video 1.30.2 → 1.31.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -0,0 +1,189 @@
1
+ # v1.31.0 — 画布四件新事:Agent 改画布前先提案、连线说清用途、节点成组、原生姿势人偶
2
+
3
+ > **版本说明**:本版把 `v1.30.4` 之后累积的 40 个提交一次发出,没有中间版本。四块内容彼此独立,另有两条社区 issue(#47 / #48)的修复和一个侧栏入口修复。
4
+
5
+ 本版四块:
6
+
7
+ 1. **Agent 写画布先出提案**,用户点头才落盘——这是本版最大的一块,含 20 余处配套修复。
8
+ 2. **连线有了语义角色**(首帧 / 尾帧 / 素材),生成前还会自动补上「就在旁边、却没连过来」的图。
9
+ 3. **节点可以成组**,框选之后一起搬。
10
+ 4. **原生姿势节点**:自己算骨骼、自己画参考图,不依赖任何 3D 引擎。
11
+
12
+ ## 一、Agent 改画布之前,先问用户
13
+
14
+ ### 之前是什么样
15
+
16
+ 画布的八个 Agent 工具一调用就写文件。乐观锁挡得住「两个写入者同时改」,挡不住「用户根本不在场」——模型可以在用户睡觉时把整张画布重排一遍,用户第二天打开看到的既成事实,没有任何一步可以拒绝。
17
+
18
+ ### 现在
19
+
20
+ 写操作产出一个**提案**,存在 `canvas/proposals/` 下,与 `pages/` 完全分开。画布右上浮出提案条,常驻一句「接受之前画布不会变化」。用户点「接受」才真正落盘,点「丢弃」就当没发生过。
21
+
22
+ 三条设计上的硬约束,每一条背后都有一个具体的代价:
23
+
24
+ - **绝不碰 `pages/`。** 提案是旁路文件。哪怕这一层坏掉、写满磁盘,用户的画布一字未动。这是它敢接管全部 Agent 写操作的前提。
25
+ - **提案按顺序叠加。** `connect_canvas_nodes` 要能连上 `add_canvas_node` 刚提议的节点,所以第 N 条提案是在「真实文档 + 前 N−1 条提案」上算出来的。否则 Agent 一连串操作里除了第一条全部失败。
26
+ - **接受一条不作废后面几条。** 每条提案都记 `baseRevision`,但接受时**不拿它当闸门**:Agent 一次任务连着提议三条时,三条的 baseRevision 是同一个数,拿它比对会让用户接受第一条之后的第二三条全被判过期——界面写着「还有 2 条在后面」却一条都点不动。
27
+
28
+ 接受是**增量**的:只增删提案点名的节点与连线,用户在这期间改的标题、拖过的坐标都留着。两个窗口同时写由 `save(next, revision)` 那把乐观锁挡下,报 `canvas-conflict` 让用户重试。
29
+
30
+ ### 这一块顺带修掉的 20 余处
31
+
32
+ 提案机制一落地,「哪些地方还没对齐」就全暴露出来了。逐条都做过反向注入验证(把那处改动还原,对应断言必须变红):
33
+
34
+ | 问题 | 后果 |
35
+ | --- | --- |
36
+ | 一条过期提议把整张画布对 Agent 锁死 | 这张画布上所有写工具永久失败,只有用户碰巧点一次「接受」才能恢复 |
37
+ | 过期的 `read_canvas` 直接抛错 | 模型连「画布现在长什么样」都看不到 |
38
+ | 过期提案卡在队首 | 用户连点三次「接受」都是同一条错误,后面的提案全被挡住 |
39
+ | 读不懂的提案永久卡队首 | 手工改过的一次坏文件,让整条队列点不动 |
40
+ | 接受「改节点」的提案回退用户刚拖的坐标 | 提议改标题,用户把节点拖到别处再接受,节点跳回提议时的位置 |
41
+ | 接受提案没进撤销栈 | 按 Cmd+Z 弹掉的是上一次手动编辑,那笔更早的工作再也回不来 |
42
+ | 接受前不写本地未同步的编辑 | 刚拖的坐标被静默抹掉,autosave 也不会补写 |
43
+ | 本地保存失败时照样接受 | 用户那笔编辑彻底消失 |
44
+ | 接受期间切了画布 | 眼前的画布被换成另一本的内容,旧 revision 还顺着下次 autosave 写到错的画布上 |
45
+ | 连发的提案随机重排 | 「先加节点、再连线」被翻成反的(探针实测八次里两次) |
46
+ | 提案摘要永远是中文 | 英文、俄文用户看到中文 |
47
+ | Agent 删节点后分组里留下悬空 id | 组里指向一个已不存在的节点 |
48
+ | `read_canvas` 读不到自己刚提议的改动 | 模型以为没加成功,再添加一遍,同一个标题落进两条提案 |
49
+ | `list_canvases` 与 `read_canvas` 的节点数打架 | 模型以为提议失败,再提一遍 |
50
+ | `update_canvas_node` 不收 `mode` / `width` / `height` | 「加的时候选错了」只能删了重建,而重建会换掉节点 id 和已经连好的线 |
51
+ | `config` 节点不告诉 Agent 自己产出什么 | Agent 造不出视频配置节点(而视频配置正是「连两张图做插帧」的那个) |
52
+ | `add_canvas_node` 收 `width` / `height` 但没写进参数表 | 模型只能靠猜,猜不到就用默认尺寸 |
53
+ | 省略坐标时节点全叠在原点 | 连着加三个,用户只看到最上面那一个 |
54
+ | Agent 改连线角色被当成「什么都没改」 | 模型以为自己设好了首帧,用户拿到的是首尾帧用错了图 |
55
+
56
+ 界面这边也有两处:下拉里能看到**别的画布**上有改动在等(选项写作「标题 · 有 N 条待确认」),并且这些标记每 5 秒自己刷新一次,不用切画布;提案条的浮层位置按画布**实测**顶栏高度算,窄面板下顶栏换成两行时它也跟著下移,不再压住顶栏。
57
+
58
+ ## 二、连线说清用途;生成前自动补边
59
+
60
+ ### 连线语义角色
61
+
62
+ 连线以前只有 `from` / `to` 两个字段。视频首尾帧只能按 `connections` 数组顺序取前两张图——删一条边再重连就把首尾帧对调,而画布上看不出任何区别。
63
+
64
+ 现在连线有四个角色:
65
+
66
+ | 角色 | 含义 | 外观 |
67
+ | --- | --- | --- |
68
+ | `input` | 普通输入(缺省) | 与以前**一像素不差** |
69
+ | `first` | 首帧 | 加粗,进门端画实心点 |
70
+ | `last` | 尾帧 | 同上 |
71
+ | `reference` | 素材 | 虚线,降透明度 |
72
+
73
+ 右键菜单可设、可清除。首尾帧改用 `framePair()`:显式 `first` / `last` 优先,没标注时**完整退回**今天的数组顺序取法,所以老画布的行为一点不变。
74
+
75
+ **1429 份真实画布零迁移**:`role` 是可选字段,缺省即 `input`;回写时 `role: 'input'` 要删字段而不是写 `'input'`——「没有字段」是这批老画布的唯一形态,让它继续是唯一形态。全量往返实测:连线 0 变化、节点 0 变化、没有凭空长出 `role`。
76
+
77
+ ### 生成前自动连边
78
+
79
+ 用户把一张图拖到配置节点旁边,看起来显然是「要用这张」,但画布语义只认连线,于是生成时那张图完全不参与。
80
+
81
+ 现在提交生成的那一刻,把**边缘间距在 1.5 个目标节点短边以内、且尚未连入**的图片自动补成连线,最多 4 张(与引擎侧参考图上限一致)。三条约束:
82
+
83
+ - **只在提交时补,不在拖拽时猜。** 拖到附近就自己长出一条线,用户不接受也没法拒绝;提交是明确的意图表达,补上的线看得见、删得掉、一步就能撤销。
84
+ - **只补近的,不做全画布匹配。** AutoLink 式的全画布匹配会让远处一张看不出是哪张的图莫名参与生成。
85
+ - **补边不夺角色。** 只有 keyframe 模式才给补出来的边标 `first` / `last`,其余模式补的是普通输入,与手拉的线完全一样。
86
+
87
+ 补边与占位节点在同一个操作里,一次进历史,撤销一次就回到生成前。composer 会预告「将自动关联 N 张」,与实际补边共用同一个纯函数。
88
+
89
+ ## 三、节点成组
90
+
91
+ 框选几个节点 → 右键「成组」,之后拖其中任何一个,整组一起动。解散、改名、删成员后自动收拾。
92
+
93
+ 协议只加一个可选字段 `CanvasDocument.groups?`,**不升 version**。1429 份真实画布全量往返:1429/1429 载入成功,除 `revision` / `updatedAt` 外 0 变化,**0 份凭空长出 `groups`**。
94
+
95
+ 三条模型约束(`group-model.ts`,唯一解析处):
96
+
97
+ 1. **一个节点最多属于一个组。** 允许重叠就得决定「拖这个节点时另一个组的框跟不跟」,这个问题没有对错只有例外。
98
+ 2. **组不存坐标。** 框每次由成员节点的包围盒算出来。存一份坐标就多一份要和节点同步的状态,而移动节点的路径有拖拽、吸附、撤销、Agent 写入四条,漏一处框就飘走。
99
+ 3. **空组自动消失。** 成员被删光的组既没框可画也没东西可拖,留着只会在右键菜单里变成点不动的条目。
100
+
101
+ 两个值得记的取舍:
102
+
103
+ - 「空数组」与「没有这个字段」都落成**删字段**。否则 `pruneGroups(groupsOf(doc))` 在文档本来没有 `groups` 时返回 `[]`,第一次删节点就让全部老画布多出一个字段。与 `withRole(x, 'input')` 同一策略。
104
+ - 框体 `pointer-events: none`,只有标题条可点。框画在节点之上,吃指针会吞掉框内节点的拖拽、画布平移与框选——而这正是成组后最常用的三个动作。
105
+
106
+ 过程中修掉三个真问题:清空组名时默认名算成自己(「组 1」→「组 2」,每次清空往后跳一号);重命名用闭包读 state,导致 Esc 取消后 blur 仍提交、Enter 提交后 blur 又提交一次(撤销要按两次);`CanvasWorkspace` 里手抄了一份 `ContextMenuState` union,与真类型是两份,加第四种菜单目标时悄悄不认——改为单一来源。
107
+
108
+ ## 四、原生姿势人偶
109
+
110
+ 画布里的 3D 姿势参考不再是外挂工具,而是一个自己会算的节点。
111
+
112
+ - **17 个关节的层级 + 正向运动学 + 透视投影**,纯 Canvas 2D 手写。**不引 three.js**:这里要的东西只有一次投影 + 一次画家算法排序,而引一个 3D 引擎会给浏览器 bundle 增加约 670 KB,还要用户有可用的 WebGL——WebGL 恰恰是最容易在远程桌面、禁用硬件加速、老显卡上失效的那一环。一个姿势参考工具在那种环境里整块白掉,比画得糙得多。
113
+ - **求解完按最低点统一落地。** 固定下沉量在蹲姿上差 15 cm、跑步差 20 cm,那正是「人物浮在空中」的来源;落地只需要一个最小值。
114
+ - **取景按姿势自己的包围盒算,不按固定机位。** 蹲姿比站姿矮一大截,同一个距离要么把它缩成画面中央一小团,要么裁掉举起的手。
115
+ - **默认 3/4 视角。** 正面看坐姿看不出「坐」:大腿朝正前方被透视压成一个点。
116
+ - **11 个预设**(站立 / T 姿 / 挥手 / 双手举起 / 侧身 / 坐 / 蹲 / 背身 / 耸肩 / 迈步 / 跑)+ 逐关节三轴滑杆,按躯干、左右臂、左右腿五组分列。
117
+ - **导出 1024×1024 的 PNG**,不带辅助线,落成节点的普通图片资产。
118
+
119
+ 关键的架构选择:**它不是新节点类型**,而是 `type: 'image'` + `metadata.pose`。导出之后就是一张普通图片,下游的生成、标注、图库、导出全链路零改动——它们都不需要知道「姿势」这件事存在。
120
+
121
+ 校验器只拒绝「有但类型不对」,缺项按 0 度处理:过严的代价不是「拒收这次请求」,而是**这份文档再也存不下去**,用户手里的画布就此变成一个存一次报一次错的画布。
122
+
123
+ 真机量过三种节点宽度(320 / 260 / 220 px),滑杆最窄仍有 132 px。
124
+
125
+ ## 五、上游诊断:#48 与 #47
126
+
127
+ 这两条社区 issue 同源于「上游地址形态 + 响应不可诊断」。
128
+
129
+ ### #48 非 JSON 响应不再是一句「(HTTP 404)」
130
+
131
+ 此前生图链路上 9 处 `JSON.parse` 失败分支各自拼一句「上游接口返回了非 JSON 响应(HTTP 404)」,既不带请求地址,也没说返回的其实是一页 HTML。事后形态最难查:网关把 `/models` 挂在根上(「检测模型」绿灯),而 `/images/generations` 只在 `/v1` 下(每次生成必失败),用户拿不到任何自查线索。
132
+
133
+ 现在报错形如:
134
+
135
+ ```
136
+ 上游接口返回了非 JSON 响应(HTTP 404, text/html):https://host/images/generations
137
+ —— 返回的是网页而不是接口响应,通常说明渠道的 API 地址少了路径(例如末尾缺 /v1)或填成了站点首页
138
+ ```
139
+
140
+ 空响应体、二进制响应体、纯文本各有对应的一句;纯文本给截断摘要,而不是把整页 markup 贴进来。**错误码一律不变**(`upstream-invalid` / `video-submit-failed` / `video-upload-failed`),这次改的是那句话,不是失败分类,面板与诊断按码分组的行为不动。
141
+
142
+ 同一句判定收进 `src/upstream-diagnosis.ts`(`bodyShapeOf` / `diagnoseNonJsonBody` / `requestAddress`)。视频引擎 1.30.x 早已单独修过同一件事并留了内联正则——同一件事第二份实现,正是这次三条链路各说各话的原因,现在视频引擎也改用共享判定。
143
+
144
+ **刻意不做 `/v1` 自动回退**(issue 建议的第 3 条):那会静默改写用户填的地址语义,且没有真网关可验。把地址与原因说清楚,比替用户猜地址更诚实。
145
+
146
+ ### #47 Magpie 网关能发现图像模型了
147
+
148
+ Magpie 的 `/v1/models` 只返回聊天模型,图像条目在 `?kind=image` 后面(老版本认 `X-Magpie-Drawers: 1` 头)。旧实现「第一个返回记录的候选就赢」,普通列表必然先命中,于是「检测模型」绿灯、图像模型恒为 0。
149
+
150
+ 现在图像发现自己走一遍带 `kind=image` 的候选并带头,且兼容两种私有形状(`kind: "image"`、嵌套 `modalities.output: ["image"]`)。
151
+
152
+ **回退有两条,不止一条**:`?kind=image` 报错或 404 要退回普通候选;**作用域列表返回 200 但里面认不出图像模型**(网关静默忽略未知参数)时也要回退再合并。少了后一条,结果就是「检测成功但一个模型都没有」。聊天模型列表不受影响:不请求 `kind=image`、不带 Magpie 头。
153
+
154
+ ## 六、DS Bot 团队视图里的生图入口
155
+
156
+ DS Bot 0.3.6 的团队视图把宿主的整条品牌行和新会话行都设成 `display: none !important`,并用 `shadow("sidebar.workspaces")` 接管工作区插槽。于是 `newSessionButton()` 与品牌锚点全部落空,`sidebarRoot()` 四条分支同时失败、返回 undefined,切换器根本没挂载——切到 bot 视图后「生图」就没了入口。
157
+
158
+ 修法是新增一条判据 `ownsColumnChrome()`:**自身持有品牌/页脚锚点、可见、且是纵向堆叠**的框就是侧栏列。判据必须看锚点**存在性**而非可见性,否则被隐藏的品牌行会把真列误判成普通包裹层。另外 `placeTabs()` 的 fallback 落位从「列首」改为「区域块之前」——列首在 macOS 是红绿灯拖拽条,压上去会破坏窗口拖拽。
159
+
160
+ 真实 Chrome 复核过:修复前 `rootFound=false`、`tabsMounted=false`;修复后 `rootIsColumn=true`、`tabsParentIsColumn=true`、264×36 落在区域块上方。
161
+
162
+ ## 边界如实说明
163
+
164
+ - **提案机制不改变画布的存储格式**:提案是旁路文件,用户不接受就永远不落盘。代价是 `canvas/proposals/` 会随 Agent 使用增长,删除画布时会一并清掉它的提案。
165
+ - **自动连边只补 4 张**,与引擎侧参考图上限一致;多出来的仍然要用户自己拉线。
166
+ - **连线角色只在画布上生效**:只读 `from` / `to` 的纯函数(workflow 分层、技能输入解析)不受影响。角色只决定「谁当首帧、谁当尾帧、谁只是素材」,不改变图的结构。
167
+ - **姿势人偶是参考图,不是 3D 模型**:它是 2D 渲染出来的一张静态 PNG,没有骨骼绑定、没有动画、不能旋转到任意角度之后继续精确对齐。
168
+ - **#47 没有对真实 Magpie 实例发起过调用**,全部基于 issue 里用户实测的接口行为与桩 fetch;`?kind=all` 未实现(issue 标为「必要时」)。
169
+ - **DS Bot 团队视图的验证面**:复刻真实结构的 fixture + 真实 Chrome 复核,没有在 DS Bot 0.3.6 里逐态走查全部折叠状态。
170
+
171
+ ## 测试
172
+
173
+ 新增 11 个离线套件,全部接入 `pnpm test`:
174
+
175
+ | 套件 | 覆盖 |
176
+ | --- | --- |
177
+ | `smoke-canvas-connection-role.mjs` | 老画布兼容的最后一道闸:没设过角色的画布一个字都不许变 |
178
+ | `smoke-canvas-auto-link.mjs` | 阈值、上限、去重、角色分配逐条钉住 |
179
+ | `smoke-canvas-group.mjs` | 一个节点只属一个组、框由成员算出、空组自动消失 |
180
+ | `smoke-canvas-agent.mjs` | Agent 八个工具与提案的叠加语义 |
181
+ | `smoke-canvas-proposal-routes.mjs` | 接受 / 丢弃路由,与界面走同一段代码 |
182
+ | `smoke-canvas-proposal-summary.mjs` | 摘要按当前语言渲染 |
183
+ | `smoke-pose.mjs` | 存储往返、合法降级、畸形拒收、落地、左右不换、转身换边、取景不裁 |
184
+ | `smoke-magpie-discovery.mjs` | 两条回退路径各自独立 |
185
+ | `smoke-upstream-diagnosis.mjs` | 驱动真实生成路径,断言地址与成因、且 markup 不进来 |
186
+ | `verify-canvas-proposal-bar.mjs` | 真机量顶栏高度,提案条不压住换行后的顶栏 |
187
+ | `verify-pose-panel.mjs` | 真 Chrome 里量三种节点宽度下滑杆的最小宽度 |
188
+
189
+ 反向用例新增 `magpie` / `diagnosis` 两组,实测打红:magpie 4/4、diagnosis 3/3。