dsh-motion-ui 0.7.0 → 0.8.0

package/CHANGELOG.md

@@ -1,5 +1,64 @@
 # DSH Motion UI
 
+## 0.8.0 — 2026-10-17
+
+Motion UI 新增从可定位动画到视频成片的制作流程，保留原有日常排版、可视化、交互组件、状态保存与风格设置。
+
+### 动效时间轴与设计指导
+
+- 新增 `DSHUI.timeline`：播放、暂停、定位、重播、章节和绝对时间绘制，支持分步解释与可重复的视频采集；现有动画接口继续可用。
+- 新增时间轴、分步讲解、路径传播和文字动效四个原创案例，适用于各视觉风格。
+- 完整内置 OpenDesign `motion-design` 技能，保留原文、固定来源、校验值与 Apache-2.0 许可，通过独立 DSH 适配说明按需读取。宣传片指导区分口播讲解、产品片与音乐视觉蒙太奇，不增加日常常驻提示词。
+
+### 视频预览、导出与素材处理
+
+- `preview_video`：从时间轴生成关键帧和联系表，先检查画面再编码；有效画面保留，脚本与资源问题返回时间点、元素位置或源码行列。
+- `render_video`：交付真实 MP4、可编辑 HTML、文档/参数快照和工程 ZIP，支持本地音轨、字幕、嵌套舞台与透明起始帧。
+- `inspect_video` / `process_video`：检查本地素材、按时间抽帧、截取拼接、画面适配，以及字幕和配乐合成，保留原文件。
+- 逐帧直接送入编码器，减少中间 PNG；修复冷启动首帧、舞台重排、末尾取帧与色彩范围问题。成片检查实际元数据、音轨和完整解码，失败保留源码及诊断。
+
+### 配音、字幕与音轨
+
+- `synthesize_voice` 通过用户配置的 MiniMax 认证生成真实配音和句级/词级时间戳。
+- 支持配音、音乐、音效多轨混音、偏移与淡入淡出；拒绝截断或循环旁白。
+- 独立源码同步播放、暂停和定位音轨与字幕，字幕空档不保留上一句；修复数字发音片段导致的重复字幕。
+
+### 聊天视频播放器
+
+- 固定控制条提供播放/暂停、进度、时间、音量/静音、倍速、全屏与下载。
+- 兼容历史视频结果，后续正文更新保持播放位置；切换会话、离开页面或隐藏标签页时停止声音，多视频互斥播放。
+- 避免视频被折叠的工具分析区域隐藏，同一画布的重复导出只展示最新成片。
+
+### 易用性与兼容性
+
+- 插件设置增加视频环境检查；缺少浏览器或编码器时给出明确提示，不自动下载大型运行时。
+- 改善节点编辑的多余空父级字段、单项传输包装、可选 JSON 空字符串与媒体回执兼容性，未知字段直接指出名称。
+- 兼容 DeepSeek Harness Web / Desktop `0.2.1-rc.1`，保留 `0.2.0-rc.2` 兼容范围。
+
+视频功能需要本机 Chrome/Edge 或 Playwright Chromium、FFmpeg、FFprobe；MiniMax 配音会调用相应 API。视频需显式请求，普通对话 UI 不自动转为视频。设计效果与制作成功率仍取决于模型及实际素材，预览和技术检查不等同于美术质量验收。
+
+## 0.7.1 — 2026-10-14
+
+Motion UI 现在可以用更短的调用交付完整界面，并更准确地定位和修改已有内容。这次更新保持现有文档协议与参数保存兼容。
+
+### 常见需求直接交付
+
+新增 `render_scene`，支持步骤流程、方案对比、比例分配和旅行预算。模型提供任务数据，插件生成完整节点、控件和公式，复用所选风格、只读流式预览与参数保存；其他需求继续使用原生组件或自由 HTML/SVG。
+
+### 减少接口摩擦
+
+兼容代码块冗余的复制标记、字面数字公式，以及与 state 一致的控件范围。缺少图表数据、嵌套公式错误会指向具体字段；不补猜金额，不改写源码或任意数据，冲突值仍会拒绝。
+
+### 检查与修改更准确
+
+视觉观察新增透明背景对比度、文字裁切和明显尾部空白，并返回局部定位；未覆盖和截断内容明确标记。`inspect_ui` 支持按文字、标签和组件类型查找节点，提供位置与可编辑字段，方便修改原界面并保留当前参数。
+
+### 提示词与回归整理
+
+收拢重复指导，完整手册按需读取；引导模式保留设计、风格和短案例，自由模式不注入风格案例。增加纯文字、主动 UI、多块 UI和保参修改的固定模型回归，不新增模型思考或输出限制。
+
+验证：129 项单元/集成测试及24组回归通过。MiniMax M3.1 Flash 最终轮4个固定场景全部完成，无工具错误；这是单轮样本，不代表所有模型均能首次成功。视觉观察属于启发式检查，不代替完整设计或无障碍验收。
+
 ## 0.7.0 — 2026-10-13
 
 这次更新让 Motion UI 从统一配色的组件集合，进一步扩展为有不同排版语言、真实交互反馈和机制图解能力的对话界面插件。日常说明仍可轻量交付；内部结构、工作原理和机械运动可以直接生成可调整的图解。

package/README.md

@@ -1,15 +1,37 @@
 # DSH Motion UI
 
-为 DeepSeek Harness Web 提供可交互组件、自由 HTML/SVG 图解与动画。引导模式会主动注入设计技能、协议和示例；自由模式让模型自主设计。设置位于首页 → 插件 → dsh-motion-ui。
+为 DeepSeek Harness Web / Desktop 提供可交互组件、自由 HTML/SVG 图解与动画。引导模式会主动注入设计技能、协议和示例；自由模式让模型自主设计。设置位于首页 → 插件 → dsh-motion-ui。
 
-Interactive, declarative tool views for **DeepSeek Harness Web 0.2.0-rc.2**.
+Interactive, declarative tool views for **DeepSeek Harness Web / Desktop 0.2.0-rc.2 / 0.2.1-rc.1**.
 
-The plugin adds `render_text` (quick native typography), `render_ui` (validated components), `render_canvas` (HTML/SVG), `render_mechanism` (compact assembly/kinematics scenes), and `ui_catalog` (protocol + examples). It saves per-document input state on the Host and sends explicit follow-up requests with the current parameter snapshot.
+The plugin adds `render_scene` (short flow/comparison/allocation/budget data), `render_text` (quick native typography), `render_ui` (validated components), `render_canvas` (HTML/SVG), `render_mechanism` (compact assembly/kinematics scenes), and `ui_catalog` (protocol + examples). It saves per-document input state on the Host and sends explicit follow-up requests with the current parameter snapshot.
+
+### v0.8.0：从交互界面到视频成片
+
+新增可定位动效时间轴、分镜预览、MP4 导出、本地视频检查与剪辑，以及 MiniMax 配音和字幕时间戳。模型可以按需读取完整动效设计技能，组织宣传片并交付 MP4、HTML 和可编辑工程 ZIP。聊天内视频支持播放/暂停、拖动、音量、倍速、全屏与下载。视频制作需要本机浏览器、FFmpeg 和 FFprobe；配音需要 MiniMax 认证，日常 UI 不会自动转为视频。
 
 ### v0.7.0：风格、交互与机制图解
 
 六种风格拥有各自的构图与组件形态，设置提供六类真实样式预览；原生交互反馈全局增强。新增 `render_mechanism`，无需生成长篇绘图源码即可交付装配拆解、齿轮传动和曲柄连杆。保留现有文档协议、默认明亮扁平风格、自由模式和参数保存。详细更新见 [CHANGELOG.md](CHANGELOG.md)。
 
+### 提示词组织
+
+引导模式注入三段：通用设计与所选风格、共享接口契约、两个短案例。自由模式只注入表达选择和接口契约，不注入风格或案例。完整手册按需获取：`ui_catalog({topic:"text"|"native"|"visual"|"canvas"|"style"})`；画布加 `scene:"bicycle"|"oscillator"|"architecture"|"scatter"` 只取一个完整案例。通用设计吸收 Taste Skill 的内容优先、信息层级和实质简洁原则，具体配色、材质与构图仍由所选风格决定。
+
+开发者可运行 `node scripts/audit-prompts.mjs` 统计实际注册的提示段、字符数和工具定义；设置 `MOTION_TOKENIZER_MODULE` 为已安装的 `js-tiktoken` 模块路径，可另算 `o200k_base` 参考 token。按需目录和条件纠错分别统计，不计入首次固定注入；参考值不等同于模型供应商计费。
+
+### v0.7.1：轻量场景与局部修改
+
+`render_scene` 直接把任务数据转换为完整的原生界面，保留所选风格、只读流式预览、正文标记、侧栏和独立参数保存。四种场景：`flow`（步骤）、`comparison`（方案）、`allocation`（总量按比例分配）、`budget`（两人一间房的住宿与交通预算）。其他构图仍用 `render_ui/render_canvas`，不会限制自由模式。
+
+`render_scene({scene:"budget",title:"假设旅行预算",values:{people:3,nights:3,roomRate:600,transportPerPerson:800}})`
+
+金额必须由用户、工具或明确标记的假设提供，不会补猜缺失数据。`ui_catalog({topic:"quick"})` 返回短调用示例。`inspect_ui({documentId,query:"总计"})` 可查节点位置和可修改字段；加 `detail:"nodes"` 只读取匹配源码，再使用现有 `patch_ui/update_ui` 修改原文档、保留兼容参数。
+
+视觉观察新增透明背景对比度、文字裁切和明显尾部空白，并返回画布内定位、文字摘要；这些是启发式观察，不代替完整设计或无障碍验收。渐变、SVG 配色等未覆盖部分仍会明确标记。代码块的冗余 `copyable:true`、字面数字 `expr` 和与 state 完全相同的控件范围可无歧义兼容，冲突值与缺失图表数据仍报具体字段错误。
+
+真实模型回归位于 `scripts/verify-model-usability.mjs`，需显式配置 `MOTION_WEB_LOG`（私有登录日志）或 `MOTION_TEST_URL`，默认 M3.1 Flash、测试结果工作区；设置 `MOTION_WORKSPACE_DIR` 可指定对应目录。模型等待无生成时限、不取消推理；记录纯文字、主动 UI、多文档、保参修改及首块可见时间，不把最终交付等同于首次成功。
+
 ### 扩展可视化（v0.6.0）
 
 在原有轻量文字、原生控件和自由 HTML/SVG 画布之外，新增扩展原生组件语言。直接传入 `render_ui({document:{title,items:[...]}})`，或在回答中写 `dsh-ui` / `motion-ui` JSON 源码围栏；无需为普通测验、图表和表单编写 HTML。完整组件依次预览，整轮回复结束后保存并启用交互，正文与原生“智能 UI”侧栏共用同一份文档和参数。
@@ -315,3 +337,41 @@ render_mechanism({scene:"gears", rpm:20, teeth:32})
 这是教学几何与运动学：简化齿形不能用于加工，隐藏盖板不是任意实体剖切，按层与深度排序不构成精确遮挡/碰撞审计。瞬时动画相位不持久化，用户参数仍保存。
 
 投影和轮廓数学参考并使用 [Anatomy](https://github.com/wheresryan22/anatomy) 的 MIT 代码（固定版本及许可证见 `lib/third-party/anatomy-NOTICE.md`）。插件的状态桥接、机制案例、渲染与交互逻辑为本项目实现，没有引入完整上游工作流或其 3D 引擎。
+
+## 可定位动效与视频制作（v0.8.0）
+
+动效语言适用于所有视觉风格：通过焦点、连续性、因果和阅读停顿组织变化。自由模式不注入这套美术指导。`ui_catalog({topic:"motion"})` 返回简短索引，`scene:"timeline"|"stages"|"path"|"typography"` 按需返回原创例子；`scene:"reference"` 提供参考录屏分析流程，完整代码不会常驻注入每次对话。
+
+画布可用 `DSHUI.timeline({id:"main",duration:6,draw(time,info),chapters:[{time:0,label:"输入"}],autoplay:false})`，返回 `play/pause/seek/replay/chapter/subscribe/dispose`。`draw` 从绝对秒数和当前参数同步绘制，支持倒拖与分步定位；用户参数继续保存，瞬时进度不逐帧写回。现有 `DSHUI.animate` 保留。离屏、后台和减少动态效果适用于新时间轴。
+
+模型可直接使用五个工具完成视频任务：
+
+- `preview_video({documentId,duration,times?,width?,height?,theme?})`：直接从可编辑时间轴抓取关键画面和联系表，先看图修正，再导出全片，不必反复编码 MP4。`complete=false` 返回时间/元素诊断并保留有效帧；无效样本不会伪装成已检查画面，修正后应重新预览。
+- `synthesize_voice({text,voice?,model?,speed?})`：生成真实配音、时长与字幕时间戳，需要用户配置的 MiniMax 认证，调用付费 API。
+- `inspect_video({path,times?:[seconds]})`：读取实际时长、尺寸、帧率和音轨，抽取最多 12 个时间点及联系表。模型应实际读取图片再分析；这不是语音识别、自动目标跟踪或完整视频理解。
+- `render_video({documentId,nodeId?,duration,width?,height?,fps?,theme?,audioTracks?,audioPath?,audioVolume?,captions?})`：将已保存的一个画布导出为可编辑 HTML、文档/参数快照、制作参数和真正的 MP4。画布须有唯一 `#stage` 和唯一 `DSHUI.timeline`，ID 为 `main`，时长与导出一致。舞台外控件不进入视频。支持本地配乐和精确时间字幕；配乐副本随源码保留，下载后放在 HTML 同一目录，可手动开启，并随播放、暂停、定位同步。
+- `process_video({clips:[{path,start?,end?}],width?,height?,fps?,audioPath?,audioVolume?,captions?})`：截取、按顺序拼接、等比适配/补边；保留原音轨，指定配乐时替换原音轨；字幕形如 `{start:0,end:1.5,text:"说明"}`，按输出时间排列，空隙不显示上一条字幕。生成新文件，原素材不覆盖。
+
+视频渲染需要本机 Chrome/Edge 或 Playwright Chromium、FFmpeg、FFprobe。插件仅携带浏览器控制库，不自动下载浏览器/编码器。插件设置中的“检查视频环境”或 `ui_catalog({topic:"video"})` 可以检测；环境变量 `DSH_MOTION_BROWSER`、`DSH_MOTION_FFMPEG`、`DSH_MOTION_FFPROBE` 可指定可执行文件路径。视频需显式请求，普通对话 UI 不自动转成视频。
+
+默认 1920×1080、30fps；允许偶数尺寸 160..3840 × 160..2160、1..60fps、0.1..600 秒，单次最多 36000 帧。超出预算明确报错，可拆成章节，不截断产物。这些是媒体任务预算，不改变模型推理、输出或运行时限。渲染不提供硬性的恶意代码 CPU/内存隔离。
+
+每次导出检查实际尺寸/时长、音轨存在性和完整解码，失败保留源码与真实错误；检查通过不等于美术质量合格。任意 JS 的时间累加、独立 CSS 动画和未设种子的随机状态不会被自动改造成可导出时间轴。配音可使用 `synthesize_voice`；图片和生成式视频素材使用宿主实际提供的工具，插件不虚构素材或模型 API。
+
+工作流参考 [OpenDesign Motion](https://github.com/nexu-io/open-design/pull/8619) 的源码/视频双交付、按需技能和时间轴思路。本项目的时间轴、原创案例及导出/处理实现独立编写，未复制其 GSAP 播放器；完整 motion-design 技能以原文和独立 DSH 适配说明按需提供，来源与许可见下文。
+
+### 一段需求制作宣传片（v0.8.0）
+
+可以请求模型自行组织文案、分镜与 HTML/SVG 动效，再用 `render_video` 交付真实 MP4 和可编辑工程 ZIP。`ui_catalog topic=video scene=promo` 按需提供制作流程，普通对话不加载整套视频手册。
+
+支持两种创作方向：口播讲解按真实语音组织信息；音乐驱动的产品片用大字、贯穿图形变形、能力演示和镜头切换表达产品，不强制添加旁白或字幕。可提供参考片，让模型分析其构图与转场机制，再独立创作。交互数据、机械部件和图形应有可见的因果变化，不能仅靠静态卡片和换色表示能力。
+
+完整内置 OpenDesign 的 `motion-design` 技能，保留原文、固定来源版本与 Apache-2.0 许可，并通过独立 DSH 适配文档映射工具、时间轴和音轨。`ui_catalog({topic:"motion",scene:"motion-design"})` 或 `ui_catalog({topic:"video",scene:"promo"})` 按需返回技能全文，不把正文注入日常对话。上游 OpenDesign CLI/GSAP 播放器协议不作为 DSH 的可调用接口。
+
+`render_video` / `process_video` 的成片在聊天中直接显示播放器，固定控制条提供播放/暂停、进度与时间、音量/静音、倍速和全屏，可下载 MP4、源码和工程。历史工具结果也支持重放为播放器，无需重新生成影片；同一画布的再次导出更新对应播放器，其他影片独立保留。后续正文更新保持播放位置，离开聊天停止声音，多个影片互斥播放。音量和速度在本机记忆；加载失败提供重试与下载入口。
+
+需要本机 Chrome/Edge、FFmpeg、FFprobe。可选的 `synthesize_voice` 调用 MiniMax 付费语音 API，使用官方 mmx 认证或 `MINIMAX_API_KEY`（可选 `MINIMAX_REGION=cn/global`）；不会从 DSH 模型配置中复制密钥。返回真实音频时长及字幕时间戳。通过 `audioTracks` 混合旁白、用户提供的音乐和音效，支持音量、偏移、循环音乐和淡出；旁白不允许循环或被截短。没有配置语音服务时仍可导出无声动效。
+
+示例需求：为我的插件制作一段 30 到 45 秒横屏宣传片，自行写文案和分镜，展示解决的问题和三个核心功能，用中文配音、清晰字幕和不同构图，交付 1080p30 MP4 及可编辑工程。
+
+视频抽帧检查是稀疏视觉观察，不等于完整听审、自动转录或自动剪辑任意素材。外部素材的可用性和授权由提供者负责；不自动下载大型运行时或音乐库。

package/VERIFICATION.md

@@ -1,3 +1,29 @@
+# 验证记录
+
+## v0.8.0 发布验证（2026-10-17）
+
+- 开发 SDK 与锁文件使用 DSH 0.2.1-rc.1，保留 0.2.0-rc.2 兼容范围；Web 和 Desktop 分别检查实际运行时。
+- 147 项单元/集成测试、24 组构建及浏览器回归；覆盖日常文字、多文档、原生组件、风格、状态恢复、连续修改、标记/侧栏和渐进预览。
+- 视频专项验证实际 MP4 编码与完整解码、尺寸/帧率/时长、嵌套舞台、截取拼接、输入文件保留、媒体 Range/HEAD、会话隔离、字幕空档、音轨同步、多轨混音和源码工程。
+- 聊天播放器 16 项浏览器检查覆盖播放、暂停、定位、音量、倍速、全屏、多视频互斥、设置恢复、后续正文更新保持节点与进度、折叠区域可见性及离开页面停音。
+- Web / Desktop 0.2.1-rc.1 的实际插件设置及历史 32 秒视频检查通过；0.2.0-rc.2 Desktop 在开发阶段通过同项检查。页面离开、返回和刷新后设置保持，客户端无未处理异常。
+- 内置 OpenDesign motion-design 原文按固定 SHA256 检查，来源与 Apache-2.0 许可随包保留，按需加载不混入日常提示词。
+- 开发阶段 MiniMax M3.1 Flash Preview 实际完成 39 秒和 16.8 秒宣传片，包含自主文案、分镜、HTML/SVG 动画、配音与配乐。过程包含返修，不代表所有模型均可首次成功；发布回归不重新调用付费模型。
+- 支持独立字幕与作者自绘字幕。实际字幕对照语音时间记录检查，保留空档；技术解码或稀疏预览不等同于完整美术及听感验收。
+- 未给模型增加推理、输出或运行时限，也未取消模型推理。
+
+下文是历史版本验证记录。
+
+## v0.7.1 发布验证（2026-10-14）
+
+构建 0.7.1+d92c9bf2bf64。
+
+- 补齐锁文件中的 DSH peer 依赖，在独立目录按锁文件安装；安装环境的 npm 脚本 Shell 无法解析 node，改为禁用自动 lifecycle 后显式运行 esbuild 安装验证。依赖安装及审计完成，未改变运行时依赖范围。
+- 干净依赖下129项单元/集成测试、24组构建/浏览器回归全部通过，包括新增短场景、定位修改、裁切/空白正反例和截断边界。
+- M3.1 Flash High 最终轮4个固定场景通过，零工具报错；模型等待未新增时限、思考或输出限制。此为单轮开发验证，不能概括为所有模型均可首次成功。
+- 打包与发布检查结果保存在忽略目录 test-output/release-0.7.1；发布后的registry包与实际运行时将按同一构建核验。
+- 下文是历史验证记录，不代表本版本的新测试结果。
+
 # v0.7.0 发布验证（2026-10-13）
 
 本次整合风格系统、全局交互、计算易用性和 Anatomy 机制图解。构建 0.7.0+6adc22f63978。