@dsh-gis/dsh-video-studio-skill 0.7.2 → 0.8.1

package/README.md

@@ -1,11 +1,12 @@
 # @dsh-gis/dsh-video-studio-skill
 
-![version](https://img.shields.io/badge/version-0.7.2-blue) ![license](https://img.shields.io/badge/license-MIT-green)
+![version](https://img.shields.io/badge/version-0.8.1-blue) ![license](https://img.shields.io/badge/license-MIT-green)
 
 **DeepSeek Harness 技能插件：用代码从零生成中文视频。**
 
 写剧本 → edge-tts 旁白 → **实测时长**排时间轴 → **提示点**驱动配乐与音效 → PIL 或浏览器逐帧渲染 →
-ffmpeg 编码 → 采样级混音 → **四层质检**（容器 / 信号 / 时间 / 页面）。
+ffmpeg 编码 → 采样级混音 → **四层质检**（容器 / 信号 / 时间 / 页面）+ **v0.8 的四个新闸**
+（渲前资源预检 `G0` / 词级时间戳 `G10` / 全片 VMAF `G11` / ASR 回读 `G12`）。
 零素材、可复现、可断点续跑、可脚本化验收；装成插件后，整片生产流程随技能一起进入每个会话。
 
 > 源自 `dsh-v` 资产包的 `02-技能包-video-studio`（817 个 DSH 会话的考古分析 + 5 套现存工程逆向 + 本机实测）。
@@ -36,6 +37,27 @@ ffmpeg 编码 → 采样级混音 → **四层质检**（容器 / 信号 / 时
 > 实测（真实素材）：旧混音 -4.2 dB → 新混音 12.0 dB，`audio_similarity --strict` D 组 12.9 dB；
 > selfcheck 34 → 38 条，其中第 35–38 条专盯这条链路。
 > 详见 [CHANGELOG.md](CHANGELOG.md) 与 SKILL.md §5.6 / §5.7、references/audio-variation.md。
+> **v0.8.0（把"看得见"变成"抓得住"）**：四个方向——① **词级时间轴**：edge-tts 的 WordBoundary 事件落
+> `work/words.json`（4 句 / 64 词 / 末词偏差 0.09 s），字幕改按词折行，cue 可写词锚点 `"l03:w2+0.1"`；
+> ② **四道新门禁**：渲前资源预检 `G0`（缺字形/坏音频在渲第一帧前 fail，< 1 s）、词级时间戳 `G10`、
+> 全片 VMAF/SSIM `G11`（参考帧由场景函数**实时重渲**，不是成片抽帧；29 s 片 VMAF 97.22 / 14.2 s）、ASR 回读 `G12`
+> （成片音轨转文字对账，0.72 以下才 fail，8.7 s/片）；③ **画幅/帧率参数化**（只做 16:9 横屏，
+> 内部恒 1080p、编码时下采样，720p 已实测全门通过）、**批量** `--batch`（≤100 条、开跑前全量预检、
+> 单条失败不阻断）、**预览** `--preview N`（前 N 秒出 mp4+gif）、**运行版本化** `--run-id`（`work/runs/<runId>/`）；
+> ④ web 引擎跟随风格包（`window.__STYLE__` 注入，`style=None` 时逐字节等于 v0.7）+ 金帧像素回归
+> `tools/golden_frames.py`。**代价要说清**：29 s 模板片全链从约 28 s 涨到 **47.3 s**，其中 `qa` **23.9 s**
+> 已经**超过渲染本身**（`frames` 12.5 s）；`estimate` 预演也从 28.4 s 变成 **58.8–108.2 s**（vmaf 31–50 s 是瓶颈）。
+> v0.8 之后"出片时间"不再只是渲染时间。selfcheck 43 → **51 条**。
+> 详见 [CHANGELOG.md](CHANGELOG.md) 与 SKILL.md §6.1 / §7.5、references/word-timeline.md、references/v08-quality.md。
+> **v0.8.1（全项目深审，无新功能）**：把 14 个模块 / 5 个前端文件 / 12 篇 references / 仓库工具链
+> 全部过一遍，修掉 **60+ 处**「看着没问题、其实没在查」。举几个真会伤到交付的：
+> ① **VMAF 参考帧与成片的字幕折行口径不一致**（渲染传 `words`、参考帧没传）——近静态画面
+> 从 **99.95 掉到 8.55**，同源好片被判 fail；② `--stage style/stills/frames/mux` 的门禁 fail
+> **没进退出码**（stdout 打 [FAIL]、进程仍 exit 0）；③ `webengine` 在 `style=None` + 720p 时
+> **静默输出 1080p 原画的左上角裁切**（逐像素相同、标题/HUD 全丢、exit 0）；
+> ④ `visual.layout` 与 `qa.vmaf.sample_step` 写了**完全没人读**；⑤ `selfcheck` 第 51 条把金帧
+> 的 skipped 当 PASS（**这条门禁从没真的比过一帧**）；⑥ `ci_check` 把"跳过（没装 node）"记成 PASS。
+> 详见 [CHANGELOG.md](CHANGELOG.md) 的 0.8.1 段（含行为变化表与升级须知）。
 
 ## 安装
 
@@ -112,11 +134,14 @@ mkdir -p myfilm && cd myfilm
 cp <SKILL_DIR>/assets/film.json .                       # 剧本模板（"style": "auto"）
 cp <SKILL_DIR>/assets/scenes.py .                       # 场景模板
 cp <SKILL_DIR>/scripts/*.py .                           # filmkit/stylekit/voicekit/render/selfcheck + sfxkit/scorekit/qa_frames/webengine
+                                                         #   v0.8 还含 preflight/qaasr/qavmaf（可选：缺了对应门禁记 skipped）
 cp -r <SKILL_DIR>/assets/web ./web                       # 只在走浏览器引擎时需要
 
-python selfcheck.py                                     # 43 条环境/回归断言（20 秒内，不联网）
+python selfcheck.py                                     # 51 条环境/回归断言（20 秒内，不联网）
 python <REPO>/tools/estimate.py --script film.json       # v0.6：开渲前先算耗时/磁盘/分块（仓库/包里的工具，
                                                          #     不在 skills/video-studio/ 内，quickstart 拷出来的目录没有它）
+                                                         #     v0.8：已含 preflight/vmaf/asr 三段；29 s 模板片
+                                                         #     预演 total 28.4 s -> 37.5-83.0 s（区间上界，实测 47.3 s）
 python render.py --stage stills --stills "l01:3,l02:5"  # 母版预览（缺 tts/layout 会自动补跑）
 python render.py --script film.json --scenes scenes.py --out out/film.mp4 --work work
 cat out/QC-REPORT.md                                    # v0.6：机器可读交付结论（pass/fail/skipped）
@@ -157,6 +182,15 @@ tts → layout → cues → score → sfx → audio → frames → mux → qa
 | 改完东西不知道要重跑什么 | `--stage explain`（机器判断过时阶段 + 给最小重跑命令），表见 [references/change-impact.md](skills/video-studio/references/change-impact.md) |
 | 规整 `film.json` 避免静默失效 | `python skills/video-studio/scripts/filmcheck.py film.json`（`holds`→提示写成 `hold`） |
 
+**v0.8 的四个新开关**（前三个会改变门禁结果，第四个只是看片更快）：
+
+| 想要 | 怎么做 |
+|---|---|
+| 交付 720p / 换帧率 | `film.json` 写 `"video": {"width":1280,"height":720,"fps":24}`（只做 16:9 横屏、只能下采样；720p 已实测全门通过） |
+| 批量出片 | `python render.py --batch films.json`（≤100 条、开跑前全量预检、单条失败不阻断、末尾 `batch-report.json`） |
+| 只渲前 N 秒给人看 | `--preview 15`（出 `out/preview/*.mp4` + `.gif`，不写交付账本） |
+| 让 QA 快一点 | `--vmaf sample`（每 5 帧取 1，实测 8.0 s vs 全片 14.2 s，VMAF 只差 0.34）或 `--vmaf off`（G11 记 skipped） |
+
 长片：`--stage frames --jobs 4`（按绝对帧号分块并行）+ `--resume`（中断只补缺块）。
 
 ## 这个技能解决什么
@@ -186,12 +220,17 @@ skills/video-studio/
   SKILL.md                   主线：上手 / 八阶段 / 引擎选型 / 画质 / 声音 / 提示点 / 停留窗口 / 质检 / 故障速查
   references/                pipeline · scene-authoring · audio · audio-variation · sfx-design · web-engine
                              frame-qa · quality-gates · change-impact · style-packs · pitfalls
+                             word-timeline（v0.8）· v08-quality（v0.8）
   scripts/filmkit.py         生产内核（字体/排版/字幕/音频总线/CueBus/TTS/时间轴/编码/质检）
   scripts/gates.py           v0.6 门禁账本 / QC 报告渲染 / 人工签核（绑内容指纹）
   scripts/stagewatch.py      v0.6 阶段新鲜度（work/manifest.json + --stage explain）
   scripts/filmcheck.py       v0.6 film.json 契约校验（未知键/枚举/跨字段）
-  scripts/render.py          编排器（13 个 stage、pil|web 双引擎、分块并行、断点续跑、母版预览、门禁账本）
-  scripts/selfcheck.py       回归自检（43 条"曾真的坏过"的断言）
+  scripts/render.py          编排器（13 个 stage、pil|web 双引擎、分块并行、断点续跑、母版预览、门禁账本；
+                             v0.8 增 --batch / --preview / --run-id / --vmaf / --no-preflight）
+  scripts/preflight.py       v0.8 渲染前资源预检（字形 / TTS 音频 / 字体 / web 入口页，门禁 G0）
+  scripts/qavmaf.py          v0.8 全片 VMAF/SSIM（参考帧由场景函数实时重渲，门禁 G11）
+  scripts/qaasr.py           v0.8 ASR 回读（成片音轨转文字对账，门禁 G12）
+  scripts/selfcheck.py       回归自检（51 条"曾真的坏过"的断言）
   scripts/sfxkit.py          物理建模音效库（24 配方，scipy 可选）
   scripts/scorekit.py        程序化配乐（和弦表 / 分段能量 / 吸气）
   scripts/webengine.py       浏览器逐帧渲染（CDP 截图、分块并行、崩溃重开、cue 导出、文字质检）
@@ -199,9 +238,11 @@ skills/video-studio/
   requirements.txt           Python 依赖（必需 / 强烈建议 / 可选三档，带注释）
   assets/film.json           剧本模板（含 bpm / music / sfx.cues / 逐句 hold；顶层 hold 可选，缺省用风格 pacing）
   assets/scenes.py           场景模板（开场 / 正文卡片 / 收尾 + cues() 钩子）
-  assets/web/                浏览器页面模板（原生 Canvas2D 确定性时间轴）
+  assets/golden_frames.json  v0.8 金帧基线（3 帧 sha256 + 字体/环境指纹，改绘制代码后重录）
+  assets/web/                浏览器页面模板（原生 Canvas2D 确定性时间轴；v0.8 读 window.__STYLE__）
 tools/ci_check.py            仓库级体检（12 项；语法/JSON/依赖白名单/打包卫生/文档引用/film 契约，不需 ffmpeg）
-tools/estimate.py            开渲前成本预演（帧数/耗时/磁盘/分块建议，--json 可机读）
+tools/estimate.py            开渲前成本预演（帧数/耗时/磁盘/分块建议，--json 可机读；v0.8 含 preflight/vmaf/asr）
+tools/golden_frames.py       v0.8 金帧像素回归（--write 重录 / --check 校验；同环境像素变了 = fail）
 tools/audio_similarity.py    音频差异/相似度验收（--strict 阈值判定，改音频代码后必跑）
 tools/selftest_noscipy.py    无 scipy 兜底路径自检（CI 用；屏蔽 scipy 后跑 sfxkit/scorekit 自检）
 schemas/film.schema.json     film.json 的契约（draft-07 子集）
@@ -213,7 +254,9 @@ schemas/film.schema.json     film.json 的契约（draft-07 子集）
 **插件运行**：Node.js ≥ 20（`package.json` 的 `engines`；这是 DSH 加载插件用的运行时，不必另装）。
 **必需**：ffmpeg + Python 的 numpy / Pillow / edge-tts。
 **可选**：cv2（编码锐度比）、scipy（音效滤波加速，缺了走 FFT 卷积）、
-playwright + Chromium/Edge（只在 `--engine web` 时需要）。
+playwright + Chromium/Edge（只在 `--engine web` 时需要）、
+faster-whisper（v0.8 的 ASR 回读门禁 G12；没装会降级到 ffmpeg whisper 滤镜，仍不可用则记 skipped）。
+v0.8 的 G11（全片 VMAF）不需要新依赖，但要求 ffmpeg 构建**带 libvmaf**（9.0.2 full_build 有）。
 不需要 moviepy / pydub / soundfile / librosa / manim——本技能一行都不 import 它们。
 
 依赖清单有机器可读的一份，别再手抄：

package/THIRD_PARTY_NOTICES.md

@@ -30,6 +30,7 @@
 | opencv-python（cv2） | 编码锐度比（Laplacian 方差） | Apache-2.0 | 可选（缺了跳过锐度门禁） |
 | scipy | sfxkit 的时间域滤波加速 | BSD-3-Clause | 可选（缺了走 FFT 卷积兜底） |
 | playwright | web 引擎驱动 Chromium/Edge | Apache-2.0 | 可选（只在 `--engine web` 时需要） |
+| faster-whisper | ASR 回读门禁（G12）把成片音轨转回文字 | MIT（模型权重另有许可，随模型分发） | 可选（缺了降级到 ffmpeg whisper 滤镜 / skipped） |
 | Chromium / Microsoft Edge | web 引擎的渲染内核 | BSD-3-Clause / 微软条款 | 可选 |
 
 **字体**：PIL 引擎使用系统自带中文字体（Windows 的 `msyh.ttc`/`msyhbd.ttc` 等），

package/index.js

@@ -68,7 +68,10 @@ export async function apply(ctx) {
   // 这里必须兜住：插件行的加载失败会让整行从 profile 里消失，而"挂不上技能"本来只是个降级。
   // （v0.7.1 之前没兜：provider 一抛错 apply 就 reject，而且一行日志都没有——stub 实测复现过。）
   try {
-    applyFilesystemProvider(ctx, {
+    // 必须 await：provider 的 apply 是 Cordis 插件函数，允许返回 Promise。
+    // 不 await 时这里的 try/catch 只能拦住同步 throw，异步 reject 会变成
+    // unhandledRejection（Node >=15 默认让进程退出），"挂不上技能只是降级"就变成崩进程。
+    await applyFilesystemProvider(ctx, {
       providerName: "video-studio",
       includeDefaultRoots: false,
       bundledSkillDir,

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "@dsh-gis/dsh-video-studio-skill",
-  "version": "0.7.2",
-  "description": "Video Studio skill plugin for DeepSeek Harness: style-pack driven code-generated Chinese videos — one style id decides palette/typography/music style/voice persona/pacing, measured TTS timeline, deterministic PIL/browser rendering, programmatic SFX and score, cue-driven sound sync, ffmpeg encoding, sample-level mixing and multi-layer QA gates.",
+  "version": "0.8.1",
+  "description": "Video Studio skill plugin for DeepSeek Harness: style-pack driven code-generated Chinese videos — one style id decides palette/typography/music style/voice persona/pacing, measured TTS timeline with word-level boundaries, deterministic PIL/browser rendering (16:9 landscape, 720p/1080p), programmatic SFX and score, cue-driven sound sync, ffmpeg encoding, sample-level mixing, batch production and multi-layer QA gates (preflight, full-film VMAF/SSIM, ASR readback).",
   "type": "module",
   "main": "index.js",
   "exports": {
@@ -24,6 +24,7 @@
     "locale/*.json",
     "docs/demo-pil-sheet.png",
     "THIRD_PARTY_NOTICES.md",
+    "CHANGELOG.md",
     "skills",
     "!skills/**/__pycache__",
     "!skills/**/*.pyc",
@@ -36,7 +37,8 @@
     "tools/estimate.py",
     "tools/ci_check.py",
     "tools/audio_similarity.py",
-    "tools/selftest_noscipy.py"
+    "tools/selftest_noscipy.py",
+    "tools/golden_frames.py"
   ],
   "publishConfig": {
     "access": "public"

package/schemas/film.schema.json

@@ -76,12 +76,16 @@
         "rate_range": {
           "type": "array",
           "description": "语速夹取区间（百分数，例如 [-15, 12]）",
-          "items": { "type": "number" }
+          "items": {
+            "type": "number"
+          }
         },
         "cps_band": {
           "type": "array",
           "description": "可接受的每秒字数区间（默认 [3.6, 5.6]）",
-          "items": { "type": "number" }
+          "items": {
+            "type": "number"
+          }
         }
       }
     },
@@ -593,6 +597,162 @@
           "description": "页面分块秒数（webengine 切块用，默认 30）"
         }
       }
+    },
+    "words": {
+      "type": "boolean",
+      "description": "v0.8 词级时间戳开关（默认 true）。true 时 --stage tts 会额外收 edge-tts 的 WordBoundary 事件落 work/words.json，字幕按词边界折行、cue 可用词锚点 l03:w2、QA 走 G10 门禁；false = 退回整句字幕（不影响出片）。"
+    },
+    "tts": {
+      "type": "object",
+      "additionalProperties": true,
+      "description": "v0.8 TTS 后端选择（接口化，默认 edge；其它后端需先 filmkit.register_tts_backend 注册）。",
+      "properties": {
+        "backend": {
+          "type": "string",
+          "description": "后端名，缺省 edge"
+        },
+        "voice": {
+          "type": [
+            "string",
+            "object"
+          ],
+          "description": "覆盖顶层 voice"
+        }
+      }
+    },
+    "video": {
+      "type": "object",
+      "additionalProperties": true,
+      "description": "v0.8 画幅/帧率（**只支持 16:9 横屏**）。内部构图恒为 1920x1080，输出只能更小（编码时 lanczos 下采样）；竖屏 / 非 16:9 / 上采样 / 非法 fps 会被 filmkit.video_plan 直接报错。",
+      "properties": {
+        "width": {
+          "type": "integer",
+          "enum": [
+            1920,
+            1280,
+            960,
+            2560
+          ],
+          "description": "输出宽（16:9 横屏）"
+        },
+        "height": {
+          "type": "integer",
+          "enum": [
+            1080,
+            720,
+            540,
+            1440
+          ],
+          "description": "输出高（16:9 横屏）"
+        },
+        "fps": {
+          "type": "integer",
+          "enum": [
+            24,
+            25,
+            30,
+            50,
+            60
+          ],
+          "description": "帧率，缺省 30"
+        }
+      }
+    },
+    "qa": {
+      "type": "object",
+      "additionalProperties": true,
+      "description": "v0.8 质检门禁参数：全片 VMAF/SSIM（G11）与 ASR 回读（G12）。",
+      "properties": {
+        "vmaf": {
+          "type": "object",
+          "additionalProperties": true,
+          "description": "全片 VMAF/SSIM 门禁（参考帧由场景函数实时渲染，不是成片抽帧）。注意：本对象里的 enabled 与 qa.require_vmaf 是**惰性键**（v0.8 起草时留下，代码无读取点），真正生效的开关是 mode=off / --vmaf off；filmcheck.py 对惰性键会报 WARN。",
+          "properties": {
+            "enabled": {
+              "type": "boolean",
+              "description": "惰性键：写它不生效（要跳过 G11 请写 mode=\"off\" 或命令行 --vmaf off）"
+            },
+            "mode": {
+              "type": "string",
+              "enum": [
+                "full",
+                "sample",
+                "off"
+              ],
+              "description": "full=逐帧（默认，约 1.2x 实时）；sample=每 N 帧取 1；off=不跑"
+            },
+            "pass": {
+              "type": "number",
+              "minimum": 0,
+              "maximum": 100,
+              "description": "VMAF 低于此值 -> fail（默认 92，权威定义在 qavmaf.py 的 VMAF_PASS；标定依据见 references/v08-quality.md）"
+            },
+            "warn": {
+              "type": "number",
+              "minimum": 0,
+              "maximum": 100,
+              "description": "介于 pass 与 warn 之间 -> pass+warning（默认 96，权威定义在 qavmaf.py 的 VMAF_WARN）"
+            },
+            "sample_step": {
+              "type": "integer",
+              "minimum": 1,
+              "description": "mode=sample 时的抽样步长"
+            }
+          }
+        },
+        "ssim": {
+          "type": "object",
+          "additionalProperties": true,
+          "description": "SSIM 阈值（诊断项，不单独阻断；默认 pass=0.95 / warn=0.98，权威定义在 qavmaf.py）",
+          "properties": {
+            "enabled": {
+              "type": "boolean",
+              "description": "惰性键：写它不生效（SSIM 本来就只是诊断项，不单独阻断）"
+            },
+            "pass": {
+              "type": "number",
+              "minimum": 0,
+              "maximum": 1
+            },
+            "warn": {
+              "type": "number",
+              "minimum": 0,
+              "maximum": 1
+            }
+          }
+        },
+        "require_vmaf": {
+          "type": "boolean",
+          "description": "惰性键：写它不生效（要强制 G11 不许记 skipped，请用 --strict-gates）"
+        },
+        "asr": {
+          "type": "object",
+          "additionalProperties": true,
+          "description": "ASR 回读门禁（把成片音轨转回文字与剧本对账）",
+          "properties": {
+            "enabled": {
+              "type": "boolean",
+              "description": "false = 本次不做回读（记 skipped）"
+            },
+            "model": {
+              "type": "string",
+              "description": "faster-whisper 模型名，缺省 small"
+            },
+            "recall_pass": {
+              "type": "number",
+              "minimum": 0,
+              "maximum": 1,
+              "description": "召回率 >= 此值算干净（默认 0.85）"
+            },
+            "recall_warn": {
+              "type": "number",
+              "minimum": 0,
+              "maximum": 1,
+              "description": "低于此值 -> fail（默认 0.72）"
+            }
+          }
+        }
+      }
     }
   },
   "additionalProperties": true