@dsh-gis/dsh-video-studio-skill 0.6.0 → 0.8.1

package/skills/video-studio/assets/scenes.py

@@ -29,6 +29,7 @@ v0.5.0 画风主题化
 """
 from __future__ import annotations
 
+import hashlib
 import math
 import os
 import sys
@@ -1055,7 +1056,57 @@ def draw_frame(scene, t_local, dur, t_global, script, frame):
     return fn(scene, t_local, dur, t_global, script, frame, plan, th)
 
 
-# ---------------- 提示点（v0.3.0，可选） ----------------
+# ---------------- 提示点（v0.3.0 起可选；v0.7 按 kind 与内容生成） ----------------
+def _sha1_int(*parts):
+    """把若干文本片段拼起来取 sha1 前 8 位（提示点"内容派生"的稳定来源）。"""
+    raw = "|".join(str(p) for p in parts).encode("utf-8")
+    return int(hashlib.sha1(raw).hexdigest()[:8], 16)
+
+
+def _item_pitch(text, base=1760.0):
+    """条目文本 -> ui_blip 音高（sha1 派生，不用序号）。
+
+    v0.7 契约 §3.4：body 条目的 pitch 必须由**条目文本**派生，不再按序号
+    （旧实现 1760+110*i 每片都一样）——同一句文案换到别的片子里仍是同一个音高，
+    不同文案落到 -5~+7 半音的不同音级；万一两条碰撞，_dedupe_segment 会再升半音。
+    """
+    off = _sha1_int("pitch", text) % 13 - 5
+    return round(float(base) * 2.0 ** (off / 12.0), 2)
+
+
+def _cue_gain_decay(gain, repeat):
+    """同段内同类型 cue 第 repeat 次重复（0 起）时的增益：每次再低 2 dB（-2/-4/-6/…）。
+
+    v0.7 契约 §3.4：不许再出现"每段都一模一样的三连击"——同类型重复必须**严格递减**
+    （第 2 次 -2、第 3 次 -4、第 4 次 -6……），且 pitch 必须不同。
+    """
+    return round(float(gain) - 2.0 * int(repeat), 2)
+
+
+def _dedupe_segment(seg):
+    """同一段内：同类型重复的 gain 递减、pitch 去重（保证"pitch 必须不同"）。
+
+    正文条目多时 sha1 可能把两条吸附到同一个半音；碰撞就把后一个再升半音——
+    仍然由文本派生，只是保证同段里不出现两个一模一样的高音（听着像卡带）。
+    """
+    seen = {}                                  # type -> {"n": 已出现次数, "pitch": 已用音高集}
+    for c in seg:
+        st = seen.setdefault(c["type"], {"n": 0, "pitch": set()})
+        if st["n"]:
+            c["gain"] = _cue_gain_decay(c.get("gain", 0.0), st["n"])
+        st["n"] += 1
+        p = c.get("pitch")
+        if p is not None:
+            p = float(p)
+            guard = 0
+            while round(p, 2) in st["pitch"] and guard < 12:
+                p *= 2.0 ** (1.0 / 12.0)
+                guard += 1
+            c["pitch"] = round(p, 2)
+            st["pitch"].add(round(p, 2))
+    return seg
+
+
 def cues(tl, script):
     """画面提示点钩子：render.py --stage cues 会调它（没有这个函数就不调）。
 
@@ -1065,7 +1116,16 @@ def cues(tl, script):
     v0.5：条目落位步长与场景绘制共用 plan["pacing"]["item_stagger"]，
     两边读同一个数，否则音效会错位（这是 v0.4 写死 0.32 留下的坑）。
 
-    返回 [{"at": 时刻, "type": 配方名, ...参数}]；
+    v0.7（references/audio-variation.md §3.4）：提示点改为按**场景 kind 与内容**生成，
+    不再是"每段 ui_blip 三连 + 结尾 answer_chime"的同质化固定套路（跨片音效雷同的
+    来源之一）：
+      hook  : 段首 impact（size 按字数 0.9~1.3）+ 落定 riser
+      body  : 条目落位 ui_blip（pitch 由条目文本 sha1 派生）+ items>=3 补 answer_chime
+              + 段尾 whoosh（转场到下一段）
+      quote : reverse_swell + 落定轻 impact
+      outro : answer_chime + 片尾 sub_drop
+    同段内同类型 cue 重复时 gain 逐次再降 2 dB（-2/-4/-6）、pitch 必须不同。
+    返回 schema 不变：[{"at": 时刻, "type": 配方名, ...参数}]；
       at 可以写 "abs:12.5" / 12.5 / "l03+0.35"（相对该段 start）/"l03"
       type 见 references/sfx-design.md 的配方表，或 sfxkit.list_recipes()
     """
@@ -1073,13 +1133,58 @@ def cues(tl, script):
     stagger = 0.32
     if not plan.get("legacy"):
         stagger = float((plan.get("pacing") or {}).get("item_stagger") or 0.32)
+    scenes = list(tl.get("scenes") or [])
     out = []
-    for s in tl["scenes"]:
-        if s.get("kind") == "body":
-            # 条目逐条落位：第一项在 0.48s 出现，之后每 stagger 秒一个（和 _draw_items 同一节拍）
-            for i, _it in enumerate(s.get("items") or []):
-                out.append({"at": "%s+%.2f" % (s["id"], 0.48 + stagger * i),
-                            "type": "ui_blip", "pitch": 1760.0 + 110.0 * i, "gain": -6})
-        if s.get("kind") == "outro":
-            out.append({"at": "%s+0.35" % s["id"], "type": "answer_chime", "gain": -4})
+    for i, s in enumerate(scenes):
+        sid = str(s.get("id") or ("l%02d" % (i + 1)))
+        kind = str(s.get("kind") or "body")
+        end = float(s.get("end") or 0.0)
+        dur = float(s.get("dur") or max(0.0, end - float(s.get("start") or 0.0)))
+        has_next = (i + 1) < len(scenes)
+        seg = []
+
+        def _at(off):
+            """本段相对时刻 -> cue 的 at 写法（id+偏移，保持返回 schema 不变）。"""
+            return "%s+%.2f" % (sid, max(0.0, float(off)))
+
+        if kind == "hook":
+            # 开场重击按文案字数给"体量"：字数越多 size 越大（0.9~1.3），避免每片同一记闷响
+            text = str(s.get("text") or s.get("big") or "")
+            n_char = len("".join(text.split()))
+            size = round(0.9 + 0.4 * min(1.0, n_char / 40.0), 2)
+            seg.append({"at": _at(0.10), "type": "impact", "size": size, "gain": -2})
+            seg.append({"at": _at(min(1.2, max(0.35, dur * 0.28))),
+                        "type": "riser", "dur": 1.2, "gain": -6})
+        elif kind == "quote":
+            # 引语段：先来一层反向渐强铺底，落定时轻一点的一击
+            seg.append({"at": _at(0.05), "type": "reverse_swell", "dur": 1.2, "gain": -5})
+            seg.append({"at": _at(min(1.4, max(0.5, dur * 0.30))),
+                        "type": "impact", "size": 0.6, "gain": -8})
+        elif kind == "outro":
+            # 收尾：答对钟声 + 片尾 sub_drop（尾巴正好落在段尾，不留半截低频）
+            seg.append({"at": _at(0.35), "type": "answer_chime", "gain": -4})
+            seg.append({"at": _at(max(0.30, dur - 1.60)),
+                        "type": "sub_drop", "dur": 1.6, "gain": -5})
+        else:
+            # body（以及 emphasis/calm 等未单独设计的 kind：按正文处理，向后兼容）
+            items = list(s.get("items") or [])
+            for j, it in enumerate(items):
+                # 条目逐条落位：第一项在 0.48s 出现，之后每 stagger 秒一个（与 _draw_items 同一拍）
+                at = 0.48 + stagger * j
+                if at > dur - 0.12:            # 极短段：放不下的条目不再排提示点（避免响到下一段）
+                    break
+                txt = it.get("text") if isinstance(it, dict) else it
+                seg.append({"at": _at(at), "type": "ui_blip",
+                            "pitch": _item_pitch(txt), "gain": -6})
+            blips = [c for c in seg if c["type"] == "ui_blip"]
+            if len(items) >= 3 and blips and dur > 0.6:
+                # 最后一个条目落定后的下一拍补一声"猜中了"，给列表收尾
+                last_at = float(blips[-1]["at"].split("+", 1)[1])
+                t_chime = min(last_at + stagger, max(last_at + 0.20, dur - 0.30))
+                seg.append({"at": _at(t_chime), "type": "answer_chime", "gain": -6})
+            if has_next and dur > 0.6:
+                # 段尾 whoosh：从本段扫进下一段（C 路会在段界附近给转场类音效让位）
+                seg.append({"at": _at(max(0.0, dur - 0.45)),
+                            "type": "whoosh", "dur": 0.9, "gain": -6})
+        out.extend(_dedupe_segment(seg))
     return out

package/skills/video-studio/assets/web/engine.js

@@ -1,8 +1,12 @@
-/* engine.js — Canvas2D 逐帧确定性动画内核（v0.3.0）
+/* engine.js — Canvas2D 逐帧确定性动画内核（v0.8.0）
  *
  * 改编自 ai-history-film（MIT）video/web/js/engine.js 的「逐帧 seek + 场景 + cue」思路，
  * 但去掉 GSAP 与 three.js，改成原生 Canvas2D + 自写缓动，不 vendor 任何三方 JS。
  *
+ * v0.8.0 新增：风格注入（window.__STYLE__）。webengine.open_page(style=...) 在页面加载前用
+ * add_init_script 写入它，本文件据此设置画布 w/h、帧率、字体栈与底色；**没有 __STYLE__ 时
+ * 所有取值退回 v0.7 常量，像素与旧版逐字节一致**（style=None 的兼容性硬要求）。
+ *
  * 核心约定：
  * - 每帧从零重画：画面只由「帧号 f」决定，同一帧号永远画同一张图（逐帧渲染可复现）。
  * - scene(id, start, dur, build)：场景 = 时间窗口 + 若干逐帧绘制回调，窗口外不执行。
@@ -13,12 +17,69 @@
 (function (global) {
   'use strict';
 
-  var W = 1920, H = 1080, FPS = 30, BG = '#0b0e14';
+  /* ---------------- v0.8.0：风格包（window.__STYLE__） ----------------
+   * 由 webengine 注入（页面自己直接打开时没有）。不注入 = 全部退回下面这行常量。
+   * 只读 payload，不在页面里做任何派生计算；同 payload 永远渲染出同一张图。 */
+  var ST = (global.__STYLE__ && typeof global.__STYLE__ === 'object') ? global.__STYLE__ : null;
+  var ST_THEME = (ST && ST.theme && typeof ST.theme === 'object') ? ST.theme : null;
+  var ST_CANVAS = (ST && ST.canvas && typeof ST.canvas === 'object') ? ST.canvas : null;
+
+  /* 页面在 engine.js 之前自己声明过的帧率（模板不声明 → null）。页面契约说
+   * "window.FPS = 页面时间轴帧率，渲染器据此算 -r / -g"，所以声明过就不能被默认 30 顶掉
+   * —— 否则 webengine 的"页面 FPS 与注入 fps 不一致就报错"永远看不到真实页面帧率。 */
+  var DECLARED_FPS = _num(global.FPS, null);
+  var W = 1920, H = 1080, BG = '#0b0e14';
+  var FPS = (DECLARED_FPS != null && DECLARED_FPS > 0) ? Math.round(DECLARED_FPS) : 30;
+  var DEFAULT_DURATION = 12.0;   // 页面没给时长时的兜底；film.js 用它区分"显式时长"与"兜底值"
   var FAMILY = '"Microsoft YaHei", "PingFang SC", "Noto Sans CJK SC", sans-serif';
   var TAU = Math.PI * 2;
 
+  function _num(v, fb) { var n = Number(v); return (v != null && isFinite(n)) ? n : fb; }
+  function _txt(v, fb) { return (typeof v === 'string' && v.length > 0) ? v : fb; }
+
   var canvas = document.getElementById('stage');
   if (!canvas) throw new Error('engine.js: 页面缺少 <canvas id="stage">');
+
+  /* 画布尺寸：只在注入 style 时改（webengine 侧已校验 16:9 横屏偶数，这里再兜一层）。
+   * 没注入时 canvas 属性 / 内联样式一个字都不动 —— 旧行为不变。 */
+  if (ST_CANVAS) {
+    var _w = Math.round(_num(ST_CANVAS.w, W)), _h = Math.round(_num(ST_CANVAS.h, H));
+    if (_w > 0 && _h > 0 && Math.abs(_w / _h - 16 / 9) > 1e-3) {
+      throw new Error('engine.js: __STYLE__.canvas 必须是 16:9 横屏，收到 ' + _w + 'x' + _h);
+    }
+    if (_w > 0 && _h > 0) {
+      W = _w; H = _h;
+      canvas.width = W;
+      canvas.height = H;
+      canvas.style.width = W + 'px';
+      canvas.style.height = H + 'px';
+      document.documentElement.style.width = W + 'px';
+      document.documentElement.style.height = H + 'px';
+      if (document.body) {
+        document.body.style.width = W + 'px';
+        document.body.style.height = H + 'px';
+      }
+    }
+    /* 帧率：只有调用方显式给了 fps 才改。帧率是 timeline 契约，不是画风 ——
+     * 不能因为注入了 style 就悄悄把页面帧率换掉（那样分块帧号会整体错位）。
+     * 页面自己声明过 window.FPS 且与注入值不一致时**不覆盖**：保留页面值，让
+     * webengine.open_page 的契约检查报出"页面 window.FPS=X 与注入的 fps=Y 不一致"。
+     * 以前这里无条件覆盖 → 页面 window.FPS 被改成注入值，那条检查永远相等，
+     * 文档承诺的"fps 不一致就报错"对 engine.js 页面从未真正触发过。 */
+    var _fps = _num(ST_CANVAS.fps, null);
+    var _declared = (DECLARED_FPS != null && DECLARED_FPS > 0) ? Math.round(DECLARED_FPS) : null;
+    if (_fps != null && _fps > 0) {
+      if (_declared != null && _declared !== Math.round(_fps)) {
+        // 保留页面声明的帧率（FPS 已在上面按 DECLARED_FPS 初始化），交给 webengine 报错
+      } else {
+        FPS = Math.round(_fps);
+      }
+    }
+  }
+
+  if (ST_THEME) BG = _txt(ST_THEME.bg, BG);
+  if (ST && ST.typography) FAMILY = _txt(ST.typography.font_stack, FAMILY);
+
   var ctx = canvas.getContext('2d', { alpha: false, desynchronized: false });
 
   /* ---------------------------------------------------------------- 数学 / 缓动 */
@@ -409,6 +470,20 @@
   function getCues() { return copySorted(cueList); }
   function getEvents() { return copySorted(eventList); }
 
+  /* 场景表推出的时间轴总长（最后一个场景的 end）。
+   * 为什么要它：页面契约里的 DURATION 必须等于真正的成片秒数，而 v0.3 的模板在 film.js
+   * 开头写死 global.DURATION = 12.0 —— 加一幕/改一幕时长后忘了同步这个常量，就会
+   * "明明改了场景、成片还是 12 秒"或者直接和 timeline.json 对不上（render.py 报
+   * 页面 DURATION 与 timeline 总时长不一致）。让 DURATION 从场景表推，就不会漏改。 */
+  function timelineEnd() {
+    var end = 0;
+    for (var i = 0; i < scenes.length; i++) {
+      var e = Number(scenes[i].start) + Number(scenes[i].dur);
+      if (isFinite(e) && e > end) end = e;
+    }
+    return Math.round(end * 1000) / 1000;
+  }
+
   /* ---------------------------------------------------------------- 逐帧渲染 */
   var currentFrame = -1;
 
@@ -467,11 +542,14 @@
   /* ---------------------------------------------------------------- 导出 */
   var FK = {
     W: W, H: H, FPS: FPS, BG: BG, TAU: TAU, FAMILY: FAMILY,
+    style: ST,                      // 注入的 __STYLE__（没有就是 null）；qa / selftest 可据此断言
+    defaultDuration: DEFAULT_DURATION,
     canvas: canvas, ctx: ctx,
     clamp: clamp, lerp: lerp, seg: seg, E: E, hash: hash, rng: rng,
     g: g,
     scene: scene, always: always, watch: watch, qaReset: qaReset,
     texts: texts, watched: watched, drawnKeys: drawnKeyList,
+    timelineEnd: timelineEnd,
     getCues: getCues, getEvents: getEvents, renderFrame: renderFrame, boot: boot,
     frame: function () { return currentFrame; }
   };
@@ -480,6 +558,6 @@
   global.renderFrame = renderFrame;
   global.getCues = getCues;
   global.getEvents = getEvents;
-  if (typeof global.DURATION === 'undefined') global.DURATION = 12.0;
+  if (typeof global.DURATION === 'undefined') global.DURATION = DEFAULT_DURATION;
   global.ready = false;
 })(window);