@remixmate/cli 0.1.1 → 0.9.1

package/skills/template-registry/scripts/registry_loader.py

@@ -1,17 +1,29 @@
 #!/usr/bin/env python3
 """
-模板 registry 加载器 - 统一抽象本地文件 / HTTP API 两种数据源。
+模板 registry 加载器 - 单一数据源（ab-api HTTP）。
 
 为什么独立成一个模块：
   template-registry、render-video 等多个 skill 都要读 registry，集中在一处便于：
     - 缓存策略一致（HTTP 拉取 5 分钟 TTL + ETag 复用）
-    - 解析顺序一致（环境变量 → 本地文件 → monorepo 回退）
-    - 错误降级一致（HTTP 故障时复用上一次缓存）
+    - 错误降级一致（HTTP 故障时复用上一次磁盘缓存）
 
-环境变量解析优先级（高 → 低）：
-  1. VIDEO_TEMPLATE_REGISTRY        显式本地文件路径（CI / 调试）
-  2. VIDEO_TEMPLATE_REGISTRY_URL    HTTP API（生产，多租户由 ab-api 鉴权过滤）
-  3. monorepo 默认回退               <repo>/template-library/packages/metadata/registry.json
+单一数据源（设计取舍）：
+  registry 只从 ab-api HTTP 接口加载，避免「本地文件 / monorepo 源码 / 数据库」
+  多源并存导致的不一致 —— 私有 / 多租户模板只存在于 ab-api，本地源永远不全。
+
+  URL 解析：
+    1. 显式 VIDEO_TEMPLATE_REGISTRY_URL（若设置则直接用）
+    2. 否则按 CLI 后端约定推导：
+         <MM_API_BASE_URL>/remotionTemplate/registry
+       MM_API_BASE_URL 默认 http://localhost:2999/api（与 src/http.ts 一致），
+       兼容 ab-agent 注入的 MM_BACKEND_API_URL。默认值内置在 CLI 自身，独立安装
+       （codex / npm i -g）开箱即用，无需宿主在 spawn 时注入。
+
+  鉴权：PRIV_TOKEN（env）或 ~/.config/remixmate/credentials.json（同源条目）。
+
+  monorepo / 显式本地文件等其它来源已**移除**。需要离线 / pinned 数据的维护脚本
+  （check_contracts.py / sync_registry.py）直接走 template_paths 读 monorepo，
+  那是 monorepo-only 工具，不是运行时数据源。
 
 P1.2 — list/detail split (待后端就绪)：
   100+ 模板时 ``GET /api/template/list`` 应该只返摘要（id / name / aspects /
@@ -21,14 +33,6 @@ P1.2 — list/detail split (待后端就绪)：
   改成「先拉摘要,触发 ``get_template`` 时再补全」,公共 API 不变。
   调用方今天用 ``get_template(id)`` / ``list_templates()`` 已经是按需消费的形态,
   迁移时不需要改任何 caller。
-
-本地 dev 调试开关：
-  VIDEO_TEMPLATE_REGISTRY_PREFER_LOCAL=1
-    将 monorepo registry.json 提到 #2 之前 —— 即"软优先"语义：
-      - monorepo 文件存在 → 用本地源码（与 template-library 改动严格一致）
-      - monorepo 文件不存在 → 自动落到 HTTP API，行为与未开启此开关时一致
-    设计意图：让本地开发避开"数据库 template_json 与 template-library 源码不一致"
-    导致的渲染问题，同时不破坏在容器/CI 中错误启用此开关时的鲁棒性。
 """
 
 from __future__ import annotations
@@ -43,8 +47,7 @@ import urllib.error
 import urllib.request
 from functools import lru_cache
 from typing import Optional
-
-from template_paths import monorepo_registry_path
+from urllib.parse import urlparse
 
 __all__ = [
     "load_registry_data",
@@ -67,14 +70,28 @@ _CACHE_DIR = os.environ.get(
 )
 
 
-def _monorepo_fallback_path() -> str:
-    """monorepo 内 registry.json 的路径（仅 dev / 本地单仓部署用）。
+# CLI 默认后端 base，与 remixmate-cli/src/http.ts 的 DEFAULT_API_BASE_URL 保持一致。
+_DEFAULT_API_BASE_URL = "http://localhost:2999/api"
+
 
-    路径解析现已统一到 ``template_paths.monorepo_registry_path``;
-    本函数保留只是为了让模块内其它函数（``_load_from_url`` 的兜底分支）
-    继续按既有名字调用。
+def _default_registry_url() -> str:
+    """未显式配置 VIDEO_TEMPLATE_REGISTRY_URL 时，推导默认 ab-api registry endpoint。
+
+    默认值内置在 CLI 自身（而非依赖 ab-agent 等宿主在 spawn 时注入），这样
+    ``remixmate-cli`` 独立安装（codex / ``npm i -g``）也能开箱即用。
+
+    base 解析顺序与 CLI / ab-agent 对齐：
+      MM_API_BASE_URL（CLI ``src/http.ts`` 约定）
+        → MM_BACKEND_API_URL（ab-agent 约定，向后兼容）
+        → http://localhost:2999/api（本地 dev 兜底）
+    路径段固定为 ``/remotionTemplate/registry``（POST，返回 ``{code,msg,data}``）。
     """
-    return monorepo_registry_path()
+    base = (
+        os.environ.get("MM_API_BASE_URL", "").strip()
+        or os.environ.get("MM_BACKEND_API_URL", "").strip()
+        or _DEFAULT_API_BASE_URL
+    ).rstrip("/")
+    return f"{base}/remotionTemplate/registry"
 
 
 def _cache_path_for(url: str) -> str:
@@ -110,6 +127,60 @@ def _write_cached(cache_file: str, payload: dict) -> None:
         raise
 
 
+# ── PrivToken 解析（env → 凭证库回退）──────────────────────────────────────
+#
+# 与 CLI 的 resolve.ts 共享同一优先级与同一凭证文件路径（Req 7.5）。Python 侧只读
+# 文件存储（不读 keychain —— keychain 由 CLI 写/读，Python 用纯 stdlib 不引依赖）。
+
+def _credentials_file_path() -> str:
+    """凭证文件路径，与 CLI credential-store.ts 的 CRED_FILE 保持一致。"""
+    return os.path.join(os.path.expanduser("~"), ".config", "remixmate", "credentials.json")
+
+
+def _origin(url: str) -> tuple:
+    p = urlparse(url)
+    return (p.scheme, p.hostname, p.port)
+
+
+def _priv_token_from_credential_store(url: str) -> str:
+    """从 ~/.config/remixmate/credentials.json 取与 url 同源的 PrivToken。
+
+    匹配顺序：① 与 registry URL 同源（scheme/host/port）的条目；② 仅有单条目时直接用。
+    secret=='keychain' 的条目跳过（Python 无法读取 keychain）。任何异常静默返回空串。
+    """
+    try:
+        with open(_credentials_file_path(), encoding="utf-8") as f:
+            doc = json.load(f)
+    except (OSError, json.JSONDecodeError):
+        return ""
+    creds = doc.get("credentials") if isinstance(doc, dict) else None
+    if not isinstance(creds, dict) or not creds:
+        return ""
+
+    target = _origin(url)
+    for base_url, entry in creds.items():
+        if not isinstance(entry, dict) or entry.get("secret") == "keychain":
+            continue
+        if _origin(base_url) == target:
+            tok = str(entry.get("privToken") or "").strip()
+            if tok:
+                return tok
+    # 单条目兜底：CLI 通常只登录一个后端。
+    if len(creds) == 1:
+        entry = next(iter(creds.values()))
+        if isinstance(entry, dict) and entry.get("secret") != "keychain":
+            return str(entry.get("privToken") or "").strip()
+    return ""
+
+
+def _resolve_priv_token(url: str) -> str:
+    """PrivToken 解析：环境变量优先，空则回退凭证库（与 CLI 一致的优先级）。"""
+    env = os.environ.get("PRIV_TOKEN", "").strip()
+    if env:
+        return env
+    return _priv_token_from_credential_store(url)
+
+
 def _fetch_http(url: str, timeout: int) -> dict:
     """执行 HTTP 请求，自动加 X-Priv-Token / If-None-Match 头。
 
@@ -127,7 +198,7 @@ def _fetch_http(url: str, timeout: int) -> dict:
     headers = {"Accept": "application/json"}
     if method == "POST":
         headers["Content-Type"] = "application/json"
-    if token := os.environ.get("PRIV_TOKEN", "").strip():
+    if token := _resolve_priv_token(url):
         headers["X-Priv-Token"] = token
     if cached and (etag := cached.get("etag")):
         headers["If-None-Match"] = etag
@@ -166,10 +237,8 @@ def _fetch_http(url: str, timeout: int) -> dict:
 
 
 def _load_from_url(url: str, ttl: int, timeout: int) -> dict:
-    """先看缓存是否在 TTL 内；超期则远程拉取，失败时按以下顺序降级：
-       1. HTTP 缓存（fetchedAt 之后的最后一份成功响应）
-       2. monorepo 本地 registry.json（仅本地 dev 时存在）
-       3. 都没有则抛错
+    """先看缓存是否在 TTL 内；超期则远程拉取。失败时降级到磁盘缓存（同一 URL
+    上一份成功响应），无缓存则抛错 —— 不再回退本地文件 / monorepo，保证单一数据源。
     """
     cache_file = _cache_path_for(url)
     cached = _read_cached(cache_file)
@@ -181,38 +250,20 @@ def _load_from_url(url: str, ttl: int, timeout: int) -> dict:
     try:
         return _fetch_http(url, timeout)
     except Exception as exc:
-        # 1. HTTP 故障时降级：有缓存就继续用，写日志告警
+        # HTTP 故障时降级：有磁盘缓存就继续用（同一数据源的容错，不是第二个源）
         if cached:
             print(
                 f"⚠️  registry HTTP 拉取失败，降级使用本地缓存: {exc}",
                 file=sys.stderr,
             )
             return cached["data"]
-        # 2. 没缓存再尝试 monorepo fallback（本地 dev / 单仓库部署时这条路一定通）
-        fallback = _monorepo_fallback_path()
-        if os.path.exists(fallback):
-            print(
-                f"⚠️  registry HTTP 拉取失败且无 HTTP 缓存，降级使用 monorepo registry: {exc}",
-                file=sys.stderr,
-            )
-            return _load_from_file(fallback)
-        # 3. 都没有，向上抛
         raise RuntimeError(
-            f"registry HTTP 拉取失败且无可用缓存 / 本地 fallback: {url} ({exc})"
+            f"registry HTTP 拉取失败且无可用缓存: {url} ({exc})。"
+            f" 请确认 ab-api 可达、VIDEO_TEMPLATE_REGISTRY_URL / MM_API_BASE_URL"
+            f" 配置正确，并已设置有效 PRIV_TOKEN。"
         ) from exc
 
 
-def _load_from_file(path: str) -> dict:
-    """从本地文件加载并解析 registry.json。"""
-    with open(path, "r", encoding="utf-8") as f:
-        return json.load(f)
-
-
-def _truthy(value: str) -> bool:
-    """统一解析布尔型环境变量：1 / true / yes / on（大小写不敏感）。"""
-    return value.strip().lower() in ("1", "true", "yes", "on")
-
-
 def load_registry_data(
     *,
     ttl_seconds: int = _DEFAULT_TTL_SECONDS,
@@ -220,56 +271,21 @@ def load_registry_data(
 ) -> dict:
     """加载 registry 完整文档（含 version / generatedAt / templates）。
 
-    解析顺序：
-      1. 环境变量 VIDEO_TEMPLATE_REGISTRY 指定的本地文件
-      2. 若 VIDEO_TEMPLATE_REGISTRY_PREFER_LOCAL 开启且 monorepo registry 存在，先走本地
-      3. 环境变量 VIDEO_TEMPLATE_REGISTRY_URL 指定的 HTTP API（带缓存）
-      4. monorepo 默认回退（仅本地 dev 有效）
-
-    任何来源都返回相同形状的 dict，调用方按 `data.get("templates", [])` 取列表。
+    单一数据源：ab-api HTTP。URL 取显式 ``VIDEO_TEMPLATE_REGISTRY_URL``，
+    未设置则按 ``MM_API_BASE_URL`` 推导（见 ``_default_registry_url``）。
+    带磁盘缓存（TTL + ETag/304），返回 ``data.get("templates", [])`` 形状的 dict。
     """
-    if explicit_path := os.environ.get("VIDEO_TEMPLATE_REGISTRY", "").strip():
-        print(f"[registry_loader] using explicit file: {explicit_path}", file=sys.stderr)
-        return _load_from_file(explicit_path)
-
-    prefer_local = _truthy(os.environ.get("VIDEO_TEMPLATE_REGISTRY_PREFER_LOCAL", ""))
-    fallback = _monorepo_fallback_path()
-
-    if prefer_local and os.path.exists(fallback):
+    url = os.environ.get("VIDEO_TEMPLATE_REGISTRY_URL", "").strip()
+    if url:
+        print(f"[registry_loader] using HTTP registry: {url}", file=sys.stderr)
+    else:
+        url = _default_registry_url()
         print(
-            f"[registry_loader] PREFER_LOCAL=1, using monorepo registry: {fallback}",
+            f"[registry_loader] VIDEO_TEMPLATE_REGISTRY_URL unset; using derived"
+            f" default URL: {url}",
             file=sys.stderr,
         )
-        return _load_from_file(fallback)
-
-    if url := os.environ.get("VIDEO_TEMPLATE_REGISTRY_URL", "").strip():
-        if prefer_local:
-            # 走到这里说明开启了 PREFER_LOCAL 但 monorepo 文件不存在 —— 例如容器里
-            # 误启用此开关。给出明确告警，避免使用者以为还在用本地源码。
-            print(
-                f"[registry_loader] PREFER_LOCAL=1 but monorepo registry not found"
-                f" ({fallback}), falling back to HTTP: {url}",
-                file=sys.stderr,
-            )
-        else:
-            print(f"[registry_loader] using HTTP registry: {url}", file=sys.stderr)
-        return _load_from_url(url, ttl=ttl_seconds, timeout=http_timeout)
-
-    # 第 ③ 级：monorepo 相对路径兜底。仅在该文件【实际存在】时生效
-    # （私有 monorepo 本地源码可见的场景）。独立开源仓库 clone / npm 安装
-    # 后该路径不存在，这里静默跳过，不抛错、不中断，落到下方的可理解失败。
-    if os.path.exists(fallback):
-        print(
-            f"[registry_loader] using monorepo registry (default fallback): {fallback}",
-            file=sys.stderr,
-        )
-        return _load_from_file(fallback)
-
-    raise RuntimeError(
-        "找不到模板 registry。请设置 VIDEO_TEMPLATE_REGISTRY_URL（ab-api HTTP 接口）"
-        " 并配置有效的 PRIV_TOKEN，或用 VIDEO_TEMPLATE_REGISTRY 指向一份本地"
-        " registry.json。（monorepo 内本地源码可见时会自动走 template-library 兜底。）"
-    )
+    return _load_from_url(url, ttl=ttl_seconds, timeout=http_timeout)
 
 
 # ════════════════════════════════════════════════════════════════════════════
@@ -291,6 +307,11 @@ _DEFAULT_STATUS = "stable"
 _BETA_GATE_ENV = "ENABLE_BETA_TEMPLATES"
 
 
+def _truthy(value: str) -> bool:
+    """统一解析布尔型环境变量：1 / true / yes / on（大小写不敏感）。"""
+    return value.strip().lower() in ("1", "true", "yes", "on")
+
+
 def _truthy_env(name: str) -> bool:
     return _truthy(os.environ.get(name, ""))
 

package/skills/template-registry/scripts/render_job_client.py

@@ -136,6 +136,18 @@ def get_job(job_id: int, priv_token: str) -> dict:
     return _post("/renderJob/get", {"jobId": job_id}, priv_token)
 
 
+def presign_template_source(template_key: str, priv_token: str) -> dict:
+    """
+    为已注册私有模板的源码包申请临时 GET 下载 URL（渲染取包用）。
+
+    调 ab-api /remotionTemplate/presignSource，返回 { tarballUrl, sourceOssKey, version }。
+    ab-render 用 tarballUrl 走 /renderDraft 动态 bundle 渲染。
+
+    注意：presignSource 端点不在 /renderJob 下，路径以 / 开头直接拼到 _api_base。
+    """
+    return _post("/remotionTemplate/presignSource", {"templateKey": template_key}, priv_token)
+
+
 # ─── CLI self-test ────────────────────────────────────────────────────────────
 
 if __name__ == "__main__":

package/skills/template-registry/skill.json

@@ -2,19 +2,21 @@
   "name": "template-registry",
   "toolName": "template_registry",
   "tier": "orchestration",
+  "category": "authoring",
   "title": "Video Template Registry",
   "description": "List all available video templates (templateId / name / aspect ratio / style tags). Template-to-DSL binding is no longer exposed as a separate step — once prepare_video_assets receives a template_id it runs the full DSL→RenderPlan pipeline internally.",
-  "envVars": ["PRIV_TOKEN", "VIDEO_TEMPLATE_REGISTRY", "VIDEO_TEMPLATE_REGISTRY_URL", "VIDEO_TEMPLATE_REGISTRY_HTTP_METHOD"],
+  "envVars": ["PRIV_TOKEN", "VIDEO_TEMPLATE_REGISTRY_URL", "MM_API_BASE_URL", "VIDEO_TEMPLATE_REGISTRY_HTTP_METHOD"],
   "entry": { "type": "python", "scriptPath": "scripts/list_templates.py" },
   "parameters": {
     "type": "object",
     "properties": {
       "list_templates": { "type": "boolean", "description": "List available templates (default behavior; also implied when other flags are passed)." },
+      "list_examples": { "type": "boolean", "description": "List the *.dsl.json / *.binding.json reference examples shipped under template-registry/video_dsl/schema/examples/, grouped by templateId. Useful for downstream agents (e.g. a creation agent) that want to read a template's reference shape before producing new DSL." },
       "filter_tag": { "type": "string", "description": "Show only templates whose styleTags contain (or are contained in) this string. Case-insensitive. E.g. 'tech' / '科普' / 'walkthrough'." },
       "filter_aspect": { "type": "string", "description": "Show only templates that declare this aspect ratio. E.g. '9:16' / '16:9' / '1:1'." },
       "filter_language": { "type": "string", "description": "Show only templates whose contentLanguage includes this code ('zh' or 'en'). Templates with no declared language are always shown (treated as language-agnostic)." },
       "include_beta": { "type": "boolean", "description": "Also list templates with status='beta'. Default off (only 'stable' shows). The ENABLE_BETA_TEMPLATES env var has the same effect process-wide." },
-      "json_output": { "type": "boolean", "description": "Emit a JSON result ({ templates: [...] }) instead of the human-readable table." }
+      "json_output": { "type": "boolean", "description": "Emit a JSON result ({ templates: [...] } or { examples: [...] }) instead of the human-readable table." }
     },
     "required": []
   }

package/skills/template-registry/version.json

@@ -2,6 +2,6 @@
   "skillName": "template-registry",
   "repoName": "agent-skill-media-maker",
   "skillId": "475",
-  "version": "V12",
+  "version": "V13",
   "skillDescription": "视频模板仓库（列表查询）。存储所有视频模板定义，对外只暴露「列出可用模板」一个能力；DSL→TemplateBinding 的绑定逻辑已内嵌进 prepare-video-assets，不再作为独立步骤暴露。同时是跨 skill 共享 Python 库（registry_loader / match_template / template_paths / video_dsl 等）的存放位置。\n\n当用户提到以下任何需求时，立即使用本 skill：\n- 查看可用模板、列出所有模板"
 }

package/skills/template-registry/video_dsl/runtime/dsl_validator.py

@@ -17,7 +17,7 @@ DSL 校验器 - 对 Video DSL v1alpha1 做结构校验与标准化。
 ``lineSyncSlides`` 注册表查询、items 数对齐、模板专属语言约束等代码在三份
 之间已经静默漂移。统一到本文件后，所有维度只有一份实现。所有模板差异通过
 ``template.json`` 的 ``capabilities`` 字段声明，本文件读取并应用 —— 新增需要特殊
-处理的模板时**不需要再改 ab-skill 代码**。
+处理的模板时**不需要再改 remixmate 代码**。
 """
 
 import re
@@ -93,7 +93,7 @@ def _line_sync_slides_for_template(template_id: Optional[str]) -> dict[str, str]
     """Look up ``lineSyncSlides`` for a template from registry.json.
 
     新增多项卡片幻灯片只需在 template.json 加一行 ``lineSyncSlides[slideId] = key``，
-    不再需要改 ab-skill。registry 读取失败（环境缺 registry_loader、HTTP 不通等）
+    不再需要改 remixmate。registry 读取失败（环境缺 registry_loader、HTTP 不通等）
     时返回空 dict，调用方将跳过相关校验。
 
     O(1) lookup via ``registry_loader.get_template``; safe to call once per

package/skills/video-parser/skill.json

@@ -2,6 +2,7 @@
   "name": "video-parser",
   "toolName": "video_parser",
   "tier": "tool",
+  "category": "consuming",
   "title": "Video Deconstruction",
   "description": "Video deconstruction: split a video into reusable assets (audio extraction, ASR transcript, keyframe extraction, scene segmentation).",
   "envVars": ["RENDER_API_URL", "PRIV_TOKEN", "CONVERSATION_ID"],

package/skills/web-capture/skill.json

@@ -2,11 +2,11 @@
   "name": "web-capture",
   "toolName": "web_capture",
   "tier": "tool",
+  "category": "consuming",
   "title": "Web Page Capture",
   "description": "Drive a headless browser (Playwright Python) to capture any URL to local files: full-page / element / region screenshots, fixed-duration / condition-triggered / auto-scroll recordings, and storyboard videos (highlight / focus / zoom / scroll / virtual-cursor click / caption / title-card / arrow / numbered sequence / redact / code-line highlight). Two entry scripts: scripts/screenshot.py (stills) and scripts/record.py (webm video, storyboards, templates).",
   "envVars": ["WEB_CAPTURE_BROWSER", "WEB_CAPTURE_OUTPUT_BASE", "WEB_CAPTURE_NO_SANDBOX", "WEB_CAPTURE_ALLOW_PRIVATE_HOSTS", "PLAYWRIGHT_BROWSERS_PATH"],
   "entry": { "type": "python", "scriptPath": "scripts/screenshot.py" },
-  "scriptPath": "scripts/screenshot.py",
   "parameters": {
     "type": "object",
     "properties": {

package/skills/web-capture/version.json

@@ -2,6 +2,6 @@
   "skillName": "web-capture",
   "repoName": "agent-skill-media-maker",
   "skillId": "555",
-  "version": "V3",
+  "version": "V4",
   "skillDescription": "网页截屏 / 录屏 / 分镜视频技能，基于 Playwright Python，对任意 URL 落盘到本地。支持整页 / 元素 / 区域截屏、固定时长 / 条件触发 / 自动滚动录屏、分镜视频（高亮 / 聚焦 / 放大 / 滚动 / 虚拟光标点击 / 字幕 / 标题卡 / 箭头 / 编号序列 / 打码 / 代码行高亮）以及参数化模板。两个入口脚本：scripts/screenshot.py（截图）与 scripts/record.py（webm 录屏 / storyboard / 模板）。\n\n当用户提到网页截图、整页 / 长截图、元素 / 区域截屏、录屏、滚动录屏、分镜 / storyboard 视频、虚拟光标点击 / 输入 / 悬停演示、加箭头 / 字幕 / 标题卡 / 编号高亮、隐藏或打码敏感信息、代码行高亮、移动端模拟、带登录态截屏 / 录屏等需求时，立即使用本 skill。"
 }