yuanflow-cli 0.1.37 → 0.1.40

package/skills/yuanflow-skill//350/247/206/351/242/221/346/231/272/350/203/275/345/211/252/350/276/221/SKILL.md

@@ -0,0 +1,374 @@
+---
+name: 视频智能剪辑
+description: "用于把主音频、文案、B-roll 视频或图片素材组合成可解释的智能剪辑项目。执行前先查询自媒体知识库中的视频剪辑策略规则，再用音视频在线转文字取得 ASR/时间戳，导入音频对齐，按 1秒1帧抽帧并回写视觉理解，由 Agent 生成 EDL，交给 yuanflow-cli video 校验和渲染。"
+metadata:
+  builtin_skill_version: "1.0.1"
+  yuanflow:
+    emoji: "🎬"
+    requires:
+      ffmpeg: true
+tags:
+  - creator
+  - video
+  - editing
+  - broll
+---
+
+# 视频智能剪辑技能
+
+当用户要求自动剪辑、智能剪辑、用口播音频匹配画面、把 B-roll 素材配成视频、重排视频画面、生成预览剪辑或导出成片时，使用本 Skill。
+
+## 规则库优先
+
+视频剪辑策略不写死在本 Skill 里。接到视频剪辑任务后，先调用“自媒体知识库”能力查询 `视频剪辑策略`，再执行剪辑。
+
+推荐查询顺序：
+
+1. 先用 `knowledge entry` 建立任务入口，`domain` 填 `视频剪辑`，`content_goal` 写清本次剪辑目标。
+   - 查询时，必须先明确用户具体需求，然后从知识库的一级能力开始，依次使用渐进式查询。不能跳级、跨越式查询。
+2. 再用 `knowledge packs --capability-code video_editing_strategy` 查看视频剪辑策略下的方法包。
+3. 必查 `video_edit_logic_layer_pack`，获得通用剪辑逻辑层规则。
+4. 如果任务是口播、旁白、主音频驱动，查询 `talking_head_edit_template_pack`。
+5. 如果任务是带货、种草、产品转化，查询 `short_video_sales_edit_template_pack`。
+6. 必查 `video_cli_validation_render_pack`，获得 EDL 校验、预览、自检和基础渲染规则。
+7. 读取每个规则包下的 `rules` 或 `rule-detail` 后，再生成 timeline plan / EDL。
+
+YuanFlow 主程序内优先用 `yuanflow_cli_call` 调用知识库，不要让用户手动提供 token：
+
+```json
+{
+  "args": [
+    "knowledge",
+    "entry",
+    "--domain",
+    "视频剪辑",
+    "--content-goal",
+    "口播视频剪辑，需要主音频匹配 B-roll 并生成 EDL",
+    "--communication-mode",
+    "口播",
+    "--output-format",
+    "video_edit_plan",
+    "--format",
+    "agent-json"
+  ]
+}
+```
+
+查询规则包示例：
+
+```json
+{
+  "args": [
+    "knowledge",
+    "rules",
+    "--pack-code",
+    "video_edit_logic_layer_pack",
+    "--domain",
+    "视频剪辑",
+    "--content-goal",
+    "口播视频剪辑，需要主音频匹配 B-roll 并生成 EDL",
+    "--output-format",
+    "video_edit_plan",
+    "--format",
+    "agent-json"
+  ]
+}
+```
+
+如果知识库暂时不可用，要明确说明规则库查询失败，再按本 Skill 的基础版流程兜底执行；不能假装已经读取了规则库。
+
+### 保存策略快照
+
+人工测试或 Agent 执行时，把知识库查询结果保存为 JSON 文件后，导入剪辑项目：
+
+```bash
+yuanflow-cli video strategy \
+  --project "D:\素材\yuanflow-video-edit" \
+  --template-type talking_head \
+  --rules-file "D:\规则\logic.json,D:\规则\talking_head.json,D:\规则\cli.json" \
+  --format agent-json
+```
+
+`--template-type` 可用：
+
+- `talking_head`：口播/旁白/主音频驱动。
+- `short_video_sales`：短视频带货/种草/产品转化。
+
+CLI 会生成 `strategy_snapshot.json`，后续 Agent 必须基于这个快照生成 `timeline_plan.agent.json` 和 EDL。
+
+## 基础版边界
+
+基础版必须支持“主音频 + B-roll 素材匹配”：
+
+- 主音频可以是口播、旁白或已经录好的音频。
+- B-roll 可以是视频或图片素材。
+- 第一版音频对齐优先使用“音视频在线转文字”Skill 的 ASR 时间戳结果；如果 ASR 没有时间戳，使用 forced alignment 或人工按文案切分，不编造时间戳。
+- 第一版视觉理解不调用固定视觉模型，使用 `yuanflow-cli video timeline --fps 1` 按 1秒1帧抽帧。
+- Agent 或人工需要查看抽帧结果，判断每段画面的语义、主体、动作和适合承接的文案，再用 `video visual-review` 回写结构化视觉描述。
+- 第一版 `video plan` 不自动生成 EDL，由 Agent 生成 EDL 后交给 CLI 校验和渲染。
+
+## 执行原则
+
+- 不要直接手写随意 ffmpeg 命令完成剪辑。
+- 不要把素材目录当输出目录乱写文件。
+- 所有中间产物进入独立剪辑项目目录。
+- 每个 EDL 片段必须有 `reason`，说明为什么选这段画面。
+- 如果素材无法支撑文案，要明确报告缺少素材，不要硬凑。
+- 在 YuanFlow 主程序内优先调用 `yuanflow_cli_call`，外部 Agent 才直接运行本地 `yuanflow-cli`。
+
+## YuanFlow 主程序内调用
+
+使用 `yuanflow_cli_call` 时，参数数组不要包含 token：
+
+```json
+{
+  "args": [
+    "video",
+    "init",
+    "--input",
+    "D:\\素材",
+    "--primary-audio",
+    "D:\\素材\\口播.mp3",
+    "--broll",
+    "D:\\素材\\素材1.mp4,D:\\素材\\素材2.mp4",
+    "--target-duration",
+    "60",
+    "--aspect",
+    "9:16",
+    "--format",
+    "agent-json"
+  ]
+}
+```
+
+## 标准流程
+
+### 1. 初始化项目
+
+```bash
+yuanflow-cli video init \
+  --input "D:\素材" \
+  --primary-audio "D:\素材\口播.mp3" \
+  --broll "D:\素材\素材1.mp4,D:\素材\素材2.mp4" \
+  --target-duration 60 \
+  --aspect 9:16 \
+  --format agent-json
+```
+
+### 2. 扫描素材
+
+```bash
+yuanflow-cli video inspect --project "D:\素材\yuanflow-video-edit" --format agent-json
+```
+
+如果只是验证命令结构，可以加 `--dry-run`。
+
+### 3. 音频对齐
+
+主音频驱动的剪辑必须先建立音频时间轴。优先使用“音视频在线转文字”Skill 调用在线 ASR；如果 ASR 返回 `segments` / `words` 时间戳，保存为 JSON 后导入：
+
+```bash
+yuanflow-cli video align \
+  --project "D:\素材\yuanflow-video-edit" \
+  --asr-file "D:\素材\asr.json" \
+  --format agent-json
+```
+
+如果 ASR 只返回纯文本，没有时间戳：
+
+- 先明确说明缺少时间戳。
+- 可用 forced alignment 或人工按文案切分生成 `segments`。
+- 只有在用户允许“粗对齐”时，才能按文本段落和音频总时长均分兜底。
+
+`video align` 会生成：
+
+- `audio_alignment.json`
+- 带 `start_s / end_s` 的 `beats.json`
+
+### 4. 生成 1秒1帧时间线
+
+```bash
+yuanflow-cli video timeline \
+  --project "D:\素材\yuanflow-video-edit" \
+  --fps 1 \
+  --format agent-json
+```
+
+CLI 会生成：
+
+- `frames_manifest.json`
+- `visual_segments.json`
+- `frames/<asset_id>/frame_000001.jpg` 等抽帧图片
+
+Agent 必须基于这些抽帧图片判断画面，不要凭文件名猜。
+
+### 5. 视觉理解回写
+
+Agent 或人工查看抽帧图片后，先写出 `visual_review.agent.json`，不要直接跳到 EDL。基础格式：
+
+```json
+{
+  "version": 1,
+  "reviews": [
+    {
+      "segment_id": "vis_0001",
+      "description": "产品近景，手持展示刷头。",
+      "subjects": ["产品", "手"],
+      "scene": "厨房水槽",
+      "motion": "展示",
+      "semantic_tags": ["product_closeup", "kitchen"],
+      "quality_score": 0.88
+    }
+  ]
+}
+```
+
+导入视觉理解：
+
+```bash
+yuanflow-cli video visual-review \
+  --project "D:\素材\yuanflow-video-edit" \
+  --review-file "D:\素材\yuanflow-video-edit\visual_review.agent.json" \
+  --format agent-json
+```
+
+CLI 会生成或更新：
+
+- `visual_understanding.json`
+- 带结构化描述的 `visual_segments.json`
+
+### 6. Agent 生成 timeline_plan 和 EDL
+
+Agent 读取：
+
+- `project.json`
+- `assets.json`
+- `audio_alignment.json`
+- `beats.json`
+- `visual_segments.json`
+- `visual_understanding.json`
+- `strategy_snapshot.json`
+- 抽帧图片
+
+然后先写出 `timeline_plan.agent.json`。基础格式：
+
+```json
+{
+  "version": 1,
+  "template_type": "talking_head",
+  "beats": [
+    {
+      "beat_id": "beat_001",
+      "text": "先看这个问题到底卡在哪里",
+      "selected_segment_id": "vis_0001"
+    }
+  ],
+  "matches": [
+    {
+      "beat_id": "beat_001",
+      "segment_id": "vis_0001",
+      "score": 0.82,
+      "reason": "画面展示操作场景，能承接开头问题。"
+    }
+  ],
+  "material_gaps": [],
+  "edl": {
+    "version": 1,
+    "audio": {
+      "source": "asset_001",
+      "mode": "primary_audio"
+    },
+    "ranges": [
+      {
+        "source": "asset_002",
+        "start": 0,
+        "end": 3,
+        "output_start": 0,
+        "beat_id": "beat_001",
+        "reason": "画面展示操作场景，能承接开头问题。"
+      }
+    ],
+    "total_duration_s": 60
+  }
+}
+```
+
+如果需要单独写 EDL，也可以写出 `edl.agent.json`：
+
+```json
+{
+  "version": 1,
+  "audio": {
+    "source": "asset_001",
+    "mode": "primary_audio"
+  },
+  "ranges": [
+    {
+      "source": "asset_002",
+      "start": 0,
+      "end": 3,
+      "output_start": 0,
+      "beat_id": "beat_001",
+      "reason": "画面展示操作场景，能承接开头问题。"
+    }
+  ],
+  "total_duration_s": 60
+}
+```
+
+### 7. 校验 EDL
+
+```bash
+yuanflow-cli video plan \
+  --project "D:\素材\yuanflow-video-edit" \
+  --timeline-plan "D:\素材\yuanflow-video-edit\timeline_plan.agent.json" \
+  --format agent-json
+```
+
+如果 EDL 没有内嵌在 `timeline_plan.agent.json`，再额外传入：
+
+```bash
+yuanflow-cli video plan \
+  --project "D:\素材\yuanflow-video-edit" \
+  --timeline-plan "D:\素材\yuanflow-video-edit\timeline_plan.agent.json" \
+  --edl "D:\素材\yuanflow-video-edit\edl.agent.json" \
+  --format agent-json
+```
+
+只有校验通过后，才允许渲染。
+
+### 8. 渲染预览和自检
+
+```bash
+yuanflow-cli video render-preview --project "D:\素材\yuanflow-video-edit" --format agent-json
+yuanflow-cli video evaluate --project "D:\素材\yuanflow-video-edit" --file "D:\素材\yuanflow-video-edit\preview.mp4" --format agent-json
+```
+
+### 9. 最终导出
+
+```bash
+yuanflow-cli video render-final --project "D:\素材\yuanflow-video-edit" --format agent-json
+```
+
+完成后在 YuanFlow 主程序内必须调用 `artifact_files_register` 登记 `final.mp4`、`edl.json` 和 `eval_report.json`，不要只告诉用户内部路径。
+
+## EDL 判断要求
+
+Agent 生成 EDL 时必须检查：
+
+- 画面是否支撑当前文案 beat。
+- 是否存在更合适的 B-roll 片段。
+- 同一个片段是否重复过多。
+- 画面是否明显跳跃、黑屏、晃动或无关。
+- 每个片段是否有明确 `reason`。
+- 无法匹配时要写明缺素材，不要硬剪。
+
+## 输出给用户
+
+最终回复要包含：
+
+- 预览或成片路径。
+- EDL 路径。
+- 自检报告路径。
+- 简短说明剪辑逻辑。
+- 如果有素材不足或画面不匹配，要明确说明。

package/skills/yuanflow-skill//351/200/211/351/242/230/347/255/226/345/210/222/SKILL.md

@@ -16,6 +16,7 @@ emoji: 💡
    - 如果没有命中，说明“未发现可用历史参考记录”，继续下一步。
 2. 调用 `自媒体知识库`。
    - 先查 `knowledge docs` 或 `knowledge entry`，根据平台、受众、内容目标和选题方向构造 `domain` 和 `content_goal`。
+   - 查询时，必须先明确用户具体需求，然后从知识库的一级能力开始，依次使用渐进式查询。不能跳级、跨越式查询。
    - 按返回的 `next_actions` 分层查看 `packs`、`rules` 或 `rule-detail`，直到拿到足够的方法摘要。
    - 不要自己拼 SQL，不要跳过知识库直接凭空输出。
 3. 结合用户要求、历史参考记录和知识库结果，输出选题策划结果。

package/skills/yuanflow-skill//351/243/236/344/271/246/345/256/230/346/226/271/346/212/200/350/203/275/SKILL.md

@@ -0,0 +1,93 @@
+---
+name: 飞书官方技能
+description: 当用户需要使用飞书/Lark 官方 CLI 操作文档、表格、多维表格、日历、邮箱、任务、知识库、通讯录、即时消息、妙记、会议记录或开放平台 API 时使用。
+emoji: 🪽
+---
+
+# 飞书官方技能
+
+本 Skill 对接飞书官方发布的 `@larksuite/cli` 和官方 Skill 体系。YuanFlow 不复制、不改造官方 CLI 源码，只负责安装、托管、认证状态检查、权限续接和受控调用。
+
+官方来源：
+
+- GitHub：`https://github.com/larksuite/cli`
+- npm：`@larksuite/cli`
+- CLI 可执行入口：`lark-cli`
+
+## 使用原则
+
+如果当前 Agent 可用 `lark_cli_call`，优先使用该受控工具，不要用 `execute_shell_command` 直接运行 `npx`、`npm install -g` 或全局 `lark-cli`。
+
+YuanFlow 内部会把官方 CLI 安装到本机用户数据目录的受管位置，并固定版本执行。Agent 只需要传官方 CLI 参数数组，例如：
+
+```json
+{
+  "args": ["docs", "search", "--keyword", "项目计划"]
+}
+```
+
+不要把 token、refresh token、cookie、二维码识别结果或完整授权凭证写入回复、文件、执行看板或创作产物。
+
+## 认证流程
+
+飞书官方 CLI 通常需要用户先完成本地配置和登录。
+
+推荐流程：
+
+1. 先调用 `lark_cli_call` 检查状态或查看帮助。
+2. 如果 CLI 返回未配置或未登录，调用官方配置/登录命令。
+3. 把工具返回的官方认证 URL、二维码文本或设备码原样展示在聊天回复里，让用户在 YuanFlow 对话页完成扫码/授权。
+4. 在执行看板记录“等待用户完成飞书认证”和当前续接点。
+5. 用户回复“已登录/继续”后，再调用状态检查或原任务命令继续。
+
+常用认证命令：
+
+```json
+{"args": ["config", "init", "--new"]}
+```
+
+```json
+{"args": ["auth", "login", "--recommend", "--no-wait"]}
+```
+
+如果官方 CLI 返回 `device_code` 或类似设备码，后续优先按官方提示使用 `--device-code` 续接，而不是重新发起一轮登录。
+
+## 权限与确认
+
+读取、搜索、查询类动作默认可以直接执行。
+
+创建、写入、更新、导出、上传等动作，如果用户已经在当前任务里明确授权，可以继续执行，并在执行看板记录“用户已授权飞书写入动作”。同一任务后续同类写入动作不要反复询问。
+
+以下高风险动作必须二次确认：
+
+- 发送邮件、群发消息、发送 IM 消息。
+- 删除文档、删除表格、删除任务、删除日程。
+- 批量修改权限、公开分享、转移所有者。
+- 对外部人员授权、邀请外部成员。
+- 清空数据、批量覆盖数据。
+
+用户确认后，只对当前明确动作放行；不要把“确认一次”扩大成所有飞书危险动作永久放行。
+
+## 常见任务路由
+
+根据用户需求选择官方 CLI 对应能力：
+
+- 飞书文档：创建、搜索、读取、追加、覆盖、插入图片或附件。
+- 飞书表格：读写单元格、追加行、查找内容、导出表格。
+- 飞书多维表格：建表、字段管理、记录读写、视图配置。
+- 飞书日历：查日程、创建日程、查忙闲、推荐时间。
+- 飞书邮箱：写邮件、查邮件、回复、转发、草稿。
+- 飞书任务：创建待办、拆分子任务、更新状态、分配成员。
+- 飞书通讯录：查询组织、搜索员工、获取 open_id。
+- 飞书云空间/知识库：上传下载文件、整理目录、管理知识库节点。
+- 飞书即时消息：发送消息、搜索聊天、下载群文件。
+- 飞书妙记/会议：查询会议记录、获取纪要、总结待办。
+- 飞书 OpenAPI：当封装命令不足时，查找官方开放接口并用 CLI 调用。
+
+## 输出要求
+
+- 先说明当前使用的是飞书官方 CLI 托管能力。
+- 对认证类输出，必须把官方返回的认证 URL、二维码文本或设备码展示给用户。
+- 对写入类动作，必须说明写入对象、动作、是否已获得用户确认。
+- 对失败结果，区分是未登录、权限不足、应用未配置、网络失败、参数错误，还是官方 CLI 命令不存在。
+- 任务中断时，把下一步续接命令和当前状态写入执行看板。

package/src/agent-protocol.js

@@ -5,6 +5,8 @@ import { listKnowledgeCommands } from './knowledge-tools.js';
 import { listOssCommands } from './oss-tools.js';
 import { listBrowserCommands } from './browser-tools.js';
 import { listSearchCommands, listWorkCommands } from './work-tools.js';
+import { listVideoCommands } from './video-tools.js';
+import { listTrendingCommands } from './trending-tools.js';
 
 const ERROR_MAP = [
   {
@@ -107,6 +109,8 @@ export function buildCommandRegistry() {
   const knowledgeCommands = listKnowledgeCommands();
   const ossCommands = listOssCommands();
   const browserCommands = listBrowserCommands();
+  const videoCommands = listVideoCommands();
+  const trendingCommands = listTrendingCommands();
   return [
     ...shortcuts,
     ...endpoints,
@@ -116,6 +120,8 @@ export function buildCommandRegistry() {
     ...knowledgeCommands,
     ...ossCommands,
     ...browserCommands,
+    ...videoCommands,
+    ...trendingCommands,
   ].sort((left, right) => left.key.localeCompare(right.key));
 }
 

package/src/cli.js

@@ -20,12 +20,14 @@ import { collectComments } from './comment-collector.js';
 import { getKnowledgeDocs, navigateKnowledge } from './knowledge-tools.js';
 import { copyObject, signedUrl, tempUpload } from './oss-tools.js';
 import { runBrowserCommand } from './browser-tools.js';
+import { runVideoCommand } from './video-tools.js';
 import {
   getWorkDetail,
   getWorkDownload,
   searchContent,
   searchUsers,
 } from './work-tools.js';
+import { fetchVideoHotList } from './trending-tools.js';
 
 export async function main(argv) {
   const args = argv.slice(2);
@@ -71,6 +73,11 @@ export async function main(argv) {
     return;
   }
 
+  if (command === 'trending') {
+    await handleTrending(rest);
+    return;
+  }
+
   if (command === 'knowledge') {
     await handleKnowledge(rest);
     return;
@@ -86,6 +93,11 @@ export async function main(argv) {
     return;
   }
 
+  if (command === 'video') {
+    await handleVideo(rest);
+    return;
+  }
+
   if (command === 'schema') {
     await handleSchema(rest);
     return;
@@ -345,6 +357,19 @@ async function handleSearch(args) {
   });
 }
 
+async function handleTrending(args) {
+  const { positionals, options } = parseOptions(args);
+  const [action = 'video-hot-list'] = positionals;
+  if (action !== 'video-hot-list') {
+    throw new Error('未知 trending 命令。用法：yuanflow-cli trending video-hot-list');
+  }
+  const result = await fetchVideoHotList({ options });
+  await outputResult(result, options, {
+    command: 'trending video-hot-list',
+    meta: { endpoint: result.endpoint.path, kind: result.endpoint.kind },
+  });
+}
+
 async function handleKnowledge(args) {
   const { positionals, options } = parseOptions(args);
   const [action = 'docs'] = positionals;
@@ -396,6 +421,16 @@ async function handleBrowser(args) {
   });
 }
 
+async function handleVideo(args) {
+  const { positionals, options } = parseOptions(args);
+  const [action = 'init'] = positionals;
+  const result = await runVideoCommand({ action, options });
+  await outputResult(result, options, {
+    command: `video ${action}`,
+    meta: { kind: 'video-editing' },
+  });
+}
+
 async function handleGeneratedCommand(platform, args) {
   if (!getPlatforms().includes(platform)) {
     throw new Error(`未知平台：${platform}。可用平台：${getPlatforms().join(', ')}`);
@@ -562,16 +597,24 @@ function printHelp() {
   yuanflow-cli works download --platform youtube --target "dQw4w9WgXcQ" --dry-run
   yuanflow-cli search content --platform xiaohongshu --keyword "美妆" --dry-run
   yuanflow-cli search users --platform instagram --keyword "nasa" --dry-run
+  yuanflow-cli trending video-hot-list --dry-run --format agent-json
   yuanflow-cli knowledge docs --dry-run
   yuanflow-cli knowledge entry --output-format short_video_script --domain 自媒体运营 --content-goal "写一个创业者短视频选题" --target-audience 创业者 --format agent-json
   yuanflow-cli oss signed-url --key path/to/file.png --ttl-seconds 1800 --format agent-json
   yuanflow-cli browser profile-path --platform douyin --account main --format agent-json
   yuanflow-cli browser task-plan --platform xiaohongshu --task publish --account main --format agent-json
+  yuanflow-cli video init --input "D:\\素材" --primary-audio "D:\\素材\\口播.mp3" --broll "D:\\素材\\画面.mp4" --format agent-json
+  yuanflow-cli video strategy --project "D:\\素材\\yuanflow-video-edit" --template-type talking_head --rules-file "D:\\规则\\logic.json,D:\\规则\\template.json,D:\\规则\\cli.json" --format agent-json
+  yuanflow-cli video align --project "D:\\素材\\yuanflow-video-edit" --asr-file "D:\\素材\\asr.json" --format agent-json
+  yuanflow-cli video timeline --project "D:\\素材\\yuanflow-video-edit" --fps 1 --format agent-json
+  yuanflow-cli video visual-review --project "D:\\素材\\yuanflow-video-edit" --review-file "D:\\素材\\yuanflow-video-edit\\visual_review.agent.json" --format agent-json
+  yuanflow-cli video plan --project "D:\\素材\\yuanflow-video-edit" --timeline-plan "D:\\素材\\yuanflow-video-edit\\timeline_plan.agent.json" --format agent-json
   yuanflow-cli list douyin
 
 说明：
   社媒请求调用 Yuan API 的 /social/*path；知识库和 OSS 原子能力调用 /api/* 或 /atomic/*。
   browser 命令是自媒体平台专用浏览器自动化协议，只返回受控 profile/cookie/任务路径与执行计划，不用于普通网页搜索。
+  video 命令是视频智能剪辑基础链路：规则库策略快照、主音频+B-roll、ASR 时间戳对齐、1秒1帧抽帧、视觉理解回写、Agent 生成 timeline_plan/EDL、CLI 校验和渲染。
   需要鉴权的请求都会使用 Authorization: Bearer <token>。
   token 优先级：--token > YUANCHUANG_API_TOKEN > 本地 config.token。
   YuanFlow 主程序内使用时，token 由主程序认证系统注入，不需要手动配置。