yuanflow-cli 0.1.19 → 0.1.20

package/README.md

@@ -141,6 +141,31 @@ yuanflow-cli oss copy --source-key temp/cover.png --target-key final/cover.png -
 
 上传本地文件前必须确认用户授权，不能上传密钥、cookie、账号凭据或隐私文件。
 
+### 音视频在线转文字
+
+`音视频在线转文字` 随 npm 包安装到 Skill bundle，用于通过 YuanFlow 在线 ASR 接口把音频或视频转成干净文本。视频输入需要先用 ffmpeg 分离音频，再上传 OSS。
+
+固定链路：
+
+1. 判断用户提交的是音频还是视频。
+2. 视频先抽取为音频，音频上传前改成英文文件名。
+3. 使用 `yuanflow-cli oss temp-upload` 上传音频。
+4. ASR 请求必须优先使用 OSS 返回的 `data.signed_url` 作为 `metadata.audio_url`，不要优先使用裸域名 `data.url`。
+5. 调用 `POST https://open.yuanchuangai.com/v1/audio/transcriptions`，模型 `doubao-asr`，`response_format=json`。
+6. 默认只返回响应里的 `text` 干净文本；用户要求时间戳时再检查响应结构，不编造时间戳。
+
+请求体示例：
+
+```json
+{
+  "model": "doubao-asr",
+  "response_format": "json",
+  "metadata": {
+    "audio_url": "<OSS signed_url>"
+  }
+}
+```
+
 ### 生图技能
 
 `生图技能` 随 npm 包安装到 Skill bundle。YuanFlow 主程序内优先使用受控工具 `yuanflow_image_request`，自动注入当前用户 token 并缓存返回图片。

package/package.json

@@ -1,74 +1,73 @@
-{
-  "name": "yuanflow-cli",
-  "version": "0.1.19",
-  "description": "YuanFlow API CLI and skill installer for supported AI coding agents.",
-  "type": "module",
-  "license": "MIT",
-  "private": false,
-  "author": "zktlove",
-  "publishConfig": {
-    "access": "public"
-  },
-  "bin": {
-    "yuanflow-cli": "bin/yuanflow-cli.js",
-    "yuanflow-skill": "bin/yuanflow-skill.cjs"
-  },
-  "scripts": {
-    "postinstall": "node ./bin/yuanflow-skill.cjs install --postinstall",
-    "generate": "node ./scripts/generate-registry.js",
-    "start": "node ./bin/yuanflow-cli.js",
-    "test": "node --test test/*.test.js tests/*.test.cjs",
-    "pack:check": "npm pack --dry-run",
-    "release:check": "node ./bin/yuanflow-skill.cjs release-check",
-    "publish:help": "node ./bin/yuanflow-skill.cjs publish-help"
-  },
-  "files": [
-    "bin",
-    "src",
-    "generated",
-    "scripts",
-    "lib",
-    "skills",
-    "README.md",
-    "LICENSE"
-  ],
-  "repository": {
-    "type": "git",
-    "url": "git+https://github.com/zktlove/yuanflow-cli.git"
-  },
-  "homepage": "https://github.com/zktlove/yuanflow-cli#readme",
-  "bugs": {
-    "url": "https://github.com/zktlove/yuanflow-cli/issues"
-  },
-  "yuanflowSkill": {
-    "skillRepo": {
-      "owner": "zktlove",
-      "repo": "yuanflow-skill",
-      "ref": "main"
-    }
-  },
-  "engines": {
-    "node": ">=20"
-  },
-  "keywords": [
-    "skills",
-    "ai-agent",
-    "codex",
-    "claude-code",
-    "cursor",
-    "opencode",
-    "github-copilot",
-    "gemini-cli",
-    "kimi-cli",
-    "openclaw",
-    "trae",
-    "windsurf",
-    "qoder",
-    "qwen-code",
-    "yuanflow-cli",
-    "yuanflow-skill",
-    "xiaohongshu",
-    "douyin"
-  ]
-}
-
+{
+  "name": "yuanflow-cli",
+  "version": "0.1.20",
+  "description": "YuanFlow API CLI and skill installer for supported AI coding agents.",
+  "type": "module",
+  "license": "MIT",
+  "private": false,
+  "author": "zktlove",
+  "publishConfig": {
+    "access": "public"
+  },
+  "bin": {
+    "yuanflow-cli": "bin/yuanflow-cli.js",
+    "yuanflow-skill": "bin/yuanflow-skill.cjs"
+  },
+  "scripts": {
+    "postinstall": "node ./bin/yuanflow-skill.cjs install --postinstall",
+    "generate": "node ./scripts/generate-registry.js",
+    "start": "node ./bin/yuanflow-cli.js",
+    "test": "node --test test/*.test.js tests/*.test.cjs",
+    "pack:check": "npm pack --dry-run",
+    "release:check": "node ./bin/yuanflow-skill.cjs release-check",
+    "publish:help": "node ./bin/yuanflow-skill.cjs publish-help"
+  },
+  "files": [
+    "bin",
+    "src",
+    "generated",
+    "scripts",
+    "lib",
+    "skills",
+    "README.md",
+    "LICENSE"
+  ],
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/zktlove/yuanflow-cli.git"
+  },
+  "homepage": "https://github.com/zktlove/yuanflow-cli#readme",
+  "bugs": {
+    "url": "https://github.com/zktlove/yuanflow-cli/issues"
+  },
+  "yuanflowSkill": {
+    "skillRepo": {
+      "owner": "zktlove",
+      "repo": "yuanflow-skill",
+      "ref": "main"
+    }
+  },
+  "engines": {
+    "node": ">=20"
+  },
+  "keywords": [
+    "skills",
+    "ai-agent",
+    "codex",
+    "claude-code",
+    "cursor",
+    "opencode",
+    "github-copilot",
+    "gemini-cli",
+    "kimi-cli",
+    "openclaw",
+    "trae",
+    "windsurf",
+    "qoder",
+    "qwen-code",
+    "yuanflow-cli",
+    "yuanflow-skill",
+    "xiaohongshu",
+    "douyin"
+  ]
+}

package/skills/yuanflow-skill/README.md

@@ -11,6 +11,7 @@ YuanFlow Skill 是 `yuanflow-cli` 的 Agent Skill 仓库，用于把社媒平台
 - `生图技能/`：图片生成与编辑 Skill，优先走 YuanFlow 内置 `yuanflow_image_request`。
 - `HTML报告生成/`：单页 HTML 报告生成 Skill，内置 9 种米色留白报告模板。
 - `本地音视频转文字/`：本地 SenseVoice 音视频转文字 Skill，首次明确使用时按需下载模型。
+- `音视频在线转文字/`：通过 YuanFlow 在线 ASR 接口把音频或视频转成干净文本，视频会先抽取音频并通过 OSS 中转。
 - `帐号监控/`：帐号搜索、主页资料、主页作品、历史快照、变化对比和 HTML 可视化分流 Skill。
 - `个人创作库/`：长期保存、整理、复盘和复用用户认可的自媒体合格产出物。
 
@@ -24,6 +25,7 @@ YuanFlow Skill 是 `yuanflow-cli` 的 Agent Skill 仓库，用于把社媒平台
 - 生成图片、编辑图片，并缓存返回 URL 或 base64 图片。生成图片必填 `prompt`，可选 `size / quality / style / n / response_format`；编辑图片必须通过 multipart 上传本地图片。
 - 把自媒体分析、数据复盘、文案方案、账号监控、知识梳理和执行计划生成可直接打开的单页 HTML 报告。
 - 在用户明确要求本地转写时，把本地音频或视频转成文字；视频会先抽取音频，模型和缓存都保存在 Skill 自己目录下。
+- 在用户要求在线转写、云端转写或 doubao-asr 时，把本地音频或视频经 OSS 中转后提交在线 ASR，默认只返回干净文本。
 - 监控抖音、小红书、微博、知乎、Bilibili、TikTok、YouTube、Twitter/X 帐号主页，保存快照并对比历史变化；抖音链路优先使用 `get-sec-user-id -> user-profile -> user-posts -> works detail`。
 - 在用户要求保存、归档、复盘或复用已完成创作成果时，把选题、标题、文案、脚本、封面、剪辑思路、发布计划和数据复盘沉淀进个人创作库。
 
@@ -96,6 +98,8 @@ yuanflow-skill list-skills
 ├─ 本地音视频转文字
 │  ├─ SKILL.md
 │  └─ scripts/
+├─ 音视频在线转文字
+│  └─ SKILL.md
 ├─ 个人创作库
 │  ├─ SKILL.md
 │  ├─ raw/

package/skills/yuanflow-skill/SKILL.md

@@ -23,6 +23,7 @@ description: Use when the user asks about social-media API workflows, platform d
 - `生图技能/`
 - `HTML报告生成/`
 - `本地音视频转文字/`
+- `音视频在线转文字/`
 - `帐号监控/`
 - `个人创作库/`
 
@@ -204,6 +205,20 @@ description: Use when the user asks about social-media API workflows, platform d
 
 - `本地音视频转文字`
 
+### 13. 走 `音视频在线转文字`
+
+遇到下面这些需求，优先进入这个子 Skill：
+
+- 用户要求在线转文字、云端转写、快速转写、音频识别或视频提取文字。
+- 用户提供本地音频或视频文件，并希望通过 YuanFlow 在线 ASR 获取完整文字稿。
+- 用户明确要求使用 `doubao-asr`。
+
+如果用户明确要求离线、本地模型或本地 ASR，改用 `本地音视频转文字`。
+
+子 Skill 名称：
+
+- `音视频在线转文字`
+
 ## 多需求时怎么处理
 
 如果用户一次提了多段流程，不要强行塞进一个子 Skill，按阶段拆开：

package/skills/yuanflow-skill//351/237/263/350/247/206/351/242/221/345/234/250/347/272/277/350/275/254/346/226/207/345/255/227/SKILL.md

@@ -0,0 +1,142 @@
+---
+name: 音视频在线转文字
+description: 当用户需要把本地音频或视频通过 YuanFlow 在线 ASR 接口转成文字、云端转写、快速转写，或明确要求使用 doubao-asr 在线识别时使用。
+---
+
+# 音视频在线转文字
+
+本 Skill 使用 YuanFlow 网关的在线 ASR 能力，把音频或视频转成文字。它不下载本地模型；如果用户明确要求离线、本地模型或本地 ASR，改用 `本地音视频转文字`。
+
+## 适用场景
+
+- 用户要求“在线转文字”“云端转写”“快速转写”“音频识别”“视频提取文字”。
+- 用户提供本地音频、视频文件路径，并希望得到完整文字稿。
+- 用户明确要求 `doubao-asr`。
+
+## 固定流程
+
+1. 判断输入类型。
+   - 音频：直接进入上传流程。
+   - 视频：先用 ffmpeg 分离音频，再进入上传流程。
+2. 上传前把待上传音频整理为英文文件名。
+   - 官方参数只要求 `metadata.audio_url` 是可公网访问的音频 URL，没有说明必须英文文件名。
+   - 但为避免 OSS URL 编码、上游下载和中文文件名兼容问题，上传前必须使用 ASCII 英文文件名，例如 `transcription-input.mp3`。
+3. 使用 `OSS文件中转工具` 上传音频。
+4. 从 OSS 返回中优先取 `data.signed_url` 作为 ASR 的 `metadata.audio_url`。
+   - 不要优先使用裸域名 `data.url`；实测裸域名可能导致上游报 `Invalid audio URI` 或音频下载失败。
+   - 如果只有 `data.url`，必须补齐 `https://` 后再尝试；失败时说明 OSS URL 不可被 ASR 上游下载。
+5. 调用在线 ASR 接口。
+6. 默认只把干净文本返回给用户，不展示原始 JSON。
+7. 只有用户明确要求时间戳、分句、原始结构或调试信息时，才返回 JSON 摘要或原始字段。
+
+## 视频转音频
+
+视频输入必须先抽音频：
+
+```powershell
+ffmpeg -y -i "C:\path\to\input.mp4" -vn -acodec libmp3lame -ar 44100 -ac 2 "transcription-input.mp3"
+```
+
+如果 ffmpeg 不可用，必须明确告诉用户缺少 ffmpeg，不能伪造转写结果。
+
+## OSS 上传
+
+YuanFlow 主程序内优先调用 `yuanflow_cli_call`，使用 OSS 子命令上传英文命名后的音频：
+
+```json
+{
+  "args": [
+    "oss",
+    "temp-upload",
+    "--file",
+    "C:\\path\\to\\transcription-input.mp3",
+    "--filename",
+    "transcription-input.mp3",
+    "--content-type",
+    "audio/mpeg",
+    "--format",
+    "agent-json"
+  ],
+  "timeout": 180
+}
+```
+
+外部 Agent 可直接执行：
+
+```bash
+yuanflow-cli oss temp-upload \
+  --file ./transcription-input.mp3 \
+  --filename transcription-input.mp3 \
+  --content-type audio/mpeg \
+  --format agent-json
+```
+
+解析返回时优先使用：
+
+```text
+response.data.signed_url
+```
+
+## ASR 接口
+
+调用端点：
+
+```http
+POST https://open.yuanchuangai.com/v1/audio/transcriptions
+Authorization: Bearer <由 YuanFlow 自动注入>
+Content-Type: application/json
+```
+
+请求体：
+
+```json
+{
+  "model": "doubao-asr",
+  "response_format": "json",
+  "metadata": {
+    "audio_url": "<OSS signed_url>"
+  }
+}
+```
+
+在 YuanFlow 主程序内优先使用 `yuanflow_gateway_request`：
+
+```json
+{
+  "method": "POST",
+  "path": "/v1/audio/transcriptions",
+  "body": {
+    "model": "doubao-asr",
+    "response_format": "json",
+    "metadata": {
+      "audio_url": "<OSS signed_url>"
+    }
+  },
+  "timeout": 180
+}
+```
+
+## 返回处理
+
+当前实测成功响应为：
+
+```json
+{
+  "text": "完整转写文本..."
+}
+```
+
+默认最终回复只输出 `text` 字段清洗后的文本内容。
+
+如果用户要求时间戳：
+
+- 先检查接口返回里是否包含 `utterances`、`words`、`segments`、`start_time`、`end_time` 等结构。
+- 如果本次接口没有返回时间戳字段，如实说明“当前网关响应只返回全文 text，未返回时间戳”。
+- 不要编造时间戳。
+
+## 失败处理
+
+- `Invalid audio URI` / `audio download failed`：优先检查是否误用了 `data.url` 裸域名；改用 `data.signed_url` 重试。
+- OSS 上传成功但 ASR 失败：说明 OSS key 已生成，但上游无法下载或识别该 URL。
+- 视频抽音频失败：报告 ffmpeg 错误，不继续调用 ASR。
+- 不要暴露 token、Authorization header、签名 URL 的完整敏感查询参数，除非用户明确需要调试链接。