deep-read-summarize 0.3.7 → 0.3.10
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +96 -1
- package/README.en.md +14 -9
- package/README.md +15 -10
- package/cordis.patch.yml +14 -7
- package/docs/RELEASE.md +68 -8
- package/index.js +60 -6
- package/package.json +4 -3
- package/parsers/book.js +1 -1
- package/parsers/video.js +54 -18
- package/schemas/index.js +9 -2
- package/scripts/transcribe.js +376 -0
- package/skills/deep-read-summarize/SKILL.md +11 -9
- package/tests/index.test.js +377 -1
- package/tests/run-tests.js +7 -3
- package/workflow.js +89 -76
- package/scripts/transcribe.ps1 +0 -68
package/parsers/video.js
CHANGED
|
@@ -6,6 +6,12 @@
|
|
|
6
6
|
// ② 无公开字幕 → 用插件自带转写(faster-whisper small/int8/VAD,镜像+缓存)得到全文
|
|
7
7
|
// ③ 都不行 → 降级(提示人工提供转写文本,或退回 desc 作背景)。
|
|
8
8
|
// 本机/用户使用一致:只依赖环境变量 + 相对/标准路径,不写死本机绝对路径。
|
|
9
|
+
// 跨平台:Windows / macOS / Linux 同等支持。转写脚本是 Node 写的(scripts/transcribe.js),
|
|
10
|
+
// 三平台**命令行完全一致**;平台差异只在「脚本定位命令」与「yt-dlp 安装方式」上,
|
|
11
|
+
// 两套写法都在提示词里给出,由执行代理按自己的系统选择。
|
|
12
|
+
// ⚠️ 本提示词会被内联进 workflow 沙箱脚本执行,沙箱**不提供 process / require**,
|
|
13
|
+
// 所以这里不能按平台做分支(写了 process.platform 会直接被回归测试拦下),
|
|
14
|
+
// 只能把各平台的写法都列出来。详见 tests/run-tests.js 的沙箱 API 断言。
|
|
9
15
|
// 提示词骨架复用 parsers/_prompt.js,此处只提供差异化配置。
|
|
10
16
|
// ============================================================================
|
|
11
17
|
|
|
@@ -14,36 +20,66 @@ const prompt = require("./_prompt");
|
|
|
14
20
|
module.exports = {
|
|
15
21
|
name: "video",
|
|
16
22
|
types: ["video"],
|
|
17
|
-
description: "视频解析器(B站/抖音/YouTube →
|
|
23
|
+
description: "视频解析器(B站/抖音/YouTube → 完整逐字稿,字幕优先,无字幕自动转写;Windows/macOS/Linux)",
|
|
18
24
|
|
|
19
25
|
buildPrompt: function (input, opts) {
|
|
20
|
-
const
|
|
21
|
-
const
|
|
26
|
+
const o = opts || {};
|
|
27
|
+
const tempDir = o.tempDir || "./.tmp";
|
|
28
|
+
// 默认 true:无字幕时自动走本地转写。false 时必须真的改变提示词——
|
|
29
|
+
// 此前这里算出来的值从未被使用,transcribe:false 与 true 生成的提示词逐字相同。
|
|
30
|
+
const wantTranscribe = o.transcribe !== false;
|
|
31
|
+
const whisperModel = o.whisperModel || "small";
|
|
32
|
+
const language = o.language || "zh";
|
|
33
|
+
const device = o.device || "cpu";
|
|
22
34
|
const degradeMsg = "需要人工提供转写文本或视频文案";
|
|
35
|
+
|
|
36
|
+
const noSubtitleBranch = wantTranscribe
|
|
37
|
+
? "② 若**无公开字幕**,用插件自带 faster-whisper 转写得到全文;③ 仍不可行才降级(提示人工提供转写文本 或 退回 desc 作背景)。"
|
|
38
|
+
: "② **本次已禁用转写**(options.transcribe=false):无公开字幕时直接降级(提示人工提供转写文本 或 退回 desc 作背景),不要尝试转写。";
|
|
39
|
+
const biliNoSubtitle = wantTranscribe
|
|
40
|
+
? " 3) 无公开字幕时(textSource=transcription):按下方「转写执行」用 faster-whisper 转写整段音频,得到完整全文。"
|
|
41
|
+
: " 3) 无公开字幕时:转写已被禁用(options.transcribe=false),按降级处理,不要取音频、不要转写。";
|
|
42
|
+
const douyinTail = wantTranscribe
|
|
43
|
+
? "desc 较完整时可直接作为文本(textSource=desc);若 desc 太短,仍按下方「转写执行」转写(textSource=transcription)。"
|
|
44
|
+
: "desc 较完整时可直接作为文本(textSource=desc);若 desc 太短,直接降级提示用户补充文案(转写已禁用)。";
|
|
45
|
+
const ytTail = wantTranscribe
|
|
46
|
+
? "已安装时用 yt-dlp 抓字幕(CC)转文本;无 CC 则转写。"
|
|
47
|
+
: "已安装时用 yt-dlp 抓字幕(CC)转文本;无 CC 则降级(转写已禁用)。";
|
|
48
|
+
|
|
23
49
|
const steps = [
|
|
24
50
|
"记录文本来源(metadata.textSource):subtitle(平台字幕)/ transcription(本地转写)/ desc(仅简介,作为降级/背景)/ manual(用户提供)。",
|
|
25
|
-
"统一流程:① 先取视频字幕(B站 AI 字幕 / YouTube yt-dlp CC
|
|
26
|
-
"若输入是 B 站链接(bilibili.com / b23.tv,短链先用 curl -L 跟随重定向提取 BV 号):用 curl(Windows
|
|
51
|
+
"统一流程:① 先取视频字幕(B站 AI 字幕 / YouTube yt-dlp CC);" + noSubtitleBranch,
|
|
52
|
+
"若输入是 B 站链接(bilibili.com / b23.tv,短链先用 curl -L 跟随重定向提取 BV 号):用 curl(Windows 10+ 与 macOS/Linux 均自带,零安装)调官方公开 API:\n" +
|
|
27
53
|
" 1) 元数据+简介:curl 'https://api.bilibili.com/x/web-interface/view?bvid=<BV>' → 取 title / desc(简介仅作背景/补充,不满一篇精读)/ owner.name / duration / aid / cid\n" +
|
|
28
54
|
" 2) 字幕(**优先,最快**):curl 'https://api.bilibili.com/x/player/v2?aid=<aid>&cid=<cid>' 取 subtitle 列表;若有则下载转文本(textSource=subtitle)——这已是完整逐字稿,直接使用\n" +
|
|
29
|
-
|
|
55
|
+
biliNoSubtitle,
|
|
30
56
|
|
|
31
|
-
"若输入是抖音链接/分享口令(douyin.com / v.douyin.com):用户分享时复制的文字本身就是该视频的文案(desc)。
|
|
32
|
-
"若输入是 YouTube 等其他平台:先探测是否已装 yt-dlp
|
|
57
|
+
"若输入是抖音链接/分享口令(douyin.com / v.douyin.com):用户分享时复制的文字本身就是该视频的文案(desc)。" + douyinTail,
|
|
58
|
+
"若输入是 YouTube 等其他平台:先探测是否已装 yt-dlp(运行 `yt-dlp --version`)。若未安装:绝对不要去下载 yt-dlp 二进制(GitHub 直连在部分网络下极慢且易中断,会卡死整个流程);**按系统装**——Windows 先试 `winget install yt-dlp.yt-dlp`,macOS 先试 `brew install yt-dlp`,三平台都可再试 `pip install -U yt-dlp -i https://pypi.tuna.tsinghua.edu.cn/simple`;" +
|
|
59
|
+
(wantTranscribe ? "仍不可用则按下方「转写执行」直接转写或降级。" : "仍不可用则直接降级(转写已禁用)。") + ytTail
|
|
60
|
+
];
|
|
33
61
|
|
|
34
|
-
|
|
35
|
-
|
|
36
|
-
"
|
|
37
|
-
"
|
|
38
|
-
|
|
39
|
-
|
|
62
|
+
if (wantTranscribe) {
|
|
63
|
+
steps.push(
|
|
64
|
+
"转写执行(faster-whisper " + whisperModel + " / int8 / " + language + ",镜像+缓存,保证本机与用户一致):\n" +
|
|
65
|
+
" ① 先取音频:B站用 playurl(curl 'https://api.bilibili.com/x/player/playurl?avid=<aid>&cid=<cid>&fnval=16&fourk=1' 的 dash.audio[0].baseUrl)或 yt-dlp,下载存到 '" + tempDir + "/audio.m4a';\n" +
|
|
66
|
+
" ② 定位插件转写脚本(文件名固定 `transcribe.js`):Windows 用 `Get-ChildItem -Path $env:USERPROFILE/.dsh -Recurse -Filter transcribe.js`;macOS/Linux 用 `find \"$HOME/.dsh\" -name transcribe.js`(也可直接用 glob 搜 *transcribe.js);\n" +
|
|
67
|
+
" ③ 运行(**三平台命令行完全一致**,脚本是 Node 写的,与 pwsh / bash 无关):`node <脚本路径> --audio '" + tempDir + "/audio.m4a' --out '" + tempDir + "/transcript.txt' --device " + device + " --model " + whisperModel + " --language " + language + "`;\n" +
|
|
68
|
+
" ④ 转写可能较慢:用 run_in_background: true 启动后,轮询输出文件 '" + tempDir + "/transcript.txt' 是否写出内容(非空且稳定),或日志出现 DONE;设合理超时,超时/失败则降级;**脚本以非 0 退出也算失败**——包括「转写结果为空」(纯静音 / 纯音乐常见,脚本此时会删掉空文件),务必按降级处理,不要把空文件当成功;\n" +
|
|
69
|
+
" ⑤ 成功后读取 transcript.txt 作为全文(textSource=transcription)。脚本自举:uv 建 Python 3.12 环境 + 镜像装 faster-whisper + hf-mirror 下模型并缓存;Windows/macOS/Linux 是**同一份实现**。**⚠️ 首次转写会先下载模型(small 约 484MB,hf-mirror,非 GitHub)并较慢——先向用户说明这是正常的一次性下载,勿当成卡死;之后缓存复用、秒开。**\n" +
|
|
70
|
+
" ⑥ 若 `node` 不在 PATH(macOS 从图形界面启动时常见),先用 `command -v node` 确认;确认不可用就直接降级,不要为了跑转写脚本去安装 Node。"
|
|
71
|
+
);
|
|
72
|
+
} else {
|
|
73
|
+
steps.push(
|
|
74
|
+
"【转写已禁用】options.transcribe=false:只允许使用平台字幕或简介(desc)。不要定位或运行 scripts/transcribe.js,不要下载模型,不要安装任何转写工具;拿不到字幕就按降级处理。"
|
|
75
|
+
);
|
|
76
|
+
}
|
|
40
77
|
|
|
41
|
-
|
|
42
|
-
];
|
|
78
|
+
steps.push('若以上均不可用或抓取失败:输出 { "saved": false, "message": "' + degradeMsg + '" }。');
|
|
43
79
|
|
|
44
80
|
return prompt.buildFetchPrompt({
|
|
45
81
|
input: input,
|
|
46
|
-
opts:
|
|
82
|
+
opts: o,
|
|
47
83
|
fetchTarget: "视频完整逐字稿(字幕优先,无字幕自动转写)",
|
|
48
84
|
kindLabel: "视频(video)",
|
|
49
85
|
steps: steps,
|
|
@@ -51,4 +87,4 @@ module.exports = {
|
|
|
51
87
|
jsonExample: '{ "kind": "video", "saved": true, "totalLines": N, "metadata": { "title": "", "author": "", "year": "", "language": "zh|en", "textSource": "subtitle|transcription|desc|manual" }, "chunkPlan": [ { "id": 1, "topic": "主题段", "startLine": 1, "endLine": 200 } ] }'
|
|
52
88
|
});
|
|
53
89
|
}
|
|
54
|
-
};
|
|
90
|
+
};
|
package/schemas/index.js
CHANGED
|
@@ -1,11 +1,18 @@
|
|
|
1
1
|
// ============================================================================
|
|
2
2
|
// JSON Schemas — 结构化输出约束
|
|
3
3
|
// ============================================================================
|
|
4
|
-
//
|
|
5
|
-
//
|
|
4
|
+
// 谁在用哪一份(别凭印象——此前 workflow 脚本里有一份手抄副本,已经漂移):
|
|
5
|
+
// - fetchResultSchema:**真的在用**。workflow.js 构建自包含脚本时把它注入进去
|
|
6
|
+
// (kind 的 enum 按解析器注册表补齐),脚本里不再有第二份副本。
|
|
7
|
+
// - chunkReadSchema:**workflow 没用**。波次2 的子代理直接返回自由文本,
|
|
8
|
+
// 成稿时按 Markdown 拼接;这份留给程序化调用方(自建管线要结构化块输出时)。
|
|
9
|
+
// - qualityChecklistSchema:**workflow 没用**。波次3 的内嵌自检走脚本内的
|
|
10
|
+
// { pass, issues } 轻量 schema。
|
|
11
|
+
// 改这个文件会直接影响波次1 —— 改完跑 npm test(内含 schema 子集回归)。
|
|
6
12
|
//
|
|
7
13
|
// 注意:本 schema 子集遵循 DSH workflow agent() 的约束
|
|
8
14
|
// (type/properties/required/additionalProperties/items/enum/const/oneOf)。
|
|
15
|
+
// 违反子集 = 引擎抛 UNSUPPORTED_SCHEMA = 整条 workflow 终止(不是降级)。
|
|
9
16
|
// ============================================================================
|
|
10
17
|
|
|
11
18
|
/** 波次1:获取+分块 的结构化输出 */
|
|
@@ -0,0 +1,376 @@
|
|
|
1
|
+
#!/usr/bin/env node
|
|
2
|
+
// ============================================================================
|
|
3
|
+
// transcribe.js — faster-whisper 转写自举脚本(插件内部,跨平台:Windows/macOS/Linux)
|
|
4
|
+
// ============================================================================
|
|
5
|
+
// 用法(三平台完全一致,不需要 pwsh / bash 之别):
|
|
6
|
+
// node transcribe.js --audio <音频文件> --out <输出txt> [--model small] [--language zh] [--device cpu|auto|cuda]
|
|
7
|
+
// node transcribe.js --self-check # 只打印解析出的路径,不安装、不下载、不联网
|
|
8
|
+
//
|
|
9
|
+
// 为什么是 Node 而不是 PowerShell / shell:
|
|
10
|
+
// - Node 是 DSH 与本插件自身的硬依赖,三平台天然可用,不必维护 ps1 + sh 两份实现;
|
|
11
|
+
// - 「本机与用户使用一致」只需要守在一处(0.3.8 修过的正是「两份真相漂移」)。
|
|
12
|
+
// 平台差异只集中在四个纯函数里:cacheRoot / venvPython / uvInstallHint / findUv,
|
|
13
|
+
// 它们都接受注入的 platform/env/home,可以在任意 OS 上跑全平台矩阵单测。
|
|
14
|
+
// 本文件不会被内联进 workflow 沙箱脚本(沙箱没有 process/require),只在宿主 shell 里执行。
|
|
15
|
+
// ============================================================================
|
|
16
|
+
|
|
17
|
+
'use strict';
|
|
18
|
+
|
|
19
|
+
const { spawnSync } = require('node:child_process');
|
|
20
|
+
const fs = require('node:fs');
|
|
21
|
+
const os = require('node:os');
|
|
22
|
+
const path = require('node:path');
|
|
23
|
+
|
|
24
|
+
// 版本锁定:保证作者机器与用户机器跑的是同一套(见 README「转写工具链」)。
|
|
25
|
+
const PY_VERSION = '3.12';
|
|
26
|
+
const PYPI_MIRROR = 'https://pypi.tuna.tsinghua.edu.cn/simple';
|
|
27
|
+
// uv 拉 CPython 走的是 GitHub(python-build-standalone),在部分网络下极慢 → 默认走镜像加速。
|
|
28
|
+
// ⚠️ 镜像会失效,而且代价很大:旧的 ghproxy.com 现在 301 到 ghfast.top 并丢掉路径,返回的是
|
|
29
|
+
// HTML 而不是资产;uv 拿到 HTML 会报 "Invalid gzip header",**不会**自己回退 GitHub ——
|
|
30
|
+
// 于是「慢但能装」变成「彻底装不上」,而踩到的恰好是没有 3.12 的新用户。
|
|
31
|
+
// 所以镜像只当加速用:失败后自动改用直连再试一次(见 venvEnvAttempts)。
|
|
32
|
+
// 覆盖方式:环境变量 DRS_UV_PYTHON_MIRROR(设为空字符串 = 完全不使用镜像)。
|
|
33
|
+
const UV_PYTHON_INSTALL_MIRROR_DEFAULT =
|
|
34
|
+
'https://ghfast.top/https://github.com/astral-sh/python-build-standalone/releases/download';
|
|
35
|
+
const HF_ENDPOINT = 'https://hf-mirror.com';
|
|
36
|
+
const UV_INSTALL_SH = 'curl -LsSf https://astral.sh/uv/install.sh | sh';
|
|
37
|
+
const CACHE_DIR_NAME = 'deep-read-summarize';
|
|
38
|
+
|
|
39
|
+
// ---------------------------------------------------------------------------
|
|
40
|
+
// 纯函数区:平台差异全部收在这里
|
|
41
|
+
// ---------------------------------------------------------------------------
|
|
42
|
+
|
|
43
|
+
/** 目标平台用哪套路径分隔符(不依赖宿主 OS,测试可在 Windows 上断言 POSIX 结果)。 */
|
|
44
|
+
function pathImpl(platform) {
|
|
45
|
+
return platform === 'win32' ? path.win32 : path.posix;
|
|
46
|
+
}
|
|
47
|
+
|
|
48
|
+
/** 归一化注入上下文:默认取真实运行环境,测试可注入任意平台。 */
|
|
49
|
+
function context(overrides) {
|
|
50
|
+
const o = overrides || {};
|
|
51
|
+
return {
|
|
52
|
+
platform: o.platform || process.platform,
|
|
53
|
+
env: o.env || process.env,
|
|
54
|
+
home: o.home || os.homedir(),
|
|
55
|
+
isFile: o.isFile || isFileAt
|
|
56
|
+
};
|
|
57
|
+
}
|
|
58
|
+
|
|
59
|
+
/**
|
|
60
|
+
* 转写缓存根目录(venv + HF 模型都放这里,跨次复用)。
|
|
61
|
+
* - Windows:%LOCALAPPDATA%\\deep-read-summarize(**与 0.3.6-0.3.8 的 transcribe.ps1 完全一致,
|
|
62
|
+
* 老用户已下载的模型不会重下**)
|
|
63
|
+
* - macOS:~/Library/Caches/deep-read-summarize
|
|
64
|
+
* - Linux:$XDG_CACHE_HOME/deep-read-summarize(回退 ~/.cache)
|
|
65
|
+
*/
|
|
66
|
+
function cacheRoot(overrides) {
|
|
67
|
+
const c = context(overrides);
|
|
68
|
+
const p = pathImpl(c.platform);
|
|
69
|
+
if (c.platform === 'win32') {
|
|
70
|
+
const base = c.env.LOCALAPPDATA || p.join(c.home, 'AppData', 'Local');
|
|
71
|
+
return p.join(base, CACHE_DIR_NAME);
|
|
72
|
+
}
|
|
73
|
+
if (c.platform === 'darwin') return p.join(c.home, 'Library', 'Caches', CACHE_DIR_NAME);
|
|
74
|
+
return p.join(c.env.XDG_CACHE_HOME || p.join(c.home, '.cache'), CACHE_DIR_NAME);
|
|
75
|
+
}
|
|
76
|
+
|
|
77
|
+
/** venv 里 python 解释器的位置:Windows 在 Scripts/,POSIX 在 bin/。 */
|
|
78
|
+
function venvPython(venvDir, overrides) {
|
|
79
|
+
const c = context(overrides);
|
|
80
|
+
const p = pathImpl(c.platform);
|
|
81
|
+
return c.platform === 'win32'
|
|
82
|
+
? p.join(venvDir, 'Scripts', 'python.exe')
|
|
83
|
+
: p.join(venvDir, 'bin', 'python');
|
|
84
|
+
}
|
|
85
|
+
|
|
86
|
+
/** 找不到 uv 时给用户的安装命令(按平台)。 */
|
|
87
|
+
function uvInstallHint(overrides) {
|
|
88
|
+
const c = context(overrides);
|
|
89
|
+
if (c.platform === 'win32') return 'winget install astral-sh.uv';
|
|
90
|
+
if (c.platform === 'darwin') return 'brew install uv(或 ' + UV_INSTALL_SH + ')';
|
|
91
|
+
return UV_INSTALL_SH;
|
|
92
|
+
}
|
|
93
|
+
|
|
94
|
+
/** uv 候选路径(先 PATH,再各平台常见的用户级/包管理器安装位置)。 */
|
|
95
|
+
function uvCandidates(overrides) {
|
|
96
|
+
const c = context(overrides);
|
|
97
|
+
const p = pathImpl(c.platform);
|
|
98
|
+
const exe = c.platform === 'win32' ? 'uv.exe' : 'uv';
|
|
99
|
+
const sep = c.platform === 'win32' ? ';' : ':';
|
|
100
|
+
const dirs = String(c.env.PATH || '').split(sep).filter(Boolean).map(function (d) {
|
|
101
|
+
// Windows PATH 里可能带引号;剥掉再拼。
|
|
102
|
+
return String(d).replace(/^"|"$/g, '');
|
|
103
|
+
});
|
|
104
|
+
const list = dirs.map(function (d) { return p.join(d, exe); });
|
|
105
|
+
if (c.platform === 'win32') {
|
|
106
|
+
list.push(p.join(c.home, '.local', 'bin', 'uv.exe'));
|
|
107
|
+
list.push(p.join(c.home, '.cargo', 'bin', 'uv.exe'));
|
|
108
|
+
} else {
|
|
109
|
+
list.push(p.join(c.home, '.local', 'bin', 'uv'));
|
|
110
|
+
list.push('/opt/homebrew/bin/uv'); // macOS arm64 Homebrew
|
|
111
|
+
list.push('/usr/local/bin/uv'); // macOS Intel Homebrew / 通用
|
|
112
|
+
list.push(p.join(c.home, '.cargo', 'bin', 'uv'));
|
|
113
|
+
}
|
|
114
|
+
return list;
|
|
115
|
+
}
|
|
116
|
+
|
|
117
|
+
/** 找到可用的 uv,找不到返回 null。 */
|
|
118
|
+
function findUv(overrides) {
|
|
119
|
+
const c = context(overrides);
|
|
120
|
+
const candidates = uvCandidates(c);
|
|
121
|
+
for (let i = 0; i < candidates.length; i++) {
|
|
122
|
+
if (c.isFile(candidates[i])) return candidates[i];
|
|
123
|
+
}
|
|
124
|
+
return null;
|
|
125
|
+
}
|
|
126
|
+
|
|
127
|
+
/** 当前生效的 uv CPython 镜像;返回空串表示不用镜像(直连 GitHub)。 */
|
|
128
|
+
function resolveUvMirror(env) {
|
|
129
|
+
const e = env || process.env;
|
|
130
|
+
const v = e.DRS_UV_PYTHON_MIRROR;
|
|
131
|
+
if (v === undefined) return UV_PYTHON_INSTALL_MIRROR_DEFAULT;
|
|
132
|
+
return String(v).trim();
|
|
133
|
+
}
|
|
134
|
+
|
|
135
|
+
/**
|
|
136
|
+
* 创建 venv 时要依次尝试的环境变量:先镜像(若配置了),失败再直连 GitHub。
|
|
137
|
+
* 返回 [{env, label}],调用方按顺序尝试。
|
|
138
|
+
*/
|
|
139
|
+
function venvEnvAttempts(baseEnv, mirror) {
|
|
140
|
+
const list = [];
|
|
141
|
+
if (mirror) {
|
|
142
|
+
const withMirror = Object.assign({}, baseEnv);
|
|
143
|
+
withMirror.UV_PYTHON_INSTALL_MIRROR = mirror;
|
|
144
|
+
list.push({ env: withMirror, label: '镜像 ' + mirror });
|
|
145
|
+
}
|
|
146
|
+
const direct = Object.assign({}, baseEnv);
|
|
147
|
+
delete direct.UV_PYTHON_INSTALL_MIRROR;
|
|
148
|
+
list.push({ env: direct, label: '直连 GitHub' });
|
|
149
|
+
return list;
|
|
150
|
+
}
|
|
151
|
+
|
|
152
|
+
/**
|
|
153
|
+
* 判定转写产物是否可用。
|
|
154
|
+
* 0 字节 = VAD 把整段音频滤掉了(纯静音 / 纯 BGM)或解码失败。此时**不能算成功**:
|
|
155
|
+
* 调用方按「输出文件非空且稳定」判断完成,而提示词里还有一条「日志出现 DONE」——
|
|
156
|
+
* 两者叠加会让空逐字稿被当成转写成功,再拿去做精读。所以删掉空文件并以非 0 退出(code 3)。
|
|
157
|
+
*/
|
|
158
|
+
function judgeTranscript(bytes) {
|
|
159
|
+
if (bytes > 0) return { ok: true, code: 0, message: '' };
|
|
160
|
+
return {
|
|
161
|
+
ok: false,
|
|
162
|
+
code: 3,
|
|
163
|
+
message: '转写结果为空(0 字节):音频可能是纯静音 / 纯音乐,或解码失败。已删除空输出文件,请按降级处理(让用户提供文案,或用 options.transcribe=false)。'
|
|
164
|
+
};
|
|
165
|
+
}
|
|
166
|
+
|
|
167
|
+
/** 路径是否为普通文件;目录一律拒绝(否则会把整个目录交给解码器,报出难懂的错误)。 */
|
|
168
|
+
function isFileAt(p) {
|
|
169
|
+
try { return fs.statSync(p).isFile(); } catch (e) { return false; }
|
|
170
|
+
}
|
|
171
|
+
|
|
172
|
+
/** 解析命令行(支持 --k v、--k=v、-k v 三种写法)。 */
|
|
173
|
+
function parseArgs(argv) {
|
|
174
|
+
const out = { audio: '', out: '', model: 'small', language: 'zh', device: 'cpu', selfCheck: false, help: false, unknown: [] };
|
|
175
|
+
const takes = {
|
|
176
|
+
'--audio': 'audio', '-a': 'audio',
|
|
177
|
+
'--out': 'out', '-o': 'out',
|
|
178
|
+
'--model': 'model', '-m': 'model',
|
|
179
|
+
'--language': 'language', '-l': 'language', '--lang': 'language',
|
|
180
|
+
'--device': 'device', '-d': 'device'
|
|
181
|
+
};
|
|
182
|
+
const list = argv || [];
|
|
183
|
+
for (let i = 0; i < list.length; i++) {
|
|
184
|
+
const a = String(list[i]);
|
|
185
|
+
if (a === '--help' || a === '-h') { out.help = true; continue; }
|
|
186
|
+
if (a === '--self-check') { out.selfCheck = true; continue; }
|
|
187
|
+
if (takes[a]) {
|
|
188
|
+
const v = list[i + 1];
|
|
189
|
+
if (v === undefined || String(v).indexOf('-') === 0) { out.unknown.push(a); continue; }
|
|
190
|
+
out[takes[a]] = String(v);
|
|
191
|
+
i++;
|
|
192
|
+
continue;
|
|
193
|
+
}
|
|
194
|
+
const eq = a.indexOf('=');
|
|
195
|
+
if (eq > 1 && takes[a.slice(0, eq)]) { out[takes[a.slice(0, eq)]] = a.slice(eq + 1); continue; }
|
|
196
|
+
out.unknown.push(a);
|
|
197
|
+
}
|
|
198
|
+
return out;
|
|
199
|
+
}
|
|
200
|
+
|
|
201
|
+
/** 运行时 Python 片段:分段文本以空格连接成一行落盘;device 默认 cpu,非 cpu 失败自动回退。 */
|
|
202
|
+
const PY_RUNNER = [
|
|
203
|
+
"import os",
|
|
204
|
+
"import sys",
|
|
205
|
+
"from faster_whisper import WhisperModel",
|
|
206
|
+
"",
|
|
207
|
+
"def load(device):",
|
|
208
|
+
" return WhisperModel(os.environ['DRS_MODEL'], device=device, compute_type='int8')",
|
|
209
|
+
"",
|
|
210
|
+
"def run(device):",
|
|
211
|
+
" model = load(device)",
|
|
212
|
+
" segs, info = model.transcribe(os.environ['DRS_AUDIO'], vad_filter=True, language=(os.environ.get('DRS_LANG') or None))",
|
|
213
|
+
" return [s.text.strip() for s in segs], info",
|
|
214
|
+
"",
|
|
215
|
+
"# device 默认 cpu:ctranslate2 只要探测到 NVIDIA 显卡就会在 auto 下选 CUDA,",
|
|
216
|
+
"# 而多数机器没装 cuBLAS/cuDNN(cublas64_12.dll),会在推理时硬失败(实测 RTX 3050 复现)。",
|
|
217
|
+
"device = os.environ.get('DRS_DEVICE') or 'cpu'",
|
|
218
|
+
"try:",
|
|
219
|
+
" segments, info = run(device)",
|
|
220
|
+
"except Exception as exc:",
|
|
221
|
+
" if device == 'cpu':",
|
|
222
|
+
" raise",
|
|
223
|
+
" print('[transcribe] device=%s failed (%s); retrying on cpu' % (device, exc), file=sys.stderr)",
|
|
224
|
+
" segments, info = run('cpu')",
|
|
225
|
+
"",
|
|
226
|
+
"# 先把全部分段收集完再落盘:中途失败时不会留下半截 transcript.txt",
|
|
227
|
+
"# (调用方按「文件非空且稳定」判断完成,半截文件会被误判成成功)。",
|
|
228
|
+
"with open(os.environ['DRS_OUT'], 'w', encoding='utf-8') as f:",
|
|
229
|
+
" f.write(' '.join([x for x in segments if x]))",
|
|
230
|
+
"print('DONE', info.language, round(info.duration, 1))",
|
|
231
|
+
""
|
|
232
|
+
].join("\n");
|
|
233
|
+
|
|
234
|
+
// ---------------------------------------------------------------------------
|
|
235
|
+
// 执行区
|
|
236
|
+
// ---------------------------------------------------------------------------
|
|
237
|
+
|
|
238
|
+
const USAGE = [
|
|
239
|
+
'用法:node transcribe.js --audio <音频文件> --out <输出txt> [--model small] [--language zh] [--device cpu|auto|cuda]',
|
|
240
|
+
' node transcribe.js --self-check # 只打印解析出的路径,不安装不下载',
|
|
241
|
+
'',
|
|
242
|
+
'选项:--audio/-a --out/-o --model/-m(默认 small) --language/-l(默认 zh)',
|
|
243
|
+
' --device(默认 cpu;auto/cuda 需自备 CUDA 运行库,失败会自动回退 cpu)'
|
|
244
|
+
].join('\n');
|
|
245
|
+
|
|
246
|
+
function fail(msg, code) {
|
|
247
|
+
process.stderr.write('[transcribe] ERROR: ' + msg + '\n');
|
|
248
|
+
return code === undefined ? 1 : code;
|
|
249
|
+
}
|
|
250
|
+
|
|
251
|
+
function runStep(cmd, cmdArgs, env, errLabel) {
|
|
252
|
+
const r = spawnSync(cmd, cmdArgs, { stdio: 'inherit', env: env, shell: false });
|
|
253
|
+
if (r.error) throw new Error(errLabel + ' 无法执行(' + cmd + '):' + r.error.message);
|
|
254
|
+
if (r.status !== 0) throw new Error(errLabel + ' 失败(退出码 ' + r.status + ')');
|
|
255
|
+
}
|
|
256
|
+
|
|
257
|
+
function main(argv) {
|
|
258
|
+
const args = parseArgs(argv);
|
|
259
|
+
const c = context({});
|
|
260
|
+
const root = cacheRoot(c);
|
|
261
|
+
const venvDir = path.join(root, 'venv');
|
|
262
|
+
const py = venvPython(venvDir, c);
|
|
263
|
+
const uv = findUv(c);
|
|
264
|
+
|
|
265
|
+
if (args.help) { process.stdout.write(USAGE + '\n'); return 0; }
|
|
266
|
+
|
|
267
|
+
// --self-check:CI 与排查用,只报告解析结果,不产生任何副作用。
|
|
268
|
+
if (args.selfCheck) {
|
|
269
|
+
process.stdout.write(JSON.stringify({
|
|
270
|
+
platform: c.platform,
|
|
271
|
+
cacheRoot: root,
|
|
272
|
+
venvDir: venvDir,
|
|
273
|
+
venvPython: py,
|
|
274
|
+
uv: uv,
|
|
275
|
+
uvInstallHint: uvInstallHint(c),
|
|
276
|
+
pythonVersion: PY_VERSION,
|
|
277
|
+
node: process.version
|
|
278
|
+
}, null, 2) + '\n');
|
|
279
|
+
return 0;
|
|
280
|
+
}
|
|
281
|
+
|
|
282
|
+
if (args.unknown.length) process.stderr.write('[transcribe] 忽略未知参数:' + args.unknown.join(', ') + '\n');
|
|
283
|
+
if (!args.audio || !args.out) {
|
|
284
|
+
process.stderr.write(USAGE + '\n');
|
|
285
|
+
return fail('--audio 与 --out 都是必填的。');
|
|
286
|
+
}
|
|
287
|
+
if (!fs.existsSync(args.audio)) return fail('音频文件不存在:' + args.audio);
|
|
288
|
+
if (!isFileAt(args.audio)) return fail('--audio 不是文件(是不是给了目录?):' + args.audio);
|
|
289
|
+
if (uv === null) {
|
|
290
|
+
return fail('没有找到 uv。请先安装:' + uvInstallHint(c) + '(装好后重跑本脚本;或改用 options.transcribe=false / 手动提供转写文本降级)');
|
|
291
|
+
}
|
|
292
|
+
|
|
293
|
+
try {
|
|
294
|
+
fs.mkdirSync(root, { recursive: true });
|
|
295
|
+
// 输出目录可能在别处(如 ./.tmp),提前建好,免得 python 侧报一句难懂的错
|
|
296
|
+
fs.mkdirSync(path.dirname(path.resolve(args.out)), { recursive: true });
|
|
297
|
+
|
|
298
|
+
const childEnv = Object.assign({}, process.env);
|
|
299
|
+
|
|
300
|
+
// 1) venv:优先复用已装好的 3.12,没有才让 uv 装。
|
|
301
|
+
// 镜像只用于加速;失败就换直连重试 —— 镜像挂掉不该让用户彻底装不上。
|
|
302
|
+
if (!fs.existsSync(py)) {
|
|
303
|
+
process.stdout.write('[transcribe] 创建 venv(Python ' + PY_VERSION + '):' + venvDir + '\n');
|
|
304
|
+
const attempts = venvEnvAttempts(childEnv, resolveUvMirror(process.env));
|
|
305
|
+
let lastErr = null;
|
|
306
|
+
for (let i = 0; i < attempts.length; i++) {
|
|
307
|
+
try {
|
|
308
|
+
runStep(uv, ['venv', '--python', PY_VERSION, venvDir], attempts[i].env, 'uv venv');
|
|
309
|
+
} catch (e) { lastErr = e; }
|
|
310
|
+
if (fs.existsSync(py)) break;
|
|
311
|
+
// 失败的尝试可能留下半个 venv 目录,重试前先清掉
|
|
312
|
+
try { fs.rmSync(venvDir, { recursive: true, force: true }); } catch (e) { /* 清不掉就让下一次尝试自己报错 */ }
|
|
313
|
+
if (i + 1 < attempts.length) {
|
|
314
|
+
process.stderr.write('[transcribe] 用 ' + attempts[i].label + ' 创建 venv 失败,改用 ' + attempts[i + 1].label + ' 重试…\n');
|
|
315
|
+
}
|
|
316
|
+
}
|
|
317
|
+
if (!fs.existsSync(py)) throw (lastErr || new Error('uv venv 失败:' + venvDir));
|
|
318
|
+
}
|
|
319
|
+
|
|
320
|
+
// 2) faster-whisper:只在 import 失败时才装(离线/已装时零网络请求)
|
|
321
|
+
const probe = spawnSync(py, ['-c', 'import faster_whisper'], { stdio: 'ignore', shell: false });
|
|
322
|
+
if (probe.status !== 0) {
|
|
323
|
+
process.stdout.write('[transcribe] 安装 faster-whisper(清华镜像)…\n');
|
|
324
|
+
runStep(uv, ['pip', 'install', '--python', py, 'faster-whisper', '-i', PYPI_MIRROR], childEnv, 'faster-whisper 安装');
|
|
325
|
+
}
|
|
326
|
+
|
|
327
|
+
// 3) 运行时环境变量:hf-mirror + 关掉会绕开镜像并 401 的 hf-xet 后端
|
|
328
|
+
childEnv.HF_ENDPOINT = HF_ENDPOINT;
|
|
329
|
+
childEnv.HF_HOME = path.join(root, 'hf');
|
|
330
|
+
childEnv.HF_HUB_DISABLE_XET = '1';
|
|
331
|
+
childEnv.HF_HUB_DISABLE_SYMLINKS_WARNING = '1';
|
|
332
|
+
childEnv.DRS_AUDIO = args.audio;
|
|
333
|
+
childEnv.DRS_OUT = args.out;
|
|
334
|
+
childEnv.DRS_MODEL = args.model;
|
|
335
|
+
childEnv.DRS_LANG = args.language;
|
|
336
|
+
childEnv.DRS_DEVICE = args.device;
|
|
337
|
+
|
|
338
|
+
const pyScript = path.join(root, 'transcribe_run.py');
|
|
339
|
+
fs.writeFileSync(pyScript, PY_RUNNER, 'utf8');
|
|
340
|
+
|
|
341
|
+
// 4) 转写(首次会下载模型到 HF_HOME,之后缓存复用)
|
|
342
|
+
runStep(py, [pyScript], childEnv, '转写');
|
|
343
|
+
|
|
344
|
+
const bytes = fs.statSync(args.out).size;
|
|
345
|
+
process.stdout.write('TRANSCRIBED ' + bytes + ' bytes to ' + args.out + '\n');
|
|
346
|
+
const verdict = judgeTranscript(bytes);
|
|
347
|
+
if (!verdict.ok) {
|
|
348
|
+
// 删掉空文件:留着它会让「文件存在」被当成完成
|
|
349
|
+
try { fs.rmSync(args.out, { force: true }); } catch (e) { /* 删不掉也要如实报错 */ }
|
|
350
|
+
return fail(verdict.message, verdict.code);
|
|
351
|
+
}
|
|
352
|
+
return 0;
|
|
353
|
+
} catch (e) {
|
|
354
|
+
return fail(e.message + '(可降级:让用户手动提供转写文本,或用 options.transcribe=false 跳过转写)');
|
|
355
|
+
}
|
|
356
|
+
}
|
|
357
|
+
|
|
358
|
+
if (require.main === module) {
|
|
359
|
+
process.exitCode = main(process.argv.slice(2));
|
|
360
|
+
}
|
|
361
|
+
|
|
362
|
+
module.exports = {
|
|
363
|
+
cacheRoot: cacheRoot,
|
|
364
|
+
resolveUvMirror: resolveUvMirror,
|
|
365
|
+
venvEnvAttempts: venvEnvAttempts,
|
|
366
|
+
judgeTranscript: judgeTranscript,
|
|
367
|
+
isFileAt: isFileAt,
|
|
368
|
+
UV_PYTHON_INSTALL_MIRROR_DEFAULT: UV_PYTHON_INSTALL_MIRROR_DEFAULT,
|
|
369
|
+
venvPython: venvPython,
|
|
370
|
+
uvInstallHint: uvInstallHint,
|
|
371
|
+
uvCandidates: uvCandidates,
|
|
372
|
+
findUv: findUv,
|
|
373
|
+
parseArgs: parseArgs,
|
|
374
|
+
PY_VERSION: PY_VERSION,
|
|
375
|
+
PY_RUNNER: PY_RUNNER
|
|
376
|
+
};
|
|
@@ -10,9 +10,10 @@ whenToUse: 用户提供一本书、论文(arXiv/PDF)、视频链接(YouTub
|
|
|
10
10
|
|
|
11
11
|
## 能力
|
|
12
12
|
|
|
13
|
-
- 书籍(PDF/EPUB/MOBI)、论文(arXiv/PDF/HTML
|
|
13
|
+
- 书籍(PDF/EPUB/MOBI)、论文(arXiv/PDF/HTML)、视频(字幕优先,无字幕自动转写)、网页
|
|
14
14
|
- 长内容分块后由并行子代理精读(MapReduce),不溢出上下文
|
|
15
|
-
- JSON Schema
|
|
15
|
+
- 获取/分块与质量校验的输出受 JSON Schema 约束,结构稳定、下游可解析
|
|
16
|
+
- 分块计划与子代理数量受 `maxChunks` 强制约束(计划失控会顶穿单次调用时限)
|
|
16
17
|
- 关键引用标注页码/章节/段落,降低编造风险
|
|
17
18
|
- 配置错误终止(FATAL);内容解析失败降级标记缺口继续
|
|
18
19
|
- 输出带 YAML frontmatter(type 字段可配 Dataview)
|
|
@@ -20,18 +21,19 @@ whenToUse: 用户提供一本书、论文(arXiv/PDF)、视频链接(YouTub
|
|
|
20
21
|
## 输入
|
|
21
22
|
|
|
22
23
|
用户提供:内容链接或本地文件路径。
|
|
23
|
-
可选参数:`type`(auto/book/paper/video/web)、`options`(minWords / fastMode / maxChunks / maxRetries / requireCitations / includeTimestamps / transcribe /
|
|
24
|
+
可选参数:`type`(auto/book/paper/video/web)、`options`(minWords / fastMode / maxChunks / maxRetries / requireCitations / includeTimestamps / transcribe / whisperModel / language / device / outputDir / tempDir)。
|
|
24
25
|
|
|
25
26
|
## 执行步骤
|
|
26
27
|
|
|
27
28
|
1. **配置校验**:缺 input 或 type 非法 → 报 FATAL 终止
|
|
28
|
-
2.
|
|
29
|
+
2. **幂等检查(由你执行,脚本不做)**:脚本在沙箱内没有文件系统,写不了指纹记录。落盘前先看目标 `filePath` 是否已有同名笔记——已存在就问用户是覆盖还是跳过,别默默重跑一遍烧 token。(要在程序里做去重,可用插件导出的 `lib/cache.js`:fingerprint / hasProcessed / markProcessed。)
|
|
29
30
|
3. **解析器选择**:按类型从 parsers 注册表选解析器(book/paper/video/web)
|
|
30
31
|
4. **波次1 获取+分块**:解析器获取全文 → 写入临时文件 → 生成分块计划(JSON Schema 校验)
|
|
31
32
|
5. **波次2 并行精读**:每个分块一个子代理深度精读(Map)
|
|
32
33
|
6. **波次3 合并成稿**:整合为完整笔记(Reduce),内嵌质量自检
|
|
33
34
|
7. **质量校验**:可选重试(maxRetries),检查覆盖度/引用真实性/术语一致/格式完整/篇幅/语言
|
|
34
35
|
8. **落盘(必须,别跳过)**:workflow 工具只返回 `note`(笔记正文)与 `filePath`(建议路径)——**脚本本身没有文件系统权限**。拿到结果后要用 `write` 工具把 `note` 原样写入 `filePath`(目录不存在就先创建);不写就等于笔记丢了,用户只会看到一段返回文本
|
|
36
|
+
9. **如实交代结果**:`ok: false` 要说明卡在哪一步(`stage`)和原因,别拿半成品冒充成品;`qualityPassed: false`、`qualityIssues` 非空、或 `failedChunks > 0`(有块精读失败、笔记存在缺口)时,必须在回复里点出来
|
|
35
37
|
|
|
36
38
|
## 输出
|
|
37
39
|
|
|
@@ -64,17 +66,17 @@ status: 已完成
|
|
|
64
66
|
|
|
65
67
|
- **统一流水线(去三档)**:目标 = 拿到完整逐字稿再精读。
|
|
66
68
|
1. **有平台字幕**(B站 AI 字幕 / YouTube CC / yt-dlp CC)→ 直接用字幕(=全文,最快、零依赖)。
|
|
67
|
-
2. **无公开字幕** → 用插件自带转写(`scripts/transcribe.
|
|
69
|
+
2. **无公开字幕** → 用插件自带转写(`scripts/transcribe.js`:faster-whisper small / int8 / VAD)得到全文。
|
|
68
70
|
3. 都不行 → 降级提示用户手动提供转写文本,或退回 desc 作背景;**绝不阻塞、绝不自动装重依赖**。
|
|
69
71
|
- `options.transcribe`:**默认 true**(无字幕自动转写);设为 `false` 则跳过转写(只用字幕/desc 或降级)。
|
|
70
|
-
- **转写工具链**:脚本自举,本机/用户一致——`uv` 建 Python 3.12 环境 + 清华镜像装 `faster-whisper` + `HF_ENDPOINT=https://hf-mirror.com`
|
|
72
|
+
- **转写工具链**:脚本自举,本机/用户一致——`uv` 建 Python 3.12 环境 + 清华镜像装 `faster-whisper` + `HF_ENDPOINT=https://hf-mirror.com` 下模型并缓存;脚本是 **Node** 写的,三平台**同一份实现、同一条命令**(`node <脚本路径> --audio <音频> --out <txt>`);转写默认 **CPU**(`options.device` 默认 `cpu`),GPU 需自备 CUDA 运行库(设 `options.device: "auto"`,失败自动回退 CPU);faster-whisper 内置 PyAV 解码音频,**无需单独 ffmpeg**。
|
|
71
73
|
- **⚠️ 首次转写会先下载 small 模型(约 484MB,hf-mirror,非 GitHub),可能较慢**——执行转写前**先向用户说明**这是正常的一次性下载,之后缓存复用、秒开;不要当成卡死而中断。
|
|
72
74
|
- **质量/速度**:small/int8 + VAD 静音过滤,中文质量可用且 CPU 友好;有字幕视频不转写(快)。装不上/失败则降级,不静默。
|
|
73
|
-
- YouTube 用 yt-dlp 抓 CC;未装时**绝不下载 exe 二进制**(GitHub
|
|
75
|
+
- YouTube 用 yt-dlp 抓 CC;未装时**绝不下载 exe 二进制**(GitHub 直连易卡死),按系统装(Windows `winget install yt-dlp.yt-dlp` / macOS `brew install yt-dlp` / 任意平台 `pip install -U yt-dlp`);仍不可用则转写或降级。
|
|
74
76
|
- 运行 yt-dlp 加 `--socket-timeout 15 --retries 3` 防超时。
|
|
75
|
-
-
|
|
77
|
+
- **跨平台**:Windows / macOS / Linux **同等支持**(0.3.9 起)。无字幕自动转写走 `scripts/transcribe.js`(Node + `uv` + Python 3.12),三平台命令一致:`node <脚本路径> --audio <音频> --out <txt> [--device cpu]`;脚本定位命令按系统选(Windows `Get-ChildItem -Path $env:USERPROFILE/.dsh -Recurse -Filter transcribe.js`,macOS/Linux `find "$HOME/.dsh" -name transcribe.js`)。缓存目录按平台取:Windows `%LOCALAPPDATA%\deep-read-summarize`、macOS `~/Library/Caches/deep-read-summarize`、Linux `$XDG_CACHE_HOME/deep-read-summarize`。若 `node` 不在 PATH(macOS 从图形界面启动时常见)则直接降级,不要为此安装 Node。
|
|
76
78
|
- 默认不标时间戳(`options.includeTimestamps` 可开)
|
|
77
79
|
|
|
78
80
|
## 参考
|
|
79
81
|
|
|
80
|
-
项目主页:https://github.com/PensiveFei/deep-read-summarize
|
|
82
|
+
项目主页:https://github.com/PensiveFei/deep-read-summarize
|