dsh-video-insight 0.8.4 → 0.9.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +30 -7
- package/client/client.js +316 -60
- package/lib/asr.js +1 -1
- package/lib/assets.js +1 -1
- package/lib/budget.js +84 -0
- package/lib/frames.js +37 -22
- package/lib/index.js +232 -3
- package/lib/jobs.js +204 -0
- package/lib/media.js +5 -2
- package/lib/ocr.js +19 -3
- package/lib/outline.js +1 -1
- package/lib/storyboard.js +136 -60
- package/package.json +1 -1
package/README.md
CHANGED
|
@@ -3,7 +3,7 @@
|
|
|
3
3
|
[](LICENSE)
|
|
4
4
|
[](https://github.com/deepseek-ai)
|
|
5
5
|
[](#已知限制)
|
|
6
|
-
[](package.json)
|
|
7
7
|
|
|
8
8
|

|
|
9
9
|
|
|
@@ -11,6 +11,8 @@
|
|
|
11
11
|
|
|
12
12
|
兜底有三档:**本机 Whisper / SenseVoice 转写**(可选引擎、线程、只转前 N 秒),音频全程不出这台电脑;**纯无声/纯画面视频**(没有配音也没有字幕)还能抽帧做**画面文字识别(OCR)**,甚至直接把画面交给**视觉模型**描述场景、人物和动作(「画面理解」,会用到支持图片输入的模型),把画面内容变成带时间戳的文字稿,摘要仍用你 profile 里的模型。
|
|
13
13
|
|
|
14
|
+
解析可以丢到**后台队列**:首页历史里每条视频会显示解析进度条,「全部解析」把还没分析完的历史一次性排进队列(默认同时跑 2 条,`jobs.concurrency` 可调),一条任务从头跑完 总结 → 思维导图 → 分镜 →(可选)画面描述,不用再切页签逐个点「生成」。状态只存在内存里,分析结果照常落盘。
|
|
15
|
+
|
|
14
16
|
追问是 **RAG(检索增强)**:先把问题在转写稿里做 BM25 检索,只把最相关的几段(带时间戳)连同对话一起喂给模型,回答里标 `[mm:ss]`,气泡下面还有「依据」按钮,点一下直接跳回那段视频。
|
|
15
17
|
|
|
16
18
|
总结 / 章节 / 思维导图 / 对话都会**按视频缓存**(`~/.dsh/video-analyses/`),从「历史」里点回来直接看到上次的结果,不用重新等模型;想重来就点「重新生成」,也可以一键清空某个视频的缓存。
|
|
@@ -30,7 +32,7 @@
|
|
|
30
32
|
| 原文 | 字幕逐段列表(`[mm:ss] 文本`),可搜索过滤、点单条复制、一键复制全文;「双语」开关把每段翻译成中文/英文(`POST /translate`,按批送模型、结果按视频缓存),开启「跟随」后播放器播到哪、对应段落就高亮滚到视野里(时间轴同步由播放器外壳每秒回传) |
|
|
31
33
|
| 思维导图 | 模型把字幕整理成 3 层树状大纲(`GET /mindmap`,带缓存),面板渲染成 **SVG 图形化横向树**(节点卡片 + 贝塞尔连线、按分支配色),点节点折叠/展开,支持全部展开/收起、缩放、重新生成;节点上带可点的时间徽标(模型按字幕定位),点一下跳到视频对应位置 |
|
|
32
34
|
| 关键画面 | 关键画面总览(PPT 模式):与章节共用同一份大纲(`GET /outline`),一屏看到每章的代表画面;点「生成画面描述」让视觉模型一次性看完这套画面并给每章写一句描述(`POST /outline/visuals`,拼图后只发一张图),描述按视频缓存,章节页签也复用;点一张跳到那个画面并继续播放 |
|
|
33
|
-
| 分镜 |
|
|
35
|
+
| 分镜 | 按镜头切点抽帧、拼成**分镜拼图**(`POST /storyboard`,3 列;**帧数与张数按视频时长和剪辑密度自动定**:默认约每 20 秒一帧,一张最多 24 格,超过自动分成 2 张),每格左上角标时间;点任意一格跳到那个画面并继续播放。可选「附画面描述」让视觉模型逐张给每格写一句描述(悬停格子可见)。图片按视频缓存在 `~/.dsh/video-storyboards/`,切回页签秒开;低清视频和镜头切点也按视频缓存在 `~/.dsh/video-assets/`,转写、画面理解、分镜共用同一份,第二次打开页签不再重新下载 |
|
|
34
36
|
| 追问 | 左栏下方对话框:基于转写稿的 RAG 多轮问答(检索相关段落后再回答),回答带 `[mm:ss]`,下方「依据」chip 可点击跳转;对话按视频缓存。空态先给固定三句,再给 **AI 根据本视频总结生成的 3 条建议追问**(虚线 chip,点一下直接问) |
|
|
35
37
|
| 设置 | 填 B 站 Cookie(SESSDATA),保存到 `~/.dsh/video-credentials.json`(0600);可清除 |
|
|
36
38
|
| 历史 | 最近 100 条解析/分析记录(可搜索、可收藏星标),存在 `~/.dsh/video-history.json`(跨浏览器、跨重启都在),点击重新打开,可单条删除或清空 |
|
|
@@ -90,7 +92,7 @@ curl -L -o ggml-large-v3-turbo-q5_0.bin \
|
|
|
90
92
|
1. yt-dlp 下载 480p 以内的视频;
|
|
91
93
|
2. **按镜头切点抽帧**(`frameSampling: cuts`,默认):先扫一遍画面找剪辑点,一个镜头取一张,再按时间轴等分补齐(镜头太少时退化成均匀铺满);切分失败会自动退回「每 `ocrIntervalSeconds` 秒抽一帧」(`frameSampling: uniform`)。阈值 `cutThreshold` 默认 27,越高只抓越明显的转场;扫描只多一次 64×36 解码(实测 10 分钟片子约 4 秒),抽帧按时间点精确定位;
|
|
92
94
|
3. **本机 OCR**:用 macOS 自带的 Vision 框架离线识别中英文文字(首次使用会把一个小工具编译到 `~/.dsh/video-tools/ocr/`,约 10-20 秒,之后复用),完全不出本机;
|
|
93
|
-
4.
|
|
95
|
+
4. **画面理解(可选)**:把抽样的若干帧(帧数按时长自动定,默认约每 20 秒一帧、最多 96 帧;每 24 帧拼一张,可放多张)**拼成一张分镜图**(`visionPack: sheet`,默认 3 列、行数按帧数自动算)再交给支持图片输入的模型,让它按「第几格 = 第几秒」逐格描述场景、人物/物体、动作和画面文字;拼图失败会自动回落到逐帧发送(`visionPack: frames`)。默认 `frameMode: auto` 时,只有 OCR 平均每帧不足 4 字(比如纯动画、vlog)才追加这一轮;
|
|
94
96
|
5. 合并成带时间戳的文字稿:有画面描述时 `source: frame-vision`(视觉模型),只有本机文字时 `source: frame-ocr`;后续总结、章节、思维导图、追问都能用。
|
|
95
97
|
|
|
96
98
|
**为什么拼成一张图**:逐帧发时 12 帧就是 3 次请求、24 帧是 6 次,每张图都单独占一份图片 token;拼图后 24 帧只用 1 次请求、1 张图。实测同一段素材(Big Buck Bunny,24 帧):输入 token 13,312 → 1,905(−86%),耗时 66.0s → 26.9s(−59%),描述覆盖度与逐帧基本一致;12 帧时也分别是 −73% 和 −38%。
|
|
@@ -157,9 +159,9 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
157
159
|
| POST | `/dsh-video/api/transcribe` | SSE:`{url?/docId?, force?}`,帧 `phase` / `progress{percent,stage}` / `done{docId,transcript,cached?}` / `error{code,message}`;无语音时自动兜底 OCR / 画面理解(stage 含 `vision`) |
|
|
158
160
|
| POST | `/dsh-video/api/analyze` | SSE:`{mode:'summary'\|'ask', url?/docId?, question?, history?}`,帧 `phase` / `delta` / `done` / `error` |
|
|
159
161
|
| POST | `/dsh-video/api/chapters` | `{url?/docId?}` → `{ok,value:{chapters:[{start,title,gist}],duration}}` |
|
|
160
|
-
| GET | `/dsh-video/api/storyboard?docId=` | 取缓存的分镜:`{ok,value:{docId,url,title,platform,duration,generatedAt,tookMs,frameSampling,cuts,frames,cols,rows,cellWidth,cellHeight,described,cells:[{index,row,col,seconds,description?}]}}\|null` |
|
|
161
|
-
| GET | `/dsh-video/api/storyboard/image?docId=` |
|
|
162
|
-
| POST | `/dsh-video/api/storyboard` | SSE:`{docId?/url?, frames?:
|
|
162
|
+
| GET | `/dsh-video/api/storyboard?docId=` | 取缓存的分镜:`{ok,value:{docId,url,title,platform,duration,generatedAt,tookMs,frameSampling,cuts,frames,budget?,cols,rows,cellWidth,cellHeight,sheets:[{index,cols,rows,cellWidth,cellHeight,cells}],described,cells:[{index,sheet,row,col,seconds,description?}]}}\|null` |
|
|
163
|
+
| GET | `/dsh-video/api/storyboard/image?docId=&sheet=` | 第 N 张分镜拼图(`sheet` 从 0 开始,默认 0)`image/jpeg`(`no-store`);没生成过返回 `{code:'not-found'}` |
|
|
164
|
+
| POST | `/dsh-video/api/storyboard` | SSE:`{docId?/url?, frames?:0, cols?:3, describe?:boolean, force?:boolean}`(`frames: 0/缺省` = 按时长自动预算),帧 `phase` / `progress{stage:download\|scan\|frames,percent}` / `done{cached,docId,storyboard}` / `error{code,message}` |
|
|
163
165
|
| POST | `/dsh-video/api/storyboard/clear` | `{docId}` 删掉该视频的分镜(json + jpg) |
|
|
164
166
|
| POST | `/dsh-video/api/history/favorite` | `{docId, favorite}` 历史列表星标:返回 `{ok,value:{items}}`(重新解析不会冲掉) |
|
|
165
167
|
| GET | `/dsh-video/api/outline?docId=` | 章节/关键画面共用的大纲:`{ok,value:{docId,duration,source:'mindmap'\|'chapters'\|'uniform',signature,visuals,items:[{seconds,title,detail,description}]}}`;`visuals` 是已缓存的画面描述(没有则 null) |
|
|
@@ -179,6 +181,11 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
179
181
|
| GET | `/dsh-video/api/analysis?docId=` | 取某个视频的分析缓存:`{ok,value:{docId,analysis:{summary,chapters,mindmap,chat}}}` |
|
|
180
182
|
| POST | `/dsh-video/api/analysis/clear` | `{docId}` 清掉该视频全部缓存(总结/章节/导图/对话) |
|
|
181
183
|
| POST | `/dsh-video/api/analysis/chat/clear` | `{docId}` 只清对话 |
|
|
184
|
+
| POST | `/dsh-video/api/jobs` | 开始一个后台解析任务:`{docId?/url?, describe?:true}` → `{ok,value:{job,created}}`;同一视频已在队列里时不重复排队(`created:false`) |
|
|
185
|
+
| GET | `/dsh-video/api/jobs` | 任务队列快照:`{ok,value:{concurrency,active,running,jobs:[{id,docId,url,title,status,stage,stageLabel,percent,describe,error,warnings,queuedAt,startedAt,finishedAt}]}}`(进度条就轮询这个) |
|
|
186
|
+
| POST | `/dsh-video/api/jobs/all` | 批量解析历史里还没分析完的视频:`{limit?:20, force?:false, describe?:true}` → `{ok,value:{started,skipped,jobs}}` |
|
|
187
|
+
| POST | `/dsh-video/api/jobs/cancel` | `{id}` 或 `{docId}` 取消排队/运行中的任务 → `{ok,value:{cancelled,jobs}}` |
|
|
188
|
+
| POST | `/dsh-video/api/jobs/clear` | 清掉已结束的任务记录 |
|
|
182
189
|
| GET | `/dsh-video/api/history` | `{ok,value:{items:[…]}}`,最近 100 条,新的在前(解析/分析成功后 host 自动写入);带 `hasSummary/hasChapters/hasMindmap/chatCount` 标记 |
|
|
183
190
|
| POST | `/dsh-video/api/history/remove` | `{docId}` 删一条 → `{ok,value:{items}}` |
|
|
184
191
|
| POST | `/dsh-video/api/history/clear` | 清空历史 → `{ok,value:{items:[]}}` |
|
|
@@ -225,6 +232,8 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
225
232
|
visionMaxFrames: 48 # 画面理解最多取几帧
|
|
226
233
|
visionPack: sheet # sheet=多帧拼一张分镜图(默认,省图省时)| frames=逐帧发
|
|
227
234
|
sheetCols: 3 # 分镜图列数(行数按帧数自动算)
|
|
235
|
+
jobs:
|
|
236
|
+
concurrency: 2 # 后台解析同时跑几个(1-6)
|
|
228
237
|
```
|
|
229
238
|
|
|
230
239
|
面板「设置」里保存的 Cookie 与本地转写配置都写在 `~/.dsh/video-credentials.json`,**优先级高于**行配置,改完立即生效。
|
|
@@ -239,10 +248,24 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
239
248
|
- 按镜头抽帧时,画面文字段的「结束时间」按相邻帧间隔的中位数估算(各帧自身的秒数是准的),时间轴粗一点但不会串行;
|
|
240
249
|
- 语音转写与画面分析**并行**:`crossCheck` 默认开启,`POST /transcribe` 一开始就同时下载音频和低清视频、跑 whisper 与抽帧识别,两路结果合并成一份稿子(画面描述带「画面:」前缀)互相印证;显式设 `crossCheck: false` 才回到「先语音、没有语音再看画面」的顺序。
|
|
241
250
|
- 画面文字识别:只在 macOS 可用(依赖系统 Vision 框架);识别质量取决于画面文字是否清晰,滚动弹幕/花哨字体容易出错;抽帧默认按镜头切点(找不到切点时均匀铺满),因此长视频的覆盖密度取决于镜头数量而不是固定间隔。
|
|
251
|
+
### 帧数是怎么定的
|
|
252
|
+
|
|
253
|
+
不再固定 24 帧。`lib/budget.js` 按「时长 + 剪辑密度」算预算(参考 dsh-video-storyboard 的窗口思路):
|
|
254
|
+
|
|
255
|
+
| 情况 | 密度 | 例 |
|
|
256
|
+
|---|---|---|
|
|
257
|
+
| 常规节奏 | 每 20 秒 1 帧 | 20 分钟 → 60 帧(分 3 张拼图,受上限裁到 48 帧 / 2 张) |
|
|
258
|
+
| 剪辑密集(平均 <8 秒一个镜头) | 每 12 秒 1 帧 | 3.5 分钟 MV → 28 帧 / 2 张 |
|
|
259
|
+
| 长镜头 / 口播(平均 >45 秒一个镜头) | 每 30 秒 1 帧 | 1 小时讲座 → 96 帧(上限) |
|
|
260
|
+
|
|
261
|
+
- 下限 6 帧、上限 `visionMaxFrames`(默认 96,可调到 240);
|
|
262
|
+
- 镜头数也参与:至少接近「一镜半帧」,碎剪的片子不会因为时长预算被削平;
|
|
263
|
+
- 一张拼图最多 24 格,超出的自动分第二张,视觉模型逐张描述后合并。
|
|
264
|
+
|
|
242
265
|
- 画面理解:需要当前(或设置里指定的)模型声明 `image` 输入能力;会把拼好的分镜图发给模型(与 OCR 的本机离线不同);默认一张图装 9–24 格,所以按「张」而不是按「帧」计费(比逐帧省很多),单次生成仍要 15–30s;画面里既没字也没可描述内容时仍会得到 `asr-empty`。
|
|
243
266
|
- 本地转写:Whisper 首次加载 574MB 模型约 6–12 秒(每次调用固定成本,长视频占比可忽略);SenseVoice 段级时间戳是按标点聚合的近似值;`threads: 0` 交给引擎自己决定(whisper.cpp 默认 4)。
|
|
244
267
|
- 双语对照:翻译按批调用当前模型(40 段 / 3200 字一批),长视频要十几批、每批几秒;译文质量和模型相关;「跟随播放」高亮依赖播放器外壳回传时间,目前只有 YouTube 内嵌播放器会发,B 站播放器拿不到播放进度(不报错、不高亮)。
|
|
245
|
-
-
|
|
268
|
+
- 分镜:最多 2 张拼图 / 48 格(20 分钟片子约 46 格),第一次生成要下 480p + 跑一遍切点扫描(10 分钟片子约 10–20 秒);低清视频与切点会按视频缓存(`~/.dsh/video-assets/`,最多 8 个 / 2GB / 30 天),之后转写、画面理解、分镜都复用,重新生成约 1 秒;「附画面描述」会调用视觉模型,图片会离开本机。
|
|
246
269
|
- 只支持单条链接,不做播放列表 / 合集递归。
|
|
247
270
|
|
|
248
271
|
## 开发与自测
|