dsh-video-insight 0.4.8 → 0.8.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +64 -20
- package/client/client.js +1119 -53
- package/lib/asr.js +14 -0
- package/lib/assets.js +264 -0
- package/lib/bookmarks.js +163 -0
- package/lib/cuts.js +354 -0
- package/lib/frames.js +54 -14
- package/lib/history.js +21 -1
- package/lib/index.js +460 -17
- package/lib/media.js +9 -1
- package/lib/mindmap.js +17 -6
- package/lib/ocr.js +125 -18
- package/lib/player.js +16 -1
- package/lib/sheet.js +135 -0
- package/lib/storyboard.js +212 -0
- package/lib/thumbs.js +79 -0
- package/lib/translate.js +238 -0
- package/lib/vision.js +99 -2
- package/package.json +1 -1
package/README.md
CHANGED
|
@@ -3,13 +3,13 @@
|
|
|
3
3
|
[](LICENSE)
|
|
4
4
|
[](https://github.com/deepseek-ai)
|
|
5
5
|
[](#已知限制)
|
|
6
|
-
[](package.json)
|
|
7
7
|
|
|
8
8
|

|
|
9
9
|
|
|
10
|
-
|
|
10
|
+
在侧边栏粘贴一条 YouTube / 哔哩哔哩链接:内嵌播放器边看边读,总结、章节、导图、分镜与带时间戳的 RAG 问答一次给全;没有字幕用本机 Whisper 转写,纯无声视频直接读画面,不需要额外 API key。
|
|
11
11
|
|
|
12
|
-
|
|
12
|
+
字幕缺失时还有三档兜底:**本机 Whisper / SenseVoice 转写**(可选引擎、线程、只转前 N 秒),音频全程不出这台电脑;**纯无声/纯画面视频**(没有配音也没有字幕)还能抽帧做**画面文字识别(OCR)**,甚至直接把画面交给**视觉模型**描述场景、人物和动作(「画面理解」,会用到支持图片输入的模型),把画面内容变成带时间戳的文字稿,摘要仍用你 profile 里的模型。
|
|
13
13
|
|
|
14
14
|
追问是 **RAG(检索增强)**:先把问题在转写稿里做 BM25 检索,只把最相关的几段(带时间戳)连同对话一起喂给模型,回答里标 `[mm:ss]`,气泡下面还有「依据」按钮,点一下直接跳回那段视频。
|
|
15
15
|
|
|
@@ -19,7 +19,7 @@ DeepSeek Harness 的视频插件库里的「第二块屏」:左侧栏「知乎
|
|
|
19
19
|
|
|
20
20
|
## 入口与页面
|
|
21
21
|
|
|
22
|
-
|
|
22
|
+
入口在左侧栏的面板列表(`sidebar.panellist`,`order: 30`,排在默认条目之后,可按需调整)。图标是粉色播放键 + 星芒。
|
|
23
23
|
|
|
24
24
|
首页是 Google 式的**居中大输入框 + 解析按钮**(粘贴链接回车即可),下面是「最近分析」的历史列表(历史区自己内联滚动,不带动整页),点历史项直接回到那个视频;不再有多余的平台介绍卡。解析出视频后才出现顶部的小号输入条,方便随时换一个链接。
|
|
25
25
|
|
|
@@ -27,11 +27,14 @@ DeepSeek Harness 的视频插件库里的「第二块屏」:左侧栏「知乎
|
|
|
27
27
|
| --- | --- |
|
|
28
28
|
| 总结 | 解析完自动流式生成;结构固定为 一句话总结 / 核心观点 / 内容脉络 / 关键要点 / 值得记住的说法 / 适合谁看,引用带 `[mm:ss]` 时间戳——**正文里的时间戳也可点击,点一下播放器跳到该时间点继续播放**。正文末尾还让模型顺手给出 **3 条「继续追问」**(只对本期内容成立的具体问题),host 会把它从正文里剥出来、单存成 `suggestions`,面板在追问空态里渲染成带虚线的 chip |
|
|
29
29
|
| 章节 | 模型按时轴切 6–12 章(`POST /chapters` 只吐 JSON);失败自动回落视频自带的章节 / 分 P |
|
|
30
|
-
|
|
|
31
|
-
|
|
|
30
|
+
| 片段 | 收藏的片段列表:原文里点行尾的 ☆ 就能收进来,点一条跳到那个位置并继续播放,也可以复制文字或删除 |
|
|
31
|
+
| 原文 | 字幕逐段列表(`[mm:ss] 文本`),可搜索过滤、点单条复制、一键复制全文;「双语」开关把每段翻译成中文/英文(`POST /translate`,按批送模型、结果按视频缓存),开启「跟随」后播放器播到哪、对应段落就高亮滚到视野里(时间轴同步由播放器外壳每秒回传) |
|
|
32
|
+
| 思维导图 | 模型把字幕整理成 3 层树状大纲(`GET /mindmap`,带缓存),面板渲染成 **SVG 图形化横向树**(节点卡片 + 贝塞尔连线、按分支配色),点节点折叠/展开,支持全部展开/收起、缩放、重新生成;节点上带可点的时间徽标(模型按字幕定位),点一下跳到视频对应位置 |
|
|
33
|
+
| 关键画面 | 关键画面总览(PPT 模式):`GET /keyframes` 优先取章节起点(带章节标题),没有章节就按镜头切点,最后均匀铺;卡片式网格 + 缩略图,点一张跳到那个画面并继续播放,适合快速扫全片结构 |
|
|
34
|
+
| 分镜 | 按镜头切点抽帧、拼成一张**分镜拼图**(`POST /storyboard`,默认 24 格按 3 列排;行数按帧数自动),每格左上角标时间;点任意一格跳到那个画面并继续播放。可选「附画面描述」让视觉模型给每格写一句描述(悬停格子可见)。图片按视频缓存在 `~/.dsh/video-storyboards/`,切回页签秒开;低清视频和镜头切点也按视频缓存在 `~/.dsh/video-assets/`,转写、画面理解、分镜共用同一份,第二次打开页签不再重新下载 |
|
|
32
35
|
| 追问 | 左栏下方对话框:基于转写稿的 RAG 多轮问答(检索相关段落后再回答),回答带 `[mm:ss]`,下方「依据」chip 可点击跳转;对话按视频缓存。空态先给固定三句,再给 **AI 根据本视频总结生成的 3 条建议追问**(虚线 chip,点一下直接问) |
|
|
33
36
|
| 设置 | 填 B 站 Cookie(SESSDATA),保存到 `~/.dsh/video-credentials.json`(0600);可清除 |
|
|
34
|
-
| 历史 | 最近
|
|
37
|
+
| 历史 | 最近 100 条解析/分析记录(可搜索、可收藏星标),存在 `~/.dsh/video-history.json`(跨浏览器、跨重启都在),点击重新打开,可单条删除或清空 |
|
|
35
38
|
|
|
36
39
|
左栏的**可折叠内嵌播放器**:面板里的 iframe 指向 host 的 `/dsh-video/api/player` 外壳页——桌面客户端主界面跑在 `dsh-app://` 自定义协议下,直接嵌 YouTube 会被拒绝播放,外壳页以 http 起源加载后再嵌真正的播放器:YouTube 走官方 IFrame Player API(`seekTo` + `playVideo`,点时间戳直接跳过去并继续播放),B 站走 `player.bilibili.com`(分 P、`t` 起始秒数都支持,seek 只重载内层 iframe)。章节、原文、思维导图里的时间戳点了会 seek 到对应位置,折叠状态下会先展开再跳。折叠偏好记在 localStorage。窄窗口(<980px)自动改成单列堆叠。
|
|
37
40
|
|
|
@@ -86,12 +89,14 @@ curl -L -o ggml-large-v3-turbo-q5_0.bin \
|
|
|
86
89
|
纯音乐、无声演示、PPT 录屏这类视频,语音识别只会得到 `*music*`。插件会自动兜底到画面管线:
|
|
87
90
|
|
|
88
91
|
1. yt-dlp 下载 480p 以内的视频;
|
|
89
|
-
2.
|
|
92
|
+
2. **按镜头切点抽帧**(`frameSampling: cuts`,默认):先扫一遍画面找剪辑点,一个镜头取一张,再按时间轴等分补齐(镜头太少时退化成均匀铺满);切分失败会自动退回「每 `ocrIntervalSeconds` 秒抽一帧」(`frameSampling: uniform`)。阈值 `cutThreshold` 默认 27,越高只抓越明显的转场;扫描只多一次 64×36 解码(实测 10 分钟片子约 4 秒),抽帧按时间点精确定位;
|
|
90
93
|
3. **本机 OCR**:用 macOS 自带的 Vision 框架离线识别中英文文字(首次使用会把一个小工具编译到 `~/.dsh/video-tools/ocr/`,约 10-20 秒,之后复用),完全不出本机;
|
|
91
|
-
4. **画面理解(可选)**:把抽样的若干帧(默认最多 48
|
|
94
|
+
4. **画面理解(可选)**:把抽样的若干帧(默认最多 48 帧)**拼成一张分镜图**(`visionPack: sheet`,默认 3 列、行数按帧数自动算)再交给支持图片输入的模型,让它按「第几格 = 第几秒」逐格描述场景、人物/物体、动作和画面文字;拼图失败会自动回落到逐帧发送(`visionPack: frames`)。默认 `frameMode: auto` 时,只有 OCR 平均每帧不足 4 字(比如纯动画、vlog)才追加这一轮;
|
|
92
95
|
5. 合并成带时间戳的文字稿:有画面描述时 `source: frame-vision`(视觉模型),只有本机文字时 `source: frame-ocr`;后续总结、章节、思维导图、追问都能用。
|
|
93
96
|
|
|
94
|
-
|
|
97
|
+
**为什么拼成一张图**:逐帧发时 12 帧就是 3 次请求、24 帧是 6 次,每张图都单独占一份图片 token;拼图后 24 帧只用 1 次请求、1 张图。实测同一段素材(Big Buck Bunny,24 帧):输入 token 13,312 → 1,905(−86%),耗时 66.0s → 26.9s(−59%),描述覆盖度与逐帧基本一致;12 帧时也分别是 −73% 和 −38%。
|
|
98
|
+
|
|
99
|
+
**隐私差别**:OCR 完全在本机;画面理解会把拼好的画面图片发给当前模型(`visionModel` 留空即用会话默认模型,当前模型需声明 `image` 输入能力,否则面板会给出候选模型提示),设置里可以切换成「仅画面文字(OCR)」或关掉整个画面兜底。
|
|
95
100
|
|
|
96
101
|
识别质量取决于画面清晰度和画面文字;和真实字幕没法比。解析到无字幕视频时**默认会自动开始**这次转写(设置里可关掉「无字幕视频自动转写」);转写完成后总结 / 章节 / 追问 / 原文全部改用新文字稿。
|
|
97
102
|
|
|
@@ -99,21 +104,31 @@ curl -L -o ggml-large-v3-turbo-q5_0.bin \
|
|
|
99
104
|
|
|
100
105
|
## 安装
|
|
101
106
|
|
|
107
|
+
已经发布到 npm:[`dsh-video-insight`](https://www.npmjs.com/package/dsh-video-insight)。
|
|
108
|
+
|
|
109
|
+
**① 让 harness 里的 agent 装(最省事)** —— 在任意会话里说「装一下 npm 包 dsh-video-insight 这个插件」,或直接调用插件管理工具 `plugin_manager`:
|
|
110
|
+
|
|
111
|
+
```jsonc
|
|
112
|
+
{ "action": "install_bundle", "target": "dsh-video-insight" }
|
|
113
|
+
```
|
|
114
|
+
|
|
115
|
+
安装器会自动把它写进 profile 的 `dependencies` 和 `dsh.profile.bundles`,live profile 立即生效,刷新页面就能看到左侧栏入口。
|
|
116
|
+
|
|
117
|
+
**② 装本地克隆/目录** —— 想改代码或尝鲜时:
|
|
118
|
+
|
|
102
119
|
```bash
|
|
103
120
|
git clone https://github.com/Azerz/dsh-video-insight.git
|
|
104
121
|
```
|
|
105
122
|
|
|
106
|
-
|
|
107
|
-
|
|
108
|
-
**① 让 harness 里的 agent 装(最省事)** —— 在任意会话里说「把 `/path/to/dsh-video-insight` 装成插件」,或直接调用插件管理工具 `plugin_manager`:
|
|
123
|
+
然后让 agent 装,或直接调用插件管理工具 `plugin_manager`:
|
|
109
124
|
|
|
110
125
|
```jsonc
|
|
111
126
|
{ "action": "install_bundle", "target": "/path/to/dsh-video-insight" }
|
|
112
127
|
```
|
|
113
128
|
|
|
114
|
-
安装器会自动把 `"dsh-video-insight": "link:/path/to/dsh-video-insight"` 写进 profile 的 `dependencies`,并把 `"dsh-video-insight"` 追加进 `dsh.profile.bundles
|
|
129
|
+
安装器会自动把 `"dsh-video-insight": "link:/path/to/dsh-video-insight"` 写进 profile 的 `dependencies`,并把 `"dsh-video-insight"` 追加进 `dsh.profile.bundles`。
|
|
115
130
|
|
|
116
|
-
|
|
131
|
+
**③ 手工装** —— 编辑 `~/.dsh/profiles/desktop/package.json`:
|
|
117
132
|
|
|
118
133
|
```jsonc
|
|
119
134
|
{
|
|
@@ -139,10 +154,26 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
139
154
|
| GET | `/dsh-video/api/status` | `{ok,value:{version,model,bilibili:{cookie},platforms,transcriptLimitChars,asr:{enabled,ready,engine,activeEngine,engineLabel,downloadReady}}}` |
|
|
140
155
|
| GET | `/dsh-video/api/resolve?url=&force=1` | 解析链接 → `VideoDoc`(失败也是 HTTP 200 + `{ok:false,code,error}`) |
|
|
141
156
|
| GET | `/dsh-video/api/asr/status?fresh=1` | 本地转写组件/引擎/模型状态 + `ocr`(画面文字识别)+ `vision`(画面理解/视觉模型能力)+ `privacy` 文案 + `hints` |
|
|
142
|
-
| POST | `/dsh-video/api/asr/config` | `{enabled?,engine?,threads?,maxSeconds?,keepAudio?,autoTranscribe?,ocrFallback?,ocrIntervalSeconds?,ocrMaxFrames?,frameMode?:auto\|ocr\|vision,visionModel?,visionMaxFrames?}` → 新状态 |
|
|
157
|
+
| POST | `/dsh-video/api/asr/config` | `{enabled?,engine?,threads?,maxSeconds?,keepAudio?,autoTranscribe?,ocrFallback?,ocrIntervalSeconds?,ocrMaxFrames?,frameSampling?:cuts\|uniform,cutThreshold?,frameMode?:auto\|ocr\|vision,visionModel?,visionMaxFrames?,visionPack?:sheet\|frames,sheetCols?}` → 新状态 |
|
|
143
158
|
| POST | `/dsh-video/api/transcribe` | SSE:`{url?/docId?, force?}`,帧 `phase` / `progress{percent,stage}` / `done{docId,transcript,cached?}` / `error{code,message}`;无语音时自动兜底 OCR / 画面理解(stage 含 `vision`) |
|
|
144
159
|
| POST | `/dsh-video/api/analyze` | SSE:`{mode:'summary'\|'ask', url?/docId?, question?, history?}`,帧 `phase` / `delta` / `done` / `error` |
|
|
145
160
|
| POST | `/dsh-video/api/chapters` | `{url?/docId?}` → `{ok,value:{chapters:[{start,title,gist}],duration}}` |
|
|
161
|
+
| GET | `/dsh-video/api/storyboard?docId=` | 取缓存的分镜:`{ok,value:{docId,url,title,platform,duration,generatedAt,tookMs,frameSampling,cuts,frames,cols,rows,cellWidth,cellHeight,described,cells:[{index,row,col,seconds,description?}]}}\|null` |
|
|
162
|
+
| GET | `/dsh-video/api/storyboard/image?docId=` | 分镜拼图 `image/jpeg`(`no-store`);没生成过返回 `{code:'not-found'}` |
|
|
163
|
+
| POST | `/dsh-video/api/storyboard` | SSE:`{docId?/url?, frames?:24, cols?:3, describe?:boolean, force?:boolean}`,帧 `phase` / `progress{stage:download\|scan\|frames,percent}` / `done{cached,docId,storyboard}` / `error{code,message}` |
|
|
164
|
+
| POST | `/dsh-video/api/storyboard/clear` | `{docId}` 删掉该视频的分镜(json + jpg) |
|
|
165
|
+
| GET | `/dsh-video/api/bookmarks?docId=` | 片段收藏:`{ok,value:{docId,url,title,updatedAt,items:[{id,start,end,text,label,createdAt}]}}` |
|
|
166
|
+
| POST | `/dsh-video/api/bookmarks/add` | `{docId?/url?, start, end?, text, label?}` 新增收藏(同时间点同文本自动去重):`{ok,value:{item,duplicate,count}}` |
|
|
167
|
+
| POST | `/dsh-video/api/bookmarks/remove` | `{docId, id}` 删除一条 |
|
|
168
|
+
| POST | `/dsh-video/api/bookmarks/clear` | `{docId}` 清空该视频的收藏 |
|
|
169
|
+
| POST | `/dsh-video/api/history/favorite` | `{docId, favorite}` 历史列表星标:返回 `{ok,value:{items}}`(重新解析不会冲掉) |
|
|
170
|
+
| GET | `/dsh-video/api/keyframes?docId=&count=16` | 关键画面时间点:`{ok,value:{docId,duration,items:[{seconds,label}]}}`(优先章节起点,其次镜头切点,最后均匀) |
|
|
171
|
+
| GET | `/dsh-video/api/thumb?docId=&seconds=&w=320` | 某个时间点的画面缩略图(`image/jpeg`,320×180;从缓存的低清视频里截,同一时间点只截一次);也可传 `url=` 代替 `docId=` |
|
|
172
|
+
| GET | `/dsh-video/api/assets?docId=` | 素材缓存状态:`{ok,value:{video:{bytes,duration,downloadedAt},cuts:{count,threshold,createdAt}}}` 或 `null` |
|
|
173
|
+
| POST | `/dsh-video/api/assets/clear` | `{docId}` 清掉该视频的低清视频与切点缓存 |
|
|
174
|
+
| GET | `/dsh-video/api/translate?docId=&lang=zh\|en` | 取缓存的双语对照:`{ok,value:{docId,lang,count,translations:[{start,end,text,translation}]}\|null}` |
|
|
175
|
+
| POST | `/dsh-video/api/translate` | SSE:`{docId?/url?, lang:'zh'\|'en', force?}`,帧 `phase` / `progress{stage:'translate',percent}` / `done{cached,count,translations}` / `error{code}`;按 40 段 / 3200 字一批翻译,缓存到 `~/.dsh/video-translations/` |
|
|
176
|
+
| POST | `/dsh-video/api/translate/clear` | `{docId, lang}` 删掉该视频该语言的译文 |
|
|
146
177
|
| GET | `/dsh-video/api/mindmap?docId=&force=1` | 字幕 → `{ok,value:{docId,mindmap:{title,children[]},source:'llm'\|'cache',generatedAt,cached}}`;无字幕 `code:'no-transcript'`;结果写分析缓存 |
|
|
147
178
|
| GET | `/dsh-video/api/player?platform=&id=&page=&start=` | 播放器外壳 HTML:桌面端自定义协议下让 YouTube 能正常内嵌播放,面板 iframe 指向它 |
|
|
148
179
|
| POST | `/dsh-video/api/credentials` | `{bilibiliCookie}` 保存;传空串即清除 |
|
|
@@ -186,11 +217,15 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
186
217
|
engine: auto # auto | whisper | sensevoice
|
|
187
218
|
autoTranscribe: true # 解析到无字幕视频时自动本地转写
|
|
188
219
|
ocrFallback: true # 连语音都没有时,抽帧做画面文字识别(OCR)
|
|
189
|
-
|
|
220
|
+
frameSampling: cuts # cuts=按镜头切点抽帧(默认)| uniform=固定间隔
|
|
221
|
+
cutThreshold: 27 # 镜头切点阈值(6-40),越高越只抓明显转场
|
|
222
|
+
ocrIntervalSeconds: 8 # 退回固定间隔抽帧时的间隔(秒)
|
|
190
223
|
ocrMaxFrames: 120 # 最多识别帧数
|
|
191
224
|
frameMode: auto # auto | ocr | vision(画面理解)
|
|
192
225
|
visionModel: '' # provider/model,留空用会话默认模型
|
|
193
|
-
visionMaxFrames: 48 #
|
|
226
|
+
visionMaxFrames: 48 # 画面理解最多取几帧
|
|
227
|
+
visionPack: sheet # sheet=多帧拼一张分镜图(默认,省图省时)| frames=逐帧发
|
|
228
|
+
sheetCols: 3 # 分镜图列数(行数按帧数自动算)
|
|
194
229
|
```
|
|
195
230
|
|
|
196
231
|
面板「设置」里保存的 Cookie 与本地转写配置都写在 `~/.dsh/video-credentials.json`,**优先级高于**行配置,改完立即生效。
|
|
@@ -202,11 +237,20 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
202
237
|
- 分析缓存不存字幕:平台字幕靠 `/resolve` 重新抓取,本地转写稿单独存在 `~/.dsh/video-transcripts/`。
|
|
203
238
|
- YouTube 字幕是定时文本,标点/语气词可能有噪声;滚动字幕的重复窗口已做去重。
|
|
204
239
|
- B 站字幕只有「有 Cookie + 该视频确有 AI 字幕」才拿得到,不是每个视频都有。
|
|
205
|
-
-
|
|
206
|
-
-
|
|
240
|
+
- 按镜头抽帧时,画面文字段的「结束时间」按相邻帧间隔的中位数估算(各帧自身的秒数是准的),时间轴粗一点但不会串行;
|
|
241
|
+
- 画面文字识别:只在 macOS 可用(依赖系统 Vision 框架);识别质量取决于画面文字是否清晰,滚动弹幕/花哨字体容易出错;抽帧默认按镜头切点(找不到切点时均匀铺满),因此长视频的覆盖密度取决于镜头数量而不是固定间隔。
|
|
242
|
+
- 画面理解:需要当前(或设置里指定的)模型声明 `image` 输入能力;会把拼好的分镜图发给模型(与 OCR 的本机离线不同);默认一张图装 9–24 格,所以按「张」而不是按「帧」计费(比逐帧省很多),单次生成仍要 15–30s;画面里既没字也没可描述内容时仍会得到 `asr-empty`。
|
|
207
243
|
- 本地转写:Whisper 首次加载 574MB 模型约 6–12 秒(每次调用固定成本,长视频占比可忽略);SenseVoice 段级时间戳是按标点聚合的近似值;`threads: 0` 交给引擎自己决定(whisper.cpp 默认 4)。
|
|
244
|
+
- 双语对照:翻译按批调用当前模型(40 段 / 3200 字一批),长视频要十几批、每批几秒;译文质量和模型相关;「跟随播放」高亮依赖播放器外壳回传时间,目前只有 YouTube 内嵌播放器会发,B 站播放器拿不到播放进度(不报错、不高亮)。
|
|
245
|
+
- 分镜:一个视频只保留一张分镜图(最多 24 格),第一次生成要下 480p + 跑一遍切点扫描(10 分钟片子约 10–20 秒);低清视频与切点会按视频缓存(`~/.dsh/video-assets/`,最多 8 个 / 2GB / 30 天),之后转写、画面理解、分镜都复用,重新生成约 1 秒;「附画面描述」会调用视觉模型,图片会离开本机。
|
|
208
246
|
- 只支持单条链接,不做播放列表 / 合集递归。
|
|
209
247
|
|
|
248
|
+
## 开发与自测
|
|
249
|
+
|
|
250
|
+
```bash
|
|
251
|
+
node test/client.test.mjs # 面板客户端自测(无第三方依赖;自带 fake DOM / fetch / SSE)
|
|
252
|
+
```
|
|
253
|
+
|
|
210
254
|
## 开源
|
|
211
255
|
|
|
212
256
|
- 仓库:[github.com/Azerz/dsh-video-insight](https://github.com/Azerz/dsh-video-insight)
|