dsh-video-insight 0.4.8 → 0.8.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
package/README.md CHANGED
@@ -3,13 +3,13 @@
3
3
  [![License: MIT](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE)
4
4
  [![DeepSeek Harness](https://img.shields.io/badge/DeepSeek%20Harness-plugin-4d6bfe.svg)](https://github.com/deepseek-ai)
5
5
  [![Platform](https://img.shields.io/badge/platform-macOS%20%7C%20Linux%20%7C%20Windows-lightgrey.svg)](#已知限制)
6
- [![Version](https://img.shields.io/badge/dsh--video--insight-v0.4.8-blue.svg)](package.json)
6
+ [![Version](https://img.shields.io/badge/dsh--video--insight-v0.8.1-blue.svg)](package.json)
7
7
 
8
8
  ![dsh-video-insight](icon.svg)
9
9
 
10
- DeepSeek Harness 的视频插件库里的「第二块屏」:左侧栏「知乎浏览」下面是**视频解析**入口,点开是一整页面板:**左栏**上方是内嵌播放器、下方是追问对话框,**右栏**是总结 / 章节 / 原文 / 思维导图。粘贴一条 YouTube 或哔哩哔哩链接,插件自己把字幕抓下来,用你当前的默认模型生成内容;点时间戳直接跳到对应位置,边看边读。左上角「← 返回」:在视频详情页点它回到插件首页(大输入框 + 最近分析),已经在首页时再点才回到会话界面。
10
+ 粘贴一条 YouTube / 哔哩哔哩链接,就能在 DSH 侧边栏里边看边读。总结、章节、思维导图、分镜和带时间戳的追问自动生成,并按视频缓存。没有字幕用本机 Whisper 转写,纯无声视频直接读画面;模型用你 profile 里的,不需要额外 API key。
11
11
 
12
- 没有字幕的视频也不至于没得看:可以用**本机 Whisper / SenseVoice 转写**兜底(可选引擎、线程、只转前 N 秒),音频全程不出这台电脑;**纯无声/纯画面视频**(没有配音也没有字幕)还能抽帧做**画面文字识别(OCR)**,甚至直接把画面交给**视觉模型**描述场景、人物和动作(「画面理解」,会用到支持图片输入的模型),把画面内容变成带时间戳的文字稿,摘要仍用你 profile 里的模型。
12
+ 兜底有三档:**本机 Whisper / SenseVoice 转写**(可选引擎、线程、只转前 N 秒),音频全程不出这台电脑;**纯无声/纯画面视频**(没有配音也没有字幕)还能抽帧做**画面文字识别(OCR)**,甚至直接把画面交给**视觉模型**描述场景、人物和动作(「画面理解」,会用到支持图片输入的模型),把画面内容变成带时间戳的文字稿,摘要仍用你 profile 里的模型。
13
13
 
14
14
  追问是 **RAG(检索增强)**:先把问题在转写稿里做 BM25 检索,只把最相关的几段(带时间戳)连同对话一起喂给模型,回答里标 `[mm:ss]`,气泡下面还有「依据」按钮,点一下直接跳回那段视频。
15
15
 
@@ -19,19 +19,21 @@ DeepSeek Harness 的视频插件库里的「第二块屏」:左侧栏「知乎
19
19
 
20
20
  ## 入口与页面
21
21
 
22
- 左侧栏 `sidebar.panellist`,`order: 30`(排在「插件」「定时任务」「知乎浏览」之后)。图标是粉色播放键 + 星芒。
22
+ 入口在左侧栏的面板列表(`sidebar.panellist`,`order: 30`,排在默认条目之后,可按需调整)。图标是粉色播放键 + 星芒。
23
23
 
24
24
  首页是 Google 式的**居中大输入框 + 解析按钮**(粘贴链接回车即可),下面是「最近分析」的历史列表(历史区自己内联滚动,不带动整页),点历史项直接回到那个视频;不再有多余的平台介绍卡。解析出视频后才出现顶部的小号输入条,方便随时换一个链接。
25
25
 
26
26
  | 页签 | 做什么 |
27
27
  | --- | --- |
28
28
  | 总结 | 解析完自动流式生成;结构固定为 一句话总结 / 核心观点 / 内容脉络 / 关键要点 / 值得记住的说法 / 适合谁看,引用带 `[mm:ss]` 时间戳——**正文里的时间戳也可点击,点一下播放器跳到该时间点继续播放**。正文末尾还让模型顺手给出 **3 条「继续追问」**(只对本期内容成立的具体问题),host 会把它从正文里剥出来、单存成 `suggestions`,面板在追问空态里渲染成带虚线的 chip |
29
- | 章节 | 模型按时轴切 6–12 章(`POST /chapters` 只吐 JSON);失败自动回落视频自带的章节 / 分 P |
30
- | 原文 | 字幕逐段列表(`[mm:ss] 文本`),可搜索过滤、点单条复制、一键复制全文 |
31
- | 思维导图 | 模型把字幕整理成 3 层树状大纲(`GET /mindmap`,带缓存),面板渲染成 **SVG 图形化横向树**(节点卡片 + 贝塞尔连线、按分支配色),点节点折叠/展开,支持全部展开/收起、缩放、重新生成 |
29
+ | 章节 | 章节大纲**以思维导图的一级节点为准**(`GET /outline`;导图节点带时间点,直接作为章节起点),导图还没生成时退回模型按时间轴切的章节、视频自带章节或分 P;每行带一张 `GET /thumb` 章节缩略图,点行跳转到该章并继续播放,播放时当前章节高亮 |
30
+ | 原文 | 字幕逐段列表(`[mm:ss] 文本`),可搜索过滤、点单条复制、一键复制全文;「双语」开关把每段翻译成中文/英文(`POST /translate`,按批送模型、结果按视频缓存),开启「跟随」后播放器播到哪、对应段落就高亮滚到视野里(时间轴同步由播放器外壳每秒回传) |
31
+ | 思维导图 | 模型把字幕整理成 3 层树状大纲(`GET /mindmap`,带缓存),面板渲染成 **SVG 图形化横向树**(节点卡片 + 贝塞尔连线、按分支配色),点节点折叠/展开,支持全部展开/收起、缩放、重新生成;节点上带可点的时间徽标(模型按字幕定位),点一下跳到视频对应位置 |
32
+ | 关键画面 | 关键画面总览(PPT 模式):与章节共用同一份大纲(`GET /outline`),一屏看到每章的代表画面;点「生成画面描述」让视觉模型一次性看完这套画面并给每章写一句描述(`POST /outline/visuals`,拼图后只发一张图),描述按视频缓存,章节页签也复用;点一张跳到那个画面并继续播放 |
33
+ | 分镜 | 按镜头切点抽帧、拼成一张**分镜拼图**(`POST /storyboard`,默认 24 格按 3 列排;行数按帧数自动),每格左上角标时间;点任意一格跳到那个画面并继续播放。可选「附画面描述」让视觉模型给每格写一句描述(悬停格子可见)。图片按视频缓存在 `~/.dsh/video-storyboards/`,切回页签秒开;低清视频和镜头切点也按视频缓存在 `~/.dsh/video-assets/`,转写、画面理解、分镜共用同一份,第二次打开页签不再重新下载 |
32
34
  | 追问 | 左栏下方对话框:基于转写稿的 RAG 多轮问答(检索相关段落后再回答),回答带 `[mm:ss]`,下方「依据」chip 可点击跳转;对话按视频缓存。空态先给固定三句,再给 **AI 根据本视频总结生成的 3 条建议追问**(虚线 chip,点一下直接问) |
33
35
  | 设置 | 填 B 站 Cookie(SESSDATA),保存到 `~/.dsh/video-credentials.json`(0600);可清除 |
34
- | 历史 | 最近 20 条解析/分析记录,存在 `~/.dsh/video-history.json`(跨浏览器、跨重启都在),点击重新打开,可单条删除或清空 |
36
+ | 历史 | 最近 100 条解析/分析记录(可搜索、可收藏星标),存在 `~/.dsh/video-history.json`(跨浏览器、跨重启都在),点击重新打开,可单条删除或清空 |
35
37
 
36
38
  左栏的**可折叠内嵌播放器**:面板里的 iframe 指向 host 的 `/dsh-video/api/player` 外壳页——桌面客户端主界面跑在 `dsh-app://` 自定义协议下,直接嵌 YouTube 会被拒绝播放,外壳页以 http 起源加载后再嵌真正的播放器:YouTube 走官方 IFrame Player API(`seekTo` + `playVideo`,点时间戳直接跳过去并继续播放),B 站走 `player.bilibili.com`(分 P、`t` 起始秒数都支持,seek 只重载内层 iframe)。章节、原文、思维导图里的时间戳点了会 seek 到对应位置,折叠状态下会先展开再跳。折叠偏好记在 localStorage。窄窗口(<980px)自动改成单列堆叠。
37
39
 
@@ -86,12 +88,14 @@ curl -L -o ggml-large-v3-turbo-q5_0.bin \
86
88
  纯音乐、无声演示、PPT 录屏这类视频,语音识别只会得到 `*music*`。插件会自动兜底到画面管线:
87
89
 
88
90
  1. yt-dlp 下载 480p 以内的视频;
89
- 2. ffmpeg 每 8 秒抽一帧(可在设置里调 `抽帧间隔` / `最多识别帧数`);
91
+ 2. **按镜头切点抽帧**(`frameSampling: cuts`,默认):先扫一遍画面找剪辑点,一个镜头取一张,再按时间轴等分补齐(镜头太少时退化成均匀铺满);切分失败会自动退回「每 `ocrIntervalSeconds` 秒抽一帧」(`frameSampling: uniform`)。阈值 `cutThreshold` 默认 27,越高只抓越明显的转场;扫描只多一次 64×36 解码(实测 10 分钟片子约 4 秒),抽帧按时间点精确定位;
90
92
  3. **本机 OCR**:用 macOS 自带的 Vision 框架离线识别中英文文字(首次使用会把一个小工具编译到 `~/.dsh/video-tools/ocr/`,约 10-20 秒,之后复用),完全不出本机;
91
- 4. **画面理解(可选)**:把抽样的若干帧(默认最多 48 帧)作为图片交给支持图片输入的模型,让它描述画面里的场景、人物/物体、动作和画面文字;默认 `frameMode: auto` 时,只有 OCR 平均每帧不足 4 字(比如纯动画、vlog)才追加这一轮;
93
+ 4. **画面理解(可选)**:把抽样的若干帧(默认最多 48 帧)**拼成一张分镜图**(`visionPack: sheet`,默认 3 列、行数按帧数自动算)再交给支持图片输入的模型,让它按「第几格 = 第几秒」逐格描述场景、人物/物体、动作和画面文字;拼图失败会自动回落到逐帧发送(`visionPack: frames`)。默认 `frameMode: auto` 时,只有 OCR 平均每帧不足 4 字(比如纯动画、vlog)才追加这一轮;
92
94
  5. 合并成带时间戳的文字稿:有画面描述时 `source: frame-vision`(视觉模型),只有本机文字时 `source: frame-ocr`;后续总结、章节、思维导图、追问都能用。
93
95
 
94
- **隐私差别**:OCR 完全在本机;画面理解会把抽出来的画面图片发给当前模型(`visionModel` 留空即用会话默认模型,当前模型需声明 `image` 输入能力,否则面板会给出候选模型提示),设置里可以切换成「仅画面文字(OCR)」或关掉整个画面兜底。
96
+ **为什么拼成一张图**:逐帧发时 12 帧就是 3 次请求、24 帧是 6 次,每张图都单独占一份图片 token;拼图后 24 帧只用 1 次请求、1 张图。实测同一段素材(Big Buck Bunny,24 帧):输入 token 13,312 → 1,905(−86%),耗时 66.0s → 26.9s(−59%),描述覆盖度与逐帧基本一致;12 帧时也分别是 −73% 和 −38%。
97
+
98
+ **隐私差别**:OCR 完全在本机;画面理解会把拼好的画面图片发给当前模型(`visionModel` 留空即用会话默认模型,当前模型需声明 `image` 输入能力,否则面板会给出候选模型提示),设置里可以切换成「仅画面文字(OCR)」或关掉整个画面兜底。
95
99
 
96
100
  识别质量取决于画面清晰度和画面文字;和真实字幕没法比。解析到无字幕视频时**默认会自动开始**这次转写(设置里可关掉「无字幕视频自动转写」);转写完成后总结 / 章节 / 追问 / 原文全部改用新文字稿。
97
101
 
@@ -99,21 +103,31 @@ curl -L -o ggml-large-v3-turbo-q5_0.bin \
99
103
 
100
104
  ## 安装
101
105
 
106
+ 已经发布到 npm:[`dsh-video-insight`](https://www.npmjs.com/package/dsh-video-insight)。
107
+
108
+ **① 让 harness 里的 agent 装(最省事)** —— 在任意会话里说「装一下 npm 包 dsh-video-insight 这个插件」,或直接调用插件管理工具 `plugin_manager`:
109
+
110
+ ```jsonc
111
+ { "action": "install_bundle", "target": "dsh-video-insight" }
112
+ ```
113
+
114
+ 安装器会自动把它写进 profile 的 `dependencies` 和 `dsh.profile.bundles`,live profile 立即生效,刷新页面就能看到左侧栏入口。
115
+
116
+ **② 装本地克隆/目录** —— 想改代码或尝鲜时:
117
+
102
118
  ```bash
103
119
  git clone https://github.com/Azerz/dsh-video-insight.git
104
120
  ```
105
121
 
106
- 装进 DSH profile 有两条路:
107
-
108
- **① 让 harness 里的 agent 装(最省事)** —— 在任意会话里说「把 `/path/to/dsh-video-insight` 装成插件」,或直接调用插件管理工具 `plugin_manager`:
122
+ 然后让 agent 装,或直接调用插件管理工具 `plugin_manager`:
109
123
 
110
124
  ```jsonc
111
125
  { "action": "install_bundle", "target": "/path/to/dsh-video-insight" }
112
126
  ```
113
127
 
114
- 安装器会自动把 `"dsh-video-insight": "link:/path/to/dsh-video-insight"` 写进 profile 的 `dependencies`,并把 `"dsh-video-insight"` 追加进 `dsh.profile.bundles`,live profile 立即生效,刷新页面就能看到左侧栏入口。
128
+ 安装器会自动把 `"dsh-video-insight": "link:/path/to/dsh-video-insight"` 写进 profile 的 `dependencies`,并把 `"dsh-video-insight"` 追加进 `dsh.profile.bundles`。
115
129
 
116
- **② 手工装** —— 编辑 `~/.dsh/profiles/desktop/package.json`:
130
+ **③ 手工装** —— 编辑 `~/.dsh/profiles/desktop/package.json`:
117
131
 
118
132
  ```jsonc
119
133
  {
@@ -127,7 +141,7 @@ git clone https://github.com/Azerz/dsh-video-insight.git
127
141
  装好后确认路由在线:
128
142
 
129
143
  ```bash
130
- curl -s http://127.0.0.1:50231/dsh-video/api/status # 端口以实际 GUI 为准
144
+ curl -s http://127.0.0.1:49269/dsh-video/api/status # 端口以实际 GUI 为准
131
145
  ```
132
146
 
133
147
  host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文件、不跑构建。可选依赖(仅本地转写/画面识别需要):`brew install ffmpeg yt-dlp whisper.cpp`,详见上文。
@@ -139,10 +153,25 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
139
153
  | GET | `/dsh-video/api/status` | `{ok,value:{version,model,bilibili:{cookie},platforms,transcriptLimitChars,asr:{enabled,ready,engine,activeEngine,engineLabel,downloadReady}}}` |
140
154
  | GET | `/dsh-video/api/resolve?url=&force=1` | 解析链接 → `VideoDoc`(失败也是 HTTP 200 + `{ok:false,code,error}`) |
141
155
  | GET | `/dsh-video/api/asr/status?fresh=1` | 本地转写组件/引擎/模型状态 + `ocr`(画面文字识别)+ `vision`(画面理解/视觉模型能力)+ `privacy` 文案 + `hints` |
142
- | POST | `/dsh-video/api/asr/config` | `{enabled?,engine?,threads?,maxSeconds?,keepAudio?,autoTranscribe?,ocrFallback?,ocrIntervalSeconds?,ocrMaxFrames?,frameMode?:auto\|ocr\|vision,visionModel?,visionMaxFrames?}` → 新状态 |
156
+ | POST | `/dsh-video/api/asr/config` | `{enabled?,engine?,threads?,maxSeconds?,keepAudio?,autoTranscribe?,ocrFallback?,ocrIntervalSeconds?,ocrMaxFrames?,frameSampling?:cuts\|uniform,cutThreshold?,frameMode?:auto\|ocr\|vision,visionModel?,visionMaxFrames?,visionPack?:sheet\|frames,sheetCols?}` → 新状态 |
143
157
  | POST | `/dsh-video/api/transcribe` | SSE:`{url?/docId?, force?}`,帧 `phase` / `progress{percent,stage}` / `done{docId,transcript,cached?}` / `error{code,message}`;无语音时自动兜底 OCR / 画面理解(stage 含 `vision`) |
144
158
  | POST | `/dsh-video/api/analyze` | SSE:`{mode:'summary'\|'ask', url?/docId?, question?, history?}`,帧 `phase` / `delta` / `done` / `error` |
145
159
  | POST | `/dsh-video/api/chapters` | `{url?/docId?}` → `{ok,value:{chapters:[{start,title,gist}],duration}}` |
160
+ | GET | `/dsh-video/api/storyboard?docId=` | 取缓存的分镜:`{ok,value:{docId,url,title,platform,duration,generatedAt,tookMs,frameSampling,cuts,frames,cols,rows,cellWidth,cellHeight,described,cells:[{index,row,col,seconds,description?}]}}\|null` |
161
+ | GET | `/dsh-video/api/storyboard/image?docId=` | 分镜拼图 `image/jpeg`(`no-store`);没生成过返回 `{code:'not-found'}` |
162
+ | POST | `/dsh-video/api/storyboard` | SSE:`{docId?/url?, frames?:24, cols?:3, describe?:boolean, force?:boolean}`,帧 `phase` / `progress{stage:download\|scan\|frames,percent}` / `done{cached,docId,storyboard}` / `error{code,message}` |
163
+ | POST | `/dsh-video/api/storyboard/clear` | `{docId}` 删掉该视频的分镜(json + jpg) |
164
+ | POST | `/dsh-video/api/history/favorite` | `{docId, favorite}` 历史列表星标:返回 `{ok,value:{items}}`(重新解析不会冲掉) |
165
+ | GET | `/dsh-video/api/outline?docId=` | 章节/关键画面共用的大纲:`{ok,value:{docId,duration,source:'mindmap'\|'chapters'\|'uniform',signature,visuals,items:[{seconds,title,detail,description}]}}`;`visuals` 是已缓存的画面描述(没有则 null) |
166
+ | POST | `/dsh-video/api/outline/visuals` | SSE,body `{docId?/url?, force}`:抽帧 → 拼一张图 → 视觉模型逐格描述;帧 `phase`/`progress`/`done{items,cached,usage}`/`error` |
167
+ | POST | `/dsh-video/api/outline/clear` | `{docId}` 删掉该视频缓存的画面描述 |
168
+ | GET | `/dsh-video/api/keyframes?docId=&count=16` | 关键画面时间点(与 `/outline` 同源,保留给旧客户端):`{ok,value:{docId,duration,items:[{seconds,label}]}}` |
169
+ | GET | `/dsh-video/api/thumb?docId=&seconds=&w=320` | 某个时间点的画面缩略图(`image/jpeg`,320×180;从缓存的低清视频里截,同一时间点只截一次);也可传 `url=` 代替 `docId=` |
170
+ | GET | `/dsh-video/api/assets?docId=` | 素材缓存状态:`{ok,value:{video:{bytes,duration,downloadedAt},cuts:{count,threshold,createdAt}}}` 或 `null` |
171
+ | POST | `/dsh-video/api/assets/clear` | `{docId}` 清掉该视频的低清视频与切点缓存 |
172
+ | GET | `/dsh-video/api/translate?docId=&lang=zh\|en` | 取缓存的双语对照:`{ok,value:{docId,lang,count,translations:[{start,end,text,translation}]}\|null}` |
173
+ | POST | `/dsh-video/api/translate` | SSE:`{docId?/url?, lang:'zh'\|'en', force?}`,帧 `phase` / `progress{stage:'translate',percent}` / `done{cached,count,translations}` / `error{code}`;按 40 段 / 3200 字一批翻译,缓存到 `~/.dsh/video-translations/` |
174
+ | POST | `/dsh-video/api/translate/clear` | `{docId, lang}` 删掉该视频该语言的译文 |
146
175
  | GET | `/dsh-video/api/mindmap?docId=&force=1` | 字幕 → `{ok,value:{docId,mindmap:{title,children[]},source:'llm'\|'cache',generatedAt,cached}}`;无字幕 `code:'no-transcript'`;结果写分析缓存 |
147
176
  | GET | `/dsh-video/api/player?platform=&id=&page=&start=` | 播放器外壳 HTML:桌面端自定义协议下让 YouTube 能正常内嵌播放,面板 iframe 指向它 |
148
177
  | POST | `/dsh-video/api/credentials` | `{bilibiliCookie}` 保存;传空串即清除 |
@@ -150,7 +179,7 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
150
179
  | GET | `/dsh-video/api/analysis?docId=` | 取某个视频的分析缓存:`{ok,value:{docId,analysis:{summary,chapters,mindmap,chat}}}` |
151
180
  | POST | `/dsh-video/api/analysis/clear` | `{docId}` 清掉该视频全部缓存(总结/章节/导图/对话) |
152
181
  | POST | `/dsh-video/api/analysis/chat/clear` | `{docId}` 只清对话 |
153
- | GET | `/dsh-video/api/history` | `{ok,value:{items:[…]}}`,最近 20 条,新的在前(解析/分析成功后 host 自动写入);带 `hasSummary/hasChapters/hasMindmap/chatCount` 标记 |
182
+ | GET | `/dsh-video/api/history` | `{ok,value:{items:[…]}}`,最近 100 条,新的在前(解析/分析成功后 host 自动写入);带 `hasSummary/hasChapters/hasMindmap/chatCount` 标记 |
154
183
  | POST | `/dsh-video/api/history/remove` | `{docId}` 删一条 → `{ok,value:{items}}` |
155
184
  | POST | `/dsh-video/api/history/clear` | 清空历史 → `{ok,value:{items:[]}}` |
156
185
 
@@ -186,11 +215,15 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
186
215
  engine: auto # auto | whisper | sensevoice
187
216
  autoTranscribe: true # 解析到无字幕视频时自动本地转写
188
217
  ocrFallback: true # 连语音都没有时,抽帧做画面文字识别(OCR)
189
- ocrIntervalSeconds: 8 # 抽帧间隔(秒)
218
+ frameSampling: cuts # cuts=按镜头切点抽帧(默认)| uniform=固定间隔
219
+ cutThreshold: 27 # 镜头切点阈值(6-40),越高越只抓明显转场
220
+ ocrIntervalSeconds: 8 # 退回固定间隔抽帧时的间隔(秒)
190
221
  ocrMaxFrames: 120 # 最多识别帧数
191
222
  frameMode: auto # auto | ocr | vision(画面理解)
192
223
  visionModel: '' # provider/model,留空用会话默认模型
193
- visionMaxFrames: 48 # 画面理解最多几张画面
224
+ visionMaxFrames: 48 # 画面理解最多取几帧
225
+ visionPack: sheet # sheet=多帧拼一张分镜图(默认,省图省时)| frames=逐帧发
226
+ sheetCols: 3 # 分镜图列数(行数按帧数自动算)
194
227
  ```
195
228
 
196
229
  面板「设置」里保存的 Cookie 与本地转写配置都写在 `~/.dsh/video-credentials.json`,**优先级高于**行配置,改完立即生效。
@@ -202,11 +235,20 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
202
235
  - 分析缓存不存字幕:平台字幕靠 `/resolve` 重新抓取,本地转写稿单独存在 `~/.dsh/video-transcripts/`。
203
236
  - YouTube 字幕是定时文本,标点/语气词可能有噪声;滚动字幕的重复窗口已做去重。
204
237
  - B 站字幕只有「有 Cookie + 该视频确有 AI 字幕」才拿得到,不是每个视频都有。
205
- - 画面文字识别:只在 macOS 可用(依赖系统 Vision 框架);识别质量取决于画面文字是否清晰,滚动弹幕/花哨字体容易出错;抽帧间隔与帧数上限会限制长视频的覆盖密度。
206
- - 画面理解:需要当前(或设置里指定的)模型声明 `image` 输入能力;会把抽样画面图片发给模型(与 OCR 的本机离线不同);每帧约 2–4 秒、按帧计费,所以默认只抽最多 48 帧并在 OCR 文字够多时跳过;画面里既没字也没可描述内容时仍会得到 `asr-empty`。
238
+ - 按镜头抽帧时,画面文字段的「结束时间」按相邻帧间隔的中位数估算(各帧自身的秒数是准的),时间轴粗一点但不会串行;
239
+ - 画面文字识别:只在 macOS 可用(依赖系统 Vision 框架);识别质量取决于画面文字是否清晰,滚动弹幕/花哨字体容易出错;抽帧默认按镜头切点(找不到切点时均匀铺满),因此长视频的覆盖密度取决于镜头数量而不是固定间隔。
240
+ - 画面理解:需要当前(或设置里指定的)模型声明 `image` 输入能力;会把拼好的分镜图发给模型(与 OCR 的本机离线不同);默认一张图装 9–24 格,所以按「张」而不是按「帧」计费(比逐帧省很多),单次生成仍要 15–30s;画面里既没字也没可描述内容时仍会得到 `asr-empty`。
207
241
  - 本地转写:Whisper 首次加载 574MB 模型约 6–12 秒(每次调用固定成本,长视频占比可忽略);SenseVoice 段级时间戳是按标点聚合的近似值;`threads: 0` 交给引擎自己决定(whisper.cpp 默认 4)。
242
+ - 双语对照:翻译按批调用当前模型(40 段 / 3200 字一批),长视频要十几批、每批几秒;译文质量和模型相关;「跟随播放」高亮依赖播放器外壳回传时间,目前只有 YouTube 内嵌播放器会发,B 站播放器拿不到播放进度(不报错、不高亮)。
243
+ - 分镜:一个视频只保留一张分镜图(最多 24 格),第一次生成要下 480p + 跑一遍切点扫描(10 分钟片子约 10–20 秒);低清视频与切点会按视频缓存(`~/.dsh/video-assets/`,最多 8 个 / 2GB / 30 天),之后转写、画面理解、分镜都复用,重新生成约 1 秒;「附画面描述」会调用视觉模型,图片会离开本机。
208
244
  - 只支持单条链接,不做播放列表 / 合集递归。
209
245
 
246
+ ## 开发与自测
247
+
248
+ ```bash
249
+ node test/client.test.mjs # 面板客户端自测(无第三方依赖;自带 fake DOM / fetch / SSE)
250
+ ```
251
+
210
252
  ## 开源
211
253
 
212
254
  - 仓库:[github.com/Azerz/dsh-video-insight](https://github.com/Azerz/dsh-video-insight)