dsh-video-insight 0.8.0 → 0.8.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +11 -13
- package/client/client.js +195 -361
- package/lib/analysis.js +3 -1
- package/lib/analyze.js +40 -17
- package/lib/index.js +67 -47
- package/lib/outline.js +336 -0
- package/package.json +4 -1
- package/lib/bookmarks.js +0 -163
package/README.md
CHANGED
|
@@ -3,13 +3,13 @@
|
|
|
3
3
|
[](LICENSE)
|
|
4
4
|
[](https://github.com/deepseek-ai)
|
|
5
5
|
[](#已知限制)
|
|
6
|
-
[](package.json)
|
|
7
7
|
|
|
8
8
|

|
|
9
9
|
|
|
10
|
-
|
|
10
|
+
粘贴一条 YouTube / 哔哩哔哩链接,就能在 DSH 侧边栏里边看边读。总结、章节、思维导图、分镜和带时间戳的追问自动生成,并按视频缓存。没有字幕用本机 Whisper 转写,纯无声视频直接读画面;模型用你 profile 里的,不需要额外 API key。
|
|
11
11
|
|
|
12
|
-
|
|
12
|
+
兜底有三档:**本机 Whisper / SenseVoice 转写**(可选引擎、线程、只转前 N 秒),音频全程不出这台电脑;**纯无声/纯画面视频**(没有配音也没有字幕)还能抽帧做**画面文字识别(OCR)**,甚至直接把画面交给**视觉模型**描述场景、人物和动作(「画面理解」,会用到支持图片输入的模型),把画面内容变成带时间戳的文字稿,摘要仍用你 profile 里的模型。
|
|
13
13
|
|
|
14
14
|
追问是 **RAG(检索增强)**:先把问题在转写稿里做 BM25 检索,只把最相关的几段(带时间戳)连同对话一起喂给模型,回答里标 `[mm:ss]`,气泡下面还有「依据」按钮,点一下直接跳回那段视频。
|
|
15
15
|
|
|
@@ -26,11 +26,10 @@
|
|
|
26
26
|
| 页签 | 做什么 |
|
|
27
27
|
| --- | --- |
|
|
28
28
|
| 总结 | 解析完自动流式生成;结构固定为 一句话总结 / 核心观点 / 内容脉络 / 关键要点 / 值得记住的说法 / 适合谁看,引用带 `[mm:ss]` 时间戳——**正文里的时间戳也可点击,点一下播放器跳到该时间点继续播放**。正文末尾还让模型顺手给出 **3 条「继续追问」**(只对本期内容成立的具体问题),host 会把它从正文里剥出来、单存成 `suggestions`,面板在追问空态里渲染成带虚线的 chip |
|
|
29
|
-
| 章节 |
|
|
30
|
-
| 片段 | 收藏的片段列表:原文里点行尾的 ☆ 就能收进来,点一条跳到那个位置并继续播放,也可以复制文字或删除 |
|
|
29
|
+
| 章节 | 章节大纲**以思维导图的一级节点为准**(`GET /outline`;导图节点带时间点,直接作为章节起点),导图还没生成时退回模型按时间轴切的章节、视频自带章节或分 P;每行带一张 `GET /thumb` 章节缩略图,点行跳转到该章并继续播放,播放时当前章节高亮 |
|
|
31
30
|
| 原文 | 字幕逐段列表(`[mm:ss] 文本`),可搜索过滤、点单条复制、一键复制全文;「双语」开关把每段翻译成中文/英文(`POST /translate`,按批送模型、结果按视频缓存),开启「跟随」后播放器播到哪、对应段落就高亮滚到视野里(时间轴同步由播放器外壳每秒回传) |
|
|
32
31
|
| 思维导图 | 模型把字幕整理成 3 层树状大纲(`GET /mindmap`,带缓存),面板渲染成 **SVG 图形化横向树**(节点卡片 + 贝塞尔连线、按分支配色),点节点折叠/展开,支持全部展开/收起、缩放、重新生成;节点上带可点的时间徽标(模型按字幕定位),点一下跳到视频对应位置 |
|
|
33
|
-
| 关键画面 | 关键画面总览(PPT
|
|
32
|
+
| 关键画面 | 关键画面总览(PPT 模式):与章节共用同一份大纲(`GET /outline`),一屏看到每章的代表画面;点「生成画面描述」让视觉模型一次性看完这套画面并给每章写一句描述(`POST /outline/visuals`,拼图后只发一张图),描述按视频缓存,章节页签也复用;点一张跳到那个画面并继续播放 |
|
|
34
33
|
| 分镜 | 按镜头切点抽帧、拼成一张**分镜拼图**(`POST /storyboard`,默认 24 格按 3 列排;行数按帧数自动),每格左上角标时间;点任意一格跳到那个画面并继续播放。可选「附画面描述」让视觉模型给每格写一句描述(悬停格子可见)。图片按视频缓存在 `~/.dsh/video-storyboards/`,切回页签秒开;低清视频和镜头切点也按视频缓存在 `~/.dsh/video-assets/`,转写、画面理解、分镜共用同一份,第二次打开页签不再重新下载 |
|
|
35
34
|
| 追问 | 左栏下方对话框:基于转写稿的 RAG 多轮问答(检索相关段落后再回答),回答带 `[mm:ss]`,下方「依据」chip 可点击跳转;对话按视频缓存。空态先给固定三句,再给 **AI 根据本视频总结生成的 3 条建议追问**(虚线 chip,点一下直接问) |
|
|
36
35
|
| 设置 | 填 B 站 Cookie(SESSDATA),保存到 `~/.dsh/video-credentials.json`(0600);可清除 |
|
|
@@ -142,7 +141,7 @@ git clone https://github.com/Azerz/dsh-video-insight.git
|
|
|
142
141
|
装好后确认路由在线:
|
|
143
142
|
|
|
144
143
|
```bash
|
|
145
|
-
curl -s http://127.0.0.1:
|
|
144
|
+
curl -s http://127.0.0.1:49269/dsh-video/api/status # 端口以实际 GUI 为准
|
|
146
145
|
```
|
|
147
146
|
|
|
148
147
|
host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文件、不跑构建。可选依赖(仅本地转写/画面识别需要):`brew install ffmpeg yt-dlp whisper.cpp`,详见上文。
|
|
@@ -162,12 +161,11 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
162
161
|
| GET | `/dsh-video/api/storyboard/image?docId=` | 分镜拼图 `image/jpeg`(`no-store`);没生成过返回 `{code:'not-found'}` |
|
|
163
162
|
| POST | `/dsh-video/api/storyboard` | SSE:`{docId?/url?, frames?:24, cols?:3, describe?:boolean, force?:boolean}`,帧 `phase` / `progress{stage:download\|scan\|frames,percent}` / `done{cached,docId,storyboard}` / `error{code,message}` |
|
|
164
163
|
| POST | `/dsh-video/api/storyboard/clear` | `{docId}` 删掉该视频的分镜(json + jpg) |
|
|
165
|
-
| GET | `/dsh-video/api/bookmarks?docId=` | 片段收藏:`{ok,value:{docId,url,title,updatedAt,items:[{id,start,end,text,label,createdAt}]}}` |
|
|
166
|
-
| POST | `/dsh-video/api/bookmarks/add` | `{docId?/url?, start, end?, text, label?}` 新增收藏(同时间点同文本自动去重):`{ok,value:{item,duplicate,count}}` |
|
|
167
|
-
| POST | `/dsh-video/api/bookmarks/remove` | `{docId, id}` 删除一条 |
|
|
168
|
-
| POST | `/dsh-video/api/bookmarks/clear` | `{docId}` 清空该视频的收藏 |
|
|
169
164
|
| POST | `/dsh-video/api/history/favorite` | `{docId, favorite}` 历史列表星标:返回 `{ok,value:{items}}`(重新解析不会冲掉) |
|
|
170
|
-
| GET | `/dsh-video/api/
|
|
165
|
+
| GET | `/dsh-video/api/outline?docId=` | 章节/关键画面共用的大纲:`{ok,value:{docId,duration,source:'mindmap'\|'chapters'\|'uniform',signature,visuals,items:[{seconds,title,detail,description}]}}`;`visuals` 是已缓存的画面描述(没有则 null) |
|
|
166
|
+
| POST | `/dsh-video/api/outline/visuals` | SSE,body `{docId?/url?, force}`:抽帧 → 拼一张图 → 视觉模型逐格描述;帧 `phase`/`progress`/`done{items,cached,usage}`/`error` |
|
|
167
|
+
| POST | `/dsh-video/api/outline/clear` | `{docId}` 删掉该视频缓存的画面描述 |
|
|
168
|
+
| GET | `/dsh-video/api/keyframes?docId=&count=16` | 关键画面时间点(与 `/outline` 同源,保留给旧客户端):`{ok,value:{docId,duration,items:[{seconds,label}]}}` |
|
|
171
169
|
| GET | `/dsh-video/api/thumb?docId=&seconds=&w=320` | 某个时间点的画面缩略图(`image/jpeg`,320×180;从缓存的低清视频里截,同一时间点只截一次);也可传 `url=` 代替 `docId=` |
|
|
172
170
|
| GET | `/dsh-video/api/assets?docId=` | 素材缓存状态:`{ok,value:{video:{bytes,duration,downloadedAt},cuts:{count,threshold,createdAt}}}` 或 `null` |
|
|
173
171
|
| POST | `/dsh-video/api/assets/clear` | `{docId}` 清掉该视频的低清视频与切点缓存 |
|
|
@@ -181,7 +179,7 @@ host 半零外部依赖(只用 Node 内置 `fetch`/`crypto`),不写锁文
|
|
|
181
179
|
| GET | `/dsh-video/api/analysis?docId=` | 取某个视频的分析缓存:`{ok,value:{docId,analysis:{summary,chapters,mindmap,chat}}}` |
|
|
182
180
|
| POST | `/dsh-video/api/analysis/clear` | `{docId}` 清掉该视频全部缓存(总结/章节/导图/对话) |
|
|
183
181
|
| POST | `/dsh-video/api/analysis/chat/clear` | `{docId}` 只清对话 |
|
|
184
|
-
| GET | `/dsh-video/api/history` | `{ok,value:{items:[…]}}`,最近
|
|
182
|
+
| GET | `/dsh-video/api/history` | `{ok,value:{items:[…]}}`,最近 100 条,新的在前(解析/分析成功后 host 自动写入);带 `hasSummary/hasChapters/hasMindmap/chatCount` 标记 |
|
|
185
183
|
| POST | `/dsh-video/api/history/remove` | `{docId}` 删一条 → `{ok,value:{items}}` |
|
|
186
184
|
| POST | `/dsh-video/api/history/clear` | 清空历史 → `{ok,value:{items:[]}}` |
|
|
187
185
|
|