@oadank/dsh-input-tools 0.3.19 → 0.3.20

package/README.md

@@ -1,9 +1,12 @@
 # dsh-input-tools —— DSH Web 多功能增强插件
 
-给 DSH Web 加全套实用能力：**语音**（录音输入 / 多引擎 TTS / 离线 ASR / 音色克隆 / 语音气泡 / AI 语音回复）、**图片**（文本模型也能发图识图）、**余额显示**。
+> 一句话定位：**给 DSH 配上眼睛、耳朵和嘴巴——而且全部免费。**
+
+给 DSH Web 加全套实用能力：**眼睛**（文本模型也能发图识图）、**耳朵**（录音输入 / 离线 ASR）、**嘴巴**（多引擎 TTS / 音色克隆 / AI 语音回复）、**余额显示**。
 
 - **host**（服务端）：语音工具 + TTS 六引擎 + ASR + 音色克隆 + 自动语音回复
 - **client**（浏览器）：输入框工具条（图片/录音）+ 语音设置页 + 余额显示 + 语音文本复制
+- **免费**：本地部署优先（离线 ASR / 本地 TTS / 本地识图），在线引擎也全是免费档，无需付费 Key
 
 ## 功能
 
@@ -18,9 +21,30 @@
 | 语音气泡 | 用户/AI 语音消息可点击播放，尾部复制转写文本 |
 
 ### 图片
-- 输入框图片按钮上传 → **文本模型也能发图**：图片转本地路径文本，AI 自动调视觉 MCP 识图后回答
-- 附件存储自动生成**带扩展名的别名**（jpg/png/webp→png），zai-vision 等按扩展名校验的
-  识图工具可直接读取（源码补丁包含，无需额外配置）
+- 输入框图片按钮上传 → **文本模型也能发图**：图片转本地附件路径文本，AI 自动调 **look_image 工具**识图（describe 看图描述 / reverse 像素级反推生图提示词 / text 提取文字）
+- 识图后端在设置页「图片识别」独立分区配置：**本地部署**（ollama / sglang / vllm 等 OpenAI 兼容 `/v1` 端点，无需 Key）或**在线云端 API**（填地址 + API Key），统一 OpenAI 兼容格式
+- 设置页可一键测试配置连通（内置测试图 + 三模式试跑）、查看/编辑每个模式的提示词（支持恢复默认）
+
+## 架构说明：图片/语音为什么需要改 dsh 源码
+
+官方 dsh 对图片只有一个态度：**当前模型支持看图就把图发过去（data-URL），不支持就报错**。
+纯文本模型（如 deepseek-v4-flash）在官方 dsh 上**根本没法用图**——不是缺识图工具，而是图片块进不了模型。
+
+两条路线：
+
+**A. 不改源码（modlens 等外置插件的做法）**
+图片在"粘贴进输入框"那一刻被拦截：图片字节存临时目录，输入框里放**路径文本**，消息里没有图片块，官方序列化永远不碰图片 → 文本模型也能用工具看图。
+代价：① 只覆盖「粘贴」一个入口（普通发图、语音带图、历史消息里的图都管不到）；② 聊天里不是标准图片消息（没有官方缩略图/点击放大/附件管理）。
+
+**B. 改源码（本 fork 的做法）**
+- `llm-deepseek/serialize.ts` + `llm-pi-ai/context.ts`：图片块统一转成「本地附件路径文本」，模型拿到路径后用本插件的 `look_image` 识图——**任何入口**的图（发图 / 语音带图 / 历史回放 / 含图会话切换模型）全覆盖；
+- `apiproxy/api-proxy.ts`：移除官方「模型不支持图片就拒绝切换」的闸门。
+
+代价：框架源码有改动（约两千行内），升级上游需合并。
+收益：**标准图片消息体验保留**（缩略图 / 点击放大 / 附件管理）+ 全链路覆盖。
+
+> 一句话：不改源码 = 只覆盖粘贴入口且失去图片消息体验；本 fork 改源码 = 全链路 + 完整体验。
+> 语音同理：官方不认识"语音消息"，本 fork 的语音落盘 / ASR 转文本 / 语音气泡 / AI 语音回复也是一整套框架改动（voice.ts 等）。
 
 ### 余额
 - 直连模型时输入框右侧实时显示余额（¥xx）