@floatingsk/dsh-vision 0.1.2 → 0.1.4

package/README.md

@@ -1,6 +1,6 @@
 # dsh-vision
 
-> 给 DeepSeek Harness（dsh）补上视觉能力的插件：**本地 OCR（macOS / Windows）+ 云端 VLM（多供应商）图片理解**。
+> 给 DeepSeek Harness（dsh）插件 与 Claude Code（MCP）提供视觉能力的工具：**本地 OCR（macOS / Windows）+ 云端 VLM（多供应商）图片理解**。
 
 DeepSeek 的模型 API 目前不支持图像输入，`read_image` 因此无法使用。本插件提供两个工具绕过这个限制：
 
@@ -17,6 +17,7 @@ DeepSeek 的模型 API 目前不支持图像输入，`read_image` 因此无法
 - 🔑 **灵活取 Key**：环境变量或 `~/.dsh/.credentials.yaml`
 - 🧪 **零依赖单测**：核心逻辑用 Node 内置 `node:test` 覆盖（13 用例）
 - 🌏 **多供应商 VLM**：内置百炼 / 硅基流动 / 智谱 / 火山方舟，OpenAI 兼容可加任意家
+- 🔌 **双形态**：既是 dsh 插件，也是 MCP server（Claude Code 等 MCP 客户端直接用）
 - 🪟 **Windows 支持**：附 PowerShell OCR 后端（Windows.Media.Ocr），VLM 通道跨平台
 
 ## 安装
@@ -176,6 +177,16 @@ claude mcp test dsh-vision   # 或直接问 Claude：看下 /path/to/xxx.png 里
 
 > MCP server 为纯 Node 实现（stdio JSON-RPC），无第三方依赖，Node >= 18 即可。
 
+## 剪贴板贴图（copy-to-agent）
+
+配套工具集（`clipboard/`）：**复制图片 → 直接贴给 agent**，不用手动存文件、不用给路径。
+
+```sh
+cd clipboard && bash install.sh   # 一键安装：LaunchAgent 自启 + 状态服务 + 前端提示
+```
+
+复制图片后，dsh web 右下角显示 `[图片已就绪]`，对 agent 说"看下我刚贴的图"即可。支持连续多张、Finder 多选。详见 [clipboard/README.md](./clipboard/README.md)。
+
 ## 开发
 
 ```sh

package/clipboard/README.md

@@ -0,0 +1,50 @@
+# 剪贴板贴图工具集（clipboard）
+
+让 dsh web 支持"**复制图片 → 直接贴给 agent**"的工作流：不需要手动保存文件、不需要给路径。
+
+```
+你在任何地方复制图片（截图 ⌘C / 右键复制图片 / Finder 多选）
+        ↓ clipboard-watch.sh（常驻监听，LaunchAgent 开机自启）
+图片自动保存到 pasted-images/（去重 + 只留最近 30 张）
+        ↓ clip-state-server.js（本地状态服务 127.0.0.1:51799）
+dsh web 前端 clip-hint.js（轮询状态）→ 输入框右下角显示 "[图片已就绪]"
+        ↓ 你对 agent 说 "看下我刚贴的图"
+agent 读取图片 → OCR 读文字 / VLM 看画面
+```
+
+## 文件
+
+| 文件 | 作用 |
+|---|---|
+| `clipboard-watch.sh` | 剪贴板监听：图片数据（⌘C 图片）与文件引用（Finder 多选）双通道，自动保存 + 去重 + 清理 |
+| `clip-state-server.js` | 本地 HTTP 状态服务（零依赖 Node），供前端轮询最新图片 |
+| `clip-hint.js` | dsh web 前端注入脚本：检测到新图时右下角显示占位提示 |
+| `install.sh` | 一键安装：部署脚本 + LaunchAgent 开机自启 + 启动状态服务 + 注入前端 |
+
+## 安装
+
+```sh
+bash install.sh [保存目录，默认 ~/Documents/DeepSeek/pasted-images]
+```
+
+安装后**刷新 dsh web 页面**，复制一张图，右下角会出现绿色提示条 `[图片已就绪: xxx.png]`。
+
+## 多图支持
+
+- **连续复制**：每张都会保存，提示条显示"共 N 张，最近5张: ..."
+- **Finder 多选**：选中多张图片 ⌘C，自动全部拷入
+- 对 agent 说"**看下刚贴的图**"（最新一张）或"**看下刚贴的 N 张图**"（最近 N 张）
+
+## 配置
+
+| 项 | 位置 |
+|---|---|
+| 保存目录 | `install.sh` 第 1 个参数；状态服务读 `$HOME/Documents/DeepSeek/pasted-images` |
+| 保留张数 | `clipboard-watch.sh` 第 2 个参数（默认 30） |
+| 状态服务端口 | `install.sh` 的 `PORT` 变量（默认 51799），`clip-hint.js` 里 `STATE_URL` 需同步 |
+| dsh web 注入 | `install.sh` 自动处理；dsh 升级后若失效，重跑 install.sh |
+
+## 平台
+
+- macOS（依赖 osascript 读剪贴板）
+- 零第三方依赖：Node >= 18（状态服务）、系统自带 bash/osascript

package/clipboard/clip-hint.js

@@ -0,0 +1,58 @@
+// clip-hint.js — dsh web 输入框剪贴板图片提示
+// 轮询本地状态服务（clip-state-server），剪贴板有图片被捕获时，
+// 在输入框上方显示 "[图片已就绪: xxx.png]" 占位提示。
+(function () {
+	"use strict";
+	const STATE_URL = "http://127.0.0.1:51799/state";
+	const POLL_MS = 2000;
+	let lastTs = 0;
+	let hintEl = null;
+
+	function ensureHint() {
+		if (hintEl) return hintEl;
+		hintEl = document.createElement("div");
+		hintEl.id = "dsh-clip-hint";
+		hintEl.style.cssText = [
+			"position:fixed", "bottom:120px", "right:24px", "z-index:99999",
+			"background:rgba(20,20,24,0.92)", "color:#7ee787",
+			"padding:8px 14px", "border-radius:8px", "font-size:13px",
+			"font-family:ui-monospace,SFMono-Regular,Menlo,monospace",
+			"box-shadow:0 4px 16px rgba(0,0,0,0.35)", "border:1px solid rgba(126,231,135,0.35)",
+			"display:none", "pointer-events:none", "max-width:420px", "white-space:nowrap",
+			"overflow:hidden", "text-overflow:ellipsis",
+		].join(";");
+		document.body.appendChild(hintEl);
+		return hintEl;
+	}
+
+	function show(text) {
+		const el = ensureHint();
+		el.textContent = text;
+		el.style.display = "block";
+	}
+
+	function hide() {
+		if (hintEl) hintEl.style.display = "none";
+	}
+
+	async function poll() {
+		try {
+			const res = await fetch(STATE_URL, { cache: "no-store" });
+			if (!res.ok) return;
+			const data = await res.json();
+			if (data.latest && data.ts !== lastTs) {
+				lastTs = data.ts;
+				const n = data.count > 1 ? "（共" + data.count + "张，最近5张: " + data.recent.join(", ") + "）" : "";
+				show("[图片已就绪: " + data.latest + "]" + n + " 说\"看下我刚贴的图\"即可");
+				// 10 秒后自动隐藏
+				setTimeout(hide, 10000);
+			}
+		} catch {
+			// 状态服务不可达（未启动），静默忽略
+		}
+	}
+
+	// 启动轮询
+	poll();
+	setInterval(poll, POLL_MS);
+})();

package/clipboard/clip-state-server.js

@@ -0,0 +1,45 @@
+// clip-state-server.js — 剪贴板图片状态服务
+// 供 dsh web 前端轮询：返回 pasted-images 目录的最新图片信息。
+// 前端脚本（clip-hint.js）据此在输入框显示"[图片已就绪]"提示。
+//
+// 用法: node clip-state-server.js [PORT]
+import { createServer } from "node:http";
+import { readdirSync, statSync } from "node:fs";
+import { join } from "node:path";
+
+const PORT = Number(process.argv[2] || 51799);
+const IMG_DIR = join(process.env.HOME, "Documents", "DeepSeek", "pasted-images");
+
+function latestImages(limit) {
+	try {
+		const files = readdirSync(IMG_DIR)
+			.filter((f) => f.startsWith("pasted-") && /\.(png|jpg|jpeg)$/i.test(f))
+			.map((f) => ({ name: f, mtime: statSync(join(IMG_DIR, f)).mtimeMs }))
+			.sort((a, b) => b.mtime - a.mtime)
+			.slice(0, limit);
+		if (files.length === 0) return null;
+		return {
+			latest: files[0].name,
+			ts: Math.round(files[0].mtime),
+			count: files.length,
+			recent: files.map((f) => f.name),
+		};
+	} catch {
+		return null;
+	}
+}
+
+createServer((req, res) => {
+	// CORS：允许 dsh web（127.0.0.1:3080）跨域读取
+	res.setHeader("Access-Control-Allow-Origin", "*");
+	res.setHeader("Content-Type", "application/json; charset=utf-8");
+	if (req.url === "/state" || req.url === "/") {
+		const data = latestImages(5);
+		res.end(JSON.stringify(data ?? { latest: null, ts: 0, count: 0, recent: [] }));
+	} else {
+		res.statusCode = 404;
+		res.end('{"error":"not found"}');
+	}
+}).listen(PORT, "127.0.0.1", () => {
+	console.log(`[clip-state-server] http://127.0.0.1:${PORT}/state`);
+});

package/clipboard/clipboard-watch.sh

@@ -0,0 +1,73 @@
+#!/bin/bash
+# clipboard-watch.sh — 监听 macOS 剪贴板，图片自动落盘
+# 你在任何地方复制图片（截图后 ⌘C / 网页右键复制图片 / 图片 App 里复制），
+# 脚本自动保存到 OUT_DIR，文件名带时间戳，供 dsh agent 用 OCR/VLM 读取。
+# 自动清理：只保留最近 MAX_FILES 张（默认 30），防止目录无限增长。
+#
+# 用法: bash clipboard-watch.sh [OUT_DIR] [MAX_FILES]
+OUT_DIR="${1:-$HOME/Documents/DeepSeek/pasted-images}"
+MAX_FILES="${2:-30}"
+mkdir -p "$OUT_DIR"
+
+LAST_HASH=""
+echo "[clipboard-watch] 监听启动 | 保存目录: $OUT_DIR | 最多保留 $MAX_FILES 张"
+
+# 保存一张图（带去重 + 清理）
+save_image() {
+  local src="$1"
+  local hash ext out
+  hash=$(md5 -q "$src")
+  EXISTING=$(find "$OUT_DIR" -name "pasted-*.png" -exec md5 -q {} \; 2>/dev/null)
+  if echo "$EXISTING" | grep -qx "$hash"; then
+    echo "[$(date +%H:%M:%S)] 跳过重复图 (hash $hash)"
+    return
+  fi
+  ext="${src##*.}"; [ "$ext" != "png" ] && [ "$ext" != "jpg" ] && [ "$ext" != "jpeg" ] && [ "$ext" != "PNG" ] && [ "$ext" != "JPG" ] && ext="png"
+  TS=$(date +%Y%m%d-%H%M%S)
+  OUT="$OUT_DIR/pasted-$TS.$ext"
+  cp "$src" "$OUT"
+  echo "[$(date +%H:%M:%S)] 已保存: $OUT ($(stat -f%z "$OUT") bytes)"
+  # 清理旧图：只保留最近 MAX_FILES 张
+  ls -t "$OUT_DIR"/pasted-*.png 2>/dev/null | tail -n +$((MAX_FILES + 1)) | while read -r f; do
+    rm -f "$f"
+    echo "[$(date +%H:%M:%S)] 清理旧图: $(basename "$f")"
+  done
+}
+
+while true; do
+  # ── 通道1：剪贴板图片数据（⌘C 复制图片 / 截图） ──
+  TMP="/tmp/clip_paste_$$.png"
+  osascript \
+    -e "set p to POSIX file \"$TMP\"" \
+    -e 'set d to the clipboard as «class PNGf»' \
+    -e 'set fp to open for access p with write permission' \
+    -e 'write d to fp' \
+    -e 'close access fp' >/dev/null 2>&1
+  if [ -f "$TMP" ] && [ -s "$TMP" ]; then
+    save_image "$TMP"
+    rm -f "$TMP"
+  fi
+
+  # ── 通道2：剪贴板文件引用（Finder 多选图片 ⌘C） ──
+  # 剪贴板为图片数据时 as list 会失败（输出空），自然跳过；仅文件引用时返回 "file <HFS路径>"
+  CLIPLIST=$(osascript -e 'the clipboard as list' 2>/dev/null)
+  if [ -n "$CLIPLIST" ]; then
+    while IFS= read -r line; do
+      case "$line" in
+        file\ *)
+          hfs="${line#file }"
+          P=$(osascript -e "POSIX path of (alias \"$hfs\")" 2>/dev/null)
+          case "$P" in
+            *.png|*.jpg|*.jpeg|*.PNG|*.JPG|*.JPEG)
+              if [ -f "$P" ]; then
+                save_image "$P"
+              fi
+              ;;
+          esac
+          ;;
+      esac
+    done <<< "$CLIPLIST"
+  fi
+
+  sleep 2.5
+done

package/clipboard/install.sh

@@ -0,0 +1,85 @@
+#!/bin/bash
+# install.sh — 安装 dsh-vision 剪贴板贴图工具集
+#
+# 功能：
+#   1. 部署脚本到 $INSTALL_DIR
+#   2. 注册 LaunchAgent（开机自启剪贴板监听）
+#   3. 启动状态服务（clip-state-server，端口 $PORT）
+#   4. 注入 dsh web 前端提示脚本（clip-hint.js → dist/index.html）
+#
+# 用法: bash install.sh [保存目录]
+set -e
+
+SAVE_DIR="${1:-$HOME/Documents/DeepSeek/pasted-images}"
+INSTALL_DIR="$HOME/.dsh-vision/clipboard"
+PORT=51799
+LABEL="com.floatingsk.clipboard-watch"
+
+mkdir -p "$INSTALL_DIR" "$SAVE_DIR"
+
+echo "==> 1/4 部署脚本到 $INSTALL_DIR"
+cp "$(dirname "$0")/clipboard-watch.sh" "$INSTALL_DIR/"
+cp "$(dirname "$0")/clip-state-server.js" "$INSTALL_DIR/"
+cp "$(dirname "$0")/clip-hint.js" "$INSTALL_DIR/"
+chmod +x "$INSTALL_DIR/clipboard-watch.sh"
+
+echo "==> 2/4 注册 LaunchAgent（开机自启）"
+PLIST="$HOME/Library/LaunchAgents/$LABEL.plist"
+cat > "$PLIST" <<EOF
+<?xml version="1.0" encoding="UTF-8"?>
+<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
+<plist version="1.0">
+<dict>
+	<key>Label</key>
+	<string>$LABEL</string>
+	<key>ProgramArguments</key>
+	<array>
+		<string>/bin/bash</string>
+		<string>$INSTALL_DIR/clipboard-watch.sh</string>
+		<string>$SAVE_DIR</string>
+	</array>
+	<key>RunAtLoad</key>
+	<true/>
+	<key>KeepAlive</key>
+	<true/>
+	<key>StandardOutPath</key>
+	<string>$INSTALL_DIR/clipboard-watch.log</string>
+	<key>StandardErrorPath</key>
+	<string>$INSTALL_DIR/clipboard-watch.log</string>
+	<key>ProcessType</key>
+	<string>Background</string>
+</dict>
+</plist>
+EOF
+launchctl bootout "gui/$(id -u)/$LABEL" 2>/dev/null || true
+launchctl bootstrap "gui/$(id -u)" "$PLIST" 2>/dev/null || launchctl load -w "$PLIST" 2>/dev/null || echo "  (LaunchAgent 加载失败，可手动执行: launchctl bootstrap gui/\$(id -u) $PLIST)"
+
+echo "==> 3/4 启动状态服务 (http://127.0.0.1:$PORT/state)"
+if lsof -iTCP:$PORT -sTCP:LISTEN >/dev/null 2>&1; then
+  echo "  (端口 $PORT 已被占用，跳过)"
+else
+  nohup node "$INSTALL_DIR/clip-state-server.js" "$PORT" > "$INSTALL_DIR/clip-state-server.log" 2>&1 &
+  echo "  已启动 (PID $!)"
+fi
+
+echo "==> 4/4 注入 dsh web 前端提示"
+DIST=""
+if command -v node >/dev/null 2>&1; then
+  DIST=$(node -e "try{console.log(require.resolve('@deepseek-ai/dsh-web-frontend/dist/index.html'))}catch(e){process.exit(1)}" 2>/dev/null || true)
+fi
+if [ -z "$DIST" ] || [ ! -f "$DIST" ]; then
+  echo "  (未找到 dsh web dist，跳过注入。找到后手动执行: cp $INSTALL_DIR/clip-hint.js <dist> && 在 index.html 的 </body> 前加 <script src=\"/clip-hint.js\"></script>)"
+else
+  cp "$INSTALL_DIR/clip-hint.js" "$(dirname "$DIST")/clip-hint.js"
+  if ! grep -q "clip-hint.js" "$DIST"; then
+    cp "$DIST" "$DIST.bak"
+    sed -i '' 's|</body>|    <script src="/clip-hint.js"></script>\n  </body>|' "$DIST"
+  fi
+  echo "  已注入: $DIST"
+fi
+
+echo ""
+echo "✅ 安装完成"
+echo "  保存目录:   $SAVE_DIR"
+echo "  提示条:     复制图片后刷新 dsh web 页面，右下角会显示 [图片已就绪]"
+echo "  使用:       复制图片 → 说\"看下我刚贴的图\""

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "@floatingsk/dsh-vision",
-  "version": "0.1.2",
-  "description": "为 DeepSeek Harness 提供图片理解能力：本地 OCR（macOS Vision / Windows 内置 OCR）+ 云端 VLM（多供应商，OpenAI 兼容）",
+  "version": "0.1.4",
+  "description": "为 DeepSeek Harness（dsh 插件）与 Claude Code（MCP）提供图片理解能力：本地 OCR（macOS Vision / Windows 内置 OCR）+ 云端 VLM（多供应商，OpenAI 兼容）",
   "type": "module",
   "main": "lib/index.js",
   "exports": {
@@ -10,6 +10,7 @@
   "files": [
     "lib",
     "mcp",
+    "clipboard",
     "bin/vision-ocr.swift",
     "bin/vision-ocr.ps1",
     "README.md",