fletchshot-mcp 0.1.2 → 0.1.4

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -0,0 +1,176 @@
1
+ // macOS Vision フレームワーク(VNRecognizeTextRequest)による文字認識。「文字アンカー」
2
+ // ({text:"..."} での座標指定)の裏側として、画像内の文字列とその位置(画像ピクセル・左上原点)を
3
+ // 取得する。windowList.ts と同じ流儀で `swift <一時スクリプト>` を子プロセスとして呼ぶ
4
+ // (CoreGraphics同様、追加のpip/npm等のインストールは不要。Xcode Command Line Toolsの`swift`が必要)。
5
+ //
6
+ // 根拠(WebFetchでApple公式ドキュメントを確認。日付: 2026-11-13):
7
+ // - VNRecognizeTextRequest.recognitionLanguages: macOS 10.15+。認識対象言語をISO言語コードの配列・
8
+ // 優先順位つきで指定する。
9
+ // https://developer.apple.com/documentation/vision/vnrecognizetextrequest/recognitionlanguages
10
+ // - VNRecognizedText.boundingBox(for:): macOS 10.15+。文字列中の部分範囲(Range<String.Index>)を
11
+ // 囲む矩形(VNRectangleObservation)を返す。
12
+ // https://developer.apple.com/documentation/vision/vnrecognizedtext/boundingbox(for:)
13
+ // - 正規化座標の原点は画像の左下(Core Graphics同様のy上向き)。画像ピクセル・左上原点へ変換するには
14
+ // y = (1 - normalized.maxY) * height の反転が必要(Apple公式ガイドのサンプルコードに明記)。
15
+ // https://developer.apple.com/documentation/vision/recognizing-text-in-images
16
+ // - 日本語("ja")の認識対応は.accurateパスでmacOS 13 (Ventura)前後からという報告がある
17
+ // (コミュニティ情報・未確認。Apple公式ページに版表記は見つからなかった)。本リポジトリの対象
18
+ // macOS 14+はこれより新しいため実用上は問題ない想定。
19
+ //
20
+ // このファイルはVisionの生の結果(行ごとのテキストと枠)を返すだけで、「どの行が指定文字列と
21
+ // 一致するか」等の判定ロジックは持たない(textAnchor.ts側の純粋関数に分離し、Visionを呼ばずに
22
+ // 単体テストできるようにするため)。
23
+ import { spawnSync } from "node:child_process";
24
+ import { mkdtempSync, writeFileSync } from "node:fs";
25
+ import { tmpdir } from "node:os";
26
+ import { join } from "node:path";
27
+ export class SwiftUnavailableError extends Error {
28
+ constructor() {
29
+ super("文字アンカー({text:\"...\"}での座標指定)の解決には `swift` コマンド(Xcode Command Line " +
30
+ "Tools)が必要です。`xcode-select --install` で導入するか、座標を数値({x,y}や[x,y])で" +
31
+ "直接指定してください。");
32
+ this.name = "SwiftUnavailableError";
33
+ }
34
+ }
35
+ // Vision実行用の一時swiftスクリプト。2モードを持つ:
36
+ // list <imagePath> : 認識した全行を返す
37
+ // range <imagePath> <lineIndex> <utf16Start> <utf16Len> : list時のn行目のうち、指定したUTF-16範囲
38
+ // (部分文字列)だけの精密な枠を返す
39
+ // range はTS側のUTF-16コードユニットのオフセットをそのまま受け取れる(JS文字列のindexはUTF-16
40
+ // コードユニット基準のため、String.Index(utf16Offset:within:) で素直に対応づけられる)。
41
+ const VISION_OCR_SWIFT = `
42
+ import Vision
43
+ import CoreGraphics
44
+ import ImageIO
45
+ import Foundation
46
+
47
+ struct Box: Codable { var x: Double; var y: Double; var w: Double; var h: Double }
48
+ struct Line: Codable { var text: String; var confidence: Double; var box: Box }
49
+
50
+ func fail(_ message: String) -> Never {
51
+ FileHandle.standardError.write((message + "\\n").data(using: .utf8)!)
52
+ exit(1)
53
+ }
54
+
55
+ func loadImage(_ path: String) -> CGImage? {
56
+ let url = URL(fileURLWithPath: path)
57
+ guard let source = CGImageSourceCreateWithURL(url as CFURL, nil) else { return nil }
58
+ return CGImageSourceCreateImageAtIndex(source, 0, nil)
59
+ }
60
+
61
+ // 正規化座標(原点は画像左下)→ 画像ピクセル座標(原点は左上)。
62
+ func toPixelBox(_ normalized: CGRect, width: Int, height: Int) -> Box {
63
+ let w = normalized.width * Double(width)
64
+ let h = normalized.height * Double(height)
65
+ let x = normalized.minX * Double(width)
66
+ let y = (1 - normalized.maxY) * Double(height)
67
+ return Box(x: x, y: y, w: w, h: h)
68
+ }
69
+
70
+ let args = CommandLine.arguments
71
+ guard args.count >= 3 else {
72
+ fail("使い方: swift <script> list <imagePath> | swift <script> range <imagePath> <lineIndex> <utf16Start> <utf16Length>")
73
+ }
74
+ let mode = args[1]
75
+ let imagePath = args[2]
76
+
77
+ guard let cgImage = loadImage(imagePath) else { fail("画像を読み込めませんでした: \\(imagePath)") }
78
+ let width = cgImage.width
79
+ let height = cgImage.height
80
+
81
+ let request = VNRecognizeTextRequest()
82
+ request.recognitionLevel = .accurate
83
+ request.usesLanguageCorrection = true
84
+ request.recognitionLanguages = ["ja", "en"]
85
+
86
+ let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
87
+ do {
88
+ try handler.perform([request])
89
+ } catch {
90
+ fail("Vision文字認識の実行に失敗しました: \\(error)")
91
+ }
92
+
93
+ guard let observations = request.results as? [VNRecognizedTextObservation] else {
94
+ fail("Visionの結果を取得できませんでした")
95
+ }
96
+
97
+ switch mode {
98
+ case "list":
99
+ var out: [Line] = []
100
+ for obs in observations {
101
+ guard let candidate = obs.topCandidates(1).first else { continue }
102
+ out.append(Line(
103
+ text: candidate.string,
104
+ confidence: Double(candidate.confidence),
105
+ box: toPixelBox(obs.boundingBox, width: width, height: height)
106
+ ))
107
+ }
108
+ let data = try! JSONEncoder().encode(out)
109
+ FileHandle.standardOutput.write(data)
110
+ case "range":
111
+ guard args.count >= 6,
112
+ let lineIndex = Int(args[3]), let utf16Start = Int(args[4]), let utf16Length = Int(args[5])
113
+ else { fail("range には <lineIndex> <utf16Start> <utf16Length> の3つの整数が必要です") }
114
+ guard lineIndex >= 0 && lineIndex < observations.count,
115
+ let candidate = observations[lineIndex].topCandidates(1).first
116
+ else { fail("lineIndexが不正です(\\(lineIndex)、認識行数=\\(observations.count))") }
117
+ let s = candidate.string
118
+ guard let startU = s.utf16.index(s.utf16.startIndex, offsetBy: utf16Start, limitedBy: s.utf16.endIndex),
119
+ let endU = s.utf16.index(startU, offsetBy: utf16Length, limitedBy: s.utf16.endIndex),
120
+ let startIdx = String.Index(startU, within: s),
121
+ let endIdx = String.Index(endU, within: s)
122
+ else { fail("文字範囲が不正です(utf16Start=\\(utf16Start), utf16Length=\\(utf16Length))") }
123
+ do {
124
+ guard let rectObs = try candidate.boundingBox(for: startIdx..<endIdx) else {
125
+ fail("部分文字列の枠を取得できませんでした")
126
+ }
127
+ let box = toPixelBox(rectObs.boundingBox, width: width, height: height)
128
+ let data = try! JSONEncoder().encode(box)
129
+ FileHandle.standardOutput.write(data)
130
+ } catch {
131
+ fail("boundingBox(for:)の取得に失敗しました: \\(error)")
132
+ }
133
+ default:
134
+ fail("不明なmodeです: \\(mode)")
135
+ }
136
+ `;
137
+ let cachedScriptPath;
138
+ function scriptPath() {
139
+ if (cachedScriptPath)
140
+ return cachedScriptPath;
141
+ const dir = mkdtempSync(join(tmpdir(), "fletchshot-mcp-vision-"));
142
+ const path = join(dir, "ocr.swift");
143
+ writeFileSync(path, VISION_OCR_SWIFT, "utf8");
144
+ cachedScriptPath = path;
145
+ return path;
146
+ }
147
+ function runSwift(args) {
148
+ const result = spawnSync("swift", [scriptPath(), ...args], {
149
+ encoding: "utf8",
150
+ timeout: 30_000,
151
+ maxBuffer: 32 * 1024 * 1024,
152
+ });
153
+ if (result.error && result.error.code === "ENOENT") {
154
+ throw new SwiftUnavailableError();
155
+ }
156
+ if (result.status !== 0) {
157
+ throw new Error(`文字認識(Vision)に失敗しました(swift終了コード${result.status}): ${result.stderr || "(詳細なし)"}`);
158
+ }
159
+ return result.stdout;
160
+ }
161
+ /** 画像内でVisionが認識した全行(テキスト・信頼度・画像ピクセルの枠)を返す。 */
162
+ export function listTextLines(imagePath) {
163
+ const out = runSwift(["list", imagePath]);
164
+ return JSON.parse(out || "[]");
165
+ }
166
+ /**
167
+ * listTextLines() が返した行のうち lineIndex 行目の、UTF-16コードユニット範囲
168
+ * [utf16Start, utf16Start+utf16Length) に対応する部分文字列の精密な枠を返す。
169
+ * 同じ画像に対してOCRをもう一度実行するため、呼び出しは必要な場合(部分一致のとき)だけに限る。
170
+ */
171
+ export function boxForTextRange(imagePath, lineIndex, utf16Start, utf16Length) {
172
+ const out = runSwift(["range", imagePath, String(lineIndex), String(utf16Start), String(utf16Length)]);
173
+ return JSON.parse(out);
174
+ }
175
+ export const swiftTextRecognizer = { listTextLines, boxForTextRange };
176
+ //# sourceMappingURL=vision.js.map
@@ -0,0 +1 @@
1
+ {"version":3,"file":"vision.js","sourceRoot":"","sources":["../../src/vision.ts"],"names":[],"mappings":"AAAA,+DAA+D;AAC/D,yDAAyD;AACzD,0DAA0D;AAC1D,8EAA8E;AAC9E,EAAE;AACF,gDAAgD;AAChD,kFAAkF;AAClF,iBAAiB;AACjB,iGAAiG;AACjG,qFAAqF;AACrF,qCAAqC;AACrC,wFAAwF;AACxF,4DAA4D;AAC5D,sEAAsE;AACtE,gFAAgF;AAChF,8DAA8D;AAC9D,qDAAqD;AACrD,mCAAmC;AACnC,EAAE;AACF,mDAAmD;AACnD,0DAA0D;AAC1D,oBAAoB;AAEpB,OAAO,EAAE,SAAS,EAAE,MAAM,oBAAoB,CAAC;AAC/C,OAAO,EAAE,WAAW,EAAE,aAAa,EAAE,MAAM,SAAS,CAAC;AACrD,OAAO,EAAE,MAAM,EAAE,MAAM,SAAS,CAAC;AACjC,OAAO,EAAE,IAAI,EAAE,MAAM,WAAW,CAAC;AAiBjC,MAAM,OAAO,qBAAsB,SAAQ,KAAK;IAC9C;QACE,KAAK,CACH,oEAAoE;YAClE,iEAAiE;YACjE,aAAa,CAChB,CAAC;QACF,IAAI,CAAC,IAAI,GAAG,uBAAuB,CAAC;IACtC,CAAC;CACF;AAED,kCAAkC;AAClC,qEAAqE;AACrE,sFAAsF;AACtF,+EAA+E;AAC/E,8DAA8D;AAC9D,+DAA+D;AAC/D,MAAM,gBAAgB,GAAG;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA+FxB,CAAC;AAEF,IAAI,gBAAoC,CAAC;AAEzC,SAAS,UAAU;IACjB,IAAI,gBAAgB;QAAE,OAAO,gBAAgB,CAAC;IAC9C,MAAM,GAAG,GAAG,WAAW,CAAC,IAAI,CAAC,MAAM,EAAE,EAAE,wBAAwB,CAAC,CAAC,CAAC;IAClE,MAAM,IAAI,GAAG,IAAI,CAAC,GAAG,EAAE,WAAW,CAAC,CAAC;IACpC,aAAa,CAAC,IAAI,EAAE,gBAAgB,EAAE,MAAM,CAAC,CAAC;IAC9C,gBAAgB,GAAG,IAAI,CAAC;IACxB,OAAO,IAAI,CAAC;AACd,CAAC;AAED,SAAS,QAAQ,CAAC,IAAc;IAC9B,MAAM,MAAM,GAAG,SAAS,CAAC,OAAO,EAAE,CAAC,UAAU,EAAE,EAAE,GAAG,IAAI,CAAC,EAAE;QACzD,QAAQ,EAAE,MAAM;QAChB,OAAO,EAAE,MAAM;QACf,SAAS,EAAE,EAAE,GAAG,IAAI,GAAG,IAAI;KAC5B,CAAC,CAAC;IACH,IAAI,MAAM,CAAC,KAAK,IAAK,MAAM,CAAC,KAA+B,CAAC,IAAI,KAAK,QAAQ,EAAE,CAAC;QAC9E,MAAM,IAAI,qBAAqB,EAAE,CAAC;IACpC,CAAC;IACD,IAAI,MAAM,CAAC,MAAM,KAAK,CAAC,EAAE,CAAC;QACxB,MAAM,IAAI,KAAK,CAAC,iCAAiC,MAAM,CAAC,MAAM,MAAM,MAAM,CAAC,MAAM,IAAI,QAAQ,EAAE,CAAC,CAAC;IACnG,CAAC;IACD,OAAO,MAAM,CAAC,MAAM,CAAC;AACvB,CAAC;AAED,+CAA+C;AAC/C,MAAM,UAAU,aAAa,CAAC,SAAiB;IAC7C,MAAM,GAAG,GAAG,QAAQ,CAAC,CAAC,MAAM,EAAE,SAAS,CAAC,CAAC,CAAC;IAC1C,OAAO,IAAI,CAAC,KAAK,CAAC,GAAG,IAAI,IAAI,CAAe,CAAC;AAC/C,CAAC;AAED;;;;GAIG;AACH,MAAM,UAAU,eAAe,CAC7B,SAAiB,EACjB,SAAiB,EACjB,UAAkB,EAClB,WAAmB;IAEnB,MAAM,GAAG,GAAG,QAAQ,CAAC,CAAC,OAAO,EAAE,SAAS,EAAE,MAAM,CAAC,SAAS,CAAC,EAAE,MAAM,CAAC,UAAU,CAAC,EAAE,MAAM,CAAC,WAAW,CAAC,CAAC,CAAC,CAAC;IACvG,OAAO,IAAI,CAAC,KAAK,CAAC,GAAG,CAAa,CAAC;AACrC,CAAC;AAQD,MAAM,CAAC,MAAM,mBAAmB,GAAmB,EAAE,aAAa,EAAE,eAAe,EAAE,CAAC"}
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "fletchshot-mcp",
3
- "version": "0.1.2",
3
+ "version": "0.1.4",
4
4
  "description": "FletchShot (macOS screenshot annotation app) agent draft MCP server: capture a screenshot, open it in FletchShot as an editable draft, and wait for a human to return the finished image.",
5
5
  "type": "module",
6
6
  "license": "MIT",
@@ -34,6 +34,7 @@
34
34
  "scripts": {
35
35
  "build": "tsc -p tsconfig.json",
36
36
  "pretest": "npm run build",
37
+ "prepublishOnly": "rm -rf dist && npm test",
37
38
  "test": "node --test dist/test",
38
39
  "start": "node dist/src/index.js"
39
40
  },