amenbo 0.1.0

package/dist/politeness.js

@@ -0,0 +1,170 @@
+/**
+ * politeness.ts — 収集先への低負荷を担保するpolitenessマネージャ。
+ *
+ * - robots.txt尊重(robots-parser)。取得結果はプロセス内でキャッシュ(TTL付き)
+ * - Crawl-Delay尊重
+ * - ドメイン毎の直列キュー + 既定最小間隔1秒
+ */
+import robotsParserImport from "robots-parser";
+import { HttpStatusError, PrivateAddressError, RobotsDeniedError } from "./errors.js";
+import { httpGet, USER_AGENT } from "./fetcher/http.js";
+const robotsParser = robotsParserImport;
+const DEFAULT_MIN_INTERVAL_MS = 1000;
+const DEFAULT_ROBOTS_TTL_MS = 60 * 60 * 1000; // 1時間
+const ROBOTS_FETCH_TIMEOUT_MS = 5000;
+function defaultSleep(ms) {
+    return new Promise((resolve) => setTimeout(resolve, ms));
+}
+export class PolitenessManager {
+    minIntervalMs;
+    robotsTtlMs;
+    now;
+    sleep;
+    store;
+    robotsCache = new Map();
+    // N8: settledを持たせるのは、pruneStaleHostStateがまだ完了していない(=キューに並んでいる
+    // 呼び出しがある)ロックを誤って消してしまうと直列化が壊れる(同一ホストへの同時呼び出しが
+    // 追い越してしまう)ため。「完了済み」かつ「最終アクセスから十分時間が経っている」ロックのみ
+    // 安全に削除できる。
+    locks = new Map();
+    lastRequestAt = new Map();
+    constructor(options = {}) {
+        this.minIntervalMs = options.minIntervalMs ?? DEFAULT_MIN_INTERVAL_MS;
+        this.robotsTtlMs = options.robotsTtlMs ?? DEFAULT_ROBOTS_TTL_MS;
+        this.now = options.now ?? Date.now;
+        this.sleep = options.sleep ?? defaultSleep;
+        this.store = options.store;
+    }
+    /** robots.txtとレート制御の両方を確認し、アクセス可能になるまで待機する。拒否時はRobotsDeniedErrorを投げる。 */
+    async guard(url) {
+        await this.checkRobotsAllowed(url);
+        await this.waitTurn(url);
+    }
+    /** robots.txtのみ確認する(waitTurnは行わない)。 */
+    async checkRobotsAllowed(url) {
+        const robots = await this.getRobots(url);
+        if (robots && robots.isAllowed(url, USER_AGENT) === false) {
+            throw new RobotsDeniedError(url);
+        }
+    }
+    /** robots.txtが宣言するSitemap URLの一覧を返す(linksツールのsitemap優先探索用)。 */
+    async getSitemaps(url) {
+        const robots = await this.getRobots(url);
+        return robots?.getSitemaps() ?? [];
+    }
+    /**
+     * ドメイン毎の直列キュー+最小間隔(robots.txtのCrawl-Delay考慮)を適用して順番を待つ。
+     * 直列キュー(locks)による直列化はプロセス内のみ有効。store(PolitenessStore)経由の
+     * プロセス間共有はread-modify-writeがアトミックではないベストエフォート(PolitenessStoreの
+     * JSDoc参照)。
+     */
+    async waitTurn(url) {
+        this.pruneStaleHostState();
+        const host = new URL(url).host;
+        const crawlDelayMs = await this.getCrawlDelayMs(url);
+        const intervalMs = Math.max(this.minIntervalMs, crawlDelayMs);
+        const previousEntry = this.locks.get(host);
+        const previous = previousEntry?.chain ?? Promise.resolve();
+        let release = () => { };
+        const ourTurn = new Promise((resolve) => {
+            release = resolve;
+        });
+        const entry = { chain: previous.then(() => ourTurn), settled: false };
+        this.locks.set(host, entry);
+        await previous;
+        try {
+            // CLI併設対応: インメモリのlastRequestAtとstore(プロセス間永続化)の値のうち新しい方を
+            // 採用する。store未指定時はstoreLastAtが常に-Infinityになり従来通りの挙動になる。
+            const memoryLastAt = this.lastRequestAt.get(host) ?? -Infinity;
+            const storeLastAt = this.store?.getLastRequestAt(host) ?? -Infinity;
+            const lastAt = Math.max(memoryLastAt, storeLastAt);
+            const elapsed = this.now() - lastAt;
+            if (elapsed < intervalMs) {
+                await this.sleep(intervalMs - elapsed);
+            }
+            const requestAt = this.now();
+            this.lastRequestAt.set(host, requestAt);
+            this.store?.setLastRequestAt(host, requestAt);
+        }
+        finally {
+            release();
+            entry.settled = true;
+        }
+    }
+    /**
+     * N8: robotsCache/locks/lastRequestAtは訪問したホスト毎に1エントリずつ増え、長時間稼働する
+     * MCPサーバープロセスでは無制限に増加しうる。robotsTtlMsを「エントリの生存期間」の目安として
+     * 転用し、しばらく使われていないホストの状態を掃除する。
+     *
+     * locksは、まだ完了していない(settled=false)呼び出しが並んでいる可能性があるホストを
+     * 誤って削除すると直列化が壊れる(新しい呼び出しが空のロックを掴んで先に進んでしまう)ため、
+     * settled=trueのエントリのみ削除する。
+     */
+    pruneStaleHostState() {
+        const cutoff = this.now() - this.robotsTtlMs;
+        for (const [host, lastAt] of this.lastRequestAt) {
+            if (lastAt >= cutoff)
+                continue;
+            const lock = this.locks.get(host);
+            if (!lock || lock.settled) {
+                this.lastRequestAt.delete(host);
+                this.locks.delete(host);
+            }
+        }
+        for (const [origin, entry] of this.robotsCache) {
+            if (entry.fetchedAt < cutoff) {
+                this.robotsCache.delete(origin);
+            }
+        }
+    }
+    async getCrawlDelayMs(url) {
+        const robots = await this.getRobots(url);
+        const delaySec = robots?.getCrawlDelay(USER_AGENT);
+        return typeof delaySec === "number" && Number.isFinite(delaySec) ? delaySec * 1000 : 0;
+    }
+    async getRobots(url) {
+        this.pruneStaleHostState();
+        const parsed = new URL(url);
+        // 公開品質バグ修正: http(s)以外(file:等)はorigin(host)を持たず、new URL(url).origin が
+        // "null" という文字列になる。素通りさせると `null/robots.txt` という不正なURLを
+        // 組み立ててしまい、httpGet内部のguardPublicAddress(new URL())が生のTypeErrorを投げ、
+        // それが下のcatchでAmenboErrorではないためstderrにスタックトレースを吐いていた。
+        // 呼び出し元(server.ts/links.ts)が事前にassertHttpSchemeでスキーム検証している想定だが、
+        // politeness.ts単体でも安全側に倒す(non-http(s)は「robots.txtの概念が無い」として扱う)。
+        if (parsed.protocol !== "http:" && parsed.protocol !== "https:") {
+            return null;
+        }
+        const origin = parsed.origin;
+        const cached = this.robotsCache.get(origin);
+        if (cached && this.now() - cached.fetchedAt < this.robotsTtlMs) {
+            return cached.robots;
+        }
+        const robotsUrl = `${origin}/robots.txt`;
+        let body = "";
+        try {
+            const result = await httpGet(robotsUrl, { timeoutMs: ROBOTS_FETCH_TIMEOUT_MS });
+            body = result.status === 200 ? result.html : "";
+        }
+        catch (error) {
+            // M5: catchが広すぎるとSSRF拒否(PrivateAddressError)まで「robots.txtが取得できない
+            // だけ」として握りつぶしてしまう問題があったため、PrivateAddressErrorは再送出する。
+            //
+            // 公開品質バグ修正: 一方で当初の修正はAmenboError全般(HttpStatusError等)まで
+            // 再送出しており、robots.txtが存在しない(404)という極めて一般的なケースで
+            // 「robots.txtが無いだけの普通のサイト」への通常のfetchすら失敗するようになって
+            // いた(HttpStatusErrorは非2xx全般で投げられるため)。404/403/5xx等のHTTPエラーは
+            // robots.txt不在の慣習的な扱い(=制限なし)としてそのまま静かに継続する
+            // (ログも出さない。頻出するため公開ツールとしてノイズになる)。
+            if (error instanceof PrivateAddressError)
+                throw error;
+            if (!(error instanceof HttpStatusError)) {
+                console.error(`robots.txtの取得に失敗しました(制限なしとして扱います): ${robotsUrl}`, error);
+            }
+            body = "";
+        }
+        const robots = robotsParser(robotsUrl, body);
+        this.robotsCache.set(origin, { robots, fetchedAt: this.now() });
+        return robots;
+    }
+}
+//# sourceMappingURL=politeness.js.map

package/dist/politeness.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"politeness.js","sourceRoot":"","sources":["../src/politeness.ts"],"names":[],"mappings":"AAAA;;;;;;GAMG;AACH,OAAO,kBAAkB,MAAM,eAAe,CAAC;AAC/C,OAAO,EAAE,eAAe,EAAE,mBAAmB,EAAE,iBAAiB,EAAE,MAAM,aAAa,CAAC;AACtF,OAAO,EAAE,OAAO,EAAE,UAAU,EAAE,MAAM,mBAAmB,CAAC;AAiBxD,MAAM,YAAY,GAAG,kBAA0E,CAAC;AAEhG,MAAM,uBAAuB,GAAG,IAAI,CAAC;AACrC,MAAM,qBAAqB,GAAG,EAAE,GAAG,EAAE,GAAG,IAAI,CAAC,CAAC,MAAM;AACpD,MAAM,uBAAuB,GAAG,IAAI,CAAC;AAuCrC,SAAS,YAAY,CAAC,EAAU;IAC9B,OAAO,IAAI,OAAO,CAAC,CAAC,OAAO,EAAE,EAAE,CAAC,UAAU,CAAC,OAAO,EAAE,EAAE,CAAC,CAAC,CAAC;AAC3D,CAAC;AAED,MAAM,OAAO,iBAAiB;IACX,aAAa,CAAS;IACtB,WAAW,CAAS;IACpB,GAAG,CAAe;IAClB,KAAK,CAAgC;IACrC,KAAK,CAA8B;IAEnC,WAAW,GAAG,IAAI,GAAG,EAA4B,CAAC;IACnE,8DAA8D;IAC9D,+CAA+C;IAC/C,gDAAgD;IAChD,YAAY;IACK,KAAK,GAAG,IAAI,GAAG,EAAsD,CAAC;IACtE,aAAa,GAAG,IAAI,GAAG,EAAkB,CAAC;IAE3D,YAAY,OAAO,GAAsB,EAAE;QACzC,IAAI,CAAC,aAAa,GAAG,OAAO,CAAC,aAAa,IAAI,uBAAuB,CAAC;QACtE,IAAI,CAAC,WAAW,GAAG,OAAO,CAAC,WAAW,IAAI,qBAAqB,CAAC;QAChE,IAAI,CAAC,GAAG,GAAG,OAAO,CAAC,GAAG,IAAI,IAAI,CAAC,GAAG,CAAC;QACnC,IAAI,CAAC,KAAK,GAAG,OAAO,CAAC,KAAK,IAAI,YAAY,CAAC;QAC3C,IAAI,CAAC,KAAK,GAAG,OAAO,CAAC,KAAK,CAAC;IAC7B,CAAC;IAED,yEAAyE;IACzE,KAAK,CAAC,KAAK,CAAC,GAAW;QACrB,MAAM,IAAI,CAAC,kBAAkB,CAAC,GAAG,CAAC,CAAC;QACnC,MAAM,IAAI,CAAC,QAAQ,CAAC,GAAG,CAAC,CAAC;IAC3B,CAAC;IAED,uCAAuC;IACvC,KAAK,CAAC,kBAAkB,CAAC,GAAW;QAClC,MAAM,MAAM,GAAG,MAAM,IAAI,CAAC,SAAS,CAAC,GAAG,CAAC,CAAC;QACzC,IAAI,MAAM,IAAI,MAAM,CAAC,SAAS,CAAC,GAAG,EAAE,UAAU,CAAC,KAAK,KAAK,EAAE,CAAC;YAC1D,MAAM,IAAI,iBAAiB,CAAC,GAAG,CAAC,CAAC;QACnC,CAAC;IACH,CAAC;IAED,+DAA+D;IAC/D,KAAK,CAAC,WAAW,CAAC,GAAW;QAC3B,MAAM,MAAM,GAAG,MAAM,IAAI,CAAC,SAAS,CAAC,GAAG,CAAC,CAAC;QACzC,OAAO,MAAM,EAAE,WAAW,EAAE,IAAI,EAAE,CAAC;IACrC,CAAC;IAED;;;;;OAKG;IACH,KAAK,CAAC,QAAQ,CAAC,GAAW;QACxB,IAAI,CAAC,mBAAmB,EAAE,CAAC;QAC3B,MAAM,IAAI,GAAG,IAAI,GAAG,CAAC,GAAG,CAAC,CAAC,IAAI,CAAC;QAC/B,MAAM,YAAY,GAAG,MAAM,IAAI,CAAC,eAAe,CAAC,GAAG,CAAC,CAAC;QACrD,MAAM,UAAU,GAAG,IAAI,CAAC,GAAG,CAAC,IAAI,CAAC,aAAa,EAAE,YAAY,CAAC,CAAC;QAE9D,MAAM,aAAa,GAAG,IAAI,CAAC,KAAK,CAAC,GAAG,CAAC,IAAI,CAAC,CAAC;QAC3C,MAAM,QAAQ,GAAG,aAAa,EAAE,KAAK,IAAI,OAAO,CAAC,OAAO,EAAE,CAAC;QAC3D,IAAI,OAAO,GAAe,GAAG,EAAE,GAAE,CAAC,CAAC;QACnC,MAAM,OAAO,GAAG,IAAI,OAAO,CAAO,CAAC,OAAO,EAAE,EAAE;YAC5C,OAAO,GAAG,OAAO,CAAC;QACpB,CAAC,CAAC,CAAC;QACH,MAAM,KAAK,GAAG,EAAE,KAAK,EAAE,QAAQ,CAAC,IAAI,CAAC,GAAG,EAAE,CAAC,OAAO,CAAC,EAAE,OAAO,EAAE,KAAK,EAAE,CAAC;QACtE,IAAI,CAAC,KAAK,CAAC,GAAG,CAAC,IAAI,EAAE,KAAK,CAAC,CAAC;QAE5B,MAAM,QAAQ,CAAC;QACf,IAAI,CAAC;YACH,yDAAyD;YACzD,uDAAuD;YACvD,MAAM,YAAY,GAAG,IAAI,CAAC,aAAa,CAAC,GAAG,CAAC,IAAI,CAAC,IAAI,CAAC,QAAQ,CAAC;YAC/D,MAAM,WAAW,GAAG,IAAI,CAAC,KAAK,EAAE,gBAAgB,CAAC,IAAI,CAAC,IAAI,CAAC,QAAQ,CAAC;YACpE,MAAM,MAAM,GAAG,IAAI,CAAC,GAAG,CAAC,YAAY,EAAE,WAAW,CAAC,CAAC;YACnD,MAAM,OAAO,GAAG,IAAI,CAAC,GAAG,EAAE,GAAG,MAAM,CAAC;YACpC,IAAI,OAAO,GAAG,UAAU,EAAE,CAAC;gBACzB,MAAM,IAAI,CAAC,KAAK,CAAC,UAAU,GAAG,OAAO,CAAC,CAAC;YACzC,CAAC;YACD,MAAM,SAAS,GAAG,IAAI,CAAC,GAAG,EAAE,CAAC;YAC7B,IAAI,CAAC,aAAa,CAAC,GAAG,CAAC,IAAI,EAAE,SAAS,CAAC,CAAC;YACxC,IAAI,CAAC,KAAK,EAAE,gBAAgB,CAAC,IAAI,EAAE,SAAS,CAAC,CAAC;QAChD,CAAC;gBAAS,CAAC;YACT,OAAO,EAAE,CAAC;YACV,KAAK,CAAC,OAAO,GAAG,IAAI,CAAC;QACvB,CAAC;IACH,CAAC;IAED;;;;;;;;OAQG;IACK,mBAAmB;QACzB,MAAM,MAAM,GAAG,IAAI,CAAC,GAAG,EAAE,GAAG,IAAI,CAAC,WAAW,CAAC;QAE7C,KAAK,MAAM,CAAC,IAAI,EAAE,MAAM,CAAC,IAAI,IAAI,CAAC,aAAa,EAAE,CAAC;YAChD,IAAI,MAAM,IAAI,MAAM;gBAAE,SAAS;YAC/B,MAAM,IAAI,GAAG,IAAI,CAAC,KAAK,CAAC,GAAG,CAAC,IAAI,CAAC,CAAC;YAClC,IAAI,CAAC,IAAI,IAAI,IAAI,CAAC,OAAO,EAAE,CAAC;gBAC1B,IAAI,CAAC,aAAa,CAAC,MAAM,CAAC,IAAI,CAAC,CAAC;gBAChC,IAAI,CAAC,KAAK,CAAC,MAAM,CAAC,IAAI,CAAC,CAAC;YAC1B,CAAC;QACH,CAAC;QAED,KAAK,MAAM,CAAC,MAAM,EAAE,KAAK,CAAC,IAAI,IAAI,CAAC,WAAW,EAAE,CAAC;YAC/C,IAAI,KAAK,CAAC,SAAS,GAAG,MAAM,EAAE,CAAC;gBAC7B,IAAI,CAAC,WAAW,CAAC,MAAM,CAAC,MAAM,CAAC,CAAC;YAClC,CAAC;QACH,CAAC;IACH,CAAC;IAEO,KAAK,CAAC,eAAe,CAAC,GAAW;QACvC,MAAM,MAAM,GAAG,MAAM,IAAI,CAAC,SAAS,CAAC,GAAG,CAAC,CAAC;QACzC,MAAM,QAAQ,GAAG,MAAM,EAAE,aAAa,CAAC,UAAU,CAAC,CAAC;QACnD,OAAO,OAAO,QAAQ,KAAK,QAAQ,IAAI,MAAM,CAAC,QAAQ,CAAC,QAAQ,CAAC,CAAC,CAAC,CAAC,QAAQ,GAAG,IAAI,CAAC,CAAC,CAAC,CAAC,CAAC;IACzF,CAAC;IAEO,KAAK,CAAC,SAAS,CAAC,GAAW;QACjC,IAAI,CAAC,mBAAmB,EAAE,CAAC;QAC3B,MAAM,MAAM,GAAG,IAAI,GAAG,CAAC,GAAG,CAAC,CAAC;QAC5B,qEAAqE;QACrE,wDAAwD;QACxD,mEAAmE;QACnE,qDAAqD;QACrD,gEAAgE;QAChE,gEAAgE;QAChE,IAAI,MAAM,CAAC,QAAQ,KAAK,OAAO,IAAI,MAAM,CAAC,QAAQ,KAAK,QAAQ,EAAE,CAAC;YAChE,OAAO,IAAI,CAAC;QACd,CAAC;QAED,MAAM,MAAM,GAAG,MAAM,CAAC,MAAM,CAAC;QAC7B,MAAM,MAAM,GAAG,IAAI,CAAC,WAAW,CAAC,GAAG,CAAC,MAAM,CAAC,CAAC;QAC5C,IAAI,MAAM,IAAI,IAAI,CAAC,GAAG,EAAE,GAAG,MAAM,CAAC,SAAS,GAAG,IAAI,CAAC,WAAW,EAAE,CAAC;YAC/D,OAAO,MAAM,CAAC,MAAM,CAAC;QACvB,CAAC;QAED,MAAM,SAAS,GAAG,GAAG,MAAM,aAAa,CAAC;QACzC,IAAI,IAAI,GAAG,EAAE,CAAC;QACd,IAAI,CAAC;YACH,MAAM,MAAM,GAAG,MAAM,OAAO,CAAC,SAAS,EAAE,EAAE,SAAS,EAAE,uBAAuB,EAAE,CAAC,CAAC;YAChF,IAAI,GAAG,MAAM,CAAC,MAAM,KAAK,GAAG,CAAC,CAAC,CAAC,MAAM,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC;QAClD,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,iEAAiE;YACjE,qDAAqD;YACrD,EAAE;YACF,uDAAuD;YACvD,8CAA8C;YAC9C,iDAAiD;YACjD,2DAA2D;YAC3D,2CAA2C;YAC3C,kCAAkC;YAClC,IAAI,KAAK,YAAY,mBAAmB;gBAAE,MAAM,KAAK,CAAC;YACtD,IAAI,CAAC,CAAC,KAAK,YAAY,eAAe,CAAC,EAAE,CAAC;gBACxC,OAAO,CAAC,KAAK,CAAC,sCAAsC,SAAS,EAAE,EAAE,KAAK,CAAC,CAAC;YAC1E,CAAC;YACD,IAAI,GAAG,EAAE,CAAC;QACZ,CAAC;QAED,MAAM,MAAM,GAAG,YAAY,CAAC,SAAS,EAAE,IAAI,CAAC,CAAC;QAC7C,IAAI,CAAC,WAAW,CAAC,GAAG,CAAC,MAAM,EAAE,EAAE,MAAM,EAAE,SAAS,EAAE,IAAI,CAAC,GAAG,EAAE,EAAE,CAAC,CAAC;QAChE,OAAO,MAAM,CAAC;IAChB,CAAC;CACF"}

package/dist/screenshot.d.ts

@@ -0,0 +1,38 @@
+export interface TileGeometry {
+    x: number;
+    y: number;
+    width: number;
+    height: number;
+}
+export declare const DEFAULT_TILE_WIDTH = 1280;
+export declare const DEFAULT_TILE_HEIGHT = 1080;
+/**
+ * ページ寸法から、幅tileWidth・高さtileHeight毎のタイル矩形を計算する(純関数)。
+ * 上から順に敷き詰め、最後のタイルは端数の高さになる。MAX_TILES枚を超える分は切り捨てる。
+ */
+export declare function computeTiles(pageWidth: number, pageHeight: number, tileWidth?: number, tileHeight?: number): TileGeometry[];
+/** N7: computeTilesがMAX_TILES枚で切り捨てを行ったかどうかを判定する(純関数)。 */
+export declare function isTileCaptureTruncated(pageHeight: number, tileCount: number, tileHeight?: number): boolean;
+export interface ScreenshotOptions {
+    /** 既定true。falseの場合は最初のビューポート分(1タイル)のみ撮影する。 */
+    fullPage?: boolean;
+    /** タイル幅(px)。既定1280。 */
+    width?: number;
+    /** 解像度スケール(0.5〜1.0)。既定1.0。小さいほど画像サイズ(トークン)が減る。 */
+    scale?: number;
+    timeoutMs?: number;
+}
+export interface ScreenshotTile {
+    geometry: TileGeometry;
+    png: Buffer;
+}
+export interface CaptureResult {
+    finalUrl: string;
+    pageWidth: number;
+    pageHeight: number;
+    tiles: ScreenshotTile[];
+    /** N7: MAX_TILES枚を超えるページで切り捨てが発生した場合true。 */
+    truncated: boolean;
+}
+/** URLをブラウザでレンダリングし、タイル分割したPNGスクリーンショット群を撮影する。 */
+export declare function captureTiledScreenshot(url: string, options?: ScreenshotOptions): Promise<CaptureResult>;

package/dist/screenshot.js

@@ -0,0 +1,90 @@
+/**
+ * screenshot.ts — 品質スコア自動切替(mode: auto)/screenshotツール共通のタイル撮影。
+ *
+ * Playwright共有インスタンス(fetcher/browser.ts)を利用し、フルページのスクリーンショットを
+ * 1回だけ撮影し、@napi-rs/canvasで幅1280px×高さ約1080px毎のタイルへクロップして分割する
+ * (N2: 以前はタイル毎にfullPageスクリーンショットを撮り直しており無駄が大きかった)。
+ * scaleはPlaywrightのdeviceScaleFactorとして働き、1未満にすると出力解像度(=画像バイト数
+ * ≒ トークン消費量)を圧縮できるレバーになる。
+ */
+import { createCanvas, loadImage } from "@napi-rs/canvas";
+import { hideConsentBanners, openPageAndNavigate } from "./fetcher/browser.js";
+import { USER_AGENT } from "./fetcher/http.js";
+export const DEFAULT_TILE_WIDTH = 1280;
+export const DEFAULT_TILE_HEIGHT = 1080;
+/** 無限スクロール等で異常に長いページの撮影を打ち切る上限枚数(トークン予算保護)。 */
+const MAX_TILES = 10;
+/**
+ * ページ寸法から、幅tileWidth・高さtileHeight毎のタイル矩形を計算する(純関数)。
+ * 上から順に敷き詰め、最後のタイルは端数の高さになる。MAX_TILES枚を超える分は切り捨てる。
+ */
+export function computeTiles(pageWidth, pageHeight, tileWidth = DEFAULT_TILE_WIDTH, tileHeight = DEFAULT_TILE_HEIGHT) {
+    const width = pageWidth > 0 ? Math.min(tileWidth, pageWidth) : tileWidth;
+    const totalHeight = Math.max(pageHeight, 1);
+    const tiles = [];
+    for (let y = 0; y < totalHeight && tiles.length < MAX_TILES; y += tileHeight) {
+        const height = Math.min(tileHeight, totalHeight - y);
+        tiles.push({ x: 0, y, width, height });
+    }
+    return tiles.length > 0 ? tiles : [{ x: 0, y: 0, width, height: Math.min(tileHeight, totalHeight) }];
+}
+/** N7: computeTilesがMAX_TILES枚で切り捨てを行ったかどうかを判定する(純関数)。 */
+export function isTileCaptureTruncated(pageHeight, tileCount, tileHeight = DEFAULT_TILE_HEIGHT) {
+    const tilesNeeded = Math.ceil(Math.max(pageHeight, 1) / tileHeight);
+    return tilesNeeded > tileCount;
+}
+const DEFAULT_TIMEOUT_MS = 15_000;
+const MIN_SCALE = 0.5;
+const MAX_SCALE = 1.0;
+function clampScale(scale) {
+    if (scale === undefined)
+        return MAX_SCALE;
+    return Math.min(MAX_SCALE, Math.max(MIN_SCALE, scale));
+}
+/** URLをブラウザでレンダリングし、タイル分割したPNGスクリーンショット群を撮影する。 */
+export async function captureTiledScreenshot(url, options = {}) {
+    const width = options.width ?? DEFAULT_TILE_WIDTH;
+    const scale = clampScale(options.scale);
+    const fullPage = options.fullPage ?? true;
+    const timeoutMs = options.timeoutMs ?? DEFAULT_TIMEOUT_MS;
+    // C1: SSRF/スキーム検証(guardPublicAddress)+リダイレクト再検証込みのナビゲーション。
+    // 改善キュー対応: 同梱ChromiumがERR_HTTP2_PROTOCOL_ERROR系で失敗した場合、システムに
+    // Chromeがあれば1回だけそちらへフォールバックする(openPageAndNavigate参照)。
+    const { context, page } = await openPageAndNavigate(url, timeoutMs, {
+        userAgent: USER_AGENT,
+        viewport: { width, height: DEFAULT_TILE_HEIGHT },
+        deviceScaleFactor: scale,
+    });
+    try {
+        // J8: 撮影前にCookie同意バナー/アプリ誘導オーバーレイを隠す(視覚的な妨げを除く)
+        await hideConsentBanners(page).catch(() => {
+            // ベストエフォート。失敗しても撮影自体は続行する
+        });
+        const dimensions = await page.evaluate(() => ({
+            width: Math.ceil(document.documentElement.scrollWidth),
+            height: Math.ceil(document.documentElement.scrollHeight),
+        }));
+        const captureHeight = fullPage ? dimensions.height : Math.min(dimensions.height, DEFAULT_TILE_HEIGHT);
+        const geometries = computeTiles(dimensions.width, captureHeight, width, DEFAULT_TILE_HEIGHT);
+        const truncated = isTileCaptureTruncated(captureHeight, geometries.length);
+        // N2: タイル毎にfullPageスクリーンショットを撮り直すのではなく、1回だけ撮影して
+        // @napi-rs/canvasでタイル領域をクロップする(deviceScaleFactor分、座標をscale倍する)。
+        const fullPagePng = await page.screenshot({ type: "png", fullPage: true });
+        const image = await loadImage(fullPagePng);
+        const tiles = geometries.map((geometry) => {
+            const sx = Math.min(Math.round(geometry.x * scale), Math.max(image.width - 1, 0));
+            const sy = Math.min(Math.round(geometry.y * scale), Math.max(image.height - 1, 0));
+            const sw = Math.max(1, Math.min(Math.round(geometry.width * scale), image.width - sx));
+            const sh = Math.max(1, Math.min(Math.round(geometry.height * scale), image.height - sy));
+            const canvas = createCanvas(sw, sh);
+            const ctx = canvas.getContext("2d");
+            ctx.drawImage(image, sx, sy, sw, sh, 0, 0, sw, sh);
+            return { geometry, png: canvas.toBuffer("image/png") };
+        });
+        return { finalUrl: page.url(), pageWidth: dimensions.width, pageHeight: dimensions.height, tiles, truncated };
+    }
+    finally {
+        await context.close();
+    }
+}
+//# sourceMappingURL=screenshot.js.map

package/dist/screenshot.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"screenshot.js","sourceRoot":"","sources":["../src/screenshot.ts"],"names":[],"mappings":"AAAA;;;;;;;;GAQG;AACH,OAAO,EAAE,YAAY,EAAE,SAAS,EAAE,MAAM,iBAAiB,CAAC;AAC1D,OAAO,EAAE,kBAAkB,EAAE,mBAAmB,EAAE,MAAM,sBAAsB,CAAC;AAC/E,OAAO,EAAE,UAAU,EAAE,MAAM,mBAAmB,CAAC;AAS/C,MAAM,CAAC,MAAM,kBAAkB,GAAG,IAAI,CAAC;AACvC,MAAM,CAAC,MAAM,mBAAmB,GAAG,IAAI,CAAC;AACxC,+CAA+C;AAC/C,MAAM,SAAS,GAAG,EAAE,CAAC;AAErB;;;GAGG;AACH,MAAM,UAAU,YAAY,CAC1B,SAAiB,EACjB,UAAkB,EAClB,SAAS,GAAW,kBAAkB,EACtC,UAAU,GAAW,mBAAmB;IAExC,MAAM,KAAK,GAAG,SAAS,GAAG,CAAC,CAAC,CAAC,CAAC,IAAI,CAAC,GAAG,CAAC,SAAS,EAAE,SAAS,CAAC,CAAC,CAAC,CAAC,SAAS,CAAC;IACzE,MAAM,WAAW,GAAG,IAAI,CAAC,GAAG,CAAC,UAAU,EAAE,CAAC,CAAC,CAAC;IAE5C,MAAM,KAAK,GAAmB,EAAE,CAAC;IACjC,KAAK,IAAI,CAAC,GAAG,CAAC,EAAE,CAAC,GAAG,WAAW,IAAI,KAAK,CAAC,MAAM,GAAG,SAAS,EAAE,CAAC,IAAI,UAAU,EAAE,CAAC;QAC7E,MAAM,MAAM,GAAG,IAAI,CAAC,GAAG,CAAC,UAAU,EAAE,WAAW,GAAG,CAAC,CAAC,CAAC;QACrD,KAAK,CAAC,IAAI,CAAC,EAAE,CAAC,EAAE,CAAC,EAAE,CAAC,EAAE,KAAK,EAAE,MAAM,EAAE,CAAC,CAAC;IACzC,CAAC;IAED,OAAO,KAAK,CAAC,MAAM,GAAG,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,CAAC,EAAE,CAAC,EAAE,CAAC,EAAE,KAAK,EAAE,MAAM,EAAE,IAAI,CAAC,GAAG,CAAC,UAAU,EAAE,WAAW,CAAC,EAAE,CAAC,CAAC;AACvG,CAAC;AAED,0DAA0D;AAC1D,MAAM,UAAU,sBAAsB,CAAC,UAAkB,EAAE,SAAiB,EAAE,UAAU,GAAW,mBAAmB;IACpH,MAAM,WAAW,GAAG,IAAI,CAAC,IAAI,CAAC,IAAI,CAAC,GAAG,CAAC,UAAU,EAAE,CAAC,CAAC,GAAG,UAAU,CAAC,CAAC;IACpE,OAAO,WAAW,GAAG,SAAS,CAAC;AACjC,CAAC;AA0BD,MAAM,kBAAkB,GAAG,MAAM,CAAC;AAClC,MAAM,SAAS,GAAG,GAAG,CAAC;AACtB,MAAM,SAAS,GAAG,GAAG,CAAC;AAEtB,SAAS,UAAU,CAAC,KAAyB;IAC3C,IAAI,KAAK,KAAK,SAAS;QAAE,OAAO,SAAS,CAAC;IAC1C,OAAO,IAAI,CAAC,GAAG,CAAC,SAAS,EAAE,IAAI,CAAC,GAAG,CAAC,SAAS,EAAE,KAAK,CAAC,CAAC,CAAC;AACzD,CAAC;AAED,kDAAkD;AAClD,MAAM,CAAC,KAAK,UAAU,sBAAsB,CAAC,GAAW,EAAE,OAAO,GAAsB,EAAE;IACvF,MAAM,KAAK,GAAG,OAAO,CAAC,KAAK,IAAI,kBAAkB,CAAC;IAClD,MAAM,KAAK,GAAG,UAAU,CAAC,OAAO,CAAC,KAAK,CAAC,CAAC;IACxC,MAAM,QAAQ,GAAG,OAAO,CAAC,QAAQ,IAAI,IAAI,CAAC;IAC1C,MAAM,SAAS,GAAG,OAAO,CAAC,SAAS,IAAI,kBAAkB,CAAC;IAE1D,2DAA2D;IAC3D,6DAA6D;IAC7D,sDAAsD;IACtD,MAAM,EAAE,OAAO,EAAE,IAAI,EAAE,GAAG,MAAM,mBAAmB,CAAC,GAAG,EAAE,SAAS,EAAE;QAClE,SAAS,EAAE,UAAU;QACrB,QAAQ,EAAE,EAAE,KAAK,EAAE,MAAM,EAAE,mBAAmB,EAAE;QAChD,iBAAiB,EAAE,KAAK;KACzB,CAAC,CAAC;IAEH,IAAI,CAAC;QACH,gDAAgD;QAChD,MAAM,kBAAkB,CAAC,IAAI,CAAC,CAAC,KAAK,CAAC,GAAG,EAAE;YACxC,0BAA0B;QAC5B,CAAC,CAAC,CAAC;QAEH,MAAM,UAAU,GAAG,MAAM,IAAI,CAAC,QAAQ,CAAC,GAAG,EAAE,CAAC,CAAC;YAC5C,KAAK,EAAE,IAAI,CAAC,IAAI,CAAC,QAAQ,CAAC,eAAe,CAAC,WAAW,CAAC;YACtD,MAAM,EAAE,IAAI,CAAC,IAAI,CAAC,QAAQ,CAAC,eAAe,CAAC,YAAY,CAAC;SACzD,CAAC,CAAC,CAAC;QAEJ,MAAM,aAAa,GAAG,QAAQ,CAAC,CAAC,CAAC,UAAU,CAAC,MAAM,CAAC,CAAC,CAAC,IAAI,CAAC,GAAG,CAAC,UAAU,CAAC,MAAM,EAAE,mBAAmB,CAAC,CAAC;QACtG,MAAM,UAAU,GAAG,YAAY,CAAC,UAAU,CAAC,KAAK,EAAE,aAAa,EAAE,KAAK,EAAE,mBAAmB,CAAC,CAAC;QAC7F,MAAM,SAAS,GAAG,sBAAsB,CAAC,aAAa,EAAE,UAAU,CAAC,MAAM,CAAC,CAAC;QAE3E,gDAAgD;QAChD,gEAAgE;QAChE,MAAM,WAAW,GAAG,MAAM,IAAI,CAAC,UAAU,CAAC,EAAE,IAAI,EAAE,KAAK,EAAE,QAAQ,EAAE,IAAI,EAAE,CAAC,CAAC;QAC3E,MAAM,KAAK,GAAG,MAAM,SAAS,CAAC,WAAW,CAAC,CAAC;QAE3C,MAAM,KAAK,GAAqB,UAAU,CAAC,GAAG,CAAC,CAAC,QAAQ,EAAE,EAAE;YAC1D,MAAM,EAAE,GAAG,IAAI,CAAC,GAAG,CAAC,IAAI,CAAC,KAAK,CAAC,QAAQ,CAAC,CAAC,GAAG,KAAK,CAAC,EAAE,IAAI,CAAC,GAAG,CAAC,KAAK,CAAC,KAAK,GAAG,CAAC,EAAE,CAAC,CAAC,CAAC,CAAC;YAClF,MAAM,EAAE,GAAG,IAAI,CAAC,GAAG,CAAC,IAAI,CAAC,KAAK,CAAC,QAAQ,CAAC,CAAC,GAAG,KAAK,CAAC,EAAE,IAAI,CAAC,GAAG,CAAC,KAAK,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC,CAAC,CAAC,CAAC;YACnF,MAAM,EAAE,GAAG,IAAI,CAAC,GAAG,CAAC,CAAC,EAAE,IAAI,CAAC,GAAG,CAAC,IAAI,CAAC,KAAK,CAAC,QAAQ,CAAC,KAAK,GAAG,KAAK,CAAC,EAAE,KAAK,CAAC,KAAK,GAAG,EAAE,CAAC,CAAC,CAAC;YACvF,MAAM,EAAE,GAAG,IAAI,CAAC,GAAG,CAAC,CAAC,EAAE,IAAI,CAAC,GAAG,CAAC,IAAI,CAAC,KAAK,CAAC,QAAQ,CAAC,MAAM,GAAG,KAAK,CAAC,EAAE,KAAK,CAAC,MAAM,GAAG,EAAE,CAAC,CAAC,CAAC;YAEzF,MAAM,MAAM,GAAG,YAAY,CAAC,EAAE,EAAE,EAAE,CAAC,CAAC;YACpC,MAAM,GAAG,GAAG,MAAM,CAAC,UAAU,CAAC,IAAI,CAAC,CAAC;YACpC,GAAG,CAAC,SAAS,CAAC,KAAK,EAAE,EAAE,EAAE,EAAE,EAAE,EAAE,EAAE,EAAE,EAAE,CAAC,EAAE,CAAC,EAAE,EAAE,EAAE,EAAE,CAAC,CAAC;YAEnD,OAAO,EAAE,QAAQ,EAAE,GAAG,EAAE,MAAM,CAAC,QAAQ,CAAC,WAAW,CAAC,EAAE,CAAC;QACzD,CAAC,CAAC,CAAC;QAEH,OAAO,EAAE,QAAQ,EAAE,IAAI,CAAC,GAAG,EAAE,EAAE,SAAS,EAAE,UAAU,CAAC,KAAK,EAAE,UAAU,EAAE,UAAU,CAAC,MAAM,EAAE,KAAK,EAAE,SAAS,EAAE,CAAC;IAChH,CAAC;YAAS,CAAC;QACT,MAAM,OAAO,CAAC,KAAK,EAAE,CAAC;IACxB,CAAC;AACH,CAAC"}

package/dist/server.d.ts

@@ -0,0 +1,3 @@
+#!/usr/bin/env node
+/** MCP stdioサーバーを起動する。CLI(cli.ts)が引数なし/`serve`サブコマンド時に呼ぶ後方互換経路でもある。 */
+export declare function runServer(): Promise<void>;

package/dist/server.js

@@ -0,0 +1,111 @@
+#!/usr/bin/env node
+/**
+ * server.ts — amenbo MCP stdioサーバー。
+ *
+ * ツール(3個で確定。plan.md §3-6のツール数最小化方針):
+ *   - fetch: politeness → cache(fresh/revalidated/unchanged/diff/miss) → 二段フェッチ
+ *     → J4 pruning・J7アダプタ・J8バナー除去 込みのMarkdown抽出 → mode別出力
+ *     (markdown/outline/section/screenshot)。PDFはURL判定で別経路。
+ *   - links: sitemap/RSS優先のリンク列挙。
+ *   - screenshot: 明示的な視覚確認用のタイル分割スクリーンショット。
+ *
+ * ツール登録・エラーラッピング・stdioトランスポート接続のみを担当する。
+ * politeness/cacheのシングルトンやツールハンドラの実処理はcore.ts(CLIと共有)にある。
+ */
+import { fileURLToPath } from "node:url";
+import { McpServer } from "@modelcontextprotocol/sdk/server/mcp.js";
+import { StdioServerTransport } from "@modelcontextprotocol/sdk/server/stdio.js";
+import { z } from "zod";
+import { formatLinksResponse, handleFetchTool, handleScreenshotTool, politeness, resolvePackageVersion, } from "./core.js";
+import { AmenboError } from "./errors.js";
+import { discoverLinks } from "./links.js";
+const server = new McpServer({ name: "amenbo", version: resolvePackageVersion() });
+server.registerTool("fetch", {
+    title: "Fetch a web page as Markdown",
+    description: "日本語Webページを低負荷・省トークンで取得(robots.txt/レート制御/キャッシュ内蔵)。" +
+        "mode: auto(既定,品質スコアでMarkdown/screenshot自動切替)/markdown/outline(見出し要約)/screenshot。" +
+        "再取得時はcache: unchanged(無変更)/diff(変更節のみ)で省トークン応答。PDFはURLで自動判定。",
+    inputSchema: {
+        url: z.string().url().describe("取得対象URL(http/httpsのみ。PDFも可)"),
+        mode: z.enum(["auto", "markdown", "outline", "screenshot"]).optional().describe("既定auto"),
+        selector: z.string().optional().describe("本文を絞り込むCSSセレクタ"),
+        section: z.string().optional().describe("outlineで得たsection ID。指定時はその節のMarkdownのみ返す"),
+        page: z.number().int().positive().optional().describe("ページ番号(既定1)"),
+        max_tokens: z.number().int().positive().optional().describe("1ページの概算トークン上限(既定8000)"),
+        force_full: z.boolean().optional().describe("既定false。trueで差分応答(unchanged/diff)と定型ブロック除去を無効化し常に全文を返す"),
+    },
+}, async ({ url, mode, selector, section, page, max_tokens: maxTokens, force_full: forceFull }) => {
+    try {
+        const content = await handleFetchTool({ url, mode, selector, section, page, max_tokens: maxTokens, force_full: forceFull });
+        return { content };
+    }
+    catch (error) {
+        const message = error instanceof AmenboError ? error.message : `予期しないエラーが発生しました: ${String(error)}`;
+        if (!(error instanceof AmenboError)) {
+            console.error(error);
+        }
+        return { content: [{ type: "text", text: message }], isError: true };
+    }
+});
+server.registerTool("links", {
+    title: "List links from a page (sitemap/RSS-first)",
+    description: "sitemap.xml/RSS・Atomフィードがあれば優先し、無ければページ内リンクを抽出する低負荷なリンク列挙。",
+    inputSchema: {
+        url: z.string().url().describe("起点URL"),
+        filter: z.string().optional().describe("URL/リンクテキストの部分一致、または*を使ったglob"),
+    },
+}, async ({ url, filter }) => {
+    try {
+        const result = await discoverLinks(url, politeness, filter ? { filter } : {});
+        return { content: [{ type: "text", text: formatLinksResponse(url, result) }] };
+    }
+    catch (error) {
+        const message = error instanceof AmenboError ? error.message : `予期しないエラーが発生しました: ${String(error)}`;
+        if (!(error instanceof AmenboError)) {
+            console.error(error);
+        }
+        return { content: [{ type: "text", text: message }], isError: true };
+    }
+});
+server.registerTool("screenshot", {
+    title: "Capture a tiled screenshot of a web page",
+    description: "明示的な視覚確認用。Playwrightでページをレンダリングし、タイル分割したPNGスクリーンショットを返す。robots.txt/レート制御/キャッシュを内蔵する。",
+    inputSchema: {
+        url: z.string().url().describe("撮影対象のURL(http/httpsのみ)"),
+        fullPage: z.boolean().optional().describe("既定true。falseの場合は最初のビューポート分(1タイル)のみ撮影する"),
+        width: z.number().int().positive().optional().describe("タイル幅(px)。既定1280"),
+        scale: z.number().min(0.5).max(1.0).optional().describe("解像度スケール(0.5〜1.0、既定1.0)。小さいほど画像サイズ(トークン)が減る"),
+    },
+}, async ({ url, fullPage, width, scale }) => {
+    try {
+        const content = await handleScreenshotTool({ url, fullPage, width, scale });
+        return { content };
+    }
+    catch (error) {
+        const message = error instanceof AmenboError ? error.message : `予期しないエラーが発生しました: ${String(error)}`;
+        if (!(error instanceof AmenboError)) {
+            console.error(error);
+        }
+        return { content: [{ type: "text", text: message }], isError: true };
+    }
+});
+/** MCP stdioサーバーを起動する。CLI(cli.ts)が引数なし/`serve`サブコマンド時に呼ぶ後方互換経路でもある。 */
+export async function runServer() {
+    const transport = new StdioServerTransport();
+    await server.connect(transport);
+}
+/**
+ * このモジュールが直接実行された(node dist/server.js / tsx src/server.ts / binエントリ経由)場合のみ
+ * trueを返す。テスト(vitest)がformatHandoffResponse等のユニットテストのためにこのファイルを
+ * importした際、stdioトランスポート接続(runServer())が誤って走ってテストプロセスがハングするのを防ぐ。
+ */
+function isDirectlyExecuted() {
+    return typeof process.argv[1] === "string" && fileURLToPath(import.meta.url) === process.argv[1];
+}
+if (isDirectlyExecuted()) {
+    runServer().catch((error) => {
+        console.error("amenboサーバーの起動に失敗しました:", error);
+        process.exit(1);
+    });
+}
+//# sourceMappingURL=server.js.map

package/dist/server.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"server.js","sourceRoot":"","sources":["../src/server.ts"],"names":[],"mappings":";AACA;;;;;;;;;;;;GAYG;AACH,OAAO,EAAE,aAAa,EAAE,MAAM,UAAU,CAAC;AACzC,OAAO,EAAE,SAAS,EAAE,MAAM,yCAAyC,CAAC;AACpE,OAAO,EAAE,oBAAoB,EAAE,MAAM,2CAA2C,CAAC;AACjF,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AACxB,OAAO,EACL,mBAAmB,EACnB,eAAe,EACf,oBAAoB,EACpB,UAAU,EACV,qBAAqB,GACtB,MAAM,WAAW,CAAC;AACnB,OAAO,EAAE,WAAW,EAAE,MAAM,aAAa,CAAC;AAC1C,OAAO,EAAE,aAAa,EAAE,MAAM,YAAY,CAAC;AAE3C,MAAM,MAAM,GAAG,IAAI,SAAS,CAAC,EAAE,IAAI,EAAE,QAAQ,EAAE,OAAO,EAAE,qBAAqB,EAAE,EAAE,CAAC,CAAC;AAEnF,MAAM,CAAC,YAAY,CACjB,OAAO,EACP;IACE,KAAK,EAAE,8BAA8B;IACrC,WAAW,EACT,mDAAmD;QACnD,kFAAkF;QAClF,8DAA8D;IAChE,WAAW,EAAE;QACX,GAAG,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC;QAC7D,IAAI,EAAE,CAAC,CAAC,IAAI,CAAC,CAAC,MAAM,EAAE,UAAU,EAAE,SAAS,EAAE,YAAY,CAAC,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,QAAQ,CAAC;QACzF,QAAQ,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,gBAAgB,CAAC;QAC1D,OAAO,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,2CAA2C,CAAC;QACpF,IAAI,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,YAAY,CAAC;QACnE,UAAU,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,uBAAuB,CAAC;QACpF,UAAU,EAAE,CAAC,CAAC,OAAO,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,wDAAwD,CAAC;KACtG;CACF,EACD,KAAK,EAAE,EAAE,GAAG,EAAE,IAAI,EAAE,QAAQ,EAAE,OAAO,EAAE,IAAI,EAAE,UAAU,EAAE,SAAS,EAAE,UAAU,EAAE,SAAS,EAAE,EAAE,EAAE;IAC7F,IAAI,CAAC;QACH,MAAM,OAAO,GAAG,MAAM,eAAe,CAAC,EAAE,GAAG,EAAE,IAAI,EAAE,QAAQ,EAAE,OAAO,EAAE,IAAI,EAAE,UAAU,EAAE,SAAS,EAAE,UAAU,EAAE,SAAS,EAAE,CAAC,CAAC;QAC5H,OAAO,EAAE,OAAO,EAAE,CAAC;IACrB,CAAC;IAAC,OAAO,KAAK,EAAE,CAAC;QACf,MAAM,OAAO,GAAG,KAAK,YAAY,WAAW,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC,CAAC,oBAAoB,MAAM,CAAC,KAAK,CAAC,EAAE,CAAC;QACnG,IAAI,CAAC,CAAC,KAAK,YAAY,WAAW,CAAC,EAAE,CAAC;YACpC,OAAO,CAAC,KAAK,CAAC,KAAK,CAAC,CAAC;QACvB,CAAC;QACD,OAAO,EAAE,OAAO,EAAE,CAAC,EAAE,IAAI,EAAE,MAAe,EAAE,IAAI,EAAE,OAAO,EAAE,CAAC,EAAE,OAAO,EAAE,IAAI,EAAE,CAAC;IAChF,CAAC;AACH,CAAC,CACF,CAAC;AAEF,MAAM,CAAC,YAAY,CACjB,OAAO,EACP;IACE,KAAK,EAAE,4CAA4C;IACnD,WAAW,EAAE,4DAA4D;IACzE,WAAW,EAAE;QACX,GAAG,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,CAAC,OAAO,CAAC;QACvC,MAAM,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,+BAA+B,CAAC;KACxE;CACF,EACD,KAAK,EAAE,EAAE,GAAG,EAAE,MAAM,EAAE,EAAE,EAAE;IACxB,IAAI,CAAC;QACH,MAAM,MAAM,GAAG,MAAM,aAAa,CAAC,GAAG,EAAE,UAAU,EAAE,MAAM,CAAC,CAAC,CAAC,EAAE,MAAM,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC;QAC9E,OAAO,EAAE,OAAO,EAAE,CAAC,EAAE,IAAI,EAAE,MAAe,EAAE,IAAI,EAAE,mBAAmB,CAAC,GAAG,EAAE,MAAM,CAAC,EAAE,CAAC,EAAE,CAAC;IAC1F,CAAC;IAAC,OAAO,KAAK,EAAE,CAAC;QACf,MAAM,OAAO,GAAG,KAAK,YAAY,WAAW,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC,CAAC,oBAAoB,MAAM,CAAC,KAAK,CAAC,EAAE,CAAC;QACnG,IAAI,CAAC,CAAC,KAAK,YAAY,WAAW,CAAC,EAAE,CAAC;YACpC,OAAO,CAAC,KAAK,CAAC,KAAK,CAAC,CAAC;QACvB,CAAC;QACD,OAAO,EAAE,OAAO,EAAE,CAAC,EAAE,IAAI,EAAE,MAAe,EAAE,IAAI,EAAE,OAAO,EAAE,CAAC,EAAE,OAAO,EAAE,IAAI,EAAE,CAAC;IAChF,CAAC;AACH,CAAC,CACF,CAAC;AAEF,MAAM,CAAC,YAAY,CACjB,YAAY,EACZ;IACE,KAAK,EAAE,0CAA0C;IACjD,WAAW,EAAE,sFAAsF;IACnG,WAAW,EAAE;QACX,GAAG,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,CAAC,wBAAwB,CAAC;QACxD,QAAQ,EAAE,CAAC,CAAC,OAAO,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,wCAAwC,CAAC;QACnF,KAAK,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,iBAAiB,CAAC;QACzE,KAAK,EAAE,CAAC,CAAC,MAAM,EAAE,CAAC,GAAG,CAAC,GAAG,CAAC,CAAC,GAAG,CAAC,GAAG,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,4CAA4C,CAAC;KACtG;CACF,EACD,KAAK,EAAE,EAAE,GAAG,EAAE,QAAQ,EAAE,KAAK,EAAE,KAAK,EAAE,EAAE,EAAE;IACxC,IAAI,CAAC;QACH,MAAM,OAAO,GAAG,MAAM,oBAAoB,CAAC,EAAE,GAAG,EAAE,QAAQ,EAAE,KAAK,EAAE,KAAK,EAAE,CAAC,CAAC;QAC5E,OAAO,EAAE,OAAO,EAAE,CAAC;IACrB,CAAC;IAAC,OAAO,KAAK,EAAE,CAAC;QACf,MAAM,OAAO,GAAG,KAAK,YAAY,WAAW,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC,CAAC,oBAAoB,MAAM,CAAC,KAAK,CAAC,EAAE,CAAC;QACnG,IAAI,CAAC,CAAC,KAAK,YAAY,WAAW,CAAC,EAAE,CAAC;YACpC,OAAO,CAAC,KAAK,CAAC,KAAK,CAAC,CAAC;QACvB,CAAC;QACD,OAAO,EAAE,OAAO,EAAE,CAAC,EAAE,IAAI,EAAE,MAAe,EAAE,IAAI,EAAE,OAAO,EAAE,CAAC,EAAE,OAAO,EAAE,IAAI,EAAE,CAAC;IAChF,CAAC;AACH,CAAC,CACF,CAAC;AAEF,uEAAuE;AACvE,MAAM,CAAC,KAAK,UAAU,SAAS;IAC7B,MAAM,SAAS,GAAG,IAAI,oBAAoB,EAAE,CAAC;IAC7C,MAAM,MAAM,CAAC,OAAO,CAAC,SAAS,CAAC,CAAC;AAClC,CAAC;AAED;;;;GAIG;AACH,SAAS,kBAAkB;IACzB,OAAO,OAAO,OAAO,CAAC,IAAI,CAAC,CAAC,CAAC,KAAK,QAAQ,IAAI,aAAa,CAAC,OAAO,IAAI,CAAC,GAAG,CAAC,KAAK,OAAO,CAAC,IAAI,CAAC,CAAC,CAAC,CAAC;AACnG,CAAC;AAED,IAAI,kBAAkB,EAAE,EAAE,CAAC;IACzB,SAAS,EAAE,CAAC,KAAK,CAAC,CAAC,KAAc,EAAE,EAAE;QACnC,OAAO,CAAC,KAAK,CAAC,uBAAuB,EAAE,KAAK,CAAC,CAAC;QAC9C,OAAO,CAAC,IAAI,CAAC,CAAC,CAAC,CAAC;IAClB,CAAC,CAAC,CAAC;AACL,CAAC"}

package/dist/templateLearning.d.ts

@@ -0,0 +1,11 @@
+/** Markdownをブロック分割し、各ブロックの内容ハッシュ一覧を返す(重複ブロックは1回のみ)。 */
+export declare function computeBlockHashes(markdown: string): string[];
+export interface RemoveTemplateBlocksResult {
+    markdown: string;
+    removedCount: number;
+}
+/**
+ * 定型ブロック(templateHashesに含まれるハッシュを持つブロック)をMarkdownから除去する。
+ * templateHashesが空の場合は何もしない(呼び出し側で force_full 等により無効化するケース)。
+ */
+export declare function removeTemplateBlocks(markdown: string, templateHashes: ReadonlySet<string>): RemoveTemplateBlocksResult;

package/dist/templateLearning.js

@@ -0,0 +1,42 @@
+/**
+ * templateLearning.ts — Phase 4 テンプレート学習(同一ドメインの定型ブロック除去)。
+ *
+ * 同一ドメインの複数ページで共通して出現するブロック(段落/リスト単位。tokens.tsの
+ * ブロック分割を再利用)は、ヘッダ・フッタ・定型ナビ等の「そのページ固有ではない」
+ * 内容とみなし、表示用Markdownから取り除く。
+ *
+ * 判定方法(cache.ts側で保持): ドメイン毎に直近N ページ分のブロックハッシュ集合を記録し、
+ * 直近N ページ全てに出現したハッシュを定型ブロックとみなす(cache.tsの
+ * getTemplateBlockHashesを参照)。本モジュールはハッシュ計算とブロック除去の純関数のみを担う。
+ */
+import { hashContent } from "./cache.js";
+import { splitIntoBlocks } from "./tokens.js";
+/** Markdownをブロック分割し、各ブロックの内容ハッシュ一覧を返す(重複ブロックは1回のみ)。 */
+export function computeBlockHashes(markdown) {
+    const hashes = new Set();
+    for (const block of splitIntoBlocks(markdown)) {
+        hashes.add(hashContent(block.text.trim()));
+    }
+    return [...hashes];
+}
+/**
+ * 定型ブロック(templateHashesに含まれるハッシュを持つブロック)をMarkdownから除去する。
+ * templateHashesが空の場合は何もしない(呼び出し側で force_full 等により無効化するケース)。
+ */
+export function removeTemplateBlocks(markdown, templateHashes) {
+    if (templateHashes.size === 0) {
+        return { markdown, removedCount: 0 };
+    }
+    const blocks = splitIntoBlocks(markdown);
+    const kept = [];
+    let removedCount = 0;
+    for (const block of blocks) {
+        if (templateHashes.has(hashContent(block.text.trim()))) {
+            removedCount++;
+            continue;
+        }
+        kept.push(block.text);
+    }
+    return { markdown: kept.join("\n\n"), removedCount };
+}
+//# sourceMappingURL=templateLearning.js.map

package/dist/templateLearning.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"templateLearning.js","sourceRoot":"","sources":["../src/templateLearning.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;GAUG;AACH,OAAO,EAAE,WAAW,EAAE,MAAM,YAAY,CAAC;AACzC,OAAO,EAAE,eAAe,EAAE,MAAM,aAAa,CAAC;AAE9C,uDAAuD;AACvD,MAAM,UAAU,kBAAkB,CAAC,QAAgB;IACjD,MAAM,MAAM,GAAG,IAAI,GAAG,EAAU,CAAC;IACjC,KAAK,MAAM,KAAK,IAAI,eAAe,CAAC,QAAQ,CAAC,EAAE,CAAC;QAC9C,MAAM,CAAC,GAAG,CAAC,WAAW,CAAC,KAAK,CAAC,IAAI,CAAC,IAAI,EAAE,CAAC,CAAC,CAAC;IAC7C,CAAC;IACD,OAAO,CAAC,GAAG,MAAM,CAAC,CAAC;AACrB,CAAC;AAOD;;;GAGG;AACH,MAAM,UAAU,oBAAoB,CAAC,QAAgB,EAAE,cAAmC;IACxF,IAAI,cAAc,CAAC,IAAI,KAAK,CAAC,EAAE,CAAC;QAC9B,OAAO,EAAE,QAAQ,EAAE,YAAY,EAAE,CAAC,EAAE,CAAC;IACvC,CAAC;IAED,MAAM,MAAM,GAAG,eAAe,CAAC,QAAQ,CAAC,CAAC;IACzC,MAAM,IAAI,GAAa,EAAE,CAAC;IAC1B,IAAI,YAAY,GAAG,CAAC,CAAC;IAErB,KAAK,MAAM,KAAK,IAAI,MAAM,EAAE,CAAC;QAC3B,IAAI,cAAc,CAAC,GAAG,CAAC,WAAW,CAAC,KAAK,CAAC,IAAI,CAAC,IAAI,EAAE,CAAC,CAAC,EAAE,CAAC;YACvD,YAAY,EAAE,CAAC;YACf,SAAS;QACX,CAAC;QACD,IAAI,CAAC,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC;IACxB,CAAC;IAED,OAAO,EAAE,QAAQ,EAAE,IAAI,CAAC,IAAI,CAAC,MAAM,CAAC,EAAE,YAAY,EAAE,CAAC;AACvD,CAAC"}

package/dist/tokens.d.ts

@@ -0,0 +1,47 @@
+/**
+ * J5: CJK対応トークン見積り。
+ *
+ * 文字クラス別係数(plan.md §2 J5):
+ *   - ASCII等(半角英数記号): 1トークン ≒ 3.8文字
+ *   - CJK(かな/カナ/漢字/全角記号等): 1文字 ≒ 0.9トークン
+ *
+ * 設計判断: plan.mdはASCII/CJKの二区分のみを定義しているため、絵文字・キリル文字等の
+ * その他多バイト文字はASCII側の係数で近似する(Phase 1のスコープでは十分な精度と判断)。
+ */
+/** テキストの概算トークン数を返す(CJK文字クラス別係数)。 */
+export declare function estimateTokens(text: string): number;
+/** Markdownの1ブロック(見出し/段落/リスト項目/表/コードフェンス等)。 */
+export interface Block {
+    text: string;
+    isHeading: boolean;
+}
+/**
+ * Markdownをブロック単位(空行区切り)に分割する。
+ * フェンスコードブロック(```)内の空行はブロック境界として扱わない。
+ * templateLearning.ts(Phase 4定型ブロック除去)からも再利用される共通処理。
+ */
+export declare function splitIntoBlocks(markdown: string): Block[];
+export interface PaginatedResult {
+    /** 要求されたページ(範囲外の場合は最寄りの有効ページへ丸められる)の本文。 */
+    content: string;
+    /** 実際に返したページ番号(1始まり)。 */
+    page: number;
+    /** 総ページ数。 */
+    totalPages: number;
+    /** このページの概算トークン数。 */
+    tokens: number;
+    /** N6: 単一ブロックがmax_tokens予算を超過しており、分割できずそのまま返した場合true。 */
+    exceededBudget: boolean;
+}
+/**
+ * J5: max_tokens予算で見出し/段落境界を優先してページ分割する。
+ *
+ * アルゴリズム:
+ *   1. 空行(フェンスコード内を除く)でMarkdownをブロックに分割
+ *   2. ブロックを先頭から貪欲に詰め、予算超過前に新しいページへ切り替える
+ *   3. 見出しブロックの手前では、既に予算の60%以上を使っていれば先に改ページする
+ *      (見出しがページ末尾に孤立するのを避けるため)
+ *   4. 単一ブロックが予算を超える場合(巨大な表/コード等)は、表・コードを
+ *      壊さないためブロックを割らずそのページ単独で返す
+ */
+export declare function paginateMarkdown(markdown: string, maxTokens: number, page: number): PaginatedResult;