amenbo 0.1.0

package/dist/fetcher/index.js

@@ -0,0 +1,92 @@
+/**
+ * fetcher/index.ts — 二段フェッチ。
+ *
+ * まず素のHTTP GET(fetcher/http.ts)を行い、SPA判定(ヒューリスティック)に該当した
+ * 場合のみheadless Chromium(fetcher/browser.ts)へ昇格する。
+ * 大半の静的/SSRページはHTTP GETのみで完結し、先方負荷・自機資源を最小化する。
+ */
+import { parseHTML } from "linkedom";
+import { UnsupportedContentError } from "../errors.js";
+import { fetchWithBrowser } from "./browser.js";
+import { httpGetRouted } from "./http.js";
+// ---- SPA判定ヒューリスティック ----
+const SPA_ROOT_IDS = ["root", "app", "__next", "__nuxt"];
+const MIN_HTML_LENGTH_FOR_RATIO_CHECK = 2000;
+const TEXT_TO_HTML_RATIO_THRESHOLD = 0.02;
+const MIN_VISIBLE_TEXT_LENGTH = 200;
+function detectSpaSignals(html) {
+    const { document } = parseHTML(html);
+    for (const tag of Array.from(document.querySelectorAll("script, style"))) {
+        tag.remove();
+    }
+    const visibleText = (document.body?.textContent ?? "").replace(/\s+/g, "");
+    for (const id of SPA_ROOT_IDS) {
+        const el = document.getElementById(id);
+        if (el && el.textContent.replace(/\s+/g, "").length < 10) {
+            return { escalate: true, reason: `SPAルートコンテナ(#${id})が空です` };
+        }
+    }
+    const noscriptWarning = Array.from(document.querySelectorAll("noscript")).some((el) => /javascript|有効に|enable/i.test(el.textContent ?? ""));
+    if (noscriptWarning) {
+        return { escalate: true, reason: "noscriptにJavaScript要求の警告があります" };
+    }
+    if (html.length > MIN_HTML_LENGTH_FOR_RATIO_CHECK && visibleText.length / html.length < TEXT_TO_HTML_RATIO_THRESHOLD) {
+        return { escalate: true, reason: "抽出テキスト量/HTMLサイズ比が低いです" };
+    }
+    if (html.length > MIN_HTML_LENGTH_FOR_RATIO_CHECK && visibleText.length < MIN_VISIBLE_TEXT_LENGTH) {
+        return { escalate: true, reason: "可視テキスト量が閾値未満です" };
+    }
+    return { escalate: false, reason: null };
+}
+/** 二段フェッチ本体。条件付きGETでstatus 304が返った場合はNotModifiedResultを返す。 */
+export async function fetchPage(url, options = {}) {
+    const routed = await httpGetRouted(url, options);
+    if (routed.kind === "notModified") {
+        return { notModified: true, finalUrl: routed.finalUrl };
+    }
+    if (routed.kind === "handoff") {
+        // PDFの既存処理フロー(server.tsのURL拡張子判定 → handlePdfFetch)は変更しない。
+        // URL拡張子で検出できなかったPDF(content-typeのみで判明するケース)は、
+        // 機能B以前と同じくUnsupportedContentErrorのままにする(バイナリをテキストとして
+        // プレビューしてしまう回帰を避けるため)。
+        if (routed.contentType && /application\/pdf/i.test(routed.contentType)) {
+            throw new UnsupportedContentError(routed.finalUrl, routed.contentType);
+        }
+        return {
+            handoff: true,
+            finalUrl: routed.finalUrl,
+            status: routed.status,
+            contentType: routed.contentType,
+            bytes: routed.bytes,
+            declaredSize: routed.declaredSize,
+            truncated: routed.truncated,
+        };
+    }
+    const spaSignals = options.forceBrowser ? { escalate: true, reason: "forceBrowser指定" } : detectSpaSignals(routed.html);
+    if (!spaSignals.escalate) {
+        return {
+            finalUrl: routed.finalUrl,
+            html: routed.html,
+            tier: "http",
+            status: routed.status,
+            encoding: routed.encoding,
+            etag: routed.headers.get("etag"),
+            lastModified: routed.headers.get("last-modified"),
+            escalationReason: null,
+            geometry: null,
+        };
+    }
+    const browserResult = await fetchWithBrowser(routed.finalUrl, options.timeoutMs);
+    return {
+        finalUrl: browserResult.finalUrl,
+        html: browserResult.html,
+        tier: "browser",
+        status: browserResult.status,
+        encoding: "UTF-8",
+        etag: null,
+        lastModified: null,
+        escalationReason: spaSignals.reason,
+        geometry: browserResult.geometry,
+    };
+}
+//# sourceMappingURL=index.js.map

package/dist/fetcher/index.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"index.js","sourceRoot":"","sources":["../../src/fetcher/index.ts"],"names":[],"mappings":"AAAA;;;;;;GAMG;AACH,OAAO,EAAE,SAAS,EAAE,MAAM,UAAU,CAAC;AACrC,OAAO,EAAE,uBAAuB,EAAE,MAAM,cAAc,CAAC;AAEvD,OAAO,EAAE,gBAAgB,EAAE,MAAM,cAAc,CAAC;AAChD,OAAO,EAAE,aAAa,EAAuB,MAAM,WAAW,CAAC;AAuC/D,2BAA2B;AAE3B,MAAM,YAAY,GAAG,CAAC,MAAM,EAAE,KAAK,EAAE,QAAQ,EAAE,QAAQ,CAAC,CAAC;AACzD,MAAM,+BAA+B,GAAG,IAAI,CAAC;AAC7C,MAAM,4BAA4B,GAAG,IAAI,CAAC;AAC1C,MAAM,uBAAuB,GAAG,GAAG,CAAC;AAEpC,SAAS,gBAAgB,CAAC,IAAY;IACpC,MAAM,EAAE,QAAQ,EAAE,GAAG,SAAS,CAAC,IAAI,CAAC,CAAC;IAErC,KAAK,MAAM,GAAG,IAAI,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,eAAe,CAAC,CAAC,EAAE,CAAC;QACzE,GAAG,CAAC,MAAM,EAAE,CAAC;IACf,CAAC;IACD,MAAM,WAAW,GAAG,CAAC,QAAQ,CAAC,IAAI,EAAE,WAAW,IAAI,EAAE,CAAC,CAAC,OAAO,CAAC,MAAM,EAAE,EAAE,CAAC,CAAC;IAE3E,KAAK,MAAM,EAAE,IAAI,YAAY,EAAE,CAAC;QAC9B,MAAM,EAAE,GAAG,QAAQ,CAAC,cAAc,CAAC,EAAE,CAAC,CAAC;QACvC,IAAI,EAAE,IAAI,EAAE,CAAC,WAAW,CAAC,OAAO,CAAC,MAAM,EAAE,EAAE,CAAC,CAAC,MAAM,GAAG,EAAE,EAAE,CAAC;YACzD,OAAO,EAAE,QAAQ,EAAE,IAAI,EAAE,MAAM,EAAE,eAAe,EAAE,OAAO,EAAE,CAAC;QAC9D,CAAC;IACH,CAAC;IAED,MAAM,eAAe,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,UAAU,CAAC,CAAC,CAAC,IAAI,CAAC,CAAC,EAAE,EAAE,EAAE,CACpF,wBAAwB,CAAC,IAAI,CAAC,EAAE,CAAC,WAAW,IAAI,EAAE,CAAC,CACpD,CAAC;IACF,IAAI,eAAe,EAAE,CAAC;QACpB,OAAO,EAAE,QAAQ,EAAE,IAAI,EAAE,MAAM,EAAE,+BAA+B,EAAE,CAAC;IACrE,CAAC;IAED,IAAI,IAAI,CAAC,MAAM,GAAG,+BAA+B,IAAI,WAAW,CAAC,MAAM,GAAG,IAAI,CAAC,MAAM,GAAG,4BAA4B,EAAE,CAAC;QACrH,OAAO,EAAE,QAAQ,EAAE,IAAI,EAAE,MAAM,EAAE,uBAAuB,EAAE,CAAC;IAC7D,CAAC;IAED,IAAI,IAAI,CAAC,MAAM,GAAG,+BAA+B,IAAI,WAAW,CAAC,MAAM,GAAG,uBAAuB,EAAE,CAAC;QAClG,OAAO,EAAE,QAAQ,EAAE,IAAI,EAAE,MAAM,EAAE,gBAAgB,EAAE,CAAC;IACtD,CAAC;IAED,OAAO,EAAE,QAAQ,EAAE,KAAK,EAAE,MAAM,EAAE,IAAI,EAAE,CAAC;AAC3C,CAAC;AAOD,8DAA8D;AAC9D,MAAM,CAAC,KAAK,UAAU,SAAS,CAAC,GAAW,EAAE,OAAO,GAAqB,EAAE;IACzE,MAAM,MAAM,GAAG,MAAM,aAAa,CAAC,GAAG,EAAE,OAAO,CAAC,CAAC;IAEjD,IAAI,MAAM,CAAC,IAAI,KAAK,aAAa,EAAE,CAAC;QAClC,OAAO,EAAE,WAAW,EAAE,IAAI,EAAE,QAAQ,EAAE,MAAM,CAAC,QAAQ,EAAE,CAAC;IAC1D,CAAC;IAED,IAAI,MAAM,CAAC,IAAI,KAAK,SAAS,EAAE,CAAC;QAC9B,0DAA0D;QAC1D,+CAA+C;QAC/C,sDAAsD;QACtD,uBAAuB;QACvB,IAAI,MAAM,CAAC,WAAW,IAAI,mBAAmB,CAAC,IAAI,CAAC,MAAM,CAAC,WAAW,CAAC,EAAE,CAAC;YACvE,MAAM,IAAI,uBAAuB,CAAC,MAAM,CAAC,QAAQ,EAAE,MAAM,CAAC,WAAW,CAAC,CAAC;QACzE,CAAC;QACD,OAAO;YACL,OAAO,EAAE,IAAI;YACb,QAAQ,EAAE,MAAM,CAAC,QAAQ;YACzB,MAAM,EAAE,MAAM,CAAC,MAAM;YACrB,WAAW,EAAE,MAAM,CAAC,WAAW;YAC/B,KAAK,EAAE,MAAM,CAAC,KAAK;YACnB,YAAY,EAAE,MAAM,CAAC,YAAY;YACjC,SAAS,EAAE,MAAM,CAAC,SAAS;SAC5B,CAAC;IACJ,CAAC;IAED,MAAM,UAAU,GAAG,OAAO,CAAC,YAAY,CAAC,CAAC,CAAC,EAAE,QAAQ,EAAE,IAAI,EAAE,MAAM,EAAE,gBAAgB,EAAE,CAAC,CAAC,CAAC,gBAAgB,CAAC,MAAM,CAAC,IAAI,CAAC,CAAC;IAEvH,IAAI,CAAC,UAAU,CAAC,QAAQ,EAAE,CAAC;QACzB,OAAO;YACL,QAAQ,EAAE,MAAM,CAAC,QAAQ;YACzB,IAAI,EAAE,MAAM,CAAC,IAAI;YACjB,IAAI,EAAE,MAAM;YACZ,MAAM,EAAE,MAAM,CAAC,MAAM;YACrB,QAAQ,EAAE,MAAM,CAAC,QAAQ;YACzB,IAAI,EAAE,MAAM,CAAC,OAAO,CAAC,GAAG,CAAC,MAAM,CAAC;YAChC,YAAY,EAAE,MAAM,CAAC,OAAO,CAAC,GAAG,CAAC,eAAe,CAAC;YACjD,gBAAgB,EAAE,IAAI;YACtB,QAAQ,EAAE,IAAI;SACf,CAAC;IACJ,CAAC;IAED,MAAM,aAAa,GAAG,MAAM,gBAAgB,CAAC,MAAM,CAAC,QAAQ,EAAE,OAAO,CAAC,SAAS,CAAC,CAAC;IACjF,OAAO;QACL,QAAQ,EAAE,aAAa,CAAC,QAAQ;QAChC,IAAI,EAAE,aAAa,CAAC,IAAI;QACxB,IAAI,EAAE,SAAS;QACf,MAAM,EAAE,aAAa,CAAC,MAAM;QAC5B,QAAQ,EAAE,OAAO;QACjB,IAAI,EAAE,IAAI;QACV,YAAY,EAAE,IAAI;QAClB,gBAAgB,EAAE,UAAU,CAAC,MAAM;QACnC,QAAQ,EAAE,aAAa,CAAC,QAAQ;KACjC,CAAC;AACJ,CAAC"}

package/dist/jp/consentBanner.d.ts

@@ -0,0 +1,27 @@
+/**
+ * jp/consentBanner.ts — J8: 国内同意バナー・アプリ誘導インタースティシャル除去。
+ *
+ * Cookie同意バナー・アプリ誘導オーバーレイ等、本文を覆う/汚染する要素を除去する。
+ * Crawl4AIの40+CMP対応の国内版に相当するが、Phase 3では個別CMPのSDK名を列挙するのではなく、
+ * 「よくある実装パターン」の汎用ヒューリスティックでカバーする:
+ *   - id/class名にcookie/consent/cmp/gdpr/app-banner/interstitial等が含まれる
+ *   - 「同意して閉じる」「アプリで開く」等の日本語頻出文言を含む
+ *   - (fixed overlay判定はDOM抽出時は不可。ブラウザレンダリング時はfetcher/browser.tsの
+ *     hideConsentBanners が実際のcomputed styleで判定する)
+ * のうち複数シグナルが揃った場合のみ除去することで、誤除去(本文の一部を消してしまう)を防ぐ。
+ */
+interface RemovableElement {
+    id: string;
+    className: string;
+    textContent: string;
+    remove(): void;
+}
+export interface ConsentBannerHostDocument {
+    querySelectorAll(selector: string): ArrayLike<RemovableElement>;
+}
+/**
+ * DOM上のCookie同意バナー/アプリ誘導インタースティシャルを除去する。
+ * 除去したブロック数を返す。
+ */
+export declare function removeConsentBanners(document: ConsentBannerHostDocument): number;
+export {};

package/dist/jp/consentBanner.js

@@ -0,0 +1,48 @@
+/**
+ * jp/consentBanner.ts — J8: 国内同意バナー・アプリ誘導インタースティシャル除去。
+ *
+ * Cookie同意バナー・アプリ誘導オーバーレイ等、本文を覆う/汚染する要素を除去する。
+ * Crawl4AIの40+CMP対応の国内版に相当するが、Phase 3では個別CMPのSDK名を列挙するのではなく、
+ * 「よくある実装パターン」の汎用ヒューリスティックでカバーする:
+ *   - id/class名にcookie/consent/cmp/gdpr/app-banner/interstitial等が含まれる
+ *   - 「同意して閉じる」「アプリで開く」等の日本語頻出文言を含む
+ *   - (fixed overlay判定はDOM抽出時は不可。ブラウザレンダリング時はfetcher/browser.tsの
+ *     hideConsentBanners が実際のcomputed styleで判定する)
+ * のうち複数シグナルが揃った場合のみ除去することで、誤除去(本文の一部を消してしまう)を防ぐ。
+ */
+const BANNER_TEXT_PATTERNS = [
+    /同意して閉じる/,
+    /同意する/,
+    /Cookie.{0,10}(の使用に|に)?同意/i,
+    /このサイトはCookieを使用/,
+    /アプリで(開く|見る|読む)/,
+    /アプリをダウンロード/,
+    /アプリ内で開く/,
+    /ストアで見る/,
+    /App Store|Google Play.{0,10}(で|から)開く/i,
+];
+const BANNER_ID_CLASS_PATTERN = /cookie|consent|cmp[-_]|gdpr|app[-_]?banner|interstitial|smart-?banner/i;
+/** 本文ブロックを誤って除去しないよう、この文字数を超えるブロックは対象外にする(バナーは短文が通例)。 */
+const MAX_BANNER_TEXT_LENGTH = 400;
+/**
+ * DOM上のCookie同意バナー/アプリ誘導インタースティシャルを除去する。
+ * 除去したブロック数を返す。
+ */
+export function removeConsentBanners(document) {
+    let removed = 0;
+    const candidates = Array.from(document.querySelectorAll("div, section, aside, dialog"));
+    for (const el of candidates) {
+        const text = el.textContent ?? "";
+        if (text.length === 0 || text.length > MAX_BANNER_TEXT_LENGTH)
+            continue;
+        const idClassMatch = BANNER_ID_CLASS_PATTERN.test(`${el.id ?? ""} ${el.className ?? ""}`);
+        const textMatch = BANNER_TEXT_PATTERNS.some((pattern) => pattern.test(text));
+        // id/class名パターンと文言パターンの両方が揃った場合のみ除去する(誤除去防止)
+        if (idClassMatch && textMatch) {
+            el.remove();
+            removed++;
+        }
+    }
+    return removed;
+}
+//# sourceMappingURL=consentBanner.js.map

package/dist/jp/consentBanner.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"consentBanner.js","sourceRoot":"","sources":["../../src/jp/consentBanner.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;GAWG;AAEH,MAAM,oBAAoB,GAAG;IAC3B,SAAS;IACT,MAAM;IACN,2BAA2B;IAC3B,iBAAiB;IACjB,gBAAgB;IAChB,YAAY;IACZ,SAAS;IACT,QAAQ;IACR,uCAAuC;CACxC,CAAC;AAEF,MAAM,uBAAuB,GAAG,wEAAwE,CAAC;AAEzG,yDAAyD;AACzD,MAAM,sBAAsB,GAAG,GAAG,CAAC;AAanC;;;GAGG;AACH,MAAM,UAAU,oBAAoB,CAAC,QAAmC;IACtE,IAAI,OAAO,GAAG,CAAC,CAAC;IAChB,MAAM,UAAU,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,6BAA6B,CAAC,CAAC,CAAC;IAExF,KAAK,MAAM,EAAE,IAAI,UAAU,EAAE,CAAC;QAC5B,MAAM,IAAI,GAAG,EAAE,CAAC,WAAW,IAAI,EAAE,CAAC;QAClC,IAAI,IAAI,CAAC,MAAM,KAAK,CAAC,IAAI,IAAI,CAAC,MAAM,GAAG,sBAAsB;YAAE,SAAS;QAExE,MAAM,YAAY,GAAG,uBAAuB,CAAC,IAAI,CAAC,GAAG,EAAE,CAAC,EAAE,IAAI,EAAE,IAAI,EAAE,CAAC,SAAS,IAAI,EAAE,EAAE,CAAC,CAAC;QAC1F,MAAM,SAAS,GAAG,oBAAoB,CAAC,IAAI,CAAC,CAAC,OAAO,EAAE,EAAE,CAAC,OAAO,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC,CAAC;QAE7E,6CAA6C;QAC7C,IAAI,YAAY,IAAI,SAAS,EAAE,CAAC;YAC9B,EAAE,CAAC,MAAM,EAAE,CAAC;YACZ,OAAO,EAAE,CAAC;QACZ,CAAC;IACH,CAAC;IAED,OAAO,OAAO,CAAC;AACjB,CAAC"}

package/dist/jp/normalize.d.ts

@@ -0,0 +1,30 @@
+/**
+ * J1-J3: 日本語Webページ向けの正規化処理。
+ *
+ * - stripRubyAnnotations: J2 ruby正規化(DOM段階で <rt>/<rp> を除去し、読み仮名の本文二重化を防ぐ)
+ * - normalizeCjkText: J3 CJKテキスト正規化(NFKC・全角英数→半角・Turndownが挿入する
+ *   CJK文字間の不要な空白/改行の除去)。Markdown化後の文字列に対して適用し、
+ *   フェンスコードブロック(```)とインラインコード(`...`)の中身は変更しない。
+ */
+/** DOM要素の最小インターフェース(linkedom/ブラウザDOM双方と構造的に互換)。 */
+interface RemovableElement {
+    remove(): void;
+}
+/** ruby要素の除去対象を検索できる最小限のDocument互換インターフェース。 */
+export interface RubyHostDocument {
+    querySelectorAll(selectors: string): ArrayLike<RemovableElement> | Iterable<RemovableElement>;
+}
+/**
+ * J2: DOM上の <rt>(読み仮名)・<rp>(括弧等の補助表示)要素を除去する。
+ * Markdown変換前のDOM段階で行うことで、「漢字かんじ」のような読み仮名の
+ * 本文への混入(トークン浪費・検索性劣化)を防ぐ。
+ */
+export declare function stripRubyAnnotations(document: RubyHostDocument): void;
+/**
+ * J3: CJKテキスト正規化。
+ * pre/code由来のフェンスコード・インラインコードの中身は変更せず、
+ * それ以外の地の文にのみ NFKC正規化(全角英数→半角を含む)と
+ * CJK文字間の不要な空白・改行の除去を適用する。
+ */
+export declare function normalizeCjkText(markdown: string): string;
+export {};

package/dist/jp/normalize.js

@@ -0,0 +1,65 @@
+/**
+ * J1-J3: 日本語Webページ向けの正規化処理。
+ *
+ * - stripRubyAnnotations: J2 ruby正規化(DOM段階で <rt>/<rp> を除去し、読み仮名の本文二重化を防ぐ)
+ * - normalizeCjkText: J3 CJKテキスト正規化(NFKC・全角英数→半角・Turndownが挿入する
+ *   CJK文字間の不要な空白/改行の除去)。Markdown化後の文字列に対して適用し、
+ *   フェンスコードブロック(```)とインラインコード(`...`)の中身は変更しない。
+ */
+/**
+ * J2: DOM上の <rt>(読み仮名)・<rp>(括弧等の補助表示)要素を除去する。
+ * Markdown変換前のDOM段階で行うことで、「漢字かんじ」のような読み仮名の
+ * 本文への混入(トークン浪費・検索性劣化)を防ぐ。
+ */
+export function stripRubyAnnotations(document) {
+    const nodes = Array.from(document.querySelectorAll("rt, rp"));
+    for (const node of nodes) {
+        node.remove();
+    }
+}
+// CJK文字クラス(tokens.ts の isCjkCodePoint と同じ範囲。全角/CJK記号のスペース(U+3000/U+FF00)は除く)
+const CJK_CLASS = "\\u3040-\\u309f\\u30a0-\\u30ff\\u3400-\\u4dbf\\u4e00-\\u9fff\\uf900-\\ufaff\\u3001-\\u303f\\uff01-\\uffef";
+// CJK文字同士の間にある空白・単一改行(段落区切りの空行は除く)を除去する
+const CJK_ADJACENT_WHITESPACE = new RegExp(`(?<=[${CJK_CLASS}])(?:[ \\t]|\\r?\\n(?!\\r?\\n))+(?=[${CJK_CLASS}])`, "gu");
+// Turndownは<strong>/<em>等をCJKに隣接して変換する際、Markdownの曖昧性回避のため
+// "とても **重要** です" のように装飾記号の前後へ空白を挿入することがある。
+// 日本語の地の文では強調記号の前後に空白は不要なため、装飾記号(*_~)越しにCJKが
+// 隣接している場合もその空白を除去する(Phase 2で残課題としていたJ3の拡張)。
+const CJK_SPACE_BEFORE_MARKER = new RegExp(`(?<=[${CJK_CLASS}])[ \\t]+(?=[*_~]{1,3}[${CJK_CLASS}])`, "gu");
+const CJK_SPACE_AFTER_MARKER = new RegExp(`(?<=[${CJK_CLASS}][*_~]{1,3})[ \\t]+(?=[${CJK_CLASS}])`, "gu");
+// Markdownのフェンスコードブロック / インラインコードを保護するためのパターン
+const CODE_PATTERN = /```[\s\S]*?```|`[^`\n]*`/g;
+/** Markdown文字列をコード区間(保護対象)とそれ以外(正規化対象)に分割する。 */
+function splitProtectingCode(markdown) {
+    const segments = [];
+    let lastIndex = 0;
+    for (const match of markdown.matchAll(CODE_PATTERN)) {
+        const index = match.index ?? 0;
+        if (index > lastIndex) {
+            segments.push({ isCode: false, text: markdown.slice(lastIndex, index) });
+        }
+        segments.push({ isCode: true, text: match[0] });
+        lastIndex = index + match[0].length;
+    }
+    if (lastIndex < markdown.length) {
+        segments.push({ isCode: false, text: markdown.slice(lastIndex) });
+    }
+    return segments;
+}
+/** コード以外の地の文に対して NFKC正規化 + CJK隣接空白除去を適用する。 */
+function normalizeProse(text) {
+    const nfkc = text.normalize("NFKC");
+    return nfkc.replace(CJK_ADJACENT_WHITESPACE, "").replace(CJK_SPACE_BEFORE_MARKER, "").replace(CJK_SPACE_AFTER_MARKER, "");
+}
+/**
+ * J3: CJKテキスト正規化。
+ * pre/code由来のフェンスコード・インラインコードの中身は変更せず、
+ * それ以外の地の文にのみ NFKC正規化(全角英数→半角を含む)と
+ * CJK文字間の不要な空白・改行の除去を適用する。
+ */
+export function normalizeCjkText(markdown) {
+    return splitProtectingCode(markdown)
+        .map((segment) => (segment.isCode ? segment.text : normalizeProse(segment.text)))
+        .join("");
+}
+//# sourceMappingURL=normalize.js.map

package/dist/jp/normalize.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"normalize.js","sourceRoot":"","sources":["../../src/jp/normalize.ts"],"names":[],"mappings":"AAAA;;;;;;;GAOG;AAYH;;;;GAIG;AACH,MAAM,UAAU,oBAAoB,CAAC,QAA0B;IAC7D,MAAM,KAAK,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,QAAQ,CAA+B,CAAC,CAAC;IAC5F,KAAK,MAAM,IAAI,IAAI,KAAK,EAAE,CAAC;QACzB,IAAI,CAAC,MAAM,EAAE,CAAC;IAChB,CAAC;AACH,CAAC;AAED,6EAA6E;AAC7E,MAAM,SAAS,GAAG,2GAA2G,CAAC;AAE9H,wCAAwC;AACxC,MAAM,uBAAuB,GAAG,IAAI,MAAM,CACxC,QAAQ,SAAS,uCAAuC,SAAS,IAAI,EACrE,IAAI,CACL,CAAC;AAEF,0DAA0D;AAC1D,4CAA4C;AAC5C,6CAA6C;AAC7C,6CAA6C;AAC7C,MAAM,uBAAuB,GAAG,IAAI,MAAM,CAAC,QAAQ,SAAS,0BAA0B,SAAS,IAAI,EAAE,IAAI,CAAC,CAAC;AAC3G,MAAM,sBAAsB,GAAG,IAAI,MAAM,CAAC,QAAQ,SAAS,0BAA0B,SAAS,IAAI,EAAE,IAAI,CAAC,CAAC;AAE1G,8CAA8C;AAC9C,MAAM,YAAY,GAAG,2BAA2B,CAAC;AAOjD,gDAAgD;AAChD,SAAS,mBAAmB,CAAC,QAAgB;IAC3C,MAAM,QAAQ,GAAkB,EAAE,CAAC;IACnC,IAAI,SAAS,GAAG,CAAC,CAAC;IAElB,KAAK,MAAM,KAAK,IAAI,QAAQ,CAAC,QAAQ,CAAC,YAAY,CAAC,EAAE,CAAC;QACpD,MAAM,KAAK,GAAG,KAAK,CAAC,KAAK,IAAI,CAAC,CAAC;QAC/B,IAAI,KAAK,GAAG,SAAS,EAAE,CAAC;YACtB,QAAQ,CAAC,IAAI,CAAC,EAAE,MAAM,EAAE,KAAK,EAAE,IAAI,EAAE,QAAQ,CAAC,KAAK,CAAC,SAAS,EAAE,KAAK,CAAC,EAAE,CAAC,CAAC;QAC3E,CAAC;QACD,QAAQ,CAAC,IAAI,CAAC,EAAE,MAAM,EAAE,IAAI,EAAE,IAAI,EAAE,KAAK,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC;QAChD,SAAS,GAAG,KAAK,GAAG,KAAK,CAAC,CAAC,CAAC,CAAC,MAAM,CAAC;IACtC,CAAC;IACD,IAAI,SAAS,GAAG,QAAQ,CAAC,MAAM,EAAE,CAAC;QAChC,QAAQ,CAAC,IAAI,CAAC,EAAE,MAAM,EAAE,KAAK,EAAE,IAAI,EAAE,QAAQ,CAAC,KAAK,CAAC,SAAS,CAAC,EAAE,CAAC,CAAC;IACpE,CAAC;IAED,OAAO,QAAQ,CAAC;AAClB,CAAC;AAED,8CAA8C;AAC9C,SAAS,cAAc,CAAC,IAAY;IAClC,MAAM,IAAI,GAAG,IAAI,CAAC,SAAS,CAAC,MAAM,CAAC,CAAC;IACpC,OAAO,IAAI,CAAC,OAAO,CAAC,uBAAuB,EAAE,EAAE,CAAC,CAAC,OAAO,CAAC,uBAAuB,EAAE,EAAE,CAAC,CAAC,OAAO,CAAC,sBAAsB,EAAE,EAAE,CAAC,CAAC;AAC5H,CAAC;AAED;;;;;GAKG;AACH,MAAM,UAAU,gBAAgB,CAAC,QAAgB;IAC/C,OAAO,mBAAmB,CAAC,QAAQ,CAAC;SACjC,GAAG,CAAC,CAAC,OAAO,EAAE,EAAE,CAAC,CAAC,OAAO,CAAC,MAAM,CAAC,CAAC,CAAC,OAAO,CAAC,IAAI,CAAC,CAAC,CAAC,cAAc,CAAC,OAAO,CAAC,IAAI,CAAC,CAAC,CAAC;SAChF,IAAI,CAAC,EAAE,CAAC,CAAC;AACd,CAAC"}

package/dist/links.d.ts

@@ -0,0 +1,20 @@
+import type { PolitenessManager } from "./politeness.js";
+export type LinkSource = "sitemap" | "rss" | "page";
+export interface LinkEntry {
+    url: string;
+    title: string | null;
+}
+export interface LinksResult {
+    source: LinkSource;
+    links: LinkEntry[];
+    /** MAX_LINKSを超えて切り捨てた場合true。 */
+    truncated: boolean;
+}
+/** ページ内の<a href>リンクを抽出する(機能C: extract/dataSources.tsからも再利用される)。 */
+export declare function extractPageLinks(html: string, baseUrl: string): LinkEntry[];
+export interface DiscoverLinksOptions {
+    filter?: string;
+    timeoutMs?: number;
+}
+/** URLからリンク一覧を発見する。sitemap → RSS/Atom → ページ内リンクの優先順で試す。 */
+export declare function discoverLinks(url: string, politeness: PolitenessManager, options?: DiscoverLinksOptions): Promise<LinksResult>;

package/dist/links.js

@@ -0,0 +1,223 @@
+/**
+ * links.ts — linksツール。sitemap.xml / RSS・Atomフィード優先のリンク列挙。
+ *
+ * ページを舐めて全リンクを辿るのではなく、まずsitemap.xml/RSS・Atomフィードという
+ * 「サイト側が既に用意した索引」を優先利用することで、収集先への負荷を最小化する
+ * (plan.md §4「sitemap/RSSが在ればリンク探索はそちらを優先」)。
+ *
+ * 優先順位: robots.txt宣言のsitemap(→慣例パス`/sitemap.xml`) → ページの<link rel=alternate>
+ * が指すRSS/Atomフィード → 最終手段としてページ内の<a>リンク抽出。
+ */
+import { parseHTML } from "linkedom";
+import { HttpStatusError, PrivateAddressError, RobotsDeniedError, UnsupportedContentError } from "./errors.js";
+import { fetchPage } from "./fetcher/index.js";
+import { assertHttpScheme, httpGet } from "./fetcher/http.js";
+/**
+ * M5: robots拒否(RobotsDeniedError)・SSRF拒否(PrivateAddressError)は「sitemap/feedが
+ * 無いだけ」として握りつぶさず再送出すべき明示的な拒否シグナルである。
+ *
+ * 公開品質バグ修正: 一方でHttpStatusError(404/403/5xx等)は、sitemap.xml/feedが
+ * 単に存在しないという極めて一般的なケースで発生する(実際、これがsitemap→RSS→
+ * ページ内リンクへのフォールバックの主な発生源になっている)。これをAmenboError全般として
+ * 再送出してしまうと、sitemap.xmlの無い(=大半の)サイトでlinksツールが丸ごと失敗する
+ * 深刻な回帰になるため、再送出するのは拒否シグナルのみに絞る。
+ */
+function isFallbackBlockingError(error) {
+    return error instanceof PrivateAddressError || error instanceof RobotsDeniedError;
+}
+const MAX_LINKS = 200;
+/** sitemapindexの場合、負荷を抑えるため先頭N件の子sitemapのみ辿る。 */
+const MAX_SITEMAP_CHILDREN = 3;
+const DEFAULT_TIMEOUT_MS = 15_000;
+function escapeRegExp(value) {
+    return value.replace(/[.*+?^${}()|[\]\\]/g, "\\$&");
+}
+/** filter未指定なら常に真。*を含む場合はglob、それ以外は部分一致。 */
+function matchesFilter(value, filter) {
+    if (!filter)
+        return true;
+    if (filter.includes("*")) {
+        const pattern = new RegExp(`^${filter.split("*").map(escapeRegExp).join(".*")}$`, "i");
+        return pattern.test(value);
+    }
+    return value.toLowerCase().includes(filter.toLowerCase());
+}
+async function fetchXml(url, timeoutMs, rewrite) {
+    const result = await httpGet(url, { timeoutMs });
+    const { document } = parseHTML(rewrite ? rewrite(result.html) : result.html);
+    return document;
+}
+/**
+ * RSS 2.0の `<link>URL</link>` は、linkedomがHTMLパーサとして`<link>`をvoid要素
+ * (`<link>`/`<br>`/`<img>`等、閉じタグ不要かつ子を持てない要素)として扱ってしまうため、
+ * テキスト内容(URL)が失われる(Atomの`<link href="...">`は属性ベースなので影響を受けない)。
+ * パース前に `<link>` を衝突しない別タグ名へ機械的にリネームして回避する。
+ */
+function escapeRssLinkTag(xml) {
+    return xml.replace(/<link>([\s\S]*?)<\/link>/gi, "<rss-link>$1</rss-link>");
+}
+async function tryParseSitemap(sitemapUrl, politeness, timeoutMs, depth = 0) {
+    let document;
+    try {
+        await politeness.guard(sitemapUrl);
+        document = await fetchXml(sitemapUrl, timeoutMs);
+    }
+    catch (error) {
+        if (isFallbackBlockingError(error))
+            throw error;
+        // sitemap.xmlが存在しない(404等)のは大半のサイトで起きる通常のフォールバック経路なので
+        // ログを出さない。それ以外(タイムアウト等の予期しない失敗)のみ診断用にログする。
+        if (!(error instanceof HttpStatusError)) {
+            console.error(`sitemapの取得に失敗しました: ${sitemapUrl}`, error);
+        }
+        return null;
+    }
+    // sitemapindex(子sitemapへの参照一覧)の場合、先頭数件のみ辿って合算する
+    const childLocs = Array.from(document.querySelectorAll("sitemapindex > sitemap > loc"));
+    if (childLocs.length > 0 && depth === 0) {
+        const results = [];
+        for (const loc of childLocs.slice(0, MAX_SITEMAP_CHILDREN)) {
+            const childUrl = loc.textContent.trim();
+            if (!childUrl)
+                continue;
+            const childLinks = await tryParseSitemap(childUrl, politeness, timeoutMs, depth + 1);
+            if (childLinks)
+                results.push(...childLinks);
+            if (results.length >= MAX_LINKS)
+                break;
+        }
+        return results.length > 0 ? results : null;
+    }
+    const urlLocs = Array.from(document.querySelectorAll("urlset > url > loc"));
+    if (urlLocs.length === 0)
+        return null;
+    return urlLocs.map((loc) => ({ url: loc.textContent.trim(), title: null })).filter((entry) => entry.url.length > 0);
+}
+async function tryParseFeed(feedUrl, politeness, timeoutMs) {
+    let document;
+    try {
+        await politeness.guard(feedUrl);
+        // RSS 2.0の<link>はHTMLパーサにvoid要素として扱われるためリネームして回避する(下記コメント参照)
+        document = await fetchXml(feedUrl, timeoutMs, escapeRssLinkTag);
+    }
+    catch (error) {
+        if (isFallbackBlockingError(error))
+            throw error;
+        if (!(error instanceof HttpStatusError)) {
+            console.error(`フィードの取得に失敗しました: ${feedUrl}`, error);
+        }
+        return null;
+    }
+    // RSS 2.0
+    const items = Array.from(document.querySelectorAll("item"));
+    if (items.length > 0) {
+        const entries = items
+            .map((item) => {
+            const link = item.querySelector?.("rss-link")?.textContent?.trim();
+            const title = item.querySelector?.("title")?.textContent?.trim() ?? null;
+            return link ? { url: link, title } : null;
+        })
+            .filter((entry) => entry !== null);
+        if (entries.length > 0)
+            return entries;
+    }
+    // Atom
+    const atomEntries = Array.from(document.querySelectorAll("entry"));
+    if (atomEntries.length > 0) {
+        const entries = atomEntries
+            .map((entry) => {
+            const link = entry.querySelector?.("link")?.getAttribute?.("href")?.trim();
+            const title = entry.querySelector?.("title")?.textContent?.trim() ?? null;
+            return link ? { url: link, title } : null;
+        })
+            .filter((entry) => entry !== null);
+        if (entries.length > 0)
+            return entries;
+    }
+    return null;
+}
+/** ページ内の&lt;a href&gt;リンクを抽出する(機能C: extract/dataSources.tsからも再利用される)。 */
+export function extractPageLinks(html, baseUrl) {
+    const { document } = parseHTML(html);
+    const anchors = Array.from(document.querySelectorAll("a[href]"));
+    const seen = new Set();
+    const links = [];
+    for (const a of anchors) {
+        const href = a.getAttribute("href");
+        if (!href || href.startsWith("#") || /^javascript:/i.test(href))
+            continue;
+        let resolved;
+        try {
+            resolved = new URL(href, baseUrl).toString();
+        }
+        catch {
+            continue;
+        }
+        if (!/^https?:/i.test(resolved))
+            continue;
+        if (seen.has(resolved))
+            continue;
+        seen.add(resolved);
+        const title = (a.textContent ?? "").replace(/\s+/g, " ").trim() || null;
+        links.push({ url: resolved, title });
+    }
+    return links;
+}
+function dedupeByUrl(links) {
+    const seen = new Set();
+    const result = [];
+    for (const link of links) {
+        if (seen.has(link.url))
+            continue;
+        seen.add(link.url);
+        result.push(link);
+    }
+    return result;
+}
+function finalize(source, links, filter) {
+    const filtered = dedupeByUrl(links).filter((link) => matchesFilter(link.url, filter) || matchesFilter(link.title ?? "", filter));
+    return { source, links: filtered.slice(0, MAX_LINKS), truncated: filtered.length > MAX_LINKS };
+}
+/** URLからリンク一覧を発見する。sitemap → RSS/Atom → ページ内リンクの優先順で試す。 */
+export async function discoverLinks(url, politeness, options = {}) {
+    // 公開品質バグ修正: robots.txt/sitemap取得より前にスキームを検証する。file:等を先に弾かないと
+    // origin("null"等)から `null/sitemap.xml` のような壊れたURLを組み立ててしまい、
+    // new URL()の生のTypeErrorがstderrに漏れてしまう。
+    assertHttpScheme(url);
+    const timeoutMs = options.timeoutMs ?? DEFAULT_TIMEOUT_MS;
+    const origin = new URL(url).origin;
+    // 1. sitemap優先(robots.txtのSitemap宣言 → 見つからなければ慣例パス)
+    const declaredSitemaps = await politeness.getSitemaps(url);
+    const candidateSitemaps = declaredSitemaps.length > 0 ? declaredSitemaps : [`${origin}/sitemap.xml`];
+    for (const sitemapUrl of candidateSitemaps) {
+        const links = await tryParseSitemap(sitemapUrl, politeness, timeoutMs);
+        if (links && links.length > 0) {
+            return finalize("sitemap", links, options.filter);
+        }
+    }
+    // 2. ページを取得し、<link rel=alternate>が指すRSS/Atomフィードを試す
+    await politeness.guard(url);
+    const pageResult = await fetchPage(url, { timeoutMs });
+    if ("notModified" in pageResult) {
+        return finalize("page", [], options.filter);
+    }
+    // 機能B: 非HTMLコンテンツはハンドオフ応答(fetchツール向け)の対象であり、linksツールでは
+    // DOMが無くリンク抽出できない。以前のfetchPage(HTML以外はUnsupportedContentError)と
+    // 同じ挙動を維持する(linksツールの応答形式は変えない)。
+    if ("handoff" in pageResult) {
+        throw new UnsupportedContentError(pageResult.finalUrl, pageResult.contentType ?? "(不明)");
+    }
+    const { document } = parseHTML(pageResult.html);
+    const feedLinkEl = document.querySelector('link[rel="alternate"][type="application/rss+xml"], link[rel="alternate"][type="application/atom+xml"]');
+    const feedHref = feedLinkEl?.getAttribute("href");
+    if (feedHref) {
+        const feedUrl = new URL(feedHref, pageResult.finalUrl).toString();
+        const feedLinks = await tryParseFeed(feedUrl, politeness, timeoutMs);
+        if (feedLinks && feedLinks.length > 0) {
+            return finalize("rss", feedLinks, options.filter);
+        }
+    }
+    // 3. 最終手段: ページ内リンク抽出
+    return finalize("page", extractPageLinks(pageResult.html, pageResult.finalUrl), options.filter);
+}
+//# sourceMappingURL=links.js.map

package/dist/links.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"links.js","sourceRoot":"","sources":["../src/links.ts"],"names":[],"mappings":"AAAA;;;;;;;;;GASG;AACH,OAAO,EAAE,SAAS,EAAE,MAAM,UAAU,CAAC;AACrC,OAAO,EAAE,eAAe,EAAE,mBAAmB,EAAE,iBAAiB,EAAE,uBAAuB,EAAE,MAAM,aAAa,CAAC;AAC/G,OAAO,EAAE,SAAS,EAAE,MAAM,oBAAoB,CAAC;AAC/C,OAAO,EAAE,gBAAgB,EAAE,OAAO,EAAE,MAAM,mBAAmB,CAAC;AAG9D;;;;;;;;;GASG;AACH,SAAS,uBAAuB,CAAC,KAAc;IAC7C,OAAO,KAAK,YAAY,mBAAmB,IAAI,KAAK,YAAY,iBAAiB,CAAC;AACpF,CAAC;AAgBD,MAAM,SAAS,GAAG,GAAG,CAAC;AACtB,iDAAiD;AACjD,MAAM,oBAAoB,GAAG,CAAC,CAAC;AAC/B,MAAM,kBAAkB,GAAG,MAAM,CAAC;AAElC,SAAS,YAAY,CAAC,KAAa;IACjC,OAAO,KAAK,CAAC,OAAO,CAAC,qBAAqB,EAAE,MAAM,CAAC,CAAC;AACtD,CAAC;AAED,4CAA4C;AAC5C,SAAS,aAAa,CAAC,KAAa,EAAE,MAA0B;IAC9D,IAAI,CAAC,MAAM;QAAE,OAAO,IAAI,CAAC;IACzB,IAAI,MAAM,CAAC,QAAQ,CAAC,GAAG,CAAC,EAAE,CAAC;QACzB,MAAM,OAAO,GAAG,IAAI,MAAM,CAAC,IAAI,MAAM,CAAC,KAAK,CAAC,GAAG,CAAC,CAAC,GAAG,CAAC,YAAY,CAAC,CAAC,IAAI,CAAC,IAAI,CAAC,GAAG,EAAE,GAAG,CAAC,CAAC;QACvF,OAAO,OAAO,CAAC,IAAI,CAAC,KAAK,CAAC,CAAC;IAC7B,CAAC;IACD,OAAO,KAAK,CAAC,WAAW,EAAE,CAAC,QAAQ,CAAC,MAAM,CAAC,WAAW,EAAE,CAAC,CAAC;AAC5D,CAAC;AAaD,KAAK,UAAU,QAAQ,CAAC,GAAW,EAAE,SAAiB,EAAE,OAAiC;IACvF,MAAM,MAAM,GAAG,MAAM,OAAO,CAAC,GAAG,EAAE,EAAE,SAAS,EAAE,CAAC,CAAC;IACjD,MAAM,EAAE,QAAQ,EAAE,GAAG,SAAS,CAAC,OAAO,CAAC,CAAC,CAAC,OAAO,CAAC,MAAM,CAAC,IAAI,CAAC,CAAC,CAAC,CAAC,MAAM,CAAC,IAAI,CAAC,CAAC;IAC7E,OAAO,QAAsC,CAAC;AAChD,CAAC;AAED;;;;;GAKG;AACH,SAAS,gBAAgB,CAAC,GAAW;IACnC,OAAO,GAAG,CAAC,OAAO,CAAC,4BAA4B,EAAE,yBAAyB,CAAC,CAAC;AAC9E,CAAC;AAED,KAAK,UAAU,eAAe,CAC5B,UAAkB,EAClB,UAA6B,EAC7B,SAAiB,EACjB,KAAK,GAAG,CAAC;IAET,IAAI,QAAyB,CAAC;IAC9B,IAAI,CAAC;QACH,MAAM,UAAU,CAAC,KAAK,CAAC,UAAU,CAAC,CAAC;QACnC,QAAQ,GAAG,MAAM,QAAQ,CAAC,UAAU,EAAE,SAAS,CAAC,CAAC;IACnD,CAAC;IAAC,OAAO,KAAK,EAAE,CAAC;QACf,IAAI,uBAAuB,CAAC,KAAK,CAAC;YAAE,MAAM,KAAK,CAAC;QAChD,qDAAqD;QACrD,2CAA2C;QAC3C,IAAI,CAAC,CAAC,KAAK,YAAY,eAAe,CAAC,EAAE,CAAC;YACxC,OAAO,CAAC,KAAK,CAAC,sBAAsB,UAAU,EAAE,EAAE,KAAK,CAAC,CAAC;QAC3D,CAAC;QACD,OAAO,IAAI,CAAC;IACd,CAAC;IAED,gDAAgD;IAChD,MAAM,SAAS,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,8BAA8B,CAAC,CAAC,CAAC;IACxF,IAAI,SAAS,CAAC,MAAM,GAAG,CAAC,IAAI,KAAK,KAAK,CAAC,EAAE,CAAC;QACxC,MAAM,OAAO,GAAgB,EAAE,CAAC;QAChC,KAAK,MAAM,GAAG,IAAI,SAAS,CAAC,KAAK,CAAC,CAAC,EAAE,oBAAoB,CAAC,EAAE,CAAC;YAC3D,MAAM,QAAQ,GAAG,GAAG,CAAC,WAAW,CAAC,IAAI,EAAE,CAAC;YACxC,IAAI,CAAC,QAAQ;gBAAE,SAAS;YACxB,MAAM,UAAU,GAAG,MAAM,eAAe,CAAC,QAAQ,EAAE,UAAU,EAAE,SAAS,EAAE,KAAK,GAAG,CAAC,CAAC,CAAC;YACrF,IAAI,UAAU;gBAAE,OAAO,CAAC,IAAI,CAAC,GAAG,UAAU,CAAC,CAAC;YAC5C,IAAI,OAAO,CAAC,MAAM,IAAI,SAAS;gBAAE,MAAM;QACzC,CAAC;QACD,OAAO,OAAO,CAAC,MAAM,GAAG,CAAC,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC,CAAC,IAAI,CAAC;IAC7C,CAAC;IAED,MAAM,OAAO,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,oBAAoB,CAAC,CAAC,CAAC;IAC5E,IAAI,OAAO,CAAC,MAAM,KAAK,CAAC;QAAE,OAAO,IAAI,CAAC;IACtC,OAAO,OAAO,CAAC,GAAG,CAAC,CAAC,GAAG,EAAE,EAAE,CAAC,CAAC,EAAE,GAAG,EAAE,GAAG,CAAC,WAAW,CAAC,IAAI,EAAE,EAAE,KAAK,EAAE,IAAI,EAAE,CAAC,CAAC,CAAC,MAAM,CAAC,CAAC,KAAK,EAAE,EAAE,CAAC,KAAK,CAAC,GAAG,CAAC,MAAM,GAAG,CAAC,CAAC,CAAC;AACtH,CAAC;AAED,KAAK,UAAU,YAAY,CAAC,OAAe,EAAE,UAA6B,EAAE,SAAiB;IAC3F,IAAI,QAAyB,CAAC;IAC9B,IAAI,CAAC;QACH,MAAM,UAAU,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC;QAChC,6DAA6D;QAC7D,QAAQ,GAAG,MAAM,QAAQ,CAAC,OAAO,EAAE,SAAS,EAAE,gBAAgB,CAAC,CAAC;IAClE,CAAC;IAAC,OAAO,KAAK,EAAE,CAAC;QACf,IAAI,uBAAuB,CAAC,KAAK,CAAC;YAAE,MAAM,KAAK,CAAC;QAChD,IAAI,CAAC,CAAC,KAAK,YAAY,eAAe,CAAC,EAAE,CAAC;YACxC,OAAO,CAAC,KAAK,CAAC,mBAAmB,OAAO,EAAE,EAAE,KAAK,CAAC,CAAC;QACrD,CAAC;QACD,OAAO,IAAI,CAAC;IACd,CAAC;IAED,UAAU;IACV,MAAM,KAAK,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,MAAM,CAAC,CAAC,CAAC;IAC5D,IAAI,KAAK,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC;QACrB,MAAM,OAAO,GAAG,KAAK;aAClB,GAAG,CAAC,CAAC,IAAI,EAAE,EAAE;YACZ,MAAM,IAAI,GAAG,IAAI,CAAC,aAAa,EAAE,CAAC,UAAU,CAAC,EAAE,WAAW,EAAE,IAAI,EAAE,CAAC;YACnE,MAAM,KAAK,GAAG,IAAI,CAAC,aAAa,EAAE,CAAC,OAAO,CAAC,EAAE,WAAW,EAAE,IAAI,EAAE,IAAI,IAAI,CAAC;YACzE,OAAO,IAAI,CAAC,CAAC,CAAC,EAAE,GAAG,EAAE,IAAI,EAAE,KAAK,EAAE,CAAC,CAAC,CAAC,IAAI,CAAC;QAC5C,CAAC,CAAC;aACD,MAAM,CAAC,CAAC,KAAK,EAAsB,EAAE,CAAC,KAAK,KAAK,IAAI,CAAC,CAAC;QACzD,IAAI,OAAO,CAAC,MAAM,GAAG,CAAC;YAAE,OAAO,OAAO,CAAC;IACzC,CAAC;IAED,OAAO;IACP,MAAM,WAAW,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,OAAO,CAAC,CAAC,CAAC;IACnE,IAAI,WAAW,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC;QAC3B,MAAM,OAAO,GAAG,WAAW;aACxB,GAAG,CAAC,CAAC,KAAK,EAAE,EAAE;YACb,MAAM,IAAI,GAAG,KAAK,CAAC,aAAa,EAAE,CAAC,MAAM,CAAC,EAAE,YAAY,EAAE,CAAC,MAAM,CAAC,EAAE,IAAI,EAAE,CAAC;YAC3E,MAAM,KAAK,GAAG,KAAK,CAAC,aAAa,EAAE,CAAC,OAAO,CAAC,EAAE,WAAW,EAAE,IAAI,EAAE,IAAI,IAAI,CAAC;YAC1E,OAAO,IAAI,CAAC,CAAC,CAAC,EAAE,GAAG,EAAE,IAAI,EAAE,KAAK,EAAE,CAAC,CAAC,CAAC,IAAI,CAAC;QAC5C,CAAC,CAAC;aACD,MAAM,CAAC,CAAC,KAAK,EAAsB,EAAE,CAAC,KAAK,KAAK,IAAI,CAAC,CAAC;QACzD,IAAI,OAAO,CAAC,MAAM,GAAG,CAAC;YAAE,OAAO,OAAO,CAAC;IACzC,CAAC;IAED,OAAO,IAAI,CAAC;AACd,CAAC;AAED,yEAAyE;AACzE,MAAM,UAAU,gBAAgB,CAAC,IAAY,EAAE,OAAe;IAC5D,MAAM,EAAE,QAAQ,EAAE,GAAG,SAAS,CAAC,IAAI,CAAC,CAAC;IACrC,MAAM,OAAO,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,SAAS,CAAC,CAAC,CAAC;IACjE,MAAM,IAAI,GAAG,IAAI,GAAG,EAAU,CAAC;IAC/B,MAAM,KAAK,GAAgB,EAAE,CAAC;IAE9B,KAAK,MAAM,CAAC,IAAI,OAAO,EAAE,CAAC;QACxB,MAAM,IAAI,GAAG,CAAC,CAAC,YAAY,CAAC,MAAM,CAAC,CAAC;QACpC,IAAI,CAAC,IAAI,IAAI,IAAI,CAAC,UAAU,CAAC,GAAG,CAAC,IAAI,eAAe,CAAC,IAAI,CAAC,IAAI,CAAC;YAAE,SAAS;QAE1E,IAAI,QAAgB,CAAC;QACrB,IAAI,CAAC;YACH,QAAQ,GAAG,IAAI,GAAG,CAAC,IAAI,EAAE,OAAO,CAAC,CAAC,QAAQ,EAAE,CAAC;QAC/C,CAAC;QAAC,MAAM,CAAC;YACP,SAAS;QACX,CAAC;QACD,IAAI,CAAC,WAAW,CAAC,IAAI,CAAC,QAAQ,CAAC;YAAE,SAAS;QAC1C,IAAI,IAAI,CAAC,GAAG,CAAC,QAAQ,CAAC;YAAE,SAAS;QACjC,IAAI,CAAC,GAAG,CAAC,QAAQ,CAAC,CAAC;QAEnB,MAAM,KAAK,GAAG,CAAC,CAAC,CAAC,WAAW,IAAI,EAAE,CAAC,CAAC,OAAO,CAAC,MAAM,EAAE,GAAG,CAAC,CAAC,IAAI,EAAE,IAAI,IAAI,CAAC;QACxE,KAAK,CAAC,IAAI,CAAC,EAAE,GAAG,EAAE,QAAQ,EAAE,KAAK,EAAE,CAAC,CAAC;IACvC,CAAC;IAED,OAAO,KAAK,CAAC;AACf,CAAC;AAED,SAAS,WAAW,CAAC,KAAkB;IACrC,MAAM,IAAI,GAAG,IAAI,GAAG,EAAU,CAAC;IAC/B,MAAM,MAAM,GAAgB,EAAE,CAAC;IAC/B,KAAK,MAAM,IAAI,IAAI,KAAK,EAAE,CAAC;QACzB,IAAI,IAAI,CAAC,GAAG,CAAC,IAAI,CAAC,GAAG,CAAC;YAAE,SAAS;QACjC,IAAI,CAAC,GAAG,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC;QACnB,MAAM,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC;IACpB,CAAC;IACD,OAAO,MAAM,CAAC;AAChB,CAAC;AAED,SAAS,QAAQ,CAAC,MAAkB,EAAE,KAAkB,EAAE,MAA0B;IAClF,MAAM,QAAQ,GAAG,WAAW,CAAC,KAAK,CAAC,CAAC,MAAM,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,aAAa,CAAC,IAAI,CAAC,GAAG,EAAE,MAAM,CAAC,IAAI,aAAa,CAAC,IAAI,CAAC,KAAK,IAAI,EAAE,EAAE,MAAM,CAAC,CAAC,CAAC;IACjI,OAAO,EAAE,MAAM,EAAE,KAAK,EAAE,QAAQ,CAAC,KAAK,CAAC,CAAC,EAAE,SAAS,CAAC,EAAE,SAAS,EAAE,QAAQ,CAAC,MAAM,GAAG,SAAS,EAAE,CAAC;AACjG,CAAC;AAOD,2DAA2D;AAC3D,MAAM,CAAC,KAAK,UAAU,aAAa,CAAC,GAAW,EAAE,UAA6B,EAAE,OAAO,GAAyB,EAAE;IAChH,6DAA6D;IAC7D,4DAA4D;IAC5D,uCAAuC;IACvC,gBAAgB,CAAC,GAAG,CAAC,CAAC;IACtB,MAAM,SAAS,GAAG,OAAO,CAAC,SAAS,IAAI,kBAAkB,CAAC;IAC1D,MAAM,MAAM,GAAG,IAAI,GAAG,CAAC,GAAG,CAAC,CAAC,MAAM,CAAC;IAEnC,oDAAoD;IACpD,MAAM,gBAAgB,GAAG,MAAM,UAAU,CAAC,WAAW,CAAC,GAAG,CAAC,CAAC;IAC3D,MAAM,iBAAiB,GAAG,gBAAgB,CAAC,MAAM,GAAG,CAAC,CAAC,CAAC,CAAC,gBAAgB,CAAC,CAAC,CAAC,CAAC,GAAG,MAAM,cAAc,CAAC,CAAC;IACrG,KAAK,MAAM,UAAU,IAAI,iBAAiB,EAAE,CAAC;QAC3C,MAAM,KAAK,GAAG,MAAM,eAAe,CAAC,UAAU,EAAE,UAAU,EAAE,SAAS,CAAC,CAAC;QACvE,IAAI,KAAK,IAAI,KAAK,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC;YAC9B,OAAO,QAAQ,CAAC,SAAS,EAAE,KAAK,EAAE,OAAO,CAAC,MAAM,CAAC,CAAC;QACpD,CAAC;IACH,CAAC;IAED,oDAAoD;IACpD,MAAM,UAAU,CAAC,KAAK,CAAC,GAAG,CAAC,CAAC;IAC5B,MAAM,UAAU,GAAG,MAAM,SAAS,CAAC,GAAG,EAAE,EAAE,SAAS,EAAE,CAAC,CAAC;IACvD,IAAI,aAAa,IAAI,UAAU,EAAE,CAAC;QAChC,OAAO,QAAQ,CAAC,MAAM,EAAE,EAAE,EAAE,OAAO,CAAC,MAAM,CAAC,CAAC;IAC9C,CAAC;IACD,uDAAuD;IACvD,gEAAgE;IAChE,iCAAiC;IACjC,IAAI,SAAS,IAAI,UAAU,EAAE,CAAC;QAC5B,MAAM,IAAI,uBAAuB,CAAC,UAAU,CAAC,QAAQ,EAAE,UAAU,CAAC,WAAW,IAAI,MAAM,CAAC,CAAC;IAC3F,CAAC;IAED,MAAM,EAAE,QAAQ,EAAE,GAAG,SAAS,CAAC,UAAU,CAAC,IAAI,CAAC,CAAC;IAChD,MAAM,UAAU,GAAG,QAAQ,CAAC,aAAa,CACvC,uGAAuG,CACxG,CAAC;IACF,MAAM,QAAQ,GAAG,UAAU,EAAE,YAAY,CAAC,MAAM,CAAC,CAAC;IAClD,IAAI,QAAQ,EAAE,CAAC;QACb,MAAM,OAAO,GAAG,IAAI,GAAG,CAAC,QAAQ,EAAE,UAAU,CAAC,QAAQ,CAAC,CAAC,QAAQ,EAAE,CAAC;QAClE,MAAM,SAAS,GAAG,MAAM,YAAY,CAAC,OAAO,EAAE,UAAU,EAAE,SAAS,CAAC,CAAC;QACrE,IAAI,SAAS,IAAI,SAAS,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC;YACtC,OAAO,QAAQ,CAAC,KAAK,EAAE,SAAS,EAAE,OAAO,CAAC,MAAM,CAAC,CAAC;QACpD,CAAC;IACH,CAAC;IAED,qBAAqB;IACrB,OAAO,QAAQ,CAAC,MAAM,EAAE,gBAAgB,CAAC,UAAU,CAAC,IAAI,EAAE,UAAU,CAAC,QAAQ,CAAC,EAAE,OAAO,CAAC,MAAM,CAAC,CAAC;AAClG,CAAC"}

package/dist/politeness.d.ts

@@ -0,0 +1,66 @@
+/**
+ * CLI併設対応: ドメイン毎の最終リクエスト時刻をプロセス間で共有するための永続化ストア。
+ * CLIは1コマンド=1プロセスのためインメモリのlastRequestAtだけでは直列/最小間隔制御が
+ * プロセスを跨いで機能しない。cache.ts(host_requestsテーブル)をこの形で注入する想定。
+ *
+ * code-reviewer指摘(重要な制約): waitTurn内の「store読み取り→待機時間の算出→sleep→
+ * store書き込み」は、同一プロセス内ではlocks(直列キュー)で完全に直列化されるが、
+ * 複数プロセス(MCPサーバー+複数のCLI実行等)が同一ホストへほぼ同時にこの一連の処理へ
+ * 入った場合、プロセスを跨いだ排他制御は無い(read-modify-writeがアトミックではない)ため
+ * 最小間隔がすり抜けうる。低負荷"優先"のベストエフォートな安全網であり、分散ロックのような
+ * 複雑な再試行機構は追加しない(単一プロセス内の直列化という強い保証・低実装コストという
+ * コンセプトを崩さないため)。cache.ts側のsetHostLastRequestAtはSQLのMAXで時刻の巻き戻りだけは
+ * 防いでいるが、read-modify-writeの競合そのものは解消しない。
+ */
+export interface PolitenessStore {
+    getLastRequestAt(host: string): number | null;
+    setLastRequestAt(host: string, at: number): void;
+}
+export interface PolitenessOptions {
+    /** ドメイン毎の最小リクエスト間隔(ミリ秒、既定1000ms)。robots.txtのCrawl-Delayがこれより長ければそちらを優先。 */
+    minIntervalMs?: number;
+    /** robots.txtキャッシュのTTL(ミリ秒、既定1時間)。 */
+    robotsTtlMs?: number;
+    /** テスト用の時刻取得関数差し替え。 */
+    now?: () => number;
+    /** テスト用のsleep関数差し替え。 */
+    sleep?: (ms: number) => Promise<void>;
+    /** 未指定時は従来通りインメモリのみでレート制御する(完全後方互換)。 */
+    store?: PolitenessStore;
+}
+export declare class PolitenessManager {
+    private readonly minIntervalMs;
+    private readonly robotsTtlMs;
+    private readonly now;
+    private readonly sleep;
+    private readonly store;
+    private readonly robotsCache;
+    private readonly locks;
+    private readonly lastRequestAt;
+    constructor(options?: PolitenessOptions);
+    /** robots.txtとレート制御の両方を確認し、アクセス可能になるまで待機する。拒否時はRobotsDeniedErrorを投げる。 */
+    guard(url: string): Promise<void>;
+    /** robots.txtのみ確認する(waitTurnは行わない)。 */
+    checkRobotsAllowed(url: string): Promise<void>;
+    /** robots.txtが宣言するSitemap URLの一覧を返す(linksツールのsitemap優先探索用)。 */
+    getSitemaps(url: string): Promise<string[]>;
+    /**
+     * ドメイン毎の直列キュー+最小間隔(robots.txtのCrawl-Delay考慮)を適用して順番を待つ。
+     * 直列キュー(locks)による直列化はプロセス内のみ有効。store(PolitenessStore)経由の
+     * プロセス間共有はread-modify-writeがアトミックではないベストエフォート(PolitenessStoreの
+     * JSDoc参照)。
+     */
+    waitTurn(url: string): Promise<void>;
+    /**
+     * N8: robotsCache/locks/lastRequestAtは訪問したホスト毎に1エントリずつ増え、長時間稼働する
+     * MCPサーバープロセスでは無制限に増加しうる。robotsTtlMsを「エントリの生存期間」の目安として
+     * 転用し、しばらく使われていないホストの状態を掃除する。
+     *
+     * locksは、まだ完了していない(settled=false)呼び出しが並んでいる可能性があるホストを
+     * 誤って削除すると直列化が壊れる(新しい呼び出しが空のロックを掴んで先に進んでしまう)ため、
+     * settled=trueのエントリのみ削除する。
+     */
+    private pruneStaleHostState;
+    private getCrawlDelayMs;
+    private getRobots;
+}