amenbo 0.1.0

package/dist/fetcher/browser.js

@@ -0,0 +1,343 @@
+/**
+ * fetcher/browser.ts — Playwright chromium共有インスタンス。
+ *
+ * 二段フェッチ(fetcher/index.ts)でSPAと判定された場合のみ起動する遅延初期化。
+ * プロセス終了シグナルでクリーンアップする。
+ */
+import { chromium, } from "playwright";
+import { AmenboError, BrowserLaunchError, FetchTimeoutError, InvalidUrlError } from "../errors.js";
+import { guardPublicAddress, USER_AGENT } from "./http.js";
+const DEFAULT_TIMEOUT_MS = 15_000;
+let browserPromise = null;
+// 改善キュー対応: 同梱Chromium(Playwrightがpinするビルド)がERR_HTTP2_PROTOCOL_ERROR系で
+// ナビゲーションに失敗するサイト(実機確認: initial.inc)向けのフォールバック専用インスタンス。
+// 低負荷優先の設計原則に従い、実際にフォールバックが発生するまでは起動しない(遅延初期化)。
+let systemChromeBrowserPromise = null;
+// code-reviewer指摘: システムChromeの実行ファイル自体が存在しない(未インストール)場合、
+// HTTP2エラーが起きる度に無駄なlaunch試行(失敗が確定しているのに毎回レイテンシを払う)を
+// 繰り返さないよう、プロセス寿命内で「無い」と分かった事実をキャッシュする。
+// (launch失敗が実行ファイル不在以外の理由の場合はキャッシュせず、以後も再試行を許す。)
+let systemChromeExecutableMissing = false;
+let cleanupRegistered = false;
+/**
+ * Playwrightがchannel指定の実行ファイルを見つけられない場合に投げるエラーメッセージ
+ * ("Chromium distribution 'chrome' is not found at ...")のパターン。この場合のみ
+ * systemChromeExecutableMissingへ恒久的にキャッシュする(それ以外の起動失敗は一時的な
+ * 可能性があるため、次回のHTTP2エラー発生時に再試行を許す)。
+ */
+const CHROME_EXECUTABLE_MISSING_PATTERN = /is not found/i;
+function isMissingExecutableError(error) {
+    return error instanceof Error && CHROME_EXECUTABLE_MISSING_PATTERN.test(error.message);
+}
+/**
+ * M2: 以前はcleanup内でclose後にprocess.exit()を呼んでおらず、chromium起動後は
+ * SIGINTの既定動作(即終了)がこのリスナーに上書きされたままハングしていた
+ * (closeBrowser()はPromiseを返すだけで、'exit'イベントは同期処理しか待てないため
+ * 実質何もせず終了していた)。close完了を待ってから明示的にprocess.exit()する。
+ */
+function registerCleanupHandlers() {
+    if (cleanupRegistered)
+        return;
+    cleanupRegistered = true;
+    const shutdown = () => {
+        void closeBrowser().finally(() => {
+            process.exit(0);
+        });
+    };
+    process.once("SIGINT", shutdown);
+    process.once("SIGTERM", shutdown);
+}
+/** 共有chromiumインスタンスを取得する(未起動なら遅延起動)。 */
+export async function getBrowser() {
+    if (!browserPromise) {
+        registerCleanupHandlers();
+        browserPromise = chromium.launch({ headless: true }).catch((cause) => {
+            browserPromise = null;
+            throw new BrowserLaunchError("chromiumの起動に失敗しました", { cause });
+        });
+    }
+    return browserPromise;
+}
+/**
+ * システムにインストール済みのGoogle Chrome(channel: "chrome")を遅延起動する。
+ * 同梱Chromiumのpage.goto()がERR_HTTP2_PROTOCOL_ERROR系で失敗した場合のみ呼ばれる想定
+ * (isChromiumHttp2NavigationError参照)。未インストール環境ではchromium.launch自体が
+ * 失敗するため、呼び出し元(openPageAndNavigate)でcatchし元のエラーへフォールスルーする。
+ * 実行ファイル不在と判明した場合はプロセス寿命内でキャッシュし、以後は起動を試みない
+ * (毎回のlaunch失敗レイテンシを避ける)。
+ */
+async function getSystemChromeBrowser() {
+    if (systemChromeExecutableMissing) {
+        throw new BrowserLaunchError("システムのGoogle Chromeが見つかりません(未インストールと判明済みのため再試行しません)");
+    }
+    if (!systemChromeBrowserPromise) {
+        registerCleanupHandlers();
+        systemChromeBrowserPromise = chromium.launch({ headless: true, channel: "chrome" }).catch((cause) => {
+            systemChromeBrowserPromise = null;
+            if (isMissingExecutableError(cause)) {
+                systemChromeExecutableMissing = true;
+            }
+            throw new BrowserLaunchError("システムのGoogle Chromeの起動に失敗しました", { cause });
+        });
+    }
+    return systemChromeBrowserPromise;
+}
+async function closeBrowserPromise(promise) {
+    if (!promise)
+        return;
+    try {
+        const browser = await promise;
+        await browser.close();
+    }
+    catch {
+        // 起動に失敗していた場合等は無視(既にクローズ済み/未起動)
+    }
+}
+/** 共有chromium/システムChromeインスタンスを終了する(プロセス終了時・テストのクリーンアップ用)。 */
+export async function closeBrowser() {
+    const primary = browserPromise;
+    const systemChrome = systemChromeBrowserPromise;
+    browserPromise = null;
+    systemChromeBrowserPromise = null;
+    await Promise.all([closeBrowserPromise(primary), closeBrowserPromise(systemChrome)]);
+}
+// ---- Phase 4: ジオメトリ抽出用のデータ採取(型はextract/geometry.tsを正とする) ----
+const EMPTY_GEOMETRY = { textBlocks: [], visualElements: [], pageWidth: 0, pageHeight: 0 };
+/**
+ * Phase 4 ジオメトリ抽出用に、テキストを直接持つリーフ要素の bounding box・フォントサイズ・
+ * 可視性と、表/canvas/svgの bounding box を採取する。
+ *
+ * 対象要素には一時属性 `data-amenbo-gid` を付与する。これは page.content() 呼び出し前に
+ * 実行することで、後段の抽出処理(extract/markdown.ts, linkedomでの再パース)が
+ * 同じ要素をCSSセレクタで再選択できるようにするため(ブラウザとNode間でDOM参照を
+ * 直接受け渡せないので、属性経由で紐付ける)。
+ */
+export async function collectPageGeometry(page) {
+    return page.evaluate(() => {
+        const leafSelector = "p, li, td, th, h1, h2, h3, h4, h5, h6, blockquote, dd, dt, figcaption";
+        const textBlocks = [];
+        let gid = 0;
+        for (const el of Array.from(document.querySelectorAll(leafSelector))) {
+            const text = (el.textContent ?? "").trim();
+            if (text.length < 2)
+                continue;
+            const style = window.getComputedStyle(el);
+            if (style.display === "none" || style.visibility === "hidden" || Number(style.opacity || "1") === 0)
+                continue;
+            const rect = el.getBoundingClientRect();
+            if (rect.width <= 0 || rect.height <= 0)
+                continue;
+            gid++;
+            el.setAttribute("data-amenbo-gid", String(gid));
+            textBlocks.push({
+                id: gid,
+                x: Math.round(rect.left + window.scrollX),
+                y: Math.round(rect.top + window.scrollY),
+                width: Math.round(rect.width),
+                height: Math.round(rect.height),
+                textLength: text.length,
+            });
+        }
+        const visualElements = [];
+        for (const el of Array.from(document.querySelectorAll("table, canvas, svg"))) {
+            const style = window.getComputedStyle(el);
+            if (style.display === "none" || style.visibility === "hidden")
+                continue;
+            const rect = el.getBoundingClientRect();
+            if (rect.width <= 0 || rect.height <= 0)
+                continue;
+            visualElements.push({
+                tag: el.tagName.toLowerCase(),
+                x: Math.round(rect.left + window.scrollX),
+                y: Math.round(rect.top + window.scrollY),
+                width: Math.round(rect.width),
+                height: Math.round(rect.height),
+            });
+        }
+        return {
+            textBlocks,
+            visualElements,
+            pageWidth: Math.ceil(document.documentElement.scrollWidth),
+            pageHeight: Math.ceil(document.documentElement.scrollHeight),
+        };
+    });
+}
+/**
+ * J8: 国内同意バナー・アプリ誘導インタースティシャルを実レンダリング結果から隠す。
+ *
+ * jp/consentBanner.tsの静的DOM版と同じ判定パターンだが、page.evaluate内は
+ * ブラウザコンテキストで実行されNode側のクロージャを参照できないため、判定パターンを
+ * self-containedな関数として定義し直している(多少の重複はやむを得ない設計判断)。
+ * 実ブラウザではcomputed styleが取得できるため、position:fixed等の判定も加えている。
+ * DOMから除去するのではなく非表示にする(スクリーンショット/SPA判定への影響を抑えつつ
+ * 視覚的な妨げだけを取り除く)。
+ */
+export async function hideConsentBanners(page) {
+    return page.evaluate(() => {
+        const textPatterns = [
+            /同意して閉じる/,
+            /同意する/,
+            /Cookie.{0,10}(の使用に|に)?同意/i,
+            /このサイトはCookieを使用/,
+            /アプリで(開く|見る|読む)/,
+            /アプリをダウンロード/,
+            /アプリ内で開く/,
+            /ストアで見る/,
+        ];
+        const idClassPattern = /cookie|consent|cmp[-_]|gdpr|app[-_]?banner|interstitial|smart-?banner/i;
+        const maxTextLength = 400;
+        let hidden = 0;
+        const candidates = Array.from(document.querySelectorAll("div, section, aside, dialog"));
+        for (const el of candidates) {
+            const text = el.textContent ?? "";
+            if (text.length === 0 || text.length > maxTextLength)
+                continue;
+            const idClassMatch = idClassPattern.test(`${el.id} ${el.className}`);
+            const textMatch = textPatterns.some((pattern) => pattern.test(text));
+            if (!(idClassMatch && textMatch))
+                continue;
+            const style = window.getComputedStyle(el);
+            const isOverlayish = style.position === "fixed" || style.position === "sticky" || Number(style.zIndex || "0") >= 100;
+            if (isOverlayish) {
+                el.style.setProperty("display", "none", "important");
+                hidden++;
+            }
+        }
+        return hidden;
+    });
+}
+// ---- C1/C2: SSRFガード付きナビゲーション ----
+const NAVIGATION_ROUTE_PATTERN = "**/*";
+/**
+ * C1: browser.ts(fetchWithBrowser)・screenshot.ts(captureTiledScreenshot)は
+ * fetcher/http.tsのSSRF/スキーム検証(guardPublicAddress)を経由せずpage.goto()していたため、
+ * `file:///etc/passwd` や `http://169.254.169.254/...` が素通りしていた。
+ *
+ * 対応:
+ *   1. page.goto()の前にguardPublicAddressで初回遷移先を検証する
+ *   2. context.route()で全リクエストを横取りし、メインフレームのナビゲーション
+ *      リクエスト(初回遷移・各リダイレクトホップの両方が該当する)についてのみ
+ *      再度guardPublicAddressを通す。private/予約アドレスやhttp(s)以外のスキームへの
+ *      遷移が検出された場合はそのリクエスト自体をabortし(=実接続前に遮断)、
+ *      型付きエラー(PrivateAddressError/InvalidUrlError)に変換してgoto()の失敗を報告する
+ *
+ * サブリソース(img/xhr等)は対象外(スコープはユーザー指定URLへの「遷移」の安全性)。
+ * 完全なTOCTOU対策(fetcher/http.tsのssrfSafeLookupのような接続時点での検証)は
+ * Playwright側では現実的に組み込めないため、遷移前検証+リダイレクト時の再検証という
+ * 「可能な範囲」の対策にとどめる。
+ */
+export async function navigateSafely(page, url, timeoutMs) {
+    await guardPublicAddress(url);
+    let blockedError = null;
+    const handler = async (route, request) => {
+        if (!request.isNavigationRequest() || request.frame() !== page.mainFrame()) {
+            await route.continue();
+            return;
+        }
+        try {
+            await guardPublicAddress(request.url());
+            await route.continue();
+        }
+        catch (error) {
+            blockedError = error instanceof AmenboError ? error : new InvalidUrlError(request.url(), "ナビゲーション検証に失敗しました");
+            await route.abort();
+        }
+    };
+    await page.route(NAVIGATION_ROUTE_PATTERN, handler);
+    try {
+        return await page.goto(url, { waitUntil: "networkidle", timeout: timeoutMs });
+    }
+    catch (cause) {
+        if (blockedError)
+            throw blockedError;
+        if (cause instanceof Error && /timeout/i.test(cause.message)) {
+            throw new FetchTimeoutError(url, timeoutMs);
+        }
+        throw cause;
+    }
+    finally {
+        await page.unroute(NAVIGATION_ROUTE_PATTERN, handler).catch(() => { });
+    }
+}
+// ---- 改善キュー対応: 同梱ChromiumのHTTP/2非互換に対するシステムChromeフォールバック ----
+const HTTP2_NAVIGATION_ERROR_PATTERN = /ERR_HTTP2_/;
+/**
+ * page.goto()の失敗が、ERR_HTTP2_PROTOCOL_ERROR系(実機検証: initial.inc等でPlaywright
+ * pinビルドのChromiumのみ発生し、素のcurl --http2やシステムのGoogle Chromeでは成功する
+ * ブラウザビルド固有のHTTP/2非互換)かどうかを判定する。この場合のみシステムChromeへの
+ * フォールバックを試みる(接続拒否/タイムアウト等の一般的なネットワークエラーは対象外。
+ * 常時Chrome起動という追加コストを、明確にビルド固有と分かっているケース以外では払わない)。
+ */
+export function isChromiumHttp2NavigationError(error) {
+    return error instanceof Error && HTTP2_NAVIGATION_ERROR_PATTERN.test(error.message);
+}
+/**
+ * 共有chromiumでcontext/pageを作りnavigateSafelyでナビゲーションする。ERR_HTTP2_PROTOCOL_ERROR系
+ * で失敗した場合のみ、システムのGoogle Chromeへ1回だけフォールバックする。
+ *
+ * フォールバックが行われないケース(元のエラーをそのまま投げ、呼び出し元の既存の
+ * エラー分類・メッセージ生成をそのまま活かす):
+ *   - HTTP2以外のエラー(接続拒否/タイムアウト等)
+ *   - システムにChromeが無くgetSystemChromeBrowser自体が失敗した場合
+ * Chromeでの再試行も失敗した場合は、そちらのエラー(Chrome経由での実際の失敗内容)を投げる。
+ */
+export async function openPageAndNavigate(url, timeoutMs, contextOptions = {}) {
+    const primaryBrowser = await getBrowser();
+    const primaryContext = await primaryBrowser.newContext(contextOptions);
+    try {
+        const page = await primaryContext.newPage();
+        const response = await navigateSafely(page, url, timeoutMs);
+        return { context: primaryContext, page, response };
+    }
+    catch (primaryError) {
+        await primaryContext.close().catch(() => { });
+        if (!isChromiumHttp2NavigationError(primaryError))
+            throw primaryError;
+        let chromeBrowser;
+        try {
+            chromeBrowser = await getSystemChromeBrowser();
+        }
+        catch {
+            // システムChrome未インストール等: 元のエラー(分類済みメッセージ)にフォールスルーする
+            throw primaryError;
+        }
+        let chromeContext;
+        try {
+            chromeContext = await chromeBrowser.newContext(contextOptions);
+        }
+        catch {
+            // code-reviewer指摘: newContext自体をtry内に含める。前回のフォールバック使用後に
+            // システムChromeが切断されていた場合等、newContextが素の例外を投げうるため、
+            // getSystemChromeBrowser失敗時と同様に元のエラー(分類済みメッセージ)へ
+            // フォールスルーする(Chrome側の生の例外で覆い隠さない)。
+            throw primaryError;
+        }
+        try {
+            const page = await chromeContext.newPage();
+            const response = await navigateSafely(page, url, timeoutMs);
+            return { context: chromeContext, page, response };
+        }
+        catch (fallbackError) {
+            await chromeContext.close().catch(() => { });
+            throw fallbackError;
+        }
+    }
+}
+/** Playwrightでページをレンダリングし、レンダリング後のHTMLを取得する。 */
+export async function fetchWithBrowser(url, timeoutMs = DEFAULT_TIMEOUT_MS) {
+    const { context, page, response } = await openPageAndNavigate(url, timeoutMs, { userAgent: USER_AGENT });
+    try {
+        await hideConsentBanners(page).catch(() => {
+            // ページ評価に失敗しても取得自体は継続する(ベストエフォート)
+        });
+        // Phase 4: ジオメトリ抽出用のデータ採取(data-amenbo-gid付与)は、それがHTMLへ反映される
+        // page.content()より必ず先に行う
+        const geometry = await collectPageGeometry(page).catch(() => EMPTY_GEOMETRY);
+        const html = await page.content();
+        return { finalUrl: page.url(), html, status: response?.status() ?? 200, geometry };
+    }
+    finally {
+        await context.close();
+    }
+}
+//# sourceMappingURL=browser.js.map

package/dist/fetcher/browser.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"browser.js","sourceRoot":"","sources":["../../src/fetcher/browser.ts"],"names":[],"mappings":"AAAA;;;;;GAKG;AACH,OAAO,EACL,QAAQ,GAQT,MAAM,YAAY,CAAC;AACpB,OAAO,EAAE,WAAW,EAAE,kBAAkB,EAAE,iBAAiB,EAAE,eAAe,EAAE,MAAM,cAAc,CAAC;AAEnG,OAAO,EAAE,kBAAkB,EAAE,UAAU,EAAE,MAAM,WAAW,CAAC;AAI3D,MAAM,kBAAkB,GAAG,MAAM,CAAC;AAElC,IAAI,cAAc,GAA4B,IAAI,CAAC;AACnD,sEAAsE;AACtE,wDAAwD;AACxD,gDAAgD;AAChD,IAAI,0BAA0B,GAA4B,IAAI,CAAC;AAC/D,yDAAyD;AACzD,oDAAoD;AACpD,wCAAwC;AACxC,iDAAiD;AACjD,IAAI,6BAA6B,GAAG,KAAK,CAAC;AAC1C,IAAI,iBAAiB,GAAG,KAAK,CAAC;AAE9B;;;;;GAKG;AACH,MAAM,iCAAiC,GAAG,eAAe,CAAC;AAE1D,SAAS,wBAAwB,CAAC,KAAc;IAC9C,OAAO,KAAK,YAAY,KAAK,IAAI,iCAAiC,CAAC,IAAI,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC;AACzF,CAAC;AAED;;;;;GAKG;AACH,SAAS,uBAAuB;IAC9B,IAAI,iBAAiB;QAAE,OAAO;IAC9B,iBAAiB,GAAG,IAAI,CAAC;IACzB,MAAM,QAAQ,GAAG,GAAS,EAAE;QAC1B,KAAK,YAAY,EAAE,CAAC,OAAO,CAAC,GAAG,EAAE;YAC/B,OAAO,CAAC,IAAI,CAAC,CAAC,CAAC,CAAC;QAClB,CAAC,CAAC,CAAC;IACL,CAAC,CAAC;IACF,OAAO,CAAC,IAAI,CAAC,QAAQ,EAAE,QAAQ,CAAC,CAAC;IACjC,OAAO,CAAC,IAAI,CAAC,SAAS,EAAE,QAAQ,CAAC,CAAC;AACpC,CAAC;AAED,wCAAwC;AACxC,MAAM,CAAC,KAAK,UAAU,UAAU;IAC9B,IAAI,CAAC,cAAc,EAAE,CAAC;QACpB,uBAAuB,EAAE,CAAC;QAC1B,cAAc,GAAG,QAAQ,CAAC,MAAM,CAAC,EAAE,QAAQ,EAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,CAAC,KAAc,EAAE,EAAE;YAC5E,cAAc,GAAG,IAAI,CAAC;YACtB,MAAM,IAAI,kBAAkB,CAAC,oBAAoB,EAAE,EAAE,KAAK,EAAE,CAAC,CAAC;QAChE,CAAC,CAAC,CAAC;IACL,CAAC;IACD,OAAO,cAAc,CAAC;AACxB,CAAC;AAED;;;;;;;GAOG;AACH,KAAK,UAAU,sBAAsB;IACnC,IAAI,6BAA6B,EAAE,CAAC;QAClC,MAAM,IAAI,kBAAkB,CAAC,oDAAoD,CAAC,CAAC;IACrF,CAAC;IAED,IAAI,CAAC,0BAA0B,EAAE,CAAC;QAChC,uBAAuB,EAAE,CAAC;QAC1B,0BAA0B,GAAG,QAAQ,CAAC,MAAM,CAAC,EAAE,QAAQ,EAAE,IAAI,EAAE,OAAO,EAAE,QAAQ,EAAE,CAAC,CAAC,KAAK,CAAC,CAAC,KAAc,EAAE,EAAE;YAC3G,0BAA0B,GAAG,IAAI,CAAC;YAClC,IAAI,wBAAwB,CAAC,KAAK,CAAC,EAAE,CAAC;gBACpC,6BAA6B,GAAG,IAAI,CAAC;YACvC,CAAC;YACD,MAAM,IAAI,kBAAkB,CAAC,8BAA8B,EAAE,EAAE,KAAK,EAAE,CAAC,CAAC;QAC1E,CAAC,CAAC,CAAC;IACL,CAAC;IACD,OAAO,0BAA0B,CAAC;AACpC,CAAC;AAED,KAAK,UAAU,mBAAmB,CAAC,OAAgC;IACjE,IAAI,CAAC,OAAO;QAAE,OAAO;IACrB,IAAI,CAAC;QACH,MAAM,OAAO,GAAG,MAAM,OAAO,CAAC;QAC9B,MAAM,OAAO,CAAC,KAAK,EAAE,CAAC;IACxB,CAAC;IAAC,MAAM,CAAC;QACP,gCAAgC;IAClC,CAAC;AACH,CAAC;AAED,8DAA8D;AAC9D,MAAM,CAAC,KAAK,UAAU,YAAY;IAChC,MAAM,OAAO,GAAG,cAAc,CAAC;IAC/B,MAAM,YAAY,GAAG,0BAA0B,CAAC;IAChD,cAAc,GAAG,IAAI,CAAC;IACtB,0BAA0B,GAAG,IAAI,CAAC;IAClC,MAAM,OAAO,CAAC,GAAG,CAAC,CAAC,mBAAmB,CAAC,OAAO,CAAC,EAAE,mBAAmB,CAAC,YAAY,CAAC,CAAC,CAAC,CAAC;AACvF,CAAC;AASD,gEAAgE;AAEhE,MAAM,cAAc,GAAyB,EAAE,UAAU,EAAE,EAAE,EAAE,cAAc,EAAE,EAAE,EAAE,SAAS,EAAE,CAAC,EAAE,UAAU,EAAE,CAAC,EAAE,CAAC;AAEjH;;;;;;;;GAQG;AACH,MAAM,CAAC,KAAK,UAAU,mBAAmB,CAAC,IAAU;IAClD,OAAO,IAAI,CAAC,QAAQ,CAAC,GAAG,EAAE;QACxB,MAAM,YAAY,GAAG,uEAAuE,CAAC;QAC7F,MAAM,UAAU,GAAmG,EAAE,CAAC;QACtH,IAAI,GAAG,GAAG,CAAC,CAAC;QAEZ,KAAK,MAAM,EAAE,IAAI,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,YAAY,CAAC,CAAC,EAAE,CAAC;YACrE,MAAM,IAAI,GAAG,CAAC,EAAE,CAAC,WAAW,IAAI,EAAE,CAAC,CAAC,IAAI,EAAE,CAAC;YAC3C,IAAI,IAAI,CAAC,MAAM,GAAG,CAAC;gBAAE,SAAS;YAE9B,MAAM,KAAK,GAAG,MAAM,CAAC,gBAAgB,CAAC,EAAE,CAAC,CAAC;YAC1C,IAAI,KAAK,CAAC,OAAO,KAAK,MAAM,IAAI,KAAK,CAAC,UAAU,KAAK,QAAQ,IAAI,MAAM,CAAC,KAAK,CAAC,OAAO,IAAI,GAAG,CAAC,KAAK,CAAC;gBAAE,SAAS;YAE9G,MAAM,IAAI,GAAG,EAAE,CAAC,qBAAqB,EAAE,CAAC;YACxC,IAAI,IAAI,CAAC,KAAK,IAAI,CAAC,IAAI,IAAI,CAAC,MAAM,IAAI,CAAC;gBAAE,SAAS;YAElD,GAAG,EAAE,CAAC;YACN,EAAE,CAAC,YAAY,CAAC,iBAAiB,EAAE,MAAM,CAAC,GAAG,CAAC,CAAC,CAAC;YAChD,UAAU,CAAC,IAAI,CAAC;gBACd,EAAE,EAAE,GAAG;gBACP,CAAC,EAAE,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,IAAI,GAAG,MAAM,CAAC,OAAO,CAAC;gBACzC,CAAC,EAAE,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,GAAG,GAAG,MAAM,CAAC,OAAO,CAAC;gBACxC,KAAK,EAAE,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,CAAC;gBAC7B,MAAM,EAAE,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,MAAM,CAAC;gBAC/B,UAAU,EAAE,IAAI,CAAC,MAAM;aACxB,CAAC,CAAC;QACL,CAAC;QAED,MAAM,cAAc,GAAgF,EAAE,CAAC;QACvG,KAAK,MAAM,EAAE,IAAI,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,oBAAoB,CAAC,CAAC,EAAE,CAAC;YAC7E,MAAM,KAAK,GAAG,MAAM,CAAC,gBAAgB,CAAC,EAAE,CAAC,CAAC;YAC1C,IAAI,KAAK,CAAC,OAAO,KAAK,MAAM,IAAI,KAAK,CAAC,UAAU,KAAK,QAAQ;gBAAE,SAAS;YAExE,MAAM,IAAI,GAAG,EAAE,CAAC,qBAAqB,EAAE,CAAC;YACxC,IAAI,IAAI,CAAC,KAAK,IAAI,CAAC,IAAI,IAAI,CAAC,MAAM,IAAI,CAAC;gBAAE,SAAS;YAElD,cAAc,CAAC,IAAI,CAAC;gBAClB,GAAG,EAAE,EAAE,CAAC,OAAO,CAAC,WAAW,EAAE;gBAC7B,CAAC,EAAE,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,IAAI,GAAG,MAAM,CAAC,OAAO,CAAC;gBACzC,CAAC,EAAE,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,GAAG,GAAG,MAAM,CAAC,OAAO,CAAC;gBACxC,KAAK,EAAE,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,CAAC;gBAC7B,MAAM,EAAE,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,MAAM,CAAC;aAChC,CAAC,CAAC;QACL,CAAC;QAED,OAAO;YACL,UAAU;YACV,cAAc;YACd,SAAS,EAAE,IAAI,CAAC,IAAI,CAAC,QAAQ,CAAC,eAAe,CAAC,WAAW,CAAC;YAC1D,UAAU,EAAE,IAAI,CAAC,IAAI,CAAC,QAAQ,CAAC,eAAe,CAAC,YAAY,CAAC;SAC7D,CAAC;IACJ,CAAC,CAAC,CAAC;AACL,CAAC;AAED;;;;;;;;;GASG;AACH,MAAM,CAAC,KAAK,UAAU,kBAAkB,CAAC,IAAU;IACjD,OAAO,IAAI,CAAC,QAAQ,CAAC,GAAG,EAAE;QACxB,MAAM,YAAY,GAAG;YACnB,SAAS;YACT,MAAM;YACN,2BAA2B;YAC3B,iBAAiB;YACjB,gBAAgB;YAChB,YAAY;YACZ,SAAS;YACT,QAAQ;SACT,CAAC;QACF,MAAM,cAAc,GAAG,wEAAwE,CAAC;QAChG,MAAM,aAAa,GAAG,GAAG,CAAC;QAE1B,IAAI,MAAM,GAAG,CAAC,CAAC;QACf,MAAM,UAAU,GAAG,KAAK,CAAC,IAAI,CAAC,QAAQ,CAAC,gBAAgB,CAAC,6BAA6B,CAAC,CAAC,CAAC;QACxF,KAAK,MAAM,EAAE,IAAI,UAAU,EAAE,CAAC;YAC5B,MAAM,IAAI,GAAG,EAAE,CAAC,WAAW,IAAI,EAAE,CAAC;YAClC,IAAI,IAAI,CAAC,MAAM,KAAK,CAAC,IAAI,IAAI,CAAC,MAAM,GAAG,aAAa;gBAAE,SAAS;YAE/D,MAAM,YAAY,GAAG,cAAc,CAAC,IAAI,CAAC,GAAG,EAAE,CAAC,EAAE,IAAI,EAAE,CAAC,SAAS,EAAE,CAAC,CAAC;YACrE,MAAM,SAAS,GAAG,YAAY,CAAC,IAAI,CAAC,CAAC,OAAO,EAAE,EAAE,CAAC,OAAO,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC,CAAC;YACrE,IAAI,CAAC,CAAC,YAAY,IAAI,SAAS,CAAC;gBAAE,SAAS;YAE3C,MAAM,KAAK,GAAG,MAAM,CAAC,gBAAgB,CAAC,EAAE,CAAC,CAAC;YAC1C,MAAM,YAAY,GAAG,KAAK,CAAC,QAAQ,KAAK,OAAO,IAAI,KAAK,CAAC,QAAQ,KAAK,QAAQ,IAAI,MAAM,CAAC,KAAK,CAAC,MAAM,IAAI,GAAG,CAAC,IAAI,GAAG,CAAC;YAErH,IAAI,YAAY,EAAE,CAAC;gBAChB,EAAkB,CAAC,KAAK,CAAC,WAAW,CAAC,SAAS,EAAE,MAAM,EAAE,WAAW,CAAC,CAAC;gBACtE,MAAM,EAAE,CAAC;YACX,CAAC;QACH,CAAC;QACD,OAAO,MAAM,CAAC;IAChB,CAAC,CAAC,CAAC;AACL,CAAC;AAED,oCAAoC;AAEpC,MAAM,wBAAwB,GAAG,MAAM,CAAC;AAExC;;;;;;;;;;;;;;;;;GAiBG;AACH,MAAM,CAAC,KAAK,UAAU,cAAc,CAAC,IAAU,EAAE,GAAW,EAAE,SAAiB;IAC7E,MAAM,kBAAkB,CAAC,GAAG,CAAC,CAAC;IAE9B,IAAI,YAAY,GAAuB,IAAI,CAAC;IAC5C,MAAM,OAAO,GAAG,KAAK,EAAE,KAAY,EAAE,OAAgB,EAAiB,EAAE;QACtE,IAAI,CAAC,OAAO,CAAC,mBAAmB,EAAE,IAAI,OAAO,CAAC,KAAK,EAAE,KAAK,IAAI,CAAC,SAAS,EAAE,EAAE,CAAC;YAC3E,MAAM,KAAK,CAAC,QAAQ,EAAE,CAAC;YACvB,OAAO;QACT,CAAC;QACD,IAAI,CAAC;YACH,MAAM,kBAAkB,CAAC,OAAO,CAAC,GAAG,EAAE,CAAC,CAAC;YACxC,MAAM,KAAK,CAAC,QAAQ,EAAE,CAAC;QACzB,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,YAAY,GAAG,KAAK,YAAY,WAAW,CAAC,CAAC,CAAC,KAAK,CAAC,CAAC,CAAC,IAAI,eAAe,CAAC,OAAO,CAAC,GAAG,EAAE,EAAE,kBAAkB,CAAC,CAAC;YAC7G,MAAM,KAAK,CAAC,KAAK,EAAE,CAAC;QACtB,CAAC;IACH,CAAC,CAAC;IAEF,MAAM,IAAI,CAAC,KAAK,CAAC,wBAAwB,EAAE,OAAO,CAAC,CAAC;IACpD,IAAI,CAAC;QACH,OAAO,MAAM,IAAI,CAAC,IAAI,CAAC,GAAG,EAAE,EAAE,SAAS,EAAE,aAAa,EAAE,OAAO,EAAE,SAAS,EAAE,CAAC,CAAC;IAChF,CAAC;IAAC,OAAO,KAAK,EAAE,CAAC;QACf,IAAI,YAAY;YAAE,MAAM,YAA2B,CAAC;QACpD,IAAI,KAAK,YAAY,KAAK,IAAI,UAAU,CAAC,IAAI,CAAC,KAAK,CAAC,OAAO,CAAC,EAAE,CAAC;YAC7D,MAAM,IAAI,iBAAiB,CAAC,GAAG,EAAE,SAAS,CAAC,CAAC;QAC9C,CAAC;QACD,MAAM,KAAK,CAAC;IACd,CAAC;YAAS,CAAC;QACT,MAAM,IAAI,CAAC,OAAO,CAAC,wBAAwB,EAAE,OAAO,CAAC,CAAC,KAAK,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;IACxE,CAAC;AACH,CAAC;AAED,+DAA+D;AAE/D,MAAM,8BAA8B,GAAG,YAAY,CAAC;AAEpD;;;;;;GAMG;AACH,MAAM,UAAU,8BAA8B,CAAC,KAAc;IAC3D,OAAO,KAAK,YAAY,KAAK,IAAI,8BAA8B,CAAC,IAAI,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC;AACtF,CAAC;AAQD;;;;;;;;;GASG;AACH,MAAM,CAAC,KAAK,UAAU,mBAAmB,CACvC,GAAW,EACX,SAAiB,EACjB,cAAc,GAA0B,EAAE;IAE1C,MAAM,cAAc,GAAG,MAAM,UAAU,EAAE,CAAC;IAC1C,MAAM,cAAc,GAAG,MAAM,cAAc,CAAC,UAAU,CAAC,cAAc,CAAC,CAAC;IACvE,IAAI,CAAC;QACH,MAAM,IAAI,GAAG,MAAM,cAAc,CAAC,OAAO,EAAE,CAAC;QAC5C,MAAM,QAAQ,GAAG,MAAM,cAAc,CAAC,IAAI,EAAE,GAAG,EAAE,SAAS,CAAC,CAAC;QAC5D,OAAO,EAAE,OAAO,EAAE,cAAc,EAAE,IAAI,EAAE,QAAQ,EAAE,CAAC;IACrD,CAAC;IAAC,OAAO,YAAY,EAAE,CAAC;QACtB,MAAM,cAAc,CAAC,KAAK,EAAE,CAAC,KAAK,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;QAC7C,IAAI,CAAC,8BAA8B,CAAC,YAAY,CAAC;YAAE,MAAM,YAAY,CAAC;QAEtE,IAAI,aAAsB,CAAC;QAC3B,IAAI,CAAC;YACH,aAAa,GAAG,MAAM,sBAAsB,EAAE,CAAC;QACjD,CAAC;QAAC,MAAM,CAAC;YACP,iDAAiD;YACjD,MAAM,YAAY,CAAC;QACrB,CAAC;QAED,IAAI,aAA6B,CAAC;QAClC,IAAI,CAAC;YACH,aAAa,GAAG,MAAM,aAAa,CAAC,UAAU,CAAC,cAAc,CAAC,CAAC;QACjE,CAAC;QAAC,MAAM,CAAC;YACP,wDAAwD;YACxD,gDAAgD;YAChD,iDAAiD;YACjD,kCAAkC;YAClC,MAAM,YAAY,CAAC;QACrB,CAAC;QAED,IAAI,CAAC;YACH,MAAM,IAAI,GAAG,MAAM,aAAa,CAAC,OAAO,EAAE,CAAC;YAC3C,MAAM,QAAQ,GAAG,MAAM,cAAc,CAAC,IAAI,EAAE,GAAG,EAAE,SAAS,CAAC,CAAC;YAC5D,OAAO,EAAE,OAAO,EAAE,aAAa,EAAE,IAAI,EAAE,QAAQ,EAAE,CAAC;QACpD,CAAC;QAAC,OAAO,aAAa,EAAE,CAAC;YACvB,MAAM,aAAa,CAAC,KAAK,EAAE,CAAC,KAAK,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;YAC5C,MAAM,aAAa,CAAC;QACtB,CAAC;IACH,CAAC;AACH,CAAC;AAED,gDAAgD;AAChD,MAAM,CAAC,KAAK,UAAU,gBAAgB,CAAC,GAAW,EAAE,SAAS,GAAW,kBAAkB;IACxF,MAAM,EAAE,OAAO,EAAE,IAAI,EAAE,QAAQ,EAAE,GAAG,MAAM,mBAAmB,CAAC,GAAG,EAAE,SAAS,EAAE,EAAE,SAAS,EAAE,UAAU,EAAE,CAAC,CAAC;IACzG,IAAI,CAAC;QACH,MAAM,kBAAkB,CAAC,IAAI,CAAC,CAAC,KAAK,CAAC,GAAG,EAAE;YACxC,iCAAiC;QACnC,CAAC,CAAC,CAAC;QACH,4DAA4D;QAC5D,yBAAyB;QACzB,MAAM,QAAQ,GAAG,MAAM,mBAAmB,CAAC,IAAI,CAAC,CAAC,KAAK,CAAC,GAAG,EAAE,CAAC,cAAc,CAAC,CAAC;QAC7E,MAAM,IAAI,GAAG,MAAM,IAAI,CAAC,OAAO,EAAE,CAAC;QAClC,OAAO,EAAE,QAAQ,EAAE,IAAI,CAAC,GAAG,EAAE,EAAE,IAAI,EAAE,MAAM,EAAE,QAAQ,EAAE,MAAM,EAAE,IAAI,GAAG,EAAE,QAAQ,EAAE,CAAC;IACrF,CAAC;YAAS,CAAC;QACT,MAAM,OAAO,CAAC,KAAK,EAAE,CAAC;IACxB,CAAC;AACH,CAAC"}

package/dist/fetcher/http.d.ts

@@ -0,0 +1,105 @@
+export declare const USER_AGENT = "amenbo/0.1 (+https://github.com/Rererr/amenbo)";
+/** IPアドレス(v4/v6)がprivate/loopback/link-local等の予約アドレスかどうか判定する。 */
+export declare function isPrivateOrReservedIp(ip: string): boolean;
+/**
+ * URLがhttp(s)スキームかどうかだけを検証する軽量チェック(DNS解決は行わない)。
+ *
+ * server.ts(fetch/screenshotツール)・links.tsの各エントリポイントで、
+ * politeness.guard(robots.txt取得)やブラウザ起動より前に最初に呼ぶことを想定している。
+ * これを怠ると、例えば file:// のようなURLに対して politeness 側が
+ * `new URL(url).origin` (file:等では "null" になる)から不正なrobots URL
+ * (`null/robots.txt`)を組み立ててしまい、guardPublicAddress内の `new URL()` が
+ * 生のTypeErrorを投げてスタックトレースがstderrに漏れる問題があった(公開品質バグ)。
+ */
+export declare function assertHttpScheme(urlStr: string): URL;
+/**
+ * URLのホストを解決し、private/予約アドレスであれば拒否する(SSRF対策)。
+ * http(s)以外のスキーム(file:等)も拒否する。
+ *
+ * fetcher/browser.ts・screenshot.tsのPlaywrightナビゲーション(page.goto前・
+ * リダイレクト再検証)からも共通利用する(C1: screenshot/browser層がSSRF/スキーム
+ * 検証を経由していなかった問題への対応)。
+ *
+ * 注意(TOCTOU): この関数の検証と実際の接続(fetch/ブラウザのTCP接続)は別のDNS解決を
+ * 行うため、その間にDNS rebindingが起きると理論上すり抜けうる。httpGet/httpGetBinaryの
+ * 実接続については下記「TOCTOU対策」のssrfSafeLookupで接続時点そのものを検証しており、
+ * この関数はスキーム検証と早期の分かりやすいエラーメッセージのための一次防御にあたる。
+ */
+export declare function guardPublicAddress(urlStr: string): Promise<void>;
+export interface DecodedHtml {
+    text: string;
+    /** 表示用のエンコーディング名(例: "UTF-8" / "Shift_JIS")。 */
+    encoding: string;
+}
+/** J1: Content-Typeヘッダ→metaタグ→encoding-japanese自動判定の順でHTMLをデコードする。 */
+export declare function decodeHtmlBytes(bytes: Uint8Array, contentTypeHeader: string | null): DecodedHtml;
+/** 環境変数 AMENBO_MAX_BODY_BYTES で既定のボディサイズ上限を調整できる。 */
+export declare function resolveDefaultMaxBodyBytes(): number;
+export interface HttpGetOptions {
+    timeoutMs?: number;
+    /** 条件付きGET用の追加ヘッダ(If-None-Match/If-Modified-Since等)。 */
+    headers?: Record<string, string>;
+    /** レスポンスボディのサイズ上限(バイト)。既定は環境変数AMENBO_MAX_BODY_BYTES、未設定なら20MB。 */
+    maxBytes?: number;
+}
+export interface HttpGetResult {
+    finalUrl: string;
+    status: number;
+    headers: Headers;
+    /** status 304 の場合は空文字。 */
+    html: string;
+    /** status 304 の場合は空文字。 */
+    encoding: string;
+}
+/**
+ * SSRF対策付きの素のHTTP GET(テキスト/HTML用)。リダイレクトは手動で追跡し、毎ホップでSSRFガードを行う。
+ * status 304(未変更)はエラーにせずそのまま返す(キャッシュ再検証用)。
+ * 200以外(304を除く)の非2xxはHttpStatusErrorを投げる。
+ */
+export declare function httpGet(url: string, options?: HttpGetOptions): Promise<HttpGetResult>;
+export type HttpGetBinaryOptions = HttpGetOptions;
+export interface HttpGetBinaryResult {
+    finalUrl: string;
+    status: number;
+    headers: Headers;
+    /** status 304 の場合は空。 */
+    bytes: Uint8Array;
+    contentType: string | null;
+}
+/**
+ * SSRF対策付きの素のHTTP GET(バイナリ用、PDF等)。デコードせずバイト列のまま返す。
+ * Content-Lengthヘッダ・実バイト数の両方でmaxBytesを検証する(ヘッダ詐称対策として実サイズも確認)。
+ * status 304(未変更)はhttpGetと同様エラーにせずそのまま返す(条件付きGETを行う将来の呼び出し元向け)。
+ */
+export declare function httpGetBinary(url: string, options?: HttpGetBinaryOptions): Promise<HttpGetBinaryResult>;
+export type HttpGetRoutedResult = {
+    kind: "notModified";
+    status: 304;
+    finalUrl: string;
+    headers: Headers;
+} | {
+    kind: "html";
+    status: number;
+    finalUrl: string;
+    headers: Headers;
+    html: string;
+    encoding: string;
+} | {
+    kind: "handoff";
+    status: number;
+    finalUrl: string;
+    headers: Headers;
+    contentType: string | null;
+    bytes: Uint8Array;
+    /** Content-Lengthヘッダ由来の宣言サイズ(無ければnull)。 */
+    declaredSize: number | null;
+    /** プレビュー上限で本文を打ち切った場合true(ファイル全体は取得していない)。 */
+    truncated: boolean;
+};
+/**
+ * 機能B: content-typeを見て、HTML本文の全体読み取り(既存のhttpGetと同じ挙動)か、
+ * 非HTMLハンドオフ用のプレビュー読み取り(既定256KBで打ち切り)かを1回のfetchで振り分ける。
+ * リダイレクト先を含め毎ホップでcontent-typeが確定するのは最終応答のみなので、
+ * guardedFetchで得たヘッダを見てから初めてボディの読み方を決める。
+ */
+export declare function httpGetRouted(url: string, options?: HttpGetOptions): Promise<HttpGetRoutedResult>;