amenbo 0.1.0

package/dist/extract/preview.d.ts

@@ -0,0 +1,19 @@
+/** プレビュー可能なテキスト系content-typeかどうか(バイナリ系はfalse)。 */
+export declare function isTextLikeContentType(contentType: string | null): boolean;
+export interface HandoffPreviewResult {
+    /** プレビュー本文。 */
+    body: string;
+    /** 補足情報(CSV/TSVの行数注記や、max_tokens予算による打ち切りの注記)。無ければnull。 */
+    note: string | null;
+}
+/**
+ * 非HTMLコンテンツのプレビューを整形する。バイナリ系content-typeの場合はnull
+ * (呼び出し側はメタデータのみの応答にする)。
+ *
+ * @param sourceTruncated ネットワーク層のプレビュー上限(既定256KB)で本文取得自体を
+ *   打ち切っていた場合true。表形式(CSV/TSV)は元々「先頭5行」しか見せない前提のため
+ *   既存の注記で十分だが、非表形式(text/plain・JSON等)はmax_tokens予算に達していなくても
+ *   「取得できたのはファイルの先頭部分のみ」という事実が伝わらないケースがあったため、
+ *   その場合のみ専用の注記を追加する。
+ */
+export declare function buildHandoffPreview(bytes: Uint8Array, contentType: string | null, maxTokens: number, sourceTruncated: boolean): HandoffPreviewResult | null;

package/dist/extract/preview.js

@@ -0,0 +1,94 @@
+/**
+ * extract/preview.ts — 機能B: 非HTMLコンテンツのハンドオフ応答用プレビュー整形。
+ *
+ * text/plain・CSV/TSV・JSON・XML等のテキスト系コンテンツはプレビュー本文を、
+ * それ以外(zip/xlsx等のバイナリ系)はメタデータのみを返す方針(server.tsの
+ * formatHandoffResponseから利用される)。
+ */
+import { decodeHtmlBytes } from "../fetcher/http.js";
+import { estimateTokens } from "../tokens.js";
+/** プレビュー対象とみなすテキスト系content-type(charset等のパラメータは除いて判定)。 */
+const TEXT_CONTENT_TYPE_RE = /^(text\/(plain|csv|tab-separated-values|xml)|application\/(json|xml))$/i;
+const JSON_OR_XML_SUFFIX_RE = /\+(json|xml)$/i;
+function mimeOnly(contentType) {
+    return contentType?.split(";")[0]?.trim().toLowerCase() ?? "";
+}
+/** プレビュー可能なテキスト系content-typeかどうか(バイナリ系はfalse)。 */
+export function isTextLikeContentType(contentType) {
+    const mime = mimeOnly(contentType);
+    if (!mime)
+        return false;
+    return TEXT_CONTENT_TYPE_RE.test(mime) || JSON_OR_XML_SUFFIX_RE.test(mime);
+}
+function isDelimited(contentType) {
+    const mime = mimeOnly(contentType);
+    if (mime === "text/csv")
+        return "csv";
+    if (mime === "text/tab-separated-values")
+        return "tsv";
+    return null;
+}
+const CSV_TSV_PREVIEW_ROWS = 5;
+/** テキストを先頭行=ヘッダ、続く最大5行=データ行としてプレビュー整形する(CSV/TSV共通)。 */
+function buildTabularPreview(text) {
+    const lines = text.split(/\r\n|\r|\n/);
+    // 末尾の空行(ファイル末尾の改行由来)は行として数えない
+    if (lines.length > 0 && lines[lines.length - 1] === "") {
+        lines.pop();
+    }
+    const header = lines[0] ?? "";
+    const dataLines = lines.slice(1, 1 + CSV_TSV_PREVIEW_ROWS);
+    const body = [header, ...dataLines].join("\n");
+    const visibleDataRows = Math.max(lines.length - 1, 0);
+    const note = `プレビュー範囲内で確認できたデータ行数: ${visibleDataRows}行中先頭${dataLines.length}行を表示(ファイル全体の行数ではありません。取得範囲の制約による部分プレビューです)`;
+    return { body, note };
+}
+/** max_tokens予算に収まる最大長までテキストを切り詰める(J5 CJK対応トークン見積りを流用)。 */
+function capTextByTokenBudget(text, maxTokens) {
+    if (estimateTokens(text) <= maxTokens) {
+        return { text, truncated: false };
+    }
+    let lo = 0;
+    let hi = text.length;
+    while (lo < hi) {
+        const mid = Math.ceil((lo + hi) / 2);
+        if (estimateTokens(text.slice(0, mid)) <= maxTokens) {
+            lo = mid;
+        }
+        else {
+            hi = mid - 1;
+        }
+    }
+    return { text: text.slice(0, lo), truncated: true };
+}
+/**
+ * 非HTMLコンテンツのプレビューを整形する。バイナリ系content-typeの場合はnull
+ * (呼び出し側はメタデータのみの応答にする)。
+ *
+ * @param sourceTruncated ネットワーク層のプレビュー上限(既定256KB)で本文取得自体を
+ *   打ち切っていた場合true。表形式(CSV/TSV)は元々「先頭5行」しか見せない前提のため
+ *   既存の注記で十分だが、非表形式(text/plain・JSON等)はmax_tokens予算に達していなくても
+ *   「取得できたのはファイルの先頭部分のみ」という事実が伝わらないケースがあったため、
+ *   その場合のみ専用の注記を追加する。
+ */
+export function buildHandoffPreview(bytes, contentType, maxTokens, sourceTruncated) {
+    if (!isTextLikeContentType(contentType))
+        return null;
+    const decoded = decodeHtmlBytes(bytes, contentType);
+    const delimited = isDelimited(contentType);
+    if (delimited) {
+        return buildTabularPreview(decoded.text);
+    }
+    const capped = capTextByTokenBudget(decoded.text, maxTokens);
+    if (capped.truncated) {
+        return { body: capped.text, note: "プレビューはmax_tokens予算に達したため打ち切りました(取得範囲内でのさらなる切り詰めです)" };
+    }
+    if (sourceTruncated) {
+        return {
+            body: capped.text,
+            note: "取得範囲の上限に達したため、ファイル先頭部分のみのプレビューです(ファイル全体はさらに続きがあります)",
+        };
+    }
+    return { body: capped.text, note: null };
+}
+//# sourceMappingURL=preview.js.map

package/dist/extract/preview.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"preview.js","sourceRoot":"","sources":["../../src/extract/preview.ts"],"names":[],"mappings":"AAAA;;;;;;GAMG;AACH,OAAO,EAAE,eAAe,EAAE,MAAM,oBAAoB,CAAC;AACrD,OAAO,EAAE,cAAc,EAAE,MAAM,cAAc,CAAC;AAE9C,0DAA0D;AAC1D,MAAM,oBAAoB,GAAG,yEAAyE,CAAC;AACvG,MAAM,qBAAqB,GAAG,gBAAgB,CAAC;AAE/C,SAAS,QAAQ,CAAC,WAA0B;IAC1C,OAAO,WAAW,EAAE,KAAK,CAAC,GAAG,CAAC,CAAC,CAAC,CAAC,EAAE,IAAI,EAAE,CAAC,WAAW,EAAE,IAAI,EAAE,CAAC;AAChE,CAAC;AAED,kDAAkD;AAClD,MAAM,UAAU,qBAAqB,CAAC,WAA0B;IAC9D,MAAM,IAAI,GAAG,QAAQ,CAAC,WAAW,CAAC,CAAC;IACnC,IAAI,CAAC,IAAI;QAAE,OAAO,KAAK,CAAC;IACxB,OAAO,oBAAoB,CAAC,IAAI,CAAC,IAAI,CAAC,IAAI,qBAAqB,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC;AAC7E,CAAC;AAED,SAAS,WAAW,CAAC,WAA0B;IAC7C,MAAM,IAAI,GAAG,QAAQ,CAAC,WAAW,CAAC,CAAC;IACnC,IAAI,IAAI,KAAK,UAAU;QAAE,OAAO,KAAK,CAAC;IACtC,IAAI,IAAI,KAAK,2BAA2B;QAAE,OAAO,KAAK,CAAC;IACvD,OAAO,IAAI,CAAC;AACd,CAAC;AAED,MAAM,oBAAoB,GAAG,CAAC,CAAC;AAS/B,uDAAuD;AACvD,SAAS,mBAAmB,CAAC,IAAY;IACvC,MAAM,KAAK,GAAG,IAAI,CAAC,KAAK,CAAC,YAAY,CAAC,CAAC;IACvC,8BAA8B;IAC9B,IAAI,KAAK,CAAC,MAAM,GAAG,CAAC,IAAI,KAAK,CAAC,KAAK,CAAC,MAAM,GAAG,CAAC,CAAC,KAAK,EAAE,EAAE,CAAC;QACvD,KAAK,CAAC,GAAG,EAAE,CAAC;IACd,CAAC;IAED,MAAM,MAAM,GAAG,KAAK,CAAC,CAAC,CAAC,IAAI,EAAE,CAAC;IAC9B,MAAM,SAAS,GAAG,KAAK,CAAC,KAAK,CAAC,CAAC,EAAE,CAAC,GAAG,oBAAoB,CAAC,CAAC;IAC3D,MAAM,IAAI,GAAG,CAAC,MAAM,EAAE,GAAG,SAAS,CAAC,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC;IAC/C,MAAM,eAAe,GAAG,IAAI,CAAC,GAAG,CAAC,KAAK,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC,CAAC,CAAC;IAEtD,MAAM,IAAI,GAAG,wBAAwB,eAAe,OAAO,SAAS,CAAC,MAAM,4CAA4C,CAAC;IACxH,OAAO,EAAE,IAAI,EAAE,IAAI,EAAE,CAAC;AACxB,CAAC;AAED,2DAA2D;AAC3D,SAAS,oBAAoB,CAAC,IAAY,EAAE,SAAiB;IAC3D,IAAI,cAAc,CAAC,IAAI,CAAC,IAAI,SAAS,EAAE,CAAC;QACtC,OAAO,EAAE,IAAI,EAAE,SAAS,EAAE,KAAK,EAAE,CAAC;IACpC,CAAC;IAED,IAAI,EAAE,GAAG,CAAC,CAAC;IACX,IAAI,EAAE,GAAG,IAAI,CAAC,MAAM,CAAC;IACrB,OAAO,EAAE,GAAG,EAAE,EAAE,CAAC;QACf,MAAM,GAAG,GAAG,IAAI,CAAC,IAAI,CAAC,CAAC,EAAE,GAAG,EAAE,CAAC,GAAG,CAAC,CAAC,CAAC;QACrC,IAAI,cAAc,CAAC,IAAI,CAAC,KAAK,CAAC,CAAC,EAAE,GAAG,CAAC,CAAC,IAAI,SAAS,EAAE,CAAC;YACpD,EAAE,GAAG,GAAG,CAAC;QACX,CAAC;aAAM,CAAC;YACN,EAAE,GAAG,GAAG,GAAG,CAAC,CAAC;QACf,CAAC;IACH,CAAC;IACD,OAAO,EAAE,IAAI,EAAE,IAAI,CAAC,KAAK,CAAC,CAAC,EAAE,EAAE,CAAC,EAAE,SAAS,EAAE,IAAI,EAAE,CAAC;AACtD,CAAC;AAED;;;;;;;;;GASG;AACH,MAAM,UAAU,mBAAmB,CACjC,KAAiB,EACjB,WAA0B,EAC1B,SAAiB,EACjB,eAAwB;IAExB,IAAI,CAAC,qBAAqB,CAAC,WAAW,CAAC;QAAE,OAAO,IAAI,CAAC;IAErD,MAAM,OAAO,GAAG,eAAe,CAAC,KAAK,EAAE,WAAW,CAAC,CAAC;IAEpD,MAAM,SAAS,GAAG,WAAW,CAAC,WAAW,CAAC,CAAC;IAC3C,IAAI,SAAS,EAAE,CAAC;QACd,OAAO,mBAAmB,CAAC,OAAO,CAAC,IAAI,CAAC,CAAC;IAC3C,CAAC;IAED,MAAM,MAAM,GAAG,oBAAoB,CAAC,OAAO,CAAC,IAAI,EAAE,SAAS,CAAC,CAAC;IAC7D,IAAI,MAAM,CAAC,SAAS,EAAE,CAAC;QACrB,OAAO,EAAE,IAAI,EAAE,MAAM,CAAC,IAAI,EAAE,IAAI,EAAE,oDAAoD,EAAE,CAAC;IAC3F,CAAC;IACD,IAAI,eAAe,EAAE,CAAC;QACpB,OAAO;YACL,IAAI,EAAE,MAAM,CAAC,IAAI;YACjB,IAAI,EAAE,qDAAqD;SAC5D,CAAC;IACJ,CAAC;IACD,OAAO,EAAE,IAAI,EAAE,MAAM,CAAC,IAAI,EAAE,IAAI,EAAE,IAAI,EAAE,CAAC;AAC3C,CAAC"}

package/dist/extract/pruning.d.ts

@@ -0,0 +1,61 @@
+/**
+ * extract/pruning.ts — J4 本文スコアラー + fit-pruning。
+ *
+ * Readabilityの本文判定ヒューリスティック(英語の単語数/カンマ数前提)は、
+ * スペース区切りの無い日本語では機能しにくい。代わりに
+ *   - 句読点密度(、。等。日本語文の「文らしさ」の代替指標)
+ *   - Unicode文字比率(\p{L}。英字・CJK等を問わない)
+ *   - リンク密度(ナビ/ランキング/広告枠ほど高くなる)
+ * でブロックをスコアリングし、低価値ブロック(ナビ/ランキング/広告枠/フッター相当:
+ * リンク密度高・句読点密度低)をMarkdown化前にDOMから除去する。
+ */
+interface BlockTextStats {
+    /** ブロック内の全テキスト。 */
+    text: string;
+    /** ブロック内のリンク(<a>)テキストのみ。 */
+    linkText: string;
+}
+export interface BlockScore {
+    /** 句読点(、。!?等)がテキストに占める割合(0-1)。 */
+    punctuationDensity: number;
+    /** Unicode文字(英字・CJK等、\p{L}に一致する文字)がテキストに占める割合(0-1)。 */
+    letterRatio: number;
+    /** リンクテキストが全体テキストに占める割合(0-1)。 */
+    linkDensity: number;
+    /** 総合スコア。0以上を本文らしいブロックとみなす。 */
+    score: number;
+}
+/** J4: ブロックのテキスト統計からスコアを算出する(純関数)。 */
+export declare function scoreBlock(stats: BlockTextStats): BlockScore;
+export interface PruneOptions {
+    /** これ未満の文字数のブロックはスコアリング対象外(除去しない)。既定20文字。 */
+    minTextLength?: number;
+    /** このスコア未満のブロックを低価値と判定する。既定0。 */
+    scoreThreshold?: number;
+}
+/** pruneLowValueBlocksが要求するDOM要素の最小インターフェース(linkedom/ブラウザDOM双方と構造的に互換)。 */
+export interface PruneHostElement {
+    tagName: string;
+    children: ArrayLike<PruneHostElement>;
+    textContent: string;
+    remove(): void;
+    querySelectorAll(selector: string): ArrayLike<{
+        textContent: string;
+    }>;
+}
+/**
+ * DOM上の低価値ブロックを除去する(document.body等をrootに渡す想定)。
+ * 常に除去するタグ(nav/aside/footer/header/form)はその場で除去し子孫を再帰評価しない。
+ * それ以外は先に子孫を再帰評価してから自身をスコアリングするボトムアップ走査にする
+ * (ページ全体が単一のラッパーdivに包まれている実サイト構成では、内部のnav/footer等を
+ * 先に除去してからでないとラッパー全体が「リンク密度の高い1ブロック」として誤って
+ * 丸ごと刈られてしまうため。トップダウンのままだと本文まで巻き添えで消える回帰があった)。
+ *
+ * 戻り値は「独立して刈られた部分木の数」。ある要素が最終的に丸ごと除去される場合、
+ * その内部で先に個別除去された子孫(nav/footer等)は既に除去済みの部分木に含まれて
+ * しまっており、外側の除去と二重にカウントすべきではない。そのため子の内部除去数
+ * (descendantPrunedCount)は、その子自身が生き残った場合にのみ合算し、子自身が
+ * 除去された場合は破棄して「1(その子1個の除去)」として数える。
+ */
+export declare function pruneLowValueBlocks(root: PruneHostElement, options?: PruneOptions): number;
+export {};

package/dist/extract/pruning.js

@@ -0,0 +1,101 @@
+/**
+ * extract/pruning.ts — J4 本文スコアラー + fit-pruning。
+ *
+ * Readabilityの本文判定ヒューリスティック(英語の単語数/カンマ数前提)は、
+ * スペース区切りの無い日本語では機能しにくい。代わりに
+ *   - 句読点密度(、。等。日本語文の「文らしさ」の代替指標)
+ *   - Unicode文字比率(\p{L}。英字・CJK等を問わない)
+ *   - リンク密度(ナビ/ランキング/広告枠ほど高くなる)
+ * でブロックをスコアリングし、低価値ブロック(ナビ/ランキング/広告枠/フッター相当:
+ * リンク密度高・句読点密度低)をMarkdown化前にDOMから除去する。
+ */
+const PUNCTUATION_PATTERN = /[、。!?！?.,]/gu;
+// 結合文字(\p{M})も文字として数える(NFD分解形のアクセント記号等で比率が不当に下がらないように)。
+const LETTER_PATTERN = /[\p{L}\p{M}]/gu;
+// スコア係数(設計判断): 句読点密度を最重視(日本語では「文」の存在そのものが本文らしさの
+// 最も強いシグナル)、リンク密度は本文らしさを大きく減点する要因、文字比率は補助的な弱い
+// シグナル(日本語のナビ/フッターも漢字を含み、英語のナビ/フッターも英字を含むため単独では
+// 本文/非本文を判別できない)。従来はCJK文字のみをカウントしていたため、非CJKページの本文が
+// このボーナスを一切得られず、リンクを多く含む英文の本文ブロックが誤って除去されやすかった。
+// \p{L}(Unicode Letter全般)に対象を広げ、言語に依存しない指標にしている。
+const PUNCTUATION_WEIGHT = 40;
+const LETTER_WEIGHT = 1;
+const LINK_WEIGHT = 5;
+/** J4: ブロックのテキスト統計からスコアを算出する(純関数)。 */
+export function scoreBlock(stats) {
+    const text = stats.text.trim();
+    // 分母はコードポイント数で数える。正規表現matchの分子(コードポイント単位)と単位を揃えないと、
+    // 補助面の文字(CJK拡張B等のサロゲートペア)を含むテキストで比率が過小評価される。
+    const length = [...text].length;
+    if (length === 0) {
+        return { punctuationDensity: 0, letterRatio: 0, linkDensity: 0, score: 0 };
+    }
+    const punctuationCount = (text.match(PUNCTUATION_PATTERN) ?? []).length;
+    const punctuationDensity = punctuationCount / length;
+    const letterCount = (text.match(LETTER_PATTERN) ?? []).length;
+    const letterRatio = letterCount / length;
+    const linkTextLength = [...stats.linkText.trim()].length;
+    const linkDensity = Math.min(linkTextLength / length, 1);
+    const score = punctuationDensity * PUNCTUATION_WEIGHT + letterRatio * LETTER_WEIGHT - linkDensity * LINK_WEIGHT;
+    return { punctuationDensity, letterRatio, linkDensity, score };
+}
+const DEFAULT_MIN_TEXT_LENGTH = 20;
+const DEFAULT_SCORE_THRESHOLD = 0;
+/** 常に除去対象とする非本文タグ(セマンティックに明確なナビ/フッター等)。 */
+const ALWAYS_PRUNE_TAGS = new Set(["NAV", "ASIDE", "FOOTER", "HEADER", "FORM"]);
+/** J4スコアで評価する候補タグ(div soup対応: セマンティックタグを持たない場合)。 */
+const SCORE_CANDIDATE_TAGS = new Set(["DIV", "SECTION", "UL", "OL"]);
+function collectLinkText(element) {
+    return Array.from(element.querySelectorAll("a"))
+        .map((a) => a.textContent)
+        .join("");
+}
+/**
+ * DOM上の低価値ブロックを除去する(document.body等をrootに渡す想定)。
+ * 常に除去するタグ(nav/aside/footer/header/form)はその場で除去し子孫を再帰評価しない。
+ * それ以外は先に子孫を再帰評価してから自身をスコアリングするボトムアップ走査にする
+ * (ページ全体が単一のラッパーdivに包まれている実サイト構成では、内部のnav/footer等を
+ * 先に除去してからでないとラッパー全体が「リンク密度の高い1ブロック」として誤って
+ * 丸ごと刈られてしまうため。トップダウンのままだと本文まで巻き添えで消える回帰があった)。
+ *
+ * 戻り値は「独立して刈られた部分木の数」。ある要素が最終的に丸ごと除去される場合、
+ * その内部で先に個別除去された子孫(nav/footer等)は既に除去済みの部分木に含まれて
+ * しまっており、外側の除去と二重にカウントすべきではない。そのため子の内部除去数
+ * (descendantPrunedCount)は、その子自身が生き残った場合にのみ合算し、子自身が
+ * 除去された場合は破棄して「1(その子1個の除去)」として数える。
+ */
+export function pruneLowValueBlocks(root, options = {}) {
+    const minTextLength = options.minTextLength ?? DEFAULT_MIN_TEXT_LENGTH;
+    const scoreThreshold = options.scoreThreshold ?? DEFAULT_SCORE_THRESHOLD;
+    const walk = (element) => {
+        let prunedCount = 0;
+        for (const child of Array.from(element.children)) {
+            const tag = child.tagName;
+            if (ALWAYS_PRUNE_TAGS.has(tag)) {
+                child.remove();
+                prunedCount++;
+                continue;
+            }
+            // 先に子孫を刈ってから自身を評価する(ボトムアップ)。子孫のnav/footer等が
+            // 除去された後の「クリーンな」テキスト/リンク密度で自身のスコアを判定するため。
+            const descendantPrunedCount = walk(child);
+            if (SCORE_CANDIDATE_TAGS.has(tag)) {
+                const text = child.textContent ?? "";
+                if (text.trim().length >= minTextLength) {
+                    const stats = { text, linkText: collectLinkText(child) };
+                    if (scoreBlock(stats).score < scoreThreshold) {
+                        child.remove();
+                        // 子自身が丸ごと除去されるため、内部の個別除去数は合算しない(二重カウント回避)。
+                        prunedCount++;
+                        continue;
+                    }
+                }
+            }
+            // 子は生き残ったので、その内部で独立して除去されたぶんはそのまま加算する。
+            prunedCount += descendantPrunedCount;
+        }
+        return prunedCount;
+    };
+    return walk(root);
+}
+//# sourceMappingURL=pruning.js.map

package/dist/extract/pruning.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"pruning.js","sourceRoot":"","sources":["../../src/extract/pruning.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;GAUG;AAoBH,MAAM,mBAAmB,GAAG,cAAc,CAAC;AAC3C,wDAAwD;AACxD,MAAM,cAAc,GAAG,gBAAgB,CAAC;AAExC,gDAAgD;AAChD,8CAA8C;AAC9C,gDAAgD;AAChD,mDAAmD;AACnD,gDAAgD;AAChD,iDAAiD;AACjD,MAAM,kBAAkB,GAAG,EAAE,CAAC;AAC9B,MAAM,aAAa,GAAG,CAAC,CAAC;AACxB,MAAM,WAAW,GAAG,CAAC,CAAC;AAEtB,sCAAsC;AACtC,MAAM,UAAU,UAAU,CAAC,KAAqB;IAC9C,MAAM,IAAI,GAAG,KAAK,CAAC,IAAI,CAAC,IAAI,EAAE,CAAC;IAC/B,oDAAoD;IACpD,6CAA6C;IAC7C,MAAM,MAAM,GAAG,CAAC,GAAG,IAAI,CAAC,CAAC,MAAM,CAAC;IAChC,IAAI,MAAM,KAAK,CAAC,EAAE,CAAC;QACjB,OAAO,EAAE,kBAAkB,EAAE,CAAC,EAAE,WAAW,EAAE,CAAC,EAAE,WAAW,EAAE,CAAC,EAAE,KAAK,EAAE,CAAC,EAAE,CAAC;IAC7E,CAAC;IAED,MAAM,gBAAgB,GAAG,CAAC,IAAI,CAAC,KAAK,CAAC,mBAAmB,CAAC,IAAI,EAAE,CAAC,CAAC,MAAM,CAAC;IACxE,MAAM,kBAAkB,GAAG,gBAAgB,GAAG,MAAM,CAAC;IAErD,MAAM,WAAW,GAAG,CAAC,IAAI,CAAC,KAAK,CAAC,cAAc,CAAC,IAAI,EAAE,CAAC,CAAC,MAAM,CAAC;IAC9D,MAAM,WAAW,GAAG,WAAW,GAAG,MAAM,CAAC;IAEzC,MAAM,cAAc,GAAG,CAAC,GAAG,KAAK,CAAC,QAAQ,CAAC,IAAI,EAAE,CAAC,CAAC,MAAM,CAAC;IACzD,MAAM,WAAW,GAAG,IAAI,CAAC,GAAG,CAAC,cAAc,GAAG,MAAM,EAAE,CAAC,CAAC,CAAC;IAEzD,MAAM,KAAK,GAAG,kBAAkB,GAAG,kBAAkB,GAAG,WAAW,GAAG,aAAa,GAAG,WAAW,GAAG,WAAW,CAAC;IAEhH,OAAO,EAAE,kBAAkB,EAAE,WAAW,EAAE,WAAW,EAAE,KAAK,EAAE,CAAC;AACjE,CAAC;AASD,MAAM,uBAAuB,GAAG,EAAE,CAAC;AACnC,MAAM,uBAAuB,GAAG,CAAC,CAAC;AAElC,2CAA2C;AAC3C,MAAM,iBAAiB,GAAG,IAAI,GAAG,CAAC,CAAC,KAAK,EAAE,OAAO,EAAE,QAAQ,EAAE,QAAQ,EAAE,MAAM,CAAC,CAAC,CAAC;AAChF,oDAAoD;AACpD,MAAM,oBAAoB,GAAG,IAAI,GAAG,CAAC,CAAC,KAAK,EAAE,SAAS,EAAE,IAAI,EAAE,IAAI,CAAC,CAAC,CAAC;AAWrE,SAAS,eAAe,CAAC,OAAyB;IAChD,OAAO,KAAK,CAAC,IAAI,CAAC,OAAO,CAAC,gBAAgB,CAAC,GAAG,CAAC,CAAC;SAC7C,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,WAAW,CAAC;SACzB,IAAI,CAAC,EAAE,CAAC,CAAC;AACd,CAAC;AAED;;;;;;;;;;;;;GAaG;AACH,MAAM,UAAU,mBAAmB,CAAC,IAAsB,EAAE,OAAO,GAAiB,EAAE;IACpF,MAAM,aAAa,GAAG,OAAO,CAAC,aAAa,IAAI,uBAAuB,CAAC;IACvE,MAAM,cAAc,GAAG,OAAO,CAAC,cAAc,IAAI,uBAAuB,CAAC;IAEzE,MAAM,IAAI,GAAG,CAAC,OAAyB,EAAU,EAAE;QACjD,IAAI,WAAW,GAAG,CAAC,CAAC;QAEpB,KAAK,MAAM,KAAK,IAAI,KAAK,CAAC,IAAI,CAAC,OAAO,CAAC,QAAQ,CAAC,EAAE,CAAC;YACjD,MAAM,GAAG,GAAG,KAAK,CAAC,OAAO,CAAC;YAE1B,IAAI,iBAAiB,CAAC,GAAG,CAAC,GAAG,CAAC,EAAE,CAAC;gBAC/B,KAAK,CAAC,MAAM,EAAE,CAAC;gBACf,WAAW,EAAE,CAAC;gBACd,SAAS;YACX,CAAC;YAED,4CAA4C;YAC5C,0CAA0C;YAC1C,MAAM,qBAAqB,GAAG,IAAI,CAAC,KAAK,CAAC,CAAC;YAE1C,IAAI,oBAAoB,CAAC,GAAG,CAAC,GAAG,CAAC,EAAE,CAAC;gBAClC,MAAM,IAAI,GAAG,KAAK,CAAC,WAAW,IAAI,EAAE,CAAC;gBACrC,IAAI,IAAI,CAAC,IAAI,EAAE,CAAC,MAAM,IAAI,aAAa,EAAE,CAAC;oBACxC,MAAM,KAAK,GAAmB,EAAE,IAAI,EAAE,QAAQ,EAAE,eAAe,CAAC,KAAK,CAAC,EAAE,CAAC;oBACzE,IAAI,UAAU,CAAC,KAAK,CAAC,CAAC,KAAK,GAAG,cAAc,EAAE,CAAC;wBAC7C,KAAK,CAAC,MAAM,EAAE,CAAC;wBACf,2CAA2C;wBAC3C,WAAW,EAAE,CAAC;wBACd,SAAS;oBACX,CAAC;gBACH,CAAC;YACH,CAAC;YAED,uCAAuC;YACvC,WAAW,IAAI,qBAAqB,CAAC;QACvC,CAAC;QAED,OAAO,WAAW,CAAC;IACrB,CAAC,CAAC;IAEF,OAAO,IAAI,CAAC,IAAI,CAAC,CAAC;AACpB,CAAC"}

package/dist/extract/qualityScore.d.ts

@@ -0,0 +1,67 @@
+/**
+ * extract/qualityScore.ts — 品質スコアによるMarkdown/ピクセル自動切替の判定。
+ *
+ * plan.md §3-4「ハイブリッド自動切替」(Phase 2)+ J6画像文字検知(Phase 3)+
+ * Phase 4: ブラウザ昇格時は実ジオメトリ(bounding box)から視覚要素占有率を計算する。
+ * HTTP tier(静的HTML)は引き続きDOM構造から得られる安価な近似指標を用いる:
+ *   - 抽出テキスト密度 = 抽出Markdown文字数 / レンダリング可視テキスト文字数
+ *   - 視覚要素占有率 = (表セル+canvas+svg要素数) / 全「内容を持ちうる」要素数(近似)
+ *     ブラウザ昇格時は実bounding boxの面積比(realVisualAreaRatio)で置き換える(Phase 4)
+ *     いずれも表(td/th)由来分とcanvas/svg由来分を分離して評価する。表は抽出品質が
+ *     十分ならスクショ切替の理由にしない(=誤判定対策)が、canvas/svgはテキスト代替が
+ *     原理的に存在しないため常に評価する。
+ *   - 抽出テキストの絶対量(extractedTokenEstimate)が十分あれば、密度低下・表由来の
+ *     占有率超過のみを理由にしたscreenshot切替は行わない(J6・canvas/svgは対象外)。
+ *   - J6 画像文字検知 = img面積占有率(width/height属性からの近似) と alt欠落率
+ *     (「バナー/画像化料金表」等、画像で情報を出しているページの検知)
+ * いずれかが閾値を割れば/超えればMarkdown抽出で情報が失われていると判断し、
+ * スクリーンショットへの切替を提案する。
+ */
+export interface QualityScoreInput {
+    /** extractMarkdown後のMarkdown本文の文字数。 */
+    extractedTextLength: number;
+    /** レンダリング結果(script/style除く)の可視テキスト文字数。 */
+    visibleTextLength: number;
+    /** 表セル(td/th)要素数。 */
+    tableCellCount: number;
+    /** canvas要素数。 */
+    canvasCount: number;
+    /** svg要素数。 */
+    svgCount: number;
+    /** 内容を持ちうる要素の総数(視覚要素占有率の分母)。 */
+    totalLeafElementCount: number;
+    /** img要素数(J6)。 */
+    imgCount: number;
+    /** alt属性が全く無いimg要素数(J6。alt=""の意図的な装飾指定は除く)。 */
+    imgMissingAltCount: number;
+    /** img要素のwidth/height属性から見積もった合計面積 / 基準ページ面積(0-1、J6)。 */
+    imgAreaRatio: number;
+    /**
+     * Phase 4: ブラウザ昇格時のみ、実ジオメトリ(bounding box)から計算した
+     * 表/canvas/svgの面積占有率(0-1)。指定時はDOM要素数ベースの近似より優先する。
+     */
+    realVisualAreaRatio?: number;
+    /**
+     * Phase 4: realVisualAreaRatioのうちtable要素のみが占める面積比(0-1)。
+     * 指定時はrealVisualAreaRatioから表由来分とcanvas/svg由来分を分離し、表由来分にのみ
+     * 抽出品質による免除(下記tableExtractedWell相当)を適用できるようにする。
+     * 未指定時(realVisualAreaRatioのみ指定)は分離不能として従来通り合算値をそのまま扱う。
+     */
+    realTableAreaRatio?: number;
+    /**
+     * 抽出Markdown本文の概算トークン数(estimateTokens)。密度(比率)が低くても、
+     * 抽出テキストの絶対量が既に十分あるページをscreenshotへ誤って切り替えないための判定に使う
+     * (例: 官公庁サイト等、可視テキスト全体に対する抽出割合は低くても、抽出できた本文単体で
+     * 十分読める量があるケース)。
+     */
+    extractedTokenEstimate: number;
+}
+export interface QualityScoreResult {
+    density: number;
+    visualOccupancyRatio: number;
+    imgMissingAltRatio: number;
+    lowQuality: boolean;
+    reason: string | null;
+}
+/** 品質スコアを評価し、Markdown抽出で情報が失われていないかを判定する。 */
+export declare function evaluateQuality(input: QualityScoreInput): QualityScoreResult;

package/dist/extract/qualityScore.js

@@ -0,0 +1,98 @@
+/**
+ * extract/qualityScore.ts — 品質スコアによるMarkdown/ピクセル自動切替の判定。
+ *
+ * plan.md §3-4「ハイブリッド自動切替」(Phase 2)+ J6画像文字検知(Phase 3)+
+ * Phase 4: ブラウザ昇格時は実ジオメトリ(bounding box)から視覚要素占有率を計算する。
+ * HTTP tier(静的HTML)は引き続きDOM構造から得られる安価な近似指標を用いる:
+ *   - 抽出テキスト密度 = 抽出Markdown文字数 / レンダリング可視テキスト文字数
+ *   - 視覚要素占有率 = (表セル+canvas+svg要素数) / 全「内容を持ちうる」要素数(近似)
+ *     ブラウザ昇格時は実bounding boxの面積比(realVisualAreaRatio)で置き換える(Phase 4)
+ *     いずれも表(td/th)由来分とcanvas/svg由来分を分離して評価する。表は抽出品質が
+ *     十分ならスクショ切替の理由にしない(=誤判定対策)が、canvas/svgはテキスト代替が
+ *     原理的に存在しないため常に評価する。
+ *   - 抽出テキストの絶対量(extractedTokenEstimate)が十分あれば、密度低下・表由来の
+ *     占有率超過のみを理由にしたscreenshot切替は行わない(J6・canvas/svgは対象外)。
+ *   - J6 画像文字検知 = img面積占有率(width/height属性からの近似) と alt欠落率
+ *     (「バナー/画像化料金表」等、画像で情報を出しているページの検知)
+ * いずれかが閾値を割れば/超えればMarkdown抽出で情報が失われていると判断し、
+ * スクリーンショットへの切替を提案する。
+ */
+// 設計判断(plan.md §3-4に明記の閾値をそのまま採用)
+const DENSITY_THRESHOLD = 0.6;
+const VISUAL_OCCUPANCY_THRESHOLD = 0.3;
+// 表(td/th)由来の占有率を「抽出品質が悪い」と見なさず不問にするための密度の下限。
+// GFMテーブルはパイプ/区切り行の分だけ文字数が可視テキストより膨らむため、表の内容が
+// 取りこぼし無く抽出できていれば density は概ね1以上になる。1未満は可視テキストの
+// 一部しか抽出できていない(=表が画像/レイアウト崩れ等で読み取れていない)ことを示すため
+// 従来通り占有率超過を低品質理由として扱う。
+const TABLE_DENSITY_OK_THRESHOLD = 1;
+// 密度(比率)だけでは「可視テキストの大半が非本文(ナビ/装飾等)で占められるページ」で
+// 抽出テキストの絶対量が十分でも低密度になり得る。抽出Markdownがこの概算トークン数以上
+// あれば、密度低下のみを理由にしたscreenshot切替は行わない(数百tok目安の最小修正)。
+const MIN_EXTRACTED_TOKENS_FOR_DENSITY_EXEMPTION = 500;
+// J6: 「画像で情報を出しているページ」判定。画像面積が大きい"だけ"では正当な写真記事も
+// 引っかかるため、alt欠落率(アクセシブルなテキスト代替が無い=デコード可能な情報が画像に閉じ込め
+// られている可能性が高い)との組み合わせで判定する。
+const IMG_AREA_RATIO_THRESHOLD = 0.3;
+const IMG_MISSING_ALT_RATIO_THRESHOLD = 0.5;
+/** 品質スコアを評価し、Markdown抽出で情報が失われていないかを判定する。 */
+export function evaluateQuality(input) {
+    const density = input.visibleTextLength > 0 ? input.extractedTextLength / input.visibleTextLength : 1;
+    // Phase 4: ブラウザ昇格時は実ジオメトリの面積比を優先し、無ければDOM要素数ベースの近似を使う
+    const visualOccupancyRatio = input.realVisualAreaRatio ??
+        (input.totalLeafElementCount > 0 ? (input.tableCellCount + input.canvasCount + input.svgCount) / input.totalLeafElementCount : 0);
+    const imgMissingAltRatio = input.imgCount > 0 ? input.imgMissingAltCount / input.imgCount : 0;
+    // 密度が低くても、抽出テキストの絶対量が既に十分(500tok目安)ある場合は密度のみを
+    // 理由にしたscreenshot切替をしない(表/canvas/svg占有率・J6画像検知は密度に関わらず
+    // このあとも評価するため、canvas/svg起因や極端な視覚依存の検出は損なわない)。
+    const hasSubstantialExtractedText = input.extractedTokenEstimate >= MIN_EXTRACTED_TOKENS_FOR_DENSITY_EXEMPTION;
+    if (density < DENSITY_THRESHOLD && !hasSubstantialExtractedText) {
+        return {
+            density,
+            visualOccupancyRatio,
+            imgMissingAltRatio,
+            lowQuality: true,
+            reason: `抽出テキスト密度が低いです(${density.toFixed(2)} < ${DENSITY_THRESHOLD})`,
+        };
+    }
+    // 占有率が閾値超過でも、表(td/th)がGFMテーブルとして取りこぼし無く抽出できている
+    // (density高、または抽出テキストの絶対量が十分)場合はスクショ切替の理由にしない。
+    // 表は本来「画像でしか表現できないページ」の検出が目的であり、正しくMarkdown化
+    // できた表まで巻き込むのは誤判定のため。canvas/svgはテキスト代替が原理的に存在
+    // しないため、この免除の対象外(密度・抽出量に関わらず従来通り評価する)。
+    const tableCellRatio = input.totalLeafElementCount > 0 ? input.tableCellCount / input.totalLeafElementCount : 0;
+    const nonTableVisualRatio = input.totalLeafElementCount > 0 ? (input.canvasCount + input.svgCount) / input.totalLeafElementCount : 0;
+    // 表由来分とcanvas/svg由来分を分離する。Phase4実ジオメトリはrealTableAreaRatioが
+    // 併せて指定されている場合のみ分離可能(未指定時は分離不能として全量を
+    // 「canvas/svg相当」= 免除対象外に倒し、従来通り安全側で評価する)。
+    const tableRatio = input.realVisualAreaRatio !== undefined ? (input.realTableAreaRatio ?? 0) : tableCellRatio;
+    const nonTableRatio = input.realVisualAreaRatio !== undefined
+        ? Math.max(input.realVisualAreaRatio - (input.realTableAreaRatio ?? 0), 0)
+        : nonTableVisualRatio;
+    const tableExtractedWell = density >= TABLE_DENSITY_OK_THRESHOLD || hasSubstantialExtractedText;
+    const occupancyForLowQualityCheck = tableExtractedWell ? nonTableRatio : tableRatio + nonTableRatio;
+    if (occupancyForLowQualityCheck > VISUAL_OCCUPANCY_THRESHOLD) {
+        return {
+            density,
+            visualOccupancyRatio,
+            imgMissingAltRatio,
+            lowQuality: true,
+            // code-reviewer指摘: reasonには判定に実際に使った値(occupancyForLowQualityCheck)を
+            // 表示する。tableExtractedWell=true(表は取りこぼし無く抽出済み)の場合はcanvas/svg
+            // 由来分のみで判定しているため、旧来の合算値visualOccupancyRatioを表示すると
+            // 「表が原因」と誤解させてしまう。
+            reason: `表/canvas/svgの要素占有率が高いです(${occupancyForLowQualityCheck.toFixed(2)} > ${VISUAL_OCCUPANCY_THRESHOLD})`,
+        };
+    }
+    if (input.imgAreaRatio > IMG_AREA_RATIO_THRESHOLD && imgMissingAltRatio > IMG_MISSING_ALT_RATIO_THRESHOLD) {
+        return {
+            density,
+            visualOccupancyRatio,
+            imgMissingAltRatio,
+            lowQuality: true,
+            reason: `J6: 画像で情報を提供しているページの可能性があります(画像面積比${input.imgAreaRatio.toFixed(2)} > ${IMG_AREA_RATIO_THRESHOLD}, alt欠落率${imgMissingAltRatio.toFixed(2)} > ${IMG_MISSING_ALT_RATIO_THRESHOLD})`,
+        };
+    }
+    return { density, visualOccupancyRatio, imgMissingAltRatio, lowQuality: false, reason: null };
+}
+//# sourceMappingURL=qualityScore.js.map

package/dist/extract/qualityScore.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"qualityScore.js","sourceRoot":"","sources":["../../src/extract/qualityScore.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;;;;;;;;GAkBG;AAkDH,kCAAkC;AAClC,MAAM,iBAAiB,GAAG,GAAG,CAAC;AAC9B,MAAM,0BAA0B,GAAG,GAAG,CAAC;AACvC,8CAA8C;AAC9C,8CAA8C;AAC9C,gDAAgD;AAChD,+CAA+C;AAC/C,wBAAwB;AACxB,MAAM,0BAA0B,GAAG,CAAC,CAAC;AACrC,8CAA8C;AAC9C,iDAAiD;AACjD,mDAAmD;AACnD,MAAM,0CAA0C,GAAG,GAAG,CAAC;AACvD,gDAAgD;AAChD,oDAAoD;AACpD,4BAA4B;AAC5B,MAAM,wBAAwB,GAAG,GAAG,CAAC;AACrC,MAAM,+BAA+B,GAAG,GAAG,CAAC;AAE5C,6CAA6C;AAC7C,MAAM,UAAU,eAAe,CAAC,KAAwB;IACtD,MAAM,OAAO,GAAG,KAAK,CAAC,iBAAiB,GAAG,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,mBAAmB,GAAG,KAAK,CAAC,iBAAiB,CAAC,CAAC,CAAC,CAAC,CAAC;IACtG,sDAAsD;IACtD,MAAM,oBAAoB,GACxB,KAAK,CAAC,mBAAmB;QACzB,CAAC,KAAK,CAAC,qBAAqB,GAAG,CAAC,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,cAAc,GAAG,KAAK,CAAC,WAAW,GAAG,KAAK,CAAC,QAAQ,CAAC,GAAG,KAAK,CAAC,qBAAqB,CAAC,CAAC,CAAC,CAAC,CAAC,CAAC;IACpI,MAAM,kBAAkB,GAAG,KAAK,CAAC,QAAQ,GAAG,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,kBAAkB,GAAG,KAAK,CAAC,QAAQ,CAAC,CAAC,CAAC,CAAC,CAAC;IAE9F,8CAA8C;IAC9C,uDAAuD;IACvD,8CAA8C;IAC9C,MAAM,2BAA2B,GAAG,KAAK,CAAC,sBAAsB,IAAI,0CAA0C,CAAC;IAE/G,IAAI,OAAO,GAAG,iBAAiB,IAAI,CAAC,2BAA2B,EAAE,CAAC;QAChE,OAAO;YACL,OAAO;YACP,oBAAoB;YACpB,kBAAkB;YAClB,UAAU,EAAE,IAAI;YAChB,MAAM,EAAE,iBAAiB,OAAO,CAAC,OAAO,CAAC,CAAC,CAAC,MAAM,iBAAiB,GAAG;SACtE,CAAC;IACJ,CAAC;IAED,+CAA+C;IAC/C,+CAA+C;IAC/C,6CAA6C;IAC7C,8CAA8C;IAC9C,uCAAuC;IACvC,MAAM,cAAc,GAAG,KAAK,CAAC,qBAAqB,GAAG,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,cAAc,GAAG,KAAK,CAAC,qBAAqB,CAAC,CAAC,CAAC,CAAC,CAAC;IAChH,MAAM,mBAAmB,GAAG,KAAK,CAAC,qBAAqB,GAAG,CAAC,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,WAAW,GAAG,KAAK,CAAC,QAAQ,CAAC,GAAG,KAAK,CAAC,qBAAqB,CAAC,CAAC,CAAC,CAAC,CAAC;IAErI,2DAA2D;IAC3D,qCAAqC;IACrC,0CAA0C;IAC1C,MAAM,UAAU,GAAG,KAAK,CAAC,mBAAmB,KAAK,SAAS,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,kBAAkB,IAAI,CAAC,CAAC,CAAC,CAAC,CAAC,cAAc,CAAC;IAC9G,MAAM,aAAa,GACjB,KAAK,CAAC,mBAAmB,KAAK,SAAS;QACrC,CAAC,CAAC,IAAI,CAAC,GAAG,CAAC,KAAK,CAAC,mBAAmB,GAAG,CAAC,KAAK,CAAC,kBAAkB,IAAI,CAAC,CAAC,EAAE,CAAC,CAAC;QAC1E,CAAC,CAAC,mBAAmB,CAAC;IAE1B,MAAM,kBAAkB,GAAG,OAAO,IAAI,0BAA0B,IAAI,2BAA2B,CAAC;IAChG,MAAM,2BAA2B,GAAG,kBAAkB,CAAC,CAAC,CAAC,aAAa,CAAC,CAAC,CAAC,UAAU,GAAG,aAAa,CAAC;IAEpG,IAAI,2BAA2B,GAAG,0BAA0B,EAAE,CAAC;QAC7D,OAAO;YACL,OAAO;YACP,oBAAoB;YACpB,kBAAkB;YAClB,UAAU,EAAE,IAAI;YAChB,oEAAoE;YACpE,4DAA4D;YAC5D,kDAAkD;YAClD,mBAAmB;YACnB,MAAM,EAAE,2BAA2B,2BAA2B,CAAC,OAAO,CAAC,CAAC,CAAC,MAAM,0BAA0B,GAAG;SAC7G,CAAC;IACJ,CAAC;IAED,IAAI,KAAK,CAAC,YAAY,GAAG,wBAAwB,IAAI,kBAAkB,GAAG,+BAA+B,EAAE,CAAC;QAC1G,OAAO;YACL,OAAO;YACP,oBAAoB;YACpB,kBAAkB;YAClB,UAAU,EAAE,IAAI;YAChB,MAAM,EAAE,qCAAqC,KAAK,CAAC,YAAY,CAAC,OAAO,CAAC,CAAC,CAAC,MAAM,wBAAwB,WAAW,kBAAkB,CAAC,OAAO,CAAC,CAAC,CAAC,MAAM,+BAA+B,GAAG;SACzL,CAAC;IACJ,CAAC;IAED,OAAO,EAAE,OAAO,EAAE,oBAAoB,EAAE,kBAAkB,EAAE,UAAU,EAAE,KAAK,EAAE,MAAM,EAAE,IAAI,EAAE,CAAC;AAChG,CAAC"}

package/dist/fetcher/browser.d.ts

@@ -0,0 +1,85 @@
+/**
+ * fetcher/browser.ts — Playwright chromium共有インスタンス。
+ *
+ * 二段フェッチ(fetcher/index.ts)でSPAと判定された場合のみ起動する遅延初期化。
+ * プロセス終了シグナルでクリーンアップする。
+ */
+import { type Browser, type BrowserContext, type BrowserContextOptions, type Page, type Response as PlaywrightResponse } from "playwright";
+import type { PageGeometrySnapshot } from "../extract/geometry.js";
+export type { PageGeometrySnapshot } from "../extract/geometry.js";
+/** 共有chromiumインスタンスを取得する(未起動なら遅延起動)。 */
+export declare function getBrowser(): Promise<Browser>;
+/** 共有chromium/システムChromeインスタンスを終了する(プロセス終了時・テストのクリーンアップ用)。 */
+export declare function closeBrowser(): Promise<void>;
+export interface BrowserFetchResult {
+    finalUrl: string;
+    html: string;
+    status: number;
+    geometry: PageGeometrySnapshot;
+}
+/**
+ * Phase 4 ジオメトリ抽出用に、テキストを直接持つリーフ要素の bounding box・フォントサイズ・
+ * 可視性と、表/canvas/svgの bounding box を採取する。
+ *
+ * 対象要素には一時属性 `data-amenbo-gid` を付与する。これは page.content() 呼び出し前に
+ * 実行することで、後段の抽出処理(extract/markdown.ts, linkedomでの再パース)が
+ * 同じ要素をCSSセレクタで再選択できるようにするため(ブラウザとNode間でDOM参照を
+ * 直接受け渡せないので、属性経由で紐付ける)。
+ */
+export declare function collectPageGeometry(page: Page): Promise<PageGeometrySnapshot>;
+/**
+ * J8: 国内同意バナー・アプリ誘導インタースティシャルを実レンダリング結果から隠す。
+ *
+ * jp/consentBanner.tsの静的DOM版と同じ判定パターンだが、page.evaluate内は
+ * ブラウザコンテキストで実行されNode側のクロージャを参照できないため、判定パターンを
+ * self-containedな関数として定義し直している(多少の重複はやむを得ない設計判断)。
+ * 実ブラウザではcomputed styleが取得できるため、position:fixed等の判定も加えている。
+ * DOMから除去するのではなく非表示にする(スクリーンショット/SPA判定への影響を抑えつつ
+ * 視覚的な妨げだけを取り除く)。
+ */
+export declare function hideConsentBanners(page: Page): Promise<number>;
+/**
+ * C1: browser.ts(fetchWithBrowser)・screenshot.ts(captureTiledScreenshot)は
+ * fetcher/http.tsのSSRF/スキーム検証(guardPublicAddress)を経由せずpage.goto()していたため、
+ * `file:///etc/passwd` や `http://169.254.169.254/...` が素通りしていた。
+ *
+ * 対応:
+ *   1. page.goto()の前にguardPublicAddressで初回遷移先を検証する
+ *   2. context.route()で全リクエストを横取りし、メインフレームのナビゲーション
+ *      リクエスト(初回遷移・各リダイレクトホップの両方が該当する)についてのみ
+ *      再度guardPublicAddressを通す。private/予約アドレスやhttp(s)以外のスキームへの
+ *      遷移が検出された場合はそのリクエスト自体をabortし(=実接続前に遮断)、
+ *      型付きエラー(PrivateAddressError/InvalidUrlError)に変換してgoto()の失敗を報告する
+ *
+ * サブリソース(img/xhr等)は対象外(スコープはユーザー指定URLへの「遷移」の安全性)。
+ * 完全なTOCTOU対策(fetcher/http.tsのssrfSafeLookupのような接続時点での検証)は
+ * Playwright側では現実的に組み込めないため、遷移前検証+リダイレクト時の再検証という
+ * 「可能な範囲」の対策にとどめる。
+ */
+export declare function navigateSafely(page: Page, url: string, timeoutMs: number): Promise<PlaywrightResponse | null>;
+/**
+ * page.goto()の失敗が、ERR_HTTP2_PROTOCOL_ERROR系(実機検証: initial.inc等でPlaywright
+ * pinビルドのChromiumのみ発生し、素のcurl --http2やシステムのGoogle Chromeでは成功する
+ * ブラウザビルド固有のHTTP/2非互換)かどうかを判定する。この場合のみシステムChromeへの
+ * フォールバックを試みる(接続拒否/タイムアウト等の一般的なネットワークエラーは対象外。
+ * 常時Chrome起動という追加コストを、明確にビルド固有と分かっているケース以外では払わない)。
+ */
+export declare function isChromiumHttp2NavigationError(error: unknown): boolean;
+export interface BrowserNavigation {
+    context: BrowserContext;
+    page: Page;
+    response: PlaywrightResponse | null;
+}
+/**
+ * 共有chromiumでcontext/pageを作りnavigateSafelyでナビゲーションする。ERR_HTTP2_PROTOCOL_ERROR系
+ * で失敗した場合のみ、システムのGoogle Chromeへ1回だけフォールバックする。
+ *
+ * フォールバックが行われないケース(元のエラーをそのまま投げ、呼び出し元の既存の
+ * エラー分類・メッセージ生成をそのまま活かす):
+ *   - HTTP2以外のエラー(接続拒否/タイムアウト等)
+ *   - システムにChromeが無くgetSystemChromeBrowser自体が失敗した場合
+ * Chromeでの再試行も失敗した場合は、そちらのエラー(Chrome経由での実際の失敗内容)を投げる。
+ */
+export declare function openPageAndNavigate(url: string, timeoutMs: number, contextOptions?: BrowserContextOptions): Promise<BrowserNavigation>;
+/** Playwrightでページをレンダリングし、レンダリング後のHTMLを取得する。 */
+export declare function fetchWithBrowser(url: string, timeoutMs?: number): Promise<BrowserFetchResult>;