amenbo 0.1.0

package/dist/tokens.js

@@ -0,0 +1,141 @@
+/**
+ * J5: CJK対応トークン見積り。
+ *
+ * 文字クラス別係数(plan.md §2 J5):
+ *   - ASCII等(半角英数記号): 1トークン ≒ 3.8文字
+ *   - CJK(かな/カナ/漢字/全角記号等): 1文字 ≒ 0.9トークン
+ *
+ * 設計判断: plan.mdはASCII/CJKの二区分のみを定義しているため、絵文字・キリル文字等の
+ * その他多バイト文字はASCII側の係数で近似する(Phase 1のスコープでは十分な精度と判断)。
+ */
+const ASCII_CHARS_PER_TOKEN = 3.8;
+const CJK_TOKENS_PER_CHAR = 0.9;
+/**
+ * コードポイントがCJK(日本語表記に使われる文字)かどうかを判定する。
+ * ひらがな・カタカナ・漢字(統合漢字+拡張A)・CJK記号(全角スペースを除く)・
+ * 全角英数/記号(半角スペースに相当する全角スペースを除く)・半角カタカナを対象とする。
+ */
+function isCjkCodePoint(cp) {
+    return ((cp >= 0x3040 && cp <= 0x309f) || // ひらがな
+        (cp >= 0x30a0 && cp <= 0x30ff) || // カタカナ
+        (cp >= 0x3400 && cp <= 0x4dbf) || // CJK統合漢字拡張A
+        (cp >= 0x4e00 && cp <= 0x9fff) || // CJK統合漢字
+        (cp >= 0xf900 && cp <= 0xfaff) || // CJK互換漢字
+        (cp >= 0x3001 && cp <= 0x303f) || // CJK記号(0x3000の全角スペースは除く)
+        (cp >= 0xff01 && cp <= 0xffef) // 全角英数/記号・半角カタカナ(0xFF00の全角スペースは除く)
+    );
+}
+/** テキストのCJK文字数と非CJK文字数を数える。 */
+function countByClass(text) {
+    let cjk = 0;
+    let other = 0;
+    for (const ch of text) {
+        const cp = ch.codePointAt(0);
+        if (cp === undefined)
+            continue;
+        if (isCjkCodePoint(cp)) {
+            cjk++;
+        }
+        else if (!/\s/u.test(ch)) {
+            // 空白は係数計算に含めない(トークンをほぼ消費しないため)
+            other++;
+        }
+    }
+    return { cjk, other };
+}
+/** テキストの概算トークン数を返す(CJK文字クラス別係数)。 */
+export function estimateTokens(text) {
+    if (text.length === 0)
+        return 0;
+    const { cjk, other } = countByClass(text);
+    const tokens = cjk * CJK_TOKENS_PER_CHAR + other / ASCII_CHARS_PER_TOKEN;
+    return Math.ceil(tokens);
+}
+/**
+ * Markdownをブロック単位(空行区切り)に分割する。
+ * フェンスコードブロック(```)内の空行はブロック境界として扱わない。
+ * templateLearning.ts(Phase 4定型ブロック除去)からも再利用される共通処理。
+ */
+export function splitIntoBlocks(markdown) {
+    const lines = markdown.split("\n");
+    const blocks = [];
+    let current = [];
+    let inFence = false;
+    const flush = () => {
+        if (current.length === 0)
+            return;
+        const text = current.join("\n").replace(/\n+$/, "");
+        if (text.trim().length > 0) {
+            blocks.push({ text, isHeading: /^#{1,6}\s/.test(current[0] ?? "") });
+        }
+        current = [];
+    };
+    for (const line of lines) {
+        if (/^\s*```/.test(line)) {
+            inFence = !inFence;
+            current.push(line);
+            continue;
+        }
+        if (!inFence && line.trim() === "") {
+            flush();
+            continue;
+        }
+        current.push(line);
+    }
+    flush();
+    return blocks;
+}
+const MIN_TOKENS_PER_PAGE = 1;
+/** 見出し直前で改ページを優先する閾値(予算に対する充填率)。 */
+const HEADING_BREAK_FILL_RATIO = 0.6;
+/**
+ * J5: max_tokens予算で見出し/段落境界を優先してページ分割する。
+ *
+ * アルゴリズム:
+ *   1. 空行(フェンスコード内を除く)でMarkdownをブロックに分割
+ *   2. ブロックを先頭から貪欲に詰め、予算超過前に新しいページへ切り替える
+ *   3. 見出しブロックの手前では、既に予算の60%以上を使っていれば先に改ページする
+ *      (見出しがページ末尾に孤立するのを避けるため)
+ *   4. 単一ブロックが予算を超える場合(巨大な表/コード等)は、表・コードを
+ *      壊さないためブロックを割らずそのページ単独で返す
+ */
+export function paginateMarkdown(markdown, maxTokens, page) {
+    const budget = Math.max(MIN_TOKENS_PER_PAGE, maxTokens);
+    const blocks = splitIntoBlocks(markdown);
+    if (blocks.length === 0) {
+        return { content: "", page: 1, totalPages: 1, tokens: 0, exceededBudget: false };
+    }
+    const pages = [];
+    let currentBlocks = [];
+    let currentTokens = 0;
+    for (const block of blocks) {
+        const blockTokens = estimateTokens(block.text);
+        const wouldExceed = currentTokens + blockTokens > budget;
+        const shouldBreakBeforeHeading = block.isHeading && currentBlocks.length > 0 && currentTokens >= budget * HEADING_BREAK_FILL_RATIO;
+        if (currentBlocks.length > 0 && (wouldExceed || shouldBreakBeforeHeading)) {
+            pages.push(currentBlocks);
+            currentBlocks = [];
+            currentTokens = 0;
+        }
+        currentBlocks.push(block.text);
+        currentTokens += blockTokens;
+    }
+    if (currentBlocks.length > 0) {
+        pages.push(currentBlocks);
+    }
+    const totalPages = pages.length;
+    const clampedPage = Math.min(Math.max(1, page), totalPages);
+    const selected = pages[clampedPage - 1] ?? [];
+    const content = selected.join("\n\n");
+    const tokens = estimateTokens(content);
+    return {
+        content,
+        page: clampedPage,
+        totalPages,
+        tokens,
+        // N6: 単一ブロックが予算超過でもページを割らずそのまま返す(paginateMarkdownの仕様)ため、
+        // その場合はここでtokens > budgetとなる。呼び出し側(server.ts)が明示的にユーザーへ伝える。
+        exceededBudget: tokens > budget,
+    };
+}
+//# sourceMappingURL=tokens.js.map

package/dist/tokens.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"tokens.js","sourceRoot":"","sources":["../src/tokens.ts"],"names":[],"mappings":"AAAA;;;;;;;;;GASG;AAEH,MAAM,qBAAqB,GAAG,GAAG,CAAC;AAClC,MAAM,mBAAmB,GAAG,GAAG,CAAC;AAEhC;;;;GAIG;AACH,SAAS,cAAc,CAAC,EAAU;IAChC,OAAO,CACL,CAAC,EAAE,IAAI,MAAM,IAAI,EAAE,IAAI,MAAM,CAAC,IAAI,OAAO;QACzC,CAAC,EAAE,IAAI,MAAM,IAAI,EAAE,IAAI,MAAM,CAAC,IAAI,OAAO;QACzC,CAAC,EAAE,IAAI,MAAM,IAAI,EAAE,IAAI,MAAM,CAAC,IAAI,aAAa;QAC/C,CAAC,EAAE,IAAI,MAAM,IAAI,EAAE,IAAI,MAAM,CAAC,IAAI,UAAU;QAC5C,CAAC,EAAE,IAAI,MAAM,IAAI,EAAE,IAAI,MAAM,CAAC,IAAI,UAAU;QAC5C,CAAC,EAAE,IAAI,MAAM,IAAI,EAAE,IAAI,MAAM,CAAC,IAAI,0BAA0B;QAC5D,CAAC,EAAE,IAAI,MAAM,IAAI,EAAE,IAAI,MAAM,CAAC,CAAC,mCAAmC;KACnE,CAAC;AACJ,CAAC;AAED,+BAA+B;AAC/B,SAAS,YAAY,CAAC,IAAY;IAChC,IAAI,GAAG,GAAG,CAAC,CAAC;IACZ,IAAI,KAAK,GAAG,CAAC,CAAC;IACd,KAAK,MAAM,EAAE,IAAI,IAAI,EAAE,CAAC;QACtB,MAAM,EAAE,GAAG,EAAE,CAAC,WAAW,CAAC,CAAC,CAAC,CAAC;QAC7B,IAAI,EAAE,KAAK,SAAS;YAAE,SAAS;QAC/B,IAAI,cAAc,CAAC,EAAE,CAAC,EAAE,CAAC;YACvB,GAAG,EAAE,CAAC;QACR,CAAC;aAAM,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,EAAE,CAAC,EAAE,CAAC;YAC3B,+BAA+B;YAC/B,KAAK,EAAE,CAAC;QACV,CAAC;IACH,CAAC;IACD,OAAO,EAAE,GAAG,EAAE,KAAK,EAAE,CAAC;AACxB,CAAC;AAED,oCAAoC;AACpC,MAAM,UAAU,cAAc,CAAC,IAAY;IACzC,IAAI,IAAI,CAAC,MAAM,KAAK,CAAC;QAAE,OAAO,CAAC,CAAC;IAChC,MAAM,EAAE,GAAG,EAAE,KAAK,EAAE,GAAG,YAAY,CAAC,IAAI,CAAC,CAAC;IAC1C,MAAM,MAAM,GAAG,GAAG,GAAG,mBAAmB,GAAG,KAAK,GAAG,qBAAqB,CAAC;IACzE,OAAO,IAAI,CAAC,IAAI,CAAC,MAAM,CAAC,CAAC;AAC3B,CAAC;AAQD;;;;GAIG;AACH,MAAM,UAAU,eAAe,CAAC,QAAgB;IAC9C,MAAM,KAAK,GAAG,QAAQ,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC;IACnC,MAAM,MAAM,GAAY,EAAE,CAAC;IAC3B,IAAI,OAAO,GAAa,EAAE,CAAC;IAC3B,IAAI,OAAO,GAAG,KAAK,CAAC;IAEpB,MAAM,KAAK,GAAG,GAAS,EAAE;QACvB,IAAI,OAAO,CAAC,MAAM,KAAK,CAAC;YAAE,OAAO;QACjC,MAAM,IAAI,GAAG,OAAO,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC,OAAO,CAAC,MAAM,EAAE,EAAE,CAAC,CAAC;QACpD,IAAI,IAAI,CAAC,IAAI,EAAE,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC;YAC3B,MAAM,CAAC,IAAI,CAAC,EAAE,IAAI,EAAE,SAAS,EAAE,WAAW,CAAC,IAAI,CAAC,OAAO,CAAC,CAAC,CAAC,IAAI,EAAE,CAAC,EAAE,CAAC,CAAC;QACvE,CAAC;QACD,OAAO,GAAG,EAAE,CAAC;IACf,CAAC,CAAC;IAEF,KAAK,MAAM,IAAI,IAAI,KAAK,EAAE,CAAC;QACzB,IAAI,SAAS,CAAC,IAAI,CAAC,IAAI,CAAC,EAAE,CAAC;YACzB,OAAO,GAAG,CAAC,OAAO,CAAC;YACnB,OAAO,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC;YACnB,SAAS;QACX,CAAC;QACD,IAAI,CAAC,OAAO,IAAI,IAAI,CAAC,IAAI,EAAE,KAAK,EAAE,EAAE,CAAC;YACnC,KAAK,EAAE,CAAC;YACR,SAAS;QACX,CAAC;QACD,OAAO,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC;IACrB,CAAC;IACD,KAAK,EAAE,CAAC;IAER,OAAO,MAAM,CAAC;AAChB,CAAC;AAeD,MAAM,mBAAmB,GAAG,CAAC,CAAC;AAC9B,oCAAoC;AACpC,MAAM,wBAAwB,GAAG,GAAG,CAAC;AAErC;;;;;;;;;;GAUG;AACH,MAAM,UAAU,gBAAgB,CAAC,QAAgB,EAAE,SAAiB,EAAE,IAAY;IAChF,MAAM,MAAM,GAAG,IAAI,CAAC,GAAG,CAAC,mBAAmB,EAAE,SAAS,CAAC,CAAC;IACxD,MAAM,MAAM,GAAG,eAAe,CAAC,QAAQ,CAAC,CAAC;IAEzC,IAAI,MAAM,CAAC,MAAM,KAAK,CAAC,EAAE,CAAC;QACxB,OAAO,EAAE,OAAO,EAAE,EAAE,EAAE,IAAI,EAAE,CAAC,EAAE,UAAU,EAAE,CAAC,EAAE,MAAM,EAAE,CAAC,EAAE,cAAc,EAAE,KAAK,EAAE,CAAC;IACnF,CAAC;IAED,MAAM,KAAK,GAAe,EAAE,CAAC;IAC7B,IAAI,aAAa,GAAa,EAAE,CAAC;IACjC,IAAI,aAAa,GAAG,CAAC,CAAC;IAEtB,KAAK,MAAM,KAAK,IAAI,MAAM,EAAE,CAAC;QAC3B,MAAM,WAAW,GAAG,cAAc,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC;QAC/C,MAAM,WAAW,GAAG,aAAa,GAAG,WAAW,GAAG,MAAM,CAAC;QACzD,MAAM,wBAAwB,GAC5B,KAAK,CAAC,SAAS,IAAI,aAAa,CAAC,MAAM,GAAG,CAAC,IAAI,aAAa,IAAI,MAAM,GAAG,wBAAwB,CAAC;QAEpG,IAAI,aAAa,CAAC,MAAM,GAAG,CAAC,IAAI,CAAC,WAAW,IAAI,wBAAwB,CAAC,EAAE,CAAC;YAC1E,KAAK,CAAC,IAAI,CAAC,aAAa,CAAC,CAAC;YAC1B,aAAa,GAAG,EAAE,CAAC;YACnB,aAAa,GAAG,CAAC,CAAC;QACpB,CAAC;QAED,aAAa,CAAC,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC;QAC/B,aAAa,IAAI,WAAW,CAAC;IAC/B,CAAC;IACD,IAAI,aAAa,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC;QAC7B,KAAK,CAAC,IAAI,CAAC,aAAa,CAAC,CAAC;IAC5B,CAAC;IAED,MAAM,UAAU,GAAG,KAAK,CAAC,MAAM,CAAC;IAChC,MAAM,WAAW,GAAG,IAAI,CAAC,GAAG,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC,EAAE,IAAI,CAAC,EAAE,UAAU,CAAC,CAAC;IAC5D,MAAM,QAAQ,GAAG,KAAK,CAAC,WAAW,GAAG,CAAC,CAAC,IAAI,EAAE,CAAC;IAC9C,MAAM,OAAO,GAAG,QAAQ,CAAC,IAAI,CAAC,MAAM,CAAC,CAAC;IACtC,MAAM,MAAM,GAAG,cAAc,CAAC,OAAO,CAAC,CAAC;IAEvC,OAAO;QACL,OAAO;QACP,IAAI,EAAE,WAAW;QACjB,UAAU;QACV,MAAM;QACN,yDAAyD;QACzD,4DAA4D;QAC5D,cAAc,EAAE,MAAM,GAAG,MAAM;KAChC,CAAC;AACJ,CAAC"}

package/package.json

@@ -0,0 +1,61 @@
+{
+  "name": "amenbo",
+  "version": "0.1.0",
+  "description": "Skims the web without making waves — a Japanese-web-native MCP server for low-impact, token-efficient web collection",
+  "type": "module",
+  "license": "MIT",
+  "author": "Rererr",
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/Rererr/amenbo.git"
+  },
+  "keywords": [
+    "mcp",
+    "model-context-protocol",
+    "web",
+    "japanese",
+    "markdown",
+    "llm"
+  ],
+  "bin": {
+    "amenbo": "dist/cli.js"
+  },
+  "files": [
+    "dist"
+  ],
+  "engines": {
+    "node": ">=20"
+  },
+  "scripts": {
+    "build": "tsc",
+    "dev": "tsx src/server.ts",
+    "dev:cli": "tsx src/cli.ts",
+    "test": "vitest run",
+    "typecheck": "tsc --noEmit",
+    "postinstall": "playwright install chromium"
+  },
+  "dependencies": {
+    "@joplin/turndown-plugin-gfm": "^1.0.67",
+    "@modelcontextprotocol/sdk": "^1.29.0",
+    "@mozilla/readability": "^0.6.0",
+    "@napi-rs/canvas": "^1.0.2",
+    "better-sqlite3": "^12.11.1",
+    "encoding-japanese": "^2.2.0",
+    "linkedom": "^0.18.13",
+    "pdfjs-dist": "^6.1.200",
+    "playwright": "^1.61.1",
+    "robots-parser": "^3.0.1",
+    "turndown": "^7.2.4",
+    "undici": "^8.7.0",
+    "zod": "^4.4.3"
+  },
+  "devDependencies": {
+    "@types/better-sqlite3": "^7.6.13",
+    "@types/encoding-japanese": "^2.2.1",
+    "@types/node": "^26.1.1",
+    "@types/turndown": "^5.0.6",
+    "tsx": "^4.23.0",
+    "typescript": "^7.0.2",
+    "vitest": "^4.1.10"
+  }
+}