yomitoku 0.9.1__py3-none-any.whl → 0.9.2__py3-none-any.whl

yomitoku/cli/main.py

@@ -9,6 +9,7 @@ from ..constants import SUPPORT_OUTPUT_FORMAT
 from ..data.functions import load_image, load_pdf
 from ..document_analyzer import DocumentAnalyzer
 from ..utils.logger import set_logger
+from ..utils.searchable_pdf import create_searchable_pdf
 
 from ..export import save_csv, save_html, save_json, save_markdown
 from ..export import convert_json, convert_csv, convert_html, convert_markdown
@@ -80,11 +81,13 @@ def process_single_file(args, analyzer, path, format):
     else:
         imgs = load_image(path)
 
+    format_results = []
     results = []
     for page, img in enumerate(imgs):
         result, ocr, layout = analyzer(img)
         dirname = path.parent.name
         filename = path.stem
+        results.append(result)
 
         # cv2.imwrite(
         #    os.path.join(args.outdir, f"{dirname}_{filename}_p{page+1}.jpg"), img
@@ -130,7 +133,7 @@ def process_single_file(args, analyzer, path, format):
                     figure_dir=args.figure_dir,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": json.model_dump(),
@@ -157,7 +160,7 @@ def process_single_file(args, analyzer, path, format):
                     figure_dir=args.figure_dir,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": csv,
@@ -188,7 +191,7 @@ def process_single_file(args, analyzer, path, format):
                     encoding=args.encoding,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": html,
@@ -219,14 +222,14 @@ def process_single_file(args, analyzer, path, format):
                     encoding=args.encoding,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": md,
                 }
             )
 
-    out = merge_all_pages(results)
+    out = merge_all_pages(format_results)
     if args.combine:
         out_path = os.path.join(args.outdir, f"{dirname}_{filename}.{format}")
         save_merged_file(
@@ -235,6 +238,15 @@ def process_single_file(args, analyzer, path, format):
             out,
         )
 
+    if args.searchable_pdf:
+        pdf_path = os.path.join(args.outdir, f"{filename}.pdf")
+        create_searchable_pdf(
+            imgs,
+            results,
+            output_path=pdf_path,
+        )
+        logger.info(f"Output SearchablePDF: {pdf_path}")
+
 
 def main():
     parser = argparse.ArgumentParser()
@@ -349,6 +361,11 @@ def main():
         type=str,
         choices=["auto", "left2right", "top2bottom", "right2left"],
     )
+    parser.add_argument(
+        "--searchable_pdf",
+        action="store_true",
+        help="if set, create searchable PDF",
+    )
 
     args = parser.parse_args()
 

yomitoku/cli/{mcp.py → mcp_server.py}

@@ -1,14 +1,20 @@
-import json
-import io
 import csv
+import io
+import json
 import os
+from argparse import ArgumentParser
 from pathlib import Path
 
 from mcp.server.fastmcp import Context, FastMCP
 
 from yomitoku import DocumentAnalyzer
 from yomitoku.data.functions import load_image, load_pdf
-from yomitoku.export import convert_json, convert_markdown, convert_csv, convert_html
+from yomitoku.export import (
+    convert_csv,
+    convert_html,
+    convert_json,
+    convert_markdown,
+)
 
 try:
     RESOURCE_DIR = os.environ["RESOURCE_DIR"]
@@ -154,12 +160,37 @@ async def get_file_list() -> list[str]:
     return os.listdir(RESOURCE_DIR)
 
 
-def run_mcp_server():
+def run_mcp_server(transport="stdio", mount_path=None):
     """
     Run the MCP server.
     """
-    mcp.run(transport="stdio")
+
+    if transport == "stdio":
+        mcp.run()
+    elif transport == "sse":
+        mcp.run(transport=transport, mount_path=mount_path)
+
+
+def main():
+    parser = ArgumentParser(description="Run the MCP server.")
+    parser.add_argument(
+        "--transport",
+        "-t",
+        type=str,
+        default="stdio",
+        choices=["stdio", "sse"],
+        help="Transport method for the MCP server.",
+    )
+    parser.add_argument(
+        "--mount_path",
+        "-m",
+        type=str,
+        default=None,
+        help="Mount path for the MCP server (only used with SSE transport).",
+    )
+    args = parser.parse_args()
+    run_mcp_server(transport=args.transport, mount_path=args.mount_path)
 
 
 if __name__ == "__main__":
-    run_mcp_server()
+    main()

yomitoku/utils/searchable_pdf.py

@@ -0,0 +1,116 @@
+import os
+
+from PIL import Image
+from io import BytesIO
+
+from reportlab.pdfgen import canvas
+from reportlab.pdfbase.ttfonts import TTFont
+from reportlab.pdfbase import pdfmetrics
+from reportlab.pdfbase.pdfmetrics import stringWidth
+
+import numpy as np
+import jaconv
+
+from ..constants import ROOT_DIR
+
+FONT_PATH = ROOT_DIR + "/resource/MPLUS1p-Medium.ttf"
+pdfmetrics.registerFont(TTFont("MPLUS1p-Medium", FONT_PATH))
+
+
+def _poly2rect(points):
+    """
+    Convert a polygon defined by its corner points to a rectangle.
+    The points should be in the format [[x1, y1], [x2, y2], [x3, y3], [x4, y4]].
+    """
+    points = np.array(points, dtype=int)
+    x_min = points[:, 0].min()
+    x_max = points[:, 0].max()
+    y_min = points[:, 1].min()
+    y_max = points[:, 1].max()
+
+    return [x_min, y_min, x_max, y_max]
+
+
+def _calc_font_size(content, bbox_height, bbox_width):
+    rates = np.arange(0.5, 1.0, 0.01)
+
+    min_diff = np.inf
+    best_font_size = None
+    for rate in rates:
+        font_size = bbox_height * rate
+        text_w = stringWidth(content, "MPLUS1p-Medium", font_size)
+        diff = abs(text_w - bbox_width)
+        if diff < min_diff:
+            min_diff = diff
+            best_font_size = font_size
+
+    return best_font_size
+
+
+def to_full_width(text):
+    fw_map = {
+        "\u00a5": "\uffe5",  # ¥ → ￥
+        "\u00b7": "\u30fb",  # · → ・
+        " ": "\u3000",  # 半角スペース→全角スペース
+    }
+
+    TO_FULLWIDTH = str.maketrans(fw_map)
+
+    jaconv_text = jaconv.h2z(text, kana=True, ascii=True, digit=True)
+    jaconv_text = jaconv_text.translate(TO_FULLWIDTH)
+
+    return jaconv_text
+
+
+def create_searchable_pdf(images, ocr_results, output_path):
+    packet = BytesIO()
+    c = canvas.Canvas(packet)
+
+    for i, (image, ocr_result) in enumerate(zip(images, ocr_results)):
+        image = Image.fromarray(image[:, :, ::-1])  # Convert BGR to RGB
+        pdfmetrics.registerFont(TTFont("MPLUS1p-Medium", FONT_PATH))
+
+        image_path = f"tmp_{i}.png"
+        image.save(image_path)
+        w, h = image.size
+
+        c.setPageSize((w, h))
+        c.drawImage(image_path, 0, 0, width=w, height=h)
+        os.remove(image_path)  # Clean up temporary image file
+
+        for word in ocr_result.words:
+            text = word.content
+            bbox = _poly2rect(word.points)
+            direction = word.direction
+
+            x1, y1, x2, y2 = bbox
+            bbox_height = y2 - y1
+            bbox_width = x2 - x1
+
+            if direction == "vertical":
+                text = to_full_width(text)
+
+            if direction == "horizontal":
+                font_size = _calc_font_size(text, bbox_height, bbox_width)
+            else:
+                font_size = _calc_font_size(text, bbox_width, bbox_height)
+
+            c.setFont("MPLUS1p-Medium", font_size)
+            c.setFillColorRGB(1, 1, 1, alpha=0)  # 透明
+            # c.setFillColorRGB(0, 0, 0)
+            if direction == "vertical":
+                base_y = h - y2 + (bbox_height - font_size)
+                for j, ch in enumerate(text):
+                    c.saveState()
+                    c.translate(x1 + font_size * 0.5, base_y - (j - 1) * font_size)
+                    c.rotate(-90)
+                    c.drawString(0, 0, ch)
+                    c.restoreState()
+            else:
+                base_y = h - y2 + (bbox_height - font_size) * 0.5
+                c.drawString(x1, base_y, text)
+        c.showPage()
+    c.save()
+
+    with open(output_path, "wb") as f:
+        f.write(packet.getvalue())

{yomitoku-0.9.1.dist-info → yomitoku-0.9.2.dist-info}/METADATA

@@ -1,12 +1,13 @@
 Metadata-Version: 2.4
 Name: yomitoku
-Version: 0.9.1
+Version: 0.9.2
 Summary: Yomitoku is an AI-powered document image analysis package designed specifically for the Japanese language.
 Author-email: Kotaro Kinoshita <kotaro.kinoshita@mlism.com>
 License: CC BY-NC-SA 4.0
 Keywords: Deep Learning,Japanese,OCR
 Requires-Python: <3.13,>=3.10
 Requires-Dist: huggingface-hub>=0.26.1
+Requires-Dist: jaconv>=0.4.0
 Requires-Dist: lxml>=5.3.0
 Requires-Dist: omegaconf>=2.3.0
 Requires-Dist: onnx>=1.17.0
@@ -15,6 +16,7 @@ Requires-Dist: opencv-python>=4.10.0.84
 Requires-Dist: pyclipper>=1.3.0.post6
 Requires-Dist: pydantic>=2.9.2
 Requires-Dist: pypdfium2>=4.30.0
+Requires-Dist: reportlab>=4.4.1
 Requires-Dist: shapely>=2.0.6
 Requires-Dist: timm>=1.0.11
 Requires-Dist: torch>=2.5.0
@@ -41,7 +43,7 @@ YomiToku は日本語に特化した AI 文章画像解析エンジン(Document
 - 🤖 日本語データセットで学習した 4 種類(文字位置の検知、文字列認識、レイアウト解析、表の構造認識)の AI モデルを搭載しています。4 種類のモデルはすべて独自に学習されたモデルで日本語文書に対して、高精度に推論可能です。
 - 🇯🇵 各モデルは日本語の文書画像に特化して学習されており、7000 文字を超える日本語文字の認識をサーポート、手書き文字、縦書きなど日本語特有のレイアウト構造の文書画像の解析も可能です。（日本語以外にも英語の文書に対しても対応しています）。
 - 📈 レイアウト解析、表の構造解析, 読み順推定機能により、文書画像のレイアウトの意味的構造を壊さずに情報を抽出することが可能です。
-- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。
+- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。文書画像をサーチャブルPDFに変換する処理もサポートしています。
 - ⚡ GPU 環境で高速に動作し、効率的に文書の文字起こし解析が可能です。また、VRAM も 8GB 以内で動作し、ハイエンドな GPU を用意する必要はありません。
 
 ## 🖼️ デモ
@@ -96,6 +98,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
 - `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
+- `--searchable_pdf` 読み取った文字情報をPDFに埋め込み全文検索可能なPDFを出力します。
 
 その他のオプションに関しては、ヘルプを参照
 

{yomitoku-0.9.1.dist-info → yomitoku-0.9.2.dist-info}/RECORD

@@ -10,8 +10,8 @@ yomitoku/table_structure_recognizer.py,sha256=tHjex6deT_FjRK5ePz9bUXA_QIhgv_vYtK
 yomitoku/text_detector.py,sha256=6IwEJJKp_F8YH0Oki0QV-Mqi--P2LGbNKo-_kxBB_eo,4383
 yomitoku/text_recognizer.py,sha256=eaxozNu-Ms6iv8efbKZzn8pJNW1Wo4f86bGhzSMtv3s,5992
 yomitoku/cli/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-yomitoku/cli/main.py,sha256=VZG8DZf-k_QytlDZtB91eBNY69MRpbryQg1rkn3fs20,12304
-yomitoku/cli/mcp.py,sha256=5h704SsUGNAqVnoO_5S-HY2-bApy_Rf8ajDxl1pkT2k,4888
+yomitoku/cli/main.py,sha256=7AaaFzMf33ER__XPDBNkrJkKwclne7QyVFWeBvpUYBY,12849
+yomitoku/cli/mcp_server.py,sha256=WnWzxd13HaemC3b-5i9B9NVBGc3WGfum2nYhoBolEnk,5641
 yomitoku/configs/__init__.py,sha256=x5-ccjGiP6xxRtDPT7f1Enl7SsE0hSk0G8f7eF9V85I,886
 yomitoku/configs/cfg_layout_parser_rtdtrv2.py,sha256=8PRxB2Ar9UF7-DLtbgSokhrzdXb0veWI6Wc-X8qigRw,2329
 yomitoku/configs/cfg_layout_parser_rtdtrv2_v2.py,sha256=nMrL3uvoVmyzZ909Bz2zmfp9b6AEBLKhIprOvQ5yiQE,2324
@@ -51,8 +51,9 @@ yomitoku/utils/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 yomitoku/utils/graph.py,sha256=LKNB8ZhSQwOZMfeAimPMF5UCVVr2ZaUWoGDkz8z-uGU,456
 yomitoku/utils/logger.py,sha256=uOmtQDr0A0JD7wyFshedL08BiNrQorHnpktRXba8bjU,424
 yomitoku/utils/misc.py,sha256=r92x45kQR8lC5jO1MZaHBDtcCWBkQXg_WS9H4RXJzSY,4127
+yomitoku/utils/searchable_pdf.py,sha256=40JbcxWrHzYTtzvI9MPYHMrWqLWKiLWo4mWDNRFXwHY,3530
 yomitoku/utils/visualizer.py,sha256=DjDwHiAu1iFRKh96H3Egq4vuI2s_-9dLCDeykhKi8jo,5251
-yomitoku-0.9.1.dist-info/METADATA,sha256=ozEkYekTPuEP1GwnCCQKgJC9DzEQpyActU_DltQGMHc,8700
-yomitoku-0.9.1.dist-info/WHEEL,sha256=qtCwoSJWgHk21S1Kb4ihdzI2rlJ1ZKaIurTj_ngOhyQ,87
-yomitoku-0.9.1.dist-info/entry_points.txt,sha256=N3PzzSo-fdgri5liPpZ3ItMmRH6oVX14pIU_5pUJiAs,99
-yomitoku-0.9.1.dist-info/RECORD,,
+yomitoku-0.9.2.dist-info/METADATA,sha256=vDEaaXAimCBfVwMeWmfyJBqzb7sXtZk4-ia3PXrtk7c,8966
+yomitoku-0.9.2.dist-info/WHEEL,sha256=qtCwoSJWgHk21S1Kb4ihdzI2rlJ1ZKaIurTj_ngOhyQ,87
+yomitoku-0.9.2.dist-info/entry_points.txt,sha256=n3c8bQSj5Be5GHAOv_NZ8cldJFmWeigQxSmteFTmu_k,96
+yomitoku-0.9.2.dist-info/RECORD,,

{yomitoku-0.9.1.dist-info → yomitoku-0.9.2.dist-info}/entry_points.txt

@@ -1,3 +1,3 @@
 [console_scripts]
 yomitoku = yomitoku.cli.main:main
-yomitoku_mcp = yomitoku.cli.mcp:run_mcp_server
+yomitoku_mcp = yomitoku.cli.mcp_server:main