yomitoku 0.9.1__tar.gz → 0.9.2__tar.gz

{yomitoku-0.9.1 → yomitoku-0.9.2}/PKG-INFO

@@ -1,12 +1,13 @@
 Metadata-Version: 2.4
 Name: yomitoku
-Version: 0.9.1
+Version: 0.9.2
 Summary: Yomitoku is an AI-powered document image analysis package designed specifically for the Japanese language.
 Author-email: Kotaro Kinoshita <kotaro.kinoshita@mlism.com>
 License: CC BY-NC-SA 4.0
 Keywords: Deep Learning,Japanese,OCR
 Requires-Python: <3.13,>=3.10
 Requires-Dist: huggingface-hub>=0.26.1
+Requires-Dist: jaconv>=0.4.0
 Requires-Dist: lxml>=5.3.0
 Requires-Dist: omegaconf>=2.3.0
 Requires-Dist: onnx>=1.17.0
@@ -15,6 +16,7 @@ Requires-Dist: opencv-python>=4.10.0.84
 Requires-Dist: pyclipper>=1.3.0.post6
 Requires-Dist: pydantic>=2.9.2
 Requires-Dist: pypdfium2>=4.30.0
+Requires-Dist: reportlab>=4.4.1
 Requires-Dist: shapely>=2.0.6
 Requires-Dist: timm>=1.0.11
 Requires-Dist: torch>=2.5.0
@@ -41,7 +43,7 @@ YomiToku は日本語に特化した AI 文章画像解析エンジン(Document
 - 🤖 日本語データセットで学習した 4 種類(文字位置の検知、文字列認識、レイアウト解析、表の構造認識)の AI モデルを搭載しています。4 種類のモデルはすべて独自に学習されたモデルで日本語文書に対して、高精度に推論可能です。
 - 🇯🇵 各モデルは日本語の文書画像に特化して学習されており、7000 文字を超える日本語文字の認識をサーポート、手書き文字、縦書きなど日本語特有のレイアウト構造の文書画像の解析も可能です。（日本語以外にも英語の文書に対しても対応しています）。
 - 📈 レイアウト解析、表の構造解析, 読み順推定機能により、文書画像のレイアウトの意味的構造を壊さずに情報を抽出することが可能です。
-- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。
+- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。文書画像をサーチャブルPDFに変換する処理もサポートしています。
 - ⚡ GPU 環境で高速に動作し、効率的に文書の文字起こし解析が可能です。また、VRAM も 8GB 以内で動作し、ハイエンドな GPU を用意する必要はありません。
 
 ## 🖼️ デモ
@@ -96,6 +98,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
 - `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
+- `--searchable_pdf` 読み取った文字情報をPDFに埋め込み全文検索可能なPDFを出力します。
 
 その他のオプションに関しては、ヘルプを参照
 

{yomitoku-0.9.1 → yomitoku-0.9.2}/README.md

@@ -16,7 +16,7 @@ YomiToku は日本語に特化した AI 文章画像解析エンジン(Document
 - 🤖 日本語データセットで学習した 4 種類(文字位置の検知、文字列認識、レイアウト解析、表の構造認識)の AI モデルを搭載しています。4 種類のモデルはすべて独自に学習されたモデルで日本語文書に対して、高精度に推論可能です。
 - 🇯🇵 各モデルは日本語の文書画像に特化して学習されており、7000 文字を超える日本語文字の認識をサーポート、手書き文字、縦書きなど日本語特有のレイアウト構造の文書画像の解析も可能です。（日本語以外にも英語の文書に対しても対応しています）。
 - 📈 レイアウト解析、表の構造解析, 読み順推定機能により、文書画像のレイアウトの意味的構造を壊さずに情報を抽出することが可能です。
-- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。
+- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。文書画像をサーチャブルPDFに変換する処理もサポートしています。
 - ⚡ GPU 環境で高速に動作し、効率的に文書の文字起こし解析が可能です。また、VRAM も 8GB 以内で動作し、ハイエンドな GPU を用意する必要はありません。
 
 ## 🖼️ デモ
@@ -71,6 +71,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
 - `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
+- `--searchable_pdf` 読み取った文字情報をPDFに埋め込み全文検索可能なPDFを出力します。
 
 その他のオプションに関しては、ヘルプを参照
 

{yomitoku-0.9.1 → yomitoku-0.9.2}/README_EN.md

@@ -70,6 +70,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` Specifies the character encoding for the output file to be exported. If unsupported characters are included, they will be ignored. (utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` When a PDF is provided as input and contains multiple pages, this option combines their prediction results into a single file for export.
 - `--ignore_meta` Excludes text information such as headers and footers from the output file.
+- `--searchable_pdf` Embeds the recognized text into the PDF and outputs a fully searchable PDF.
 
 For other options, please refer to the help documentation.
 

{yomitoku-0.9.1 → yomitoku-0.9.2}/docs/cli.en.md

@@ -121,4 +121,12 @@ yomitoku ${path_data} --reading_order left2right
 
 * `left2right`: Prioritizes reading from left to right. Suitable for layouts like receipts or health insurance cards, where key-value text pairs are arranged in columns.
 
-* `right2left`: Prioritizes reading from right to left. Effective for vertically written documents.
+* `right2left`: Prioritizes reading from right to left. Effective for vertically written documents.
+
+## Create a searchable PDF
+
+Detect the text in the image and embed it into the PDF as invisible text, converting the file into a searchable PDF.
+
+```
+yomitoku ${path_data} --searchable_pdf
+```

{yomitoku-0.9.1 → yomitoku-0.9.2}/docs/cli.ja.md

@@ -119,3 +119,9 @@ yomitoku ${path_data} --reading_order left2right
 
 - `right2left:` 右から左方向に優先的に読み取り順を推定します。縦書きのドキュメントに対して有効です。
 
+## 検索可能なPDFを作成する
+画像内の文字情報を認識し、文字情報を透明テキストとして、PDFに埋め込むことで、サーチャブルPDFに変換します。
+
+```
+yomitoku ${path_data} --searchable_pdf
+```

{yomitoku-0.9.1 → yomitoku-0.9.2}/docs/index.en.md

@@ -5,7 +5,7 @@ YomiToku is a Document AI engine specialized in Japanese document image analysis
 - 🤖 Equipped with four AI models trained on Japanese datasets: text detection, text recognition, layout analysis, and table structure recognition. All models are independently trained and optimized for Japanese documents, delivering high-precision inference.
 - 🇯🇵 Each model is specifically trained for Japanese document images, supporting the recognition of over 7,000 Japanese characters, including vertical text and other layout structures unique to Japanese documents. (It also supports English documents.)
 - 📈 By leveraging layout analysis, table structure parsing, and reading order estimation, it extracts information while preserving the semantic structure of the document layout.
-- 📄 Supports a variety of output formats, including HTML, Markdown, JSON, and CSV. It also allows for the extraction of diagrams and images contained within the documents.
+- 📄 Supports a variety of output formats, including HTML, Markdown, JSON, and CSV. It also allows for the extraction of diagrams and images contained within the documents.It also supports converting document images into fully text-searchable PDFs.
 - ⚡ Operates efficiently in GPU environments, enabling fast document transcription and analysis. It requires less than 8GB of VRAM, eliminating the need for high-end GPUs.。
 
 ## 🙋 FAQ

{yomitoku-0.9.1 → yomitoku-0.9.2}/docs/index.ja.md

@@ -5,7 +5,7 @@ YomiToku は日本語に特化した AI 文章画像解析エンジン(Document
 - 🤖 日本語データセットで学習した 4 種類(文字位置の検知、文字列認識、レイアウト解析、表の構造認識)の AI モデルを搭載しています。4 種類のモデルはすべて独自に学習されたモデルで日本語文書に対して、高精度に推論可能です。
 - 🇯🇵 各モデルは日本語の文書画像に特化して学習されており、7000 文字を超える日本語文字の認識をサーポート、手書き文字、縦書きなど日本語特有のレイアウト構造の文書画像の解析も可能です。（日本語以外にも英語の文書に対しても対応しています）。
 - 📈 レイアウト解析、表の構造解析, 読み順推定機能により、文書画像のレイアウトの意味的構造を壊さずに情報を抽出することが可能です。
-- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。
+- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。文書画像を全文検索可能なサーチャブルPDFに変換する処理もサポートしています。
 - ⚡ GPU 環境で高速に動作し、効率的に文書の文字起こし解析が可能です。また、VRAM も 8GB 以内で動作し、ハイエンドな GPU を用意する必要はありません。
 
 ## 🙋 FAQ

{yomitoku-0.9.1 → yomitoku-0.9.2}/docs/mcp.en.md

@@ -46,3 +46,19 @@ For example, if you use `yomitoku/demo/sample.pdf` as a sample, instruct as foll
 ```txt
 Analyze sample.pdf using OCR and translate it into English.
 ```
+
+## Starting the SSE Server
+
+Set the path to the folder containing the images to be processed by OCR in the resource directory.
+
+```
+export RESOURCE_DIR="path of dataset"
+```
+
+Start the SSE server using the following command:
+
+```
+uv run yomitoku_mcp -t sse
+```
+
+The SSE server endpoint will be available at `http://127.0.0.1:8000/sse`.

{yomitoku-0.9.1 → yomitoku-0.9.2}/docs/mcp.ja.md

@@ -13,6 +13,7 @@
 uv sync --extra mcp
 ```
 
+
 ## Claude Desktopの設定
 
 次にClaude Desktopの設定ファイルの`mcpServers`に以下ように設定を追加します。(設定ファイルの開き方は[こちら](https://modelcontextprotocol.io/quickstart/user)を参照してください)
@@ -48,3 +49,16 @@ uv sync --extra mcp
 ```txt
 sample.pdfをOCRで解析して要約してください。
 ```
+
+## SSEサーバーの起動
+環境変数の`RESOURCE_DIR`にOCRの対象画像が含まれたフォルダのパスを設定してください。
+```
+export RESOURCE_DIR="path of dataset"
+```
+
+以下のコマンドでSSEサーバーを起動します。
+```
+uv run yomitoku_mcp -t sse
+```
+
+` http://127.0.0.1:8000/sse`がSSEサーバーのエンドポイントになります。

{yomitoku-0.9.1 → yomitoku-0.9.2}/pyproject.toml

@@ -30,6 +30,8 @@ dependencies = [
     "torch>=2.5.0",
     "torchvision>=0.20.0",
     "onnxruntime>=1.20.1",
+    "reportlab>=4.4.1",
+    "jaconv>=0.4.0",
 ]
 
 [tool.uv-dynamic-versioning]
@@ -70,7 +72,7 @@ explicit = true
 
 [project.scripts]
 yomitoku = "yomitoku.cli.main:main"
-yomitoku_mcp = "yomitoku.cli.mcp:run_mcp_server"
+yomitoku_mcp = "yomitoku.cli.mcp_server:main"
 
 [project.optional-dependencies]
 mcp = [

{yomitoku-0.9.1 → yomitoku-0.9.2}/src/yomitoku/cli/main.py

@@ -9,6 +9,7 @@ from ..constants import SUPPORT_OUTPUT_FORMAT
 from ..data.functions import load_image, load_pdf
 from ..document_analyzer import DocumentAnalyzer
 from ..utils.logger import set_logger
+from ..utils.searchable_pdf import create_searchable_pdf
 
 from ..export import save_csv, save_html, save_json, save_markdown
 from ..export import convert_json, convert_csv, convert_html, convert_markdown
@@ -80,11 +81,13 @@ def process_single_file(args, analyzer, path, format):
     else:
         imgs = load_image(path)
 
+    format_results = []
     results = []
     for page, img in enumerate(imgs):
         result, ocr, layout = analyzer(img)
         dirname = path.parent.name
         filename = path.stem
+        results.append(result)
 
         # cv2.imwrite(
         #    os.path.join(args.outdir, f"{dirname}_{filename}_p{page+1}.jpg"), img
@@ -130,7 +133,7 @@ def process_single_file(args, analyzer, path, format):
                     figure_dir=args.figure_dir,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": json.model_dump(),
@@ -157,7 +160,7 @@ def process_single_file(args, analyzer, path, format):
                     figure_dir=args.figure_dir,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": csv,
@@ -188,7 +191,7 @@ def process_single_file(args, analyzer, path, format):
                     encoding=args.encoding,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": html,
@@ -219,14 +222,14 @@ def process_single_file(args, analyzer, path, format):
                     encoding=args.encoding,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": md,
                 }
             )
 
-    out = merge_all_pages(results)
+    out = merge_all_pages(format_results)
     if args.combine:
         out_path = os.path.join(args.outdir, f"{dirname}_{filename}.{format}")
         save_merged_file(
@@ -235,6 +238,15 @@ def process_single_file(args, analyzer, path, format):
             out,
         )
 
+    if args.searchable_pdf:
+        pdf_path = os.path.join(args.outdir, f"{filename}.pdf")
+        create_searchable_pdf(
+            imgs,
+            results,
+            output_path=pdf_path,
+        )
+        logger.info(f"Output SearchablePDF: {pdf_path}")
+
 
 def main():
     parser = argparse.ArgumentParser()
@@ -349,6 +361,11 @@ def main():
         type=str,
         choices=["auto", "left2right", "top2bottom", "right2left"],
     )
+    parser.add_argument(
+        "--searchable_pdf",
+        action="store_true",
+        help="if set, create searchable PDF",
+    )
 
     args = parser.parse_args()
 

yomitoku-0.9.1/src/yomitoku/cli/mcp.py → yomitoku-0.9.2/src/yomitoku/cli/mcp_server.py

@@ -1,14 +1,20 @@
-import json
-import io
 import csv
+import io
+import json
 import os
+from argparse import ArgumentParser
 from pathlib import Path
 
 from mcp.server.fastmcp import Context, FastMCP
 
 from yomitoku import DocumentAnalyzer
 from yomitoku.data.functions import load_image, load_pdf
-from yomitoku.export import convert_json, convert_markdown, convert_csv, convert_html
+from yomitoku.export import (
+    convert_csv,
+    convert_html,
+    convert_json,
+    convert_markdown,
+)
 
 try:
     RESOURCE_DIR = os.environ["RESOURCE_DIR"]
@@ -154,12 +160,37 @@ async def get_file_list() -> list[str]:
     return os.listdir(RESOURCE_DIR)
 
 
-def run_mcp_server():
+def run_mcp_server(transport="stdio", mount_path=None):
     """
     Run the MCP server.
     """
-    mcp.run(transport="stdio")
+
+    if transport == "stdio":
+        mcp.run()
+    elif transport == "sse":
+        mcp.run(transport=transport, mount_path=mount_path)
+
+
+def main():
+    parser = ArgumentParser(description="Run the MCP server.")
+    parser.add_argument(
+        "--transport",
+        "-t",
+        type=str,
+        default="stdio",
+        choices=["stdio", "sse"],
+        help="Transport method for the MCP server.",
+    )
+    parser.add_argument(
+        "--mount_path",
+        "-m",
+        type=str,
+        default=None,
+        help="Mount path for the MCP server (only used with SSE transport).",
+    )
+    args = parser.parse_args()
+    run_mcp_server(transport=args.transport, mount_path=args.mount_path)
 
 
 if __name__ == "__main__":
-    run_mcp_server()
+    main()

yomitoku-0.9.2/src/yomitoku/utils/searchable_pdf.py

@@ -0,0 +1,116 @@
+import os
+
+from PIL import Image
+from io import BytesIO
+
+from reportlab.pdfgen import canvas
+from reportlab.pdfbase.ttfonts import TTFont
+from reportlab.pdfbase import pdfmetrics
+from reportlab.pdfbase.pdfmetrics import stringWidth
+
+import numpy as np
+import jaconv
+
+from ..constants import ROOT_DIR
+
+FONT_PATH = ROOT_DIR + "/resource/MPLUS1p-Medium.ttf"
+pdfmetrics.registerFont(TTFont("MPLUS1p-Medium", FONT_PATH))
+
+
+def _poly2rect(points):
+    """
+    Convert a polygon defined by its corner points to a rectangle.
+    The points should be in the format [[x1, y1], [x2, y2], [x3, y3], [x4, y4]].
+    """
+    points = np.array(points, dtype=int)
+    x_min = points[:, 0].min()
+    x_max = points[:, 0].max()
+    y_min = points[:, 1].min()
+    y_max = points[:, 1].max()
+
+    return [x_min, y_min, x_max, y_max]
+
+
+def _calc_font_size(content, bbox_height, bbox_width):
+    rates = np.arange(0.5, 1.0, 0.01)
+
+    min_diff = np.inf
+    best_font_size = None
+    for rate in rates:
+        font_size = bbox_height * rate
+        text_w = stringWidth(content, "MPLUS1p-Medium", font_size)
+        diff = abs(text_w - bbox_width)
+        if diff < min_diff:
+            min_diff = diff
+            best_font_size = font_size
+
+    return best_font_size
+
+
+def to_full_width(text):
+    fw_map = {
+        "\u00a5": "\uffe5",  # ¥ → ￥
+        "\u00b7": "\u30fb",  # · → ・
+        " ": "\u3000",  # 半角スペース→全角スペース
+    }
+
+    TO_FULLWIDTH = str.maketrans(fw_map)
+
+    jaconv_text = jaconv.h2z(text, kana=True, ascii=True, digit=True)
+    jaconv_text = jaconv_text.translate(TO_FULLWIDTH)
+
+    return jaconv_text
+
+
+def create_searchable_pdf(images, ocr_results, output_path):
+    packet = BytesIO()
+    c = canvas.Canvas(packet)
+
+    for i, (image, ocr_result) in enumerate(zip(images, ocr_results)):
+        image = Image.fromarray(image[:, :, ::-1])  # Convert BGR to RGB
+        pdfmetrics.registerFont(TTFont("MPLUS1p-Medium", FONT_PATH))
+
+        image_path = f"tmp_{i}.png"
+        image.save(image_path)
+        w, h = image.size
+
+        c.setPageSize((w, h))
+        c.drawImage(image_path, 0, 0, width=w, height=h)
+        os.remove(image_path)  # Clean up temporary image file
+
+        for word in ocr_result.words:
+            text = word.content
+            bbox = _poly2rect(word.points)
+            direction = word.direction
+
+            x1, y1, x2, y2 = bbox
+            bbox_height = y2 - y1
+            bbox_width = x2 - x1
+
+            if direction == "vertical":
+                text = to_full_width(text)
+
+            if direction == "horizontal":
+                font_size = _calc_font_size(text, bbox_height, bbox_width)
+            else:
+                font_size = _calc_font_size(text, bbox_width, bbox_height)
+
+            c.setFont("MPLUS1p-Medium", font_size)
+            c.setFillColorRGB(1, 1, 1, alpha=0)  # 透明
+            # c.setFillColorRGB(0, 0, 0)
+            if direction == "vertical":
+                base_y = h - y2 + (bbox_height - font_size)
+                for j, ch in enumerate(text):
+                    c.saveState()
+                    c.translate(x1 + font_size * 0.5, base_y - (j - 1) * font_size)
+                    c.rotate(-90)
+                    c.drawString(0, 0, ch)
+                    c.restoreState()
+            else:
+                base_y = h - y2 + (bbox_height - font_size) * 0.5
+                c.drawString(x1, base_y, text)
+        c.showPage()
+    c.save()
+
+    with open(output_path, "wb") as f:
+        f.write(packet.getvalue())