yomitoku 0.9.0__tar.gz → 0.9.2__tar.gz

{yomitoku-0.9.0 → yomitoku-0.9.2}/PKG-INFO

@@ -1,12 +1,13 @@
 Metadata-Version: 2.4
 Name: yomitoku
-Version: 0.9.0
+Version: 0.9.2
 Summary: Yomitoku is an AI-powered document image analysis package designed specifically for the Japanese language.
 Author-email: Kotaro Kinoshita <kotaro.kinoshita@mlism.com>
 License: CC BY-NC-SA 4.0
 Keywords: Deep Learning,Japanese,OCR
 Requires-Python: <3.13,>=3.10
 Requires-Dist: huggingface-hub>=0.26.1
+Requires-Dist: jaconv>=0.4.0
 Requires-Dist: lxml>=5.3.0
 Requires-Dist: omegaconf>=2.3.0
 Requires-Dist: onnx>=1.17.0
@@ -15,6 +16,7 @@ Requires-Dist: opencv-python>=4.10.0.84
 Requires-Dist: pyclipper>=1.3.0.post6
 Requires-Dist: pydantic>=2.9.2
 Requires-Dist: pypdfium2>=4.30.0
+Requires-Dist: reportlab>=4.4.1
 Requires-Dist: shapely>=2.0.6
 Requires-Dist: timm>=1.0.11
 Requires-Dist: torch>=2.5.0
@@ -41,7 +43,7 @@ YomiToku は日本語に特化した AI 文章画像解析エンジン(Document
 - 🤖 日本語データセットで学習した 4 種類(文字位置の検知、文字列認識、レイアウト解析、表の構造認識)の AI モデルを搭載しています。4 種類のモデルはすべて独自に学習されたモデルで日本語文書に対して、高精度に推論可能です。
 - 🇯🇵 各モデルは日本語の文書画像に特化して学習されており、7000 文字を超える日本語文字の認識をサーポート、手書き文字、縦書きなど日本語特有のレイアウト構造の文書画像の解析も可能です。（日本語以外にも英語の文書に対しても対応しています）。
 - 📈 レイアウト解析、表の構造解析, 読み順推定機能により、文書画像のレイアウトの意味的構造を壊さずに情報を抽出することが可能です。
-- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。
+- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。文書画像をサーチャブルPDFに変換する処理もサポートしています。
 - ⚡ GPU 環境で高速に動作し、効率的に文書の文字起こし解析が可能です。また、VRAM も 8GB 以内で動作し、ハイエンドな GPU を用意する必要はありません。
 
 ## 🖼️ デモ
@@ -66,6 +68,7 @@ Markdown でエクスポートした結果は関してはリポジトリ内の[s
 
 ## 📣 リリース情報
 
+- 2025 年  4 月  4 日 YomiToku v0.8.0 手書き文字認識のサポート
 - 2024 年 11 月 26 日 YomiToku v0.5.1 (beta) を公開
 
 ## 💡 インストールの方法
@@ -95,6 +98,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
 - `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
+- `--searchable_pdf` 読み取った文字情報をPDFに埋め込み全文検索可能なPDFを出力します。
 
 その他のオプションに関しては、ヘルプを参照
 

{yomitoku-0.9.0 → yomitoku-0.9.2}/README.md

@@ -16,7 +16,7 @@ YomiToku は日本語に特化した AI 文章画像解析エンジン(Document
 - 🤖 日本語データセットで学習した 4 種類(文字位置の検知、文字列認識、レイアウト解析、表の構造認識)の AI モデルを搭載しています。4 種類のモデルはすべて独自に学習されたモデルで日本語文書に対して、高精度に推論可能です。
 - 🇯🇵 各モデルは日本語の文書画像に特化して学習されており、7000 文字を超える日本語文字の認識をサーポート、手書き文字、縦書きなど日本語特有のレイアウト構造の文書画像の解析も可能です。（日本語以外にも英語の文書に対しても対応しています）。
 - 📈 レイアウト解析、表の構造解析, 読み順推定機能により、文書画像のレイアウトの意味的構造を壊さずに情報を抽出することが可能です。
-- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。
+- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。文書画像をサーチャブルPDFに変換する処理もサポートしています。
 - ⚡ GPU 環境で高速に動作し、効率的に文書の文字起こし解析が可能です。また、VRAM も 8GB 以内で動作し、ハイエンドな GPU を用意する必要はありません。
 
 ## 🖼️ デモ
@@ -41,6 +41,7 @@ Markdown でエクスポートした結果は関してはリポジトリ内の[s
 
 ## 📣 リリース情報
 
+- 2025 年  4 月  4 日 YomiToku v0.8.0 手書き文字認識のサポート
 - 2024 年 11 月 26 日 YomiToku v0.5.1 (beta) を公開
 
 ## 💡 インストールの方法
@@ -70,6 +71,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
 - `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
+- `--searchable_pdf` 読み取った文字情報をPDFに埋め込み全文検索可能なPDFを出力します。
 
 その他のオプションに関しては、ヘルプを参照
 

{yomitoku-0.9.0 → yomitoku-0.9.2}/README_EN.md

@@ -70,6 +70,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` Specifies the character encoding for the output file to be exported. If unsupported characters are included, they will be ignored. (utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` When a PDF is provided as input and contains multiple pages, this option combines their prediction results into a single file for export.
 - `--ignore_meta` Excludes text information such as headers and footers from the output file.
+- `--searchable_pdf` Embeds the recognized text into the PDF and outputs a fully searchable PDF.
 
 For other options, please refer to the help documentation.
 

{yomitoku-0.9.0 → yomitoku-0.9.2}/demo/simple_ocr.py

@@ -4,9 +4,12 @@ from yomitoku import OCR
 from yomitoku.data.functions import load_pdf
 
 if __name__ == "__main__":
-    ocr = OCR(visualize=True, device="cpu")
+    ocr = OCR(visualize=True, device="cuda")
     # PDFファイルを読み込み
     imgs = load_pdf("demo/sample.pdf")
+    import time
+
+    start = time.time()
     for i, img in enumerate(imgs):
         results, ocr_vis = ocr(img)
 

{yomitoku-0.9.0 → yomitoku-0.9.2}/docs/cli.en.md

@@ -107,4 +107,26 @@ If the PDF contains multiple pages, you can export them as a single file.
 
 ```
 yomitoku ${path_data} -f md --combine
+```
+
+## Specifying Reading Order
+
+By default, *Auto* mode automatically detects whether a document is written horizontally or vertically and estimates the appropriate reading order. However, you can explicitly specify a custom reading order. For horizontal documents, the default is `top2left`, and for vertical documents, it is `top2bottom`.
+
+```
+yomitoku ${path_data} --reading_order left2right
+```
+
+* `top2bottom`: Prioritizes reading from top to bottom. Useful for multi-column documents such as word processor files with vertical flow.
+
+* `left2right`: Prioritizes reading from left to right. Suitable for layouts like receipts or health insurance cards, where key-value text pairs are arranged in columns.
+
+* `right2left`: Prioritizes reading from right to left. Effective for vertically written documents.
+
+## Create a searchable PDF
+
+Detect the text in the image and embed it into the PDF as invisible text, converting the file into a searchable PDF.
+
+```
+yomitoku ${path_data} --searchable_pdf
 ```

{yomitoku-0.9.0 → yomitoku-0.9.2}/docs/cli.ja.md

@@ -104,4 +104,24 @@ PDFに複数ページが含まれる場合に複数ページを一つのファ
 
 ```
 yomitoku ${path_data} -f md --combine
+```
+
+## 読み取り順を指定する
+Autoでは、横書きのドキュメント、縦書きのドキュメントを識別し、自動で読み取り順を推定しますが、任意の読み取り順の指定することが可能です。デフォルトでは横書きの文書は`top2left`, 縦書きは`top2bottom`になります。
+
+```
+yomitoku ${path_data} --reading_order left2right
+```
+
+- `top2bottom`: 上から下方向に優先的に読み取り順を推定します。段組みのワードドキュメントなどに対して、有効です。
+
+- `left2right`: 左から右方向に優先的に読み取り順を推定します。レシートや保険証などキーに対して、値を示すテキストが段組みになっているようなレイアウトに有効です。
+
+- `right2left:` 右から左方向に優先的に読み取り順を推定します。縦書きのドキュメントに対して有効です。
+
+## 検索可能なPDFを作成する
+画像内の文字情報を認識し、文字情報を透明テキストとして、PDFに埋め込むことで、サーチャブルPDFに変換します。
+
+```
+yomitoku ${path_data} --searchable_pdf
 ```

{yomitoku-0.9.0 → yomitoku-0.9.2}/docs/index.en.md

@@ -5,7 +5,7 @@ YomiToku is a Document AI engine specialized in Japanese document image analysis
 - 🤖 Equipped with four AI models trained on Japanese datasets: text detection, text recognition, layout analysis, and table structure recognition. All models are independently trained and optimized for Japanese documents, delivering high-precision inference.
 - 🇯🇵 Each model is specifically trained for Japanese document images, supporting the recognition of over 7,000 Japanese characters, including vertical text and other layout structures unique to Japanese documents. (It also supports English documents.)
 - 📈 By leveraging layout analysis, table structure parsing, and reading order estimation, it extracts information while preserving the semantic structure of the document layout.
-- 📄 Supports a variety of output formats, including HTML, Markdown, JSON, and CSV. It also allows for the extraction of diagrams and images contained within the documents.
+- 📄 Supports a variety of output formats, including HTML, Markdown, JSON, and CSV. It also allows for the extraction of diagrams and images contained within the documents.It also supports converting document images into fully text-searchable PDFs.
 - ⚡ Operates efficiently in GPU environments, enabling fast document transcription and analysis. It requires less than 8GB of VRAM, eliminating the need for high-end GPUs.。
 
 ## 🙋 FAQ

{yomitoku-0.9.0 → yomitoku-0.9.2}/docs/index.ja.md

@@ -5,7 +5,7 @@ YomiToku は日本語に特化した AI 文章画像解析エンジン(Document
 - 🤖 日本語データセットで学習した 4 種類(文字位置の検知、文字列認識、レイアウト解析、表の構造認識)の AI モデルを搭載しています。4 種類のモデルはすべて独自に学習されたモデルで日本語文書に対して、高精度に推論可能です。
 - 🇯🇵 各モデルは日本語の文書画像に特化して学習されており、7000 文字を超える日本語文字の認識をサーポート、手書き文字、縦書きなど日本語特有のレイアウト構造の文書画像の解析も可能です。（日本語以外にも英語の文書に対しても対応しています）。
 - 📈 レイアウト解析、表の構造解析, 読み順推定機能により、文書画像のレイアウトの意味的構造を壊さずに情報を抽出することが可能です。
-- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。
+- 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像の抽出の出力も可能です。文書画像を全文検索可能なサーチャブルPDFに変換する処理もサポートしています。
 - ⚡ GPU 環境で高速に動作し、効率的に文書の文字起こし解析が可能です。また、VRAM も 8GB 以内で動作し、ハイエンドな GPU を用意する必要はありません。
 
 ## 🙋 FAQ

{yomitoku-0.9.0 → yomitoku-0.9.2}/docs/mcp.en.md

@@ -46,3 +46,19 @@ For example, if you use `yomitoku/demo/sample.pdf` as a sample, instruct as foll
 ```txt
 Analyze sample.pdf using OCR and translate it into English.
 ```
+
+## Starting the SSE Server
+
+Set the path to the folder containing the images to be processed by OCR in the resource directory.
+
+```
+export RESOURCE_DIR="path of dataset"
+```
+
+Start the SSE server using the following command:
+
+```
+uv run yomitoku_mcp -t sse
+```
+
+The SSE server endpoint will be available at `http://127.0.0.1:8000/sse`.

{yomitoku-0.9.0 → yomitoku-0.9.2}/docs/mcp.ja.md

@@ -13,6 +13,7 @@
 uv sync --extra mcp
 ```
 
+
 ## Claude Desktopの設定
 
 次にClaude Desktopの設定ファイルの`mcpServers`に以下ように設定を追加します。(設定ファイルの開き方は[こちら](https://modelcontextprotocol.io/quickstart/user)を参照してください)
@@ -48,3 +49,16 @@ uv sync --extra mcp
 ```txt
 sample.pdfをOCRで解析して要約してください。
 ```
+
+## SSEサーバーの起動
+環境変数の`RESOURCE_DIR`にOCRの対象画像が含まれたフォルダのパスを設定してください。
+```
+export RESOURCE_DIR="path of dataset"
+```
+
+以下のコマンドでSSEサーバーを起動します。
+```
+uv run yomitoku_mcp -t sse
+```
+
+` http://127.0.0.1:8000/sse`がSSEサーバーのエンドポイントになります。

{yomitoku-0.9.0 → yomitoku-0.9.2}/pyproject.toml

@@ -30,6 +30,8 @@ dependencies = [
     "torch>=2.5.0",
     "torchvision>=0.20.0",
     "onnxruntime>=1.20.1",
+    "reportlab>=4.4.1",
+    "jaconv>=0.4.0",
 ]
 
 [tool.uv-dynamic-versioning]
@@ -70,7 +72,7 @@ explicit = true
 
 [project.scripts]
 yomitoku = "yomitoku.cli.main:main"
-yomitoku_mcp = "yomitoku.cli.mcp:run_mcp_server"
+yomitoku_mcp = "yomitoku.cli.mcp_server:main"
 
 [project.optional-dependencies]
 mcp = [

{yomitoku-0.9.0 → yomitoku-0.9.2}/src/yomitoku/cli/main.py

@@ -9,6 +9,7 @@ from ..constants import SUPPORT_OUTPUT_FORMAT
 from ..data.functions import load_image, load_pdf
 from ..document_analyzer import DocumentAnalyzer
 from ..utils.logger import set_logger
+from ..utils.searchable_pdf import create_searchable_pdf
 
 from ..export import save_csv, save_html, save_json, save_markdown
 from ..export import convert_json, convert_csv, convert_html, convert_markdown
@@ -80,11 +81,13 @@ def process_single_file(args, analyzer, path, format):
     else:
         imgs = load_image(path)
 
+    format_results = []
     results = []
     for page, img in enumerate(imgs):
         result, ocr, layout = analyzer(img)
         dirname = path.parent.name
         filename = path.stem
+        results.append(result)
 
         # cv2.imwrite(
         #    os.path.join(args.outdir, f"{dirname}_{filename}_p{page+1}.jpg"), img
@@ -92,7 +95,7 @@ def process_single_file(args, analyzer, path, format):
 
         if ocr is not None:
             out_path = os.path.join(
-                args.outdir, f"{dirname}_{filename}_p{page+1}_ocr.jpg"
+                args.outdir, f"{dirname}_{filename}_p{page + 1}_ocr.jpg"
             )
 
             save_image(ocr, out_path)
@@ -100,13 +103,15 @@ def process_single_file(args, analyzer, path, format):
 
         if layout is not None:
             out_path = os.path.join(
-                args.outdir, f"{dirname}_{filename}_p{page+1}_layout.jpg"
+                args.outdir, f"{dirname}_{filename}_p{page + 1}_layout.jpg"
             )
 
             save_image(layout, out_path)
             logger.info(f"Output file: {out_path}")
 
-        out_path = os.path.join(args.outdir, f"{dirname}_{filename}_p{page+1}.{format}")
+        out_path = os.path.join(
+            args.outdir, f"{dirname}_{filename}_p{page + 1}.{format}"
+        )
 
         if format == "json":
             if args.combine:
@@ -128,7 +133,7 @@ def process_single_file(args, analyzer, path, format):
                     figure_dir=args.figure_dir,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": json.model_dump(),
@@ -155,7 +160,7 @@ def process_single_file(args, analyzer, path, format):
                     figure_dir=args.figure_dir,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": csv,
@@ -186,7 +191,7 @@ def process_single_file(args, analyzer, path, format):
                     encoding=args.encoding,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": html,
@@ -217,14 +222,14 @@ def process_single_file(args, analyzer, path, format):
                     encoding=args.encoding,
                 )
 
-            results.append(
+            format_results.append(
                 {
                     "format": format,
                     "data": md,
                 }
             )
 
-    out = merge_all_pages(results)
+    out = merge_all_pages(format_results)
     if args.combine:
         out_path = os.path.join(args.outdir, f"{dirname}_{filename}.{format}")
         save_merged_file(
@@ -233,6 +238,15 @@ def process_single_file(args, analyzer, path, format):
             out,
         )
 
+    if args.searchable_pdf:
+        pdf_path = os.path.join(args.outdir, f"{filename}.pdf")
+        create_searchable_pdf(
+            imgs,
+            results,
+            output_path=pdf_path,
+        )
+        logger.info(f"Output SearchablePDF: {pdf_path}")
+
 
 def main():
     parser = argparse.ArgumentParser()
@@ -341,6 +355,17 @@ def main():
         action="store_true",
         help="if set, ignore meta information(header, footer) in the output",
     )
+    parser.add_argument(
+        "--reading_order",
+        default="auto",
+        type=str,
+        choices=["auto", "left2right", "top2bottom", "right2left"],
+    )
+    parser.add_argument(
+        "--searchable_pdf",
+        action="store_true",
+        help="if set, create searchable PDF",
+    )
 
     args = parser.parse_args()
 
@@ -394,6 +419,7 @@ def main():
         visualize=args.vis,
         device=args.device,
         ignore_meta=args.ignore_meta,
+        reading_order=args.reading_order,
     )
 
     os.makedirs(args.outdir, exist_ok=True)
@@ -408,7 +434,7 @@ def main():
                 logger.info(f"Processing file: {file_path}")
                 process_single_file(args, analyzer, file_path, format)
                 end = time.time()
-                logger.info(f"Total Processing time: {end-start:.2f} sec")
+                logger.info(f"Total Processing time: {end - start:.2f} sec")
             except Exception:
                 continue
     else:
@@ -416,7 +442,7 @@ def main():
         logger.info(f"Processing file: {path}")
         process_single_file(args, analyzer, path, format)
         end = time.time()
-        logger.info(f"Total Processing time: {end-start:.2f} sec")
+        logger.info(f"Total Processing time: {end - start:.2f} sec")
 
 
 if __name__ == "__main__":

yomitoku-0.9.0/src/yomitoku/cli/mcp.py → yomitoku-0.9.2/src/yomitoku/cli/mcp_server.py

@@ -1,14 +1,20 @@
-import json
-import io
 import csv
+import io
+import json
 import os
+from argparse import ArgumentParser
 from pathlib import Path
 
 from mcp.server.fastmcp import Context, FastMCP
 
 from yomitoku import DocumentAnalyzer
 from yomitoku.data.functions import load_image, load_pdf
-from yomitoku.export import convert_json, convert_markdown, convert_csv, convert_html
+from yomitoku.export import (
+    convert_csv,
+    convert_html,
+    convert_json,
+    convert_markdown,
+)
 
 try:
     RESOURCE_DIR = os.environ["RESOURCE_DIR"]
@@ -154,12 +160,37 @@ async def get_file_list() -> list[str]:
     return os.listdir(RESOURCE_DIR)
 
 
-def run_mcp_server():
+def run_mcp_server(transport="stdio", mount_path=None):
     """
     Run the MCP server.
     """
-    mcp.run(transport="stdio")
+
+    if transport == "stdio":
+        mcp.run()
+    elif transport == "sse":
+        mcp.run(transport=transport, mount_path=mount_path)
+
+
+def main():
+    parser = ArgumentParser(description="Run the MCP server.")
+    parser.add_argument(
+        "--transport",
+        "-t",
+        type=str,
+        default="stdio",
+        choices=["stdio", "sse"],
+        help="Transport method for the MCP server.",
+    )
+    parser.add_argument(
+        "--mount_path",
+        "-m",
+        type=str,
+        default=None,
+        help="Mount path for the MCP server (only used with SSE transport).",
+    )
+    args = parser.parse_args()
+    run_mcp_server(transport=args.transport, mount_path=args.mount_path)
 
 
 if __name__ == "__main__":
-    run_mcp_server()
+    main()

{yomitoku-0.9.0 → yomitoku-0.9.2}/src/yomitoku/data/dataset.py

@@ -8,9 +8,11 @@ from .functions import (
     validate_quads,
 )
 
+from concurrent.futures import ThreadPoolExecutor
+
 
 class ParseqDataset(Dataset):
-    def __init__(self, cfg, img, quads):
+    def __init__(self, cfg, img, quads, num_workers=8):
         self.img = img[:, :, ::-1]
         self.quads = quads
         self.cfg = cfg
@@ -22,19 +24,27 @@ class ParseqDataset(Dataset):
             ]
         )
 
-        validate_quads(self.img, self.quads)
+        with ThreadPoolExecutor(max_workers=num_workers) as executor:
+            data = list(executor.map(self.preprocess, self.quads))
 
-    def __len__(self):
-        return len(self.quads)
+        self.data = [tensor for tensor in data if tensor is not None]
+
+    def preprocess(self, quad):
+        if validate_quads(self.img, quad) is None:
+            return None
+
+        roi_img = extract_roi_with_perspective(self.img, quad)
 
-    def __getitem__(self, index):
-        polygon = self.quads[index]
-        roi_img = extract_roi_with_perspective(self.img, polygon)
         if roi_img is None:
-            return
+            return None
 
         roi_img = rotate_text_image(roi_img, thresh_aspect=2)
         resized = resize_with_padding(roi_img, self.cfg.data.img_size)
-        tensor = self.transform(resized)
 
-        return tensor
+        return resized
+
+    def __len__(self):
+        return len(self.data)
+
+    def __getitem__(self, index):
+        return self.transform(self.data[index])

{yomitoku-0.9.0 → yomitoku-0.9.2}/src/yomitoku/data/functions.py

@@ -191,7 +191,7 @@ def array_to_tensor(img: np.ndarray) -> torch.Tensor:
     return tensor
 
 
-def validate_quads(img: np.ndarray, quads: list[list[list[int]]]):
+def validate_quads(img: np.ndarray, quad: list[list[list[int]]]):
     """
     Validate the vertices of the quadrilateral.
 
@@ -204,23 +204,23 @@ def validate_quads(img: np.ndarray, quads: list[list[list[int]]]):
     """
 
     h, w = img.shape[:2]
-    for quad in quads:
-        if len(quad) != 4:
-            raise ValueError("The number of vertices must be 4.")
-
-        for point in quad:
-            if len(point) != 2:
-                raise ValueError("The number of coordinates must be 2.")
-
-        quad = np.array(quad, dtype=int)
-        x1 = np.min(quad[:, 0])
-        x2 = np.max(quad[:, 0])
-        y1 = np.min(quad[:, 1])
-        y2 = np.max(quad[:, 1])
-        h, w = img.shape[:2]
+    if len(quad) != 4:
+        # raise ValueError("The number of vertices must be 4.")
+        return None
+
+    for point in quad:
+        if len(point) != 2:
+            return None
+
+    quad = np.array(quad, dtype=int)
+    x1 = np.min(quad[:, 0])
+    x2 = np.max(quad[:, 0])
+    y1 = np.min(quad[:, 1])
+    y2 = np.max(quad[:, 1])
+    h, w = img.shape[:2]
 
-        if x1 < 0 or x2 > w or y1 < 0 or y2 > h:
-            raise ValueError(f"The vertices are out of the image. {quad.tolist()}")
+    if x1 < 0 or x2 > w or y1 < 0 or y2 > h:
+        return None
 
     return True
 
@@ -237,19 +237,18 @@ def extract_roi_with_perspective(img, quad):
         np.ndarray: extracted image
     """
     dst = img.copy()
-    quad = np.array(quad, dtype=np.float32)
+    quad = np.array(quad, dtype=np.int64)
+
     width = np.linalg.norm(quad[0] - quad[1])
     height = np.linalg.norm(quad[1] - quad[2])
 
     width = int(width)
     height = int(height)
-
     pts1 = np.float32(quad)
     pts2 = np.float32([[0, 0], [width, 0], [width, height], [0, height]])
 
     M = cv2.getPerspectiveTransform(pts1, pts2)
     dst = cv2.warpPerspective(dst, M, (width, height))
-
     return dst
 
 

{yomitoku-0.9.0 → yomitoku-0.9.2}/src/yomitoku/document_analyzer.py

@@ -86,8 +86,12 @@ def extract_paragraph_within_figure(paragraphs, figures):
                 check_list[i] = True
 
         figure["direction"] = judge_page_direction(contained_paragraphs)
+        reading_order = (
+            "left2right" if figure["direction"] == "horizontal" else "right2left"
+        )
+
         figure_paragraphs = prediction_reading_order(
-            contained_paragraphs, figure["direction"]
+            contained_paragraphs, reading_order
         )
         figure["paragraphs"] = sorted(figure_paragraphs, key=lambda x: x.order)
         figure = FigureSchema(**figure)
@@ -126,8 +130,8 @@ def extract_words_within_element(pred_words, element):
     cnt_vertical = word_direction.count("vertical")
 
     element_direction = "horizontal" if cnt_horizontal > cnt_vertical else "vertical"
-
-    prediction_reading_order(contained_words, element_direction)
+    order = "left2right" if element_direction == "horizontal" else "right2left"
+    prediction_reading_order(contained_words, order)
     contained_words = sorted(contained_words, key=lambda x: x.order)
 
     contained_words = "\n".join([content.contents for content in contained_words])
@@ -328,6 +332,7 @@ class DocumentAnalyzer:
         device="cuda",
         visualize=False,
         ignore_meta=False,
+        reading_order="auto",
     ):
         default_configs = {
             "ocr": {
@@ -352,6 +357,8 @@ class DocumentAnalyzer:
             },
         }
 
+        self.reading_order = reading_order
+
         if isinstance(configs, dict):
             recursive_update(default_configs, configs)
         else:
@@ -452,9 +459,17 @@ class DocumentAnalyzer:
 
         elements = page_contents + layout_res.tables + figures
 
-        prediction_reading_order(headers, page_direction)
-        prediction_reading_order(footers, page_direction)
-        prediction_reading_order(elements, page_direction, self.img)
+        prediction_reading_order(headers, "left2right")
+        prediction_reading_order(footers, "left2right")
+
+        if self.reading_order == "auto":
+            reading_order = (
+                "right2left" if page_direction == "vertical" else "top2bottom"
+            )
+        else:
+            reading_order = self.reading_order
+
+        prediction_reading_order(elements, reading_order, self.img)
 
         for i, element in enumerate(elements):
             element.order += len(headers)