yomitoku 0.9.2__tar.gz → 0.9.4__tar.gz

{yomitoku-0.9.2 → yomitoku-0.9.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: yomitoku
-Version: 0.9.2
+Version: 0.9.4
 Summary: Yomitoku is an AI-powered document image analysis package designed specifically for the Japanese language.
 Author-email: Kotaro Kinoshita <kotaro.kinoshita@mlism.com>
 License: CC BY-NC-SA 4.0
@@ -87,7 +87,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 ```
 
 - `${path_data}` 解析対象の画像が含まれたディレクトリか画像ファイルのパスを直接して指定してください。ディレクトリを対象とした場合はディレクトリのサブディレクトリ内の画像も含めて処理を実行します。
-- `-f`, `--format` 出力形式のファイルフォーマットを指定します。(json, csv, html, md をサポート)
+- `-f`, `--format` 出力形式のファイルフォーマットを指定します。(json, csv, html, md, pdf(searchable-pdf) をサポート)
 - `-o`, `--outdir` 出力先のディレクトリ名を指定します。存在しない場合は新規で作成されます。
 - `-v`, `--vis` を指定すると解析結果を可視化した画像を出力します。
 - `-l`, `--lite` を指定すると軽量モデルで推論を実行します。通常より高速に推論できますが、若干、精度が低下する可能性があります。
@@ -98,7 +98,6 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
 - `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
-- `--searchable_pdf` 読み取った文字情報をPDFに埋め込み全文検索可能なPDFを出力します。
 
 その他のオプションに関しては、ヘルプを参照
 

{yomitoku-0.9.2 → yomitoku-0.9.4}/README.md

@@ -60,7 +60,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 ```
 
 - `${path_data}` 解析対象の画像が含まれたディレクトリか画像ファイルのパスを直接して指定してください。ディレクトリを対象とした場合はディレクトリのサブディレクトリ内の画像も含めて処理を実行します。
-- `-f`, `--format` 出力形式のファイルフォーマットを指定します。(json, csv, html, md をサポート)
+- `-f`, `--format` 出力形式のファイルフォーマットを指定します。(json, csv, html, md, pdf(searchable-pdf) をサポート)
 - `-o`, `--outdir` 出力先のディレクトリ名を指定します。存在しない場合は新規で作成されます。
 - `-v`, `--vis` を指定すると解析結果を可視化した画像を出力します。
 - `-l`, `--lite` を指定すると軽量モデルで推論を実行します。通常より高速に推論できますが、若干、精度が低下する可能性があります。
@@ -71,7 +71,6 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
 - `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
-- `--searchable_pdf` 読み取った文字情報をPDFに埋め込み全文検索可能なPDFを出力します。
 
 その他のオプションに関しては、ヘルプを参照
 

{yomitoku-0.9.2 → yomitoku-0.9.4}/README_EN.md

@@ -59,7 +59,7 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 ```
 
 - `${path_data}`: Specify the path to a directory containing images to be analyzed or directly provide the path to an image file. If a directory is specified, images in its subdirectories will also be processed.
-- `-f`, `--format`: Specify the output file format. Supported formats are json, csv, html, and md.
+- `-f`, `--format`: Specify the output file format. Supported formats are json, csv, html, md , and pdf(searchable-pdf).
 - `-o`, `--outdir`: Specify the name of the output directory. If it does not exist, it will be created.
 - `-v`, `--vis`: If specified, outputs visualized images of the analysis results.
 - `-l`, `--lite`: inference is performed using a lightweight model. This enables fast inference even on a CPU.
@@ -70,7 +70,6 @@ yomitoku ${path_data} -f md -o results -v --figure --lite
 - `--encoding` Specifies the character encoding for the output file to be exported. If unsupported characters are included, they will be ignored. (utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
 - `--combine` When a PDF is provided as input and contains multiple pages, this option combines their prediction results into a single file for export.
 - `--ignore_meta` Excludes text information such as headers and footers from the output file.
-- `--searchable_pdf` Embeds the recognized text into the PDF and outputs a fully searchable PDF.
 
 For other options, please refer to the help documentation.
 

{yomitoku-0.9.2 → yomitoku-0.9.4}/docs/cli.en.md

@@ -7,7 +7,7 @@ yomitoku ${path_data} -v -o results
 ```
 
 - `${path_data}`: Specify the path to a directory containing images to be analyzed or directly provide the path to an image file. If a directory is specified, images in its subdirectories will also be processed.
-- `-f`, `--format`: Specify the output file format. Supported formats are json, csv, html, and md.
+- `-f`, `--format`: Specify the output file format. Supported formats are json, csv, html, md , and pdf(searchable-pdf).
 - `-o`, `--outdir`: Specify the name of the output directory. If it does not exist, it will be created.
 - `-v`, `--vis`: If specified, outputs visualized images of the analysis results.
 
@@ -41,6 +41,8 @@ You can specify the output format of the analysis results using the --format or
 yomitoku ${path_data} -f md
 ```
 
+- `pdf`: Detect the text in the image and embed it into the PDF as invisible text, converting the file into a searchable PDF.
+
 ## Specifying the Output Device
 
 You can specify the device for running the model using the -d or --device option. Supported options are cuda, cpu, and mps. If a GPU is not available, inference will be performed on the CPU. (Default: cuda)
@@ -121,12 +123,4 @@ yomitoku ${path_data} --reading_order left2right
 
 * `left2right`: Prioritizes reading from left to right. Suitable for layouts like receipts or health insurance cards, where key-value text pairs are arranged in columns.
 
-* `right2left`: Prioritizes reading from right to left. Effective for vertically written documents.
-
-## Create a searchable PDF
-
-Detect the text in the image and embed it into the PDF as invisible text, converting the file into a searchable PDF.
-
-```
-yomitoku ${path_data} --searchable_pdf
-```
+* `right2left`: Prioritizes reading from right to left. Effective for vertically written documents.

{yomitoku-0.9.2 → yomitoku-0.9.4}/docs/cli.ja.md

@@ -31,12 +31,14 @@ yomitoku ${path_data} --lite -v
 
 ## 出力フォーマットの指定
 
-`--format`, `-f` オプションを使用することで解析結果の出力形式のフォーマットを指定できます。出力フォーマットの種類は json, csv, html, md(markdown)をサポートしています。
+- `-f`, `--format` 出力形式のファイルフォーマットを指定します。(json, csv, html, md, pdf(searchable-pdf) をサポート)
 
 ```
 yomitoku ${path_data} -f md
 ```
 
+- pdf: 画像内の文字情報を認識し、文字情報を透明テキストとして、PDFに埋め込むことで、サーチャブルPDFに変換します。
+
 ## 出力デバイスの指定
 
 - `-d`, `--device` オプションを使用することで、モデルを実行するためのデバイスを指定します。(cuda | cpu | mps)。gpu が利用できない場合は cpu で推論が実行されます。(デフォルト: cuda)
@@ -117,11 +119,4 @@ yomitoku ${path_data} --reading_order left2right
 
 - `left2right`: 左から右方向に優先的に読み取り順を推定します。レシートや保険証などキーに対して、値を示すテキストが段組みになっているようなレイアウトに有効です。
 
-- `right2left:` 右から左方向に優先的に読み取り順を推定します。縦書きのドキュメントに対して有効です。
-
-## 検索可能なPDFを作成する
-画像内の文字情報を認識し、文字情報を透明テキストとして、PDFに埋め込むことで、サーチャブルPDFに変換します。
-
-```
-yomitoku ${path_data} --searchable_pdf
-```
+- `right2left:` 右から左方向に優先的に読み取り順を推定します。縦書きのドキュメントに対して有効です。

{yomitoku-0.9.2 → yomitoku-0.9.4}/src/yomitoku/cli/main.py

@@ -49,10 +49,15 @@ def merge_all_pages(results):
             else:
                 out += "\n" + data
 
+        elif format == "pdf":
+            if out is None:
+                out = [data]
+            else:
+                out.append(data)
     return out
 
 
-def save_merged_file(out_path, args, out):
+def save_merged_file(out_path, args, out, imgs):
     if args.format == "json":
         save_json(out, out_path, args.encoding)
     elif args.format == "csv":
@@ -61,6 +66,13 @@ def save_merged_file(out_path, args, out):
         save_html(out, out_path, args.encoding)
     elif args.format == "md":
         save_markdown(out, out_path, args.encoding)
+    elif args.format == "pdf":
+        create_searchable_pdf(
+            imgs,
+            out,
+            output_path=out_path,
+            font_path=args.font_path,
+        )
 
 
 def validate_encoding(encoding):
@@ -82,12 +94,10 @@ def process_single_file(args, analyzer, path, format):
         imgs = load_image(path)
 
     format_results = []
-    results = []
     for page, img in enumerate(imgs):
         result, ocr, layout = analyzer(img)
         dirname = path.parent.name
         filename = path.stem
-        results.append(result)
 
         # cv2.imwrite(
         #    os.path.join(args.outdir, f"{dirname}_{filename}_p{page+1}.jpg"), img
@@ -148,6 +158,7 @@ def process_single_file(args, analyzer, path, format):
                     args.ignore_line_break,
                     img,
                     args.figure,
+                    args.figure_letter,
                     args.figure_dir,
                 )
             else:
@@ -157,6 +168,7 @@ def process_single_file(args, analyzer, path, format):
                     encoding=args.encoding,
                     img=img,
                     export_figure=args.figure,
+                    export_figure_letter=args.figure_letter,
                     figure_dir=args.figure_dir,
                 )
 
@@ -228,6 +240,21 @@ def process_single_file(args, analyzer, path, format):
                     "data": md,
                 }
             )
+        elif format == "pdf":
+            if not args.combine:
+                create_searchable_pdf(
+                    [img],
+                    [result],
+                    output_path=out_path,
+                    font_path=args.font_path,
+                )
+
+            format_results.append(
+                {
+                    "format": format,
+                    "data": result,
+                }
+            )
 
     out = merge_all_pages(format_results)
     if args.combine:
@@ -236,16 +263,8 @@ def process_single_file(args, analyzer, path, format):
             out_path,
             args,
             out,
-        )
-
-    if args.searchable_pdf:
-        pdf_path = os.path.join(args.outdir, f"{filename}.pdf")
-        create_searchable_pdf(
             imgs,
-            results,
-            output_path=pdf_path,
         )
-        logger.info(f"Output SearchablePDF: {pdf_path}")
 
 
 def main():
@@ -362,11 +381,11 @@ def main():
         choices=["auto", "left2right", "top2bottom", "right2left"],
     )
     parser.add_argument(
-        "--searchable_pdf",
-        action="store_true",
-        help="if set, create searchable PDF",
+        "--font_path",
+        default=None,
+        type=str,
+        help="Path to the font file(.ttf) for PDF output",
     )
-
     args = parser.parse_args()
 
     path = Path(args.arg1)
@@ -379,6 +398,13 @@ def main():
             f"Invalid output format: {args.format}. Supported formats are {SUPPORT_OUTPUT_FORMAT}"
         )
 
+    if (
+        args.font_path is not None
+        and not os.path.exists(args.font_path)
+        and format == "pdf"
+    ):
+        raise FileNotFoundError(f"Font file not found: {args.font_path}")
+
     validate_encoding(args.encoding)
 
     if format == "markdown":

{yomitoku-0.9.2 → yomitoku-0.9.4}/src/yomitoku/constants.py

@@ -1,7 +1,7 @@
 import os
 
 ROOT_DIR = os.path.dirname(os.path.abspath(__file__))
-SUPPORT_OUTPUT_FORMAT = ["json", "csv", "html", "markdown", "md"]
+SUPPORT_OUTPUT_FORMAT = ["json", "csv", "html", "markdown", "md", "pdf"]
 SUPPORT_INPUT_FORMAT = ["jpg", "jpeg", "png", "bmp", "tiff", "tif", "pdf"]
 MIN_IMAGE_SIZE = 32
 WARNING_IMAGE_SIZE = 720

{yomitoku-0.9.2 → yomitoku-0.9.4}/src/yomitoku/export/export_csv.py

@@ -63,6 +63,7 @@ def convert_csv(
     ignore_line_break,
     img=None,
     export_figure: bool = True,
+    export_figure_letter: bool = False,
     figure_dir="figures",
 ):
     elements = []
@@ -89,6 +90,20 @@ def convert_csv(
             }
         )
 
+    if export_figure_letter:
+        for figure in inputs.figures:
+            paragraphs = sorted(figure.paragraphs, key=lambda x: x.order)
+            for paragraph in paragraphs:
+                contents = paragraph_to_csv(paragraph, ignore_line_break)
+                elements.append(
+                    {
+                        "type": "paragraph",
+                        "box": paragraph.box,
+                        "element": contents,
+                        "order": figure.order,
+                    }
+                )
+
     elements = sorted(elements, key=lambda x: x["order"])
 
     if export_figure:
@@ -109,6 +124,7 @@ def export_csv(
     encoding: str = "utf-8",
     img=None,
     export_figure: bool = True,
+    export_figure_letter: bool = False,
     figure_dir="figures",
 ):
     elements = convert_csv(
@@ -117,6 +133,7 @@ def export_csv(
         ignore_line_break,
         img,
         export_figure,
+        export_figure_letter,
         figure_dir,
     )
 

{yomitoku-0.9.2 → yomitoku-0.9.4}/src/yomitoku/utils/searchable_pdf.py

@@ -14,7 +14,6 @@ import jaconv
 from ..constants import ROOT_DIR
 
 FONT_PATH = ROOT_DIR + "/resource/MPLUS1p-Medium.ttf"
-pdfmetrics.registerFont(TTFont("MPLUS1p-Medium", FONT_PATH))
 
 
 def _poly2rect(points):
@@ -62,14 +61,17 @@ def to_full_width(text):
     return jaconv_text
 
 
-def create_searchable_pdf(images, ocr_results, output_path):
+def create_searchable_pdf(images, ocr_results, output_path, font_path=None):
+    if font_path is None:
+        font_path = FONT_PATH
+
+    pdfmetrics.registerFont(TTFont("MPLUS1p-Medium", font_path))
+
     packet = BytesIO()
     c = canvas.Canvas(packet)
 
     for i, (image, ocr_result) in enumerate(zip(images, ocr_results)):
         image = Image.fromarray(image[:, :, ::-1])  # Convert BGR to RGB
-        pdfmetrics.registerFont(TTFont("MPLUS1p-Medium", FONT_PATH))
-
         image_path = f"tmp_{i}.png"
         image.save(image_path)
         w, h = image.size
@@ -97,7 +99,6 @@ def create_searchable_pdf(images, ocr_results, output_path):
 
             c.setFont("MPLUS1p-Medium", font_size)
             c.setFillColorRGB(1, 1, 1, alpha=0)  # 透明
-            # c.setFillColorRGB(0, 0, 0)
             if direction == "vertical":
                 base_y = h - y2 + (bbox_height - font_size)
                 for j, ch in enumerate(text):

{yomitoku-0.9.2 → yomitoku-0.9.4}/tests/test_cli.py

@@ -152,6 +152,31 @@ def test_run_tiff_csv(monkeypatch, tmp_path):
     assert os.path.exists(out_path)
 
 
+def test_run_tiff_pdf(monkeypatch, tmp_path):
+    path_img = "tests/data/test.tiff"
+    monkeypatch.setattr(
+        "sys.argv",
+        [
+            "main.py",
+            path_img,
+            "-o",
+            str(tmp_path),
+            "-f",
+            "pdf",
+            "--tsr_cfg",
+            "tests/yaml/table_structure_recognizer.yaml",
+            "--lite",
+            "--figure",
+        ],
+    )
+    main.main()
+    path = Path(path_img)
+    dirname = path.parent.name
+    filename = path.stem
+    out_path = os.path.join(str(tmp_path), f"{dirname}_{filename}_p1.pdf")
+    assert os.path.exists(out_path)
+
+
 def test_run_pdf_md(monkeypatch, tmp_path):
     path_img = "tests/data/test.pdf"
     monkeypatch.setattr(