yomitoku 0.5.3__tar.gz → 0.7.4__tar.gz

{yomitoku-0.5.3 → yomitoku-0.7.4}/.github/workflows/lint-and-test.yml

@@ -30,6 +30,8 @@ jobs:
           enable-cache: true
       - name: pin python version
         run: uv python pin 3.12
+      - name: Update apt
+        run: sudo apt update
       - name: Install dependencies
         run: sudo apt install -y libopencv-dev poppler-utils
       - name: Install tox-uv
@@ -37,4 +39,4 @@ jobs:
       - name: Run linter
         run: tox -e lint
       - name: Run tests
-        run:  tox -p -e py39,py310,py311,py312
+        run: tox -p -e py310,py311,py312

{yomitoku-0.5.3 → yomitoku-0.7.4}/.gitignore

@@ -20,4 +20,6 @@ dataset/
 weights/
 results/
 
-.coverage*
+.coverage*
+
+*.onnx

yomitoku-0.7.4/.python-version

@@ -0,0 +1 @@
+3.10

{yomitoku-0.5.3 → yomitoku-0.7.4}/PKG-INFO

@@ -1,14 +1,16 @@
-Metadata-Version: 2.3
+Metadata-Version: 2.4
 Name: yomitoku
-Version: 0.5.3
+Version: 0.7.4
 Summary: Yomitoku is an AI-powered document image analysis package designed specifically for the Japanese language.
 Author-email: Kotaro Kinoshita <kotaro.kinoshita@mlism.com>
 License: CC BY-NC-SA 4.0
 Keywords: Deep Learning,Japanese,OCR
-Requires-Python: <3.13,>=3.9
+Requires-Python: <3.13,>=3.10
 Requires-Dist: huggingface-hub>=0.26.1
 Requires-Dist: lxml>=5.3.0
 Requires-Dist: omegaconf>=2.3.0
+Requires-Dist: onnx>=1.17.0
+Requires-Dist: onnxruntime>=1.20.1
 Requires-Dist: opencv-python>=4.10.0.84
 Requires-Dist: pyclipper>=1.3.0.post6
 Requires-Dist: pydantic>=2.9.2
@@ -23,11 +25,12 @@ Description-Content-Type: text/markdown
 
 <img src="static/logo/horizontal.png" width="800px">
 
-![Python](https://img.shields.io/badge/Python-3.9|3.10|3.11|3.12-F9DC3E.svg?logo=python&logoColor=&style=flat)
+![Python](https://img.shields.io/badge/Python-3.10|3.11|3.12-F9DC3E.svg?logo=python&logoColor=&style=flat)
 ![Pytorch](https://img.shields.io/badge/Pytorch-2.5-EE4C2C.svg?logo=Pytorch&style=fla)
 ![CUDA](https://img.shields.io/badge/CUDA->=11.8-76B900.svg?logo=NVIDIA&style=fla)
 ![OS](https://img.shields.io/badge/OS-Linux|Mac|Win-1793D1.svg?&style=fla)
 [![Document](https://img.shields.io/badge/docs-live-brightgreen)](https://kotaro-kinoshita.github.io/yomitoku/)
+[![PyPI Downloads](https://static.pepy.tech/badge/yomitoku)](https://pepy.tech/projects/yomitoku)
 
 ## 🌟 概要
 
@@ -69,23 +72,27 @@ Markdown でエクスポートした結果は関してはリポジトリ内の[s
 pip install yomitoku
 ```
 
-- pytorch はご自身の CUDAのバージョンにあったものをインストールしてください。デフォルトではCUDA12.4以上に対応したものがインストールされます。
-- pytorch は2.5以上のバージョンに対応しています。その関係でCUDA11.8以上のバージョンが必要になります。対応できない場合は、リポジトリ内のDockerfileを利用してください。
+- pytorch はご自身の CUDA のバージョンにあったものをインストールしてください。デフォルトでは CUDA12.4 以上に対応したものがインストールされます。
+- pytorch は 2.5 以上のバージョンに対応しています。その関係で CUDA11.8 以上のバージョンが必要になります。対応できない場合は、リポジトリ内の Dockerfile を利用してください。
 
 ## 🚀 実行方法
 
 ```
-yomitoku ${path_data} -f md -o results -v --figure
+yomitoku ${path_data} -f md -o results -v --figure --lite
 ```
 
 - `${path_data}` 解析対象の画像が含まれたディレクトリか画像ファイルのパスを直接して指定してください。ディレクトリを対象とした場合はディレクトリのサブディレクトリ内の画像も含めて処理を実行します。
 - `-f`, `--format` 出力形式のファイルフォーマットを指定します。(json, csv, html, md をサポート)
 - `-o`, `--outdir` 出力先のディレクトリ名を指定します。存在しない場合は新規で作成されます。
 - `-v`, `--vis` を指定すると解析結果を可視化した画像を出力します。
+- `-l`, `--lite` を指定すると軽量モデルで推論を実行します。通常より高速に推論できますが、若干、精度が低下する可能性があります。
 - `-d`, `--device` モデルを実行するためのデバイスを指定します。gpu が利用できない場合は cpu で推論が実行されます。(デフォルト: cuda)
 - `--ignore_line_break` 画像の改行位置を無視して、段落内の文章を連結して返します。（デフォルト：画像通りの改行位置位置で改行します。）
 - `--figure_letter` 検出した図表に含まれる文字も出力ファイルにエクスポートします。
-- `--figure` 検出した図、画像を出力ファイルにエクスポートします。(html と markdown のみ)
+- `--figure` 検出した図、画像を出力ファイルにエクスポートします。
+- `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
+- `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
+- `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
 
 その他のオプションに関しては、ヘルプを参照
 
@@ -94,6 +101,7 @@ yomitoku --help
 ```
 
 **NOTE**
+
 - GPU での実行を推奨します。CPU を用いての推論向けに最適化されておらず、処理時間が長くなります。
 - 活字のみ識別をサポートしております。手書き文字に関しては、読み取れる場合もありますが、公式にはサポートしておりません。
 - Yomitoku は文書 OCR 向けに最適化されており、情景 OCR(看板など紙以外にプリントされた文字の読み取り)向けには最適化されていません。
@@ -107,6 +115,6 @@ yomitoku --help
 
 本リポジトリ内に格納されているソースコードおよび本プロジェクトに関連する HuggingFaceHub 上のモデルの重みファイルのライセンスは CC BY-NC-SA 4.0 に従います。
 非商用での個人利用、研究目的での利用はご自由にお使いください。
-商用目的での利用に関しては、別途、商用ライセンスを提供しますので、開発者にお問い合わせください。
+商用目的での利用に関しては、別途、商用ライセンスを提供しますので、https://www.mlism.com/ にお問い合わせください。
 
 YomiToku © 2024 by Kotaro Kinoshita is licensed under CC BY-NC-SA 4.0. To view a copy of this license, visit https://creativecommons.org/licenses/by-nc-sa/4.0/

{yomitoku-0.5.3 → yomitoku-0.7.4}/README.md

@@ -2,11 +2,12 @@
 
 <img src="static/logo/horizontal.png" width="800px">
 
-![Python](https://img.shields.io/badge/Python-3.9|3.10|3.11|3.12-F9DC3E.svg?logo=python&logoColor=&style=flat)
+![Python](https://img.shields.io/badge/Python-3.10|3.11|3.12-F9DC3E.svg?logo=python&logoColor=&style=flat)
 ![Pytorch](https://img.shields.io/badge/Pytorch-2.5-EE4C2C.svg?logo=Pytorch&style=fla)
 ![CUDA](https://img.shields.io/badge/CUDA->=11.8-76B900.svg?logo=NVIDIA&style=fla)
 ![OS](https://img.shields.io/badge/OS-Linux|Mac|Win-1793D1.svg?&style=fla)
 [![Document](https://img.shields.io/badge/docs-live-brightgreen)](https://kotaro-kinoshita.github.io/yomitoku/)
+[![PyPI Downloads](https://static.pepy.tech/badge/yomitoku)](https://pepy.tech/projects/yomitoku)
 
 ## 🌟 概要
 
@@ -48,23 +49,27 @@ Markdown でエクスポートした結果は関してはリポジトリ内の[s
 pip install yomitoku
 ```
 
-- pytorch はご自身の CUDAのバージョンにあったものをインストールしてください。デフォルトではCUDA12.4以上に対応したものがインストールされます。
-- pytorch は2.5以上のバージョンに対応しています。その関係でCUDA11.8以上のバージョンが必要になります。対応できない場合は、リポジトリ内のDockerfileを利用してください。
+- pytorch はご自身の CUDA のバージョンにあったものをインストールしてください。デフォルトでは CUDA12.4 以上に対応したものがインストールされます。
+- pytorch は 2.5 以上のバージョンに対応しています。その関係で CUDA11.8 以上のバージョンが必要になります。対応できない場合は、リポジトリ内の Dockerfile を利用してください。
 
 ## 🚀 実行方法
 
 ```
-yomitoku ${path_data} -f md -o results -v --figure
+yomitoku ${path_data} -f md -o results -v --figure --lite
 ```
 
 - `${path_data}` 解析対象の画像が含まれたディレクトリか画像ファイルのパスを直接して指定してください。ディレクトリを対象とした場合はディレクトリのサブディレクトリ内の画像も含めて処理を実行します。
 - `-f`, `--format` 出力形式のファイルフォーマットを指定します。(json, csv, html, md をサポート)
 - `-o`, `--outdir` 出力先のディレクトリ名を指定します。存在しない場合は新規で作成されます。
 - `-v`, `--vis` を指定すると解析結果を可視化した画像を出力します。
+- `-l`, `--lite` を指定すると軽量モデルで推論を実行します。通常より高速に推論できますが、若干、精度が低下する可能性があります。
 - `-d`, `--device` モデルを実行するためのデバイスを指定します。gpu が利用できない場合は cpu で推論が実行されます。(デフォルト: cuda)
 - `--ignore_line_break` 画像の改行位置を無視して、段落内の文章を連結して返します。（デフォルト：画像通りの改行位置位置で改行します。）
 - `--figure_letter` 検出した図表に含まれる文字も出力ファイルにエクスポートします。
-- `--figure` 検出した図、画像を出力ファイルにエクスポートします。(html と markdown のみ)
+- `--figure` 検出した図、画像を出力ファイルにエクスポートします。
+- `--encoding` エクスポートする出力ファイルの文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
+- `--combine` PDFを入力に与えたときに、複数ページが含まれる場合に、それらの予測結果を一つのファイルに統合してエクスポートします。
+- `--ignore_meta` 文章のheater, fotterなどの文字情報を出力ファイルに含めません。
 
 その他のオプションに関しては、ヘルプを参照
 
@@ -73,6 +78,7 @@ yomitoku --help
 ```
 
 **NOTE**
+
 - GPU での実行を推奨します。CPU を用いての推論向けに最適化されておらず、処理時間が長くなります。
 - 活字のみ識別をサポートしております。手書き文字に関しては、読み取れる場合もありますが、公式にはサポートしておりません。
 - Yomitoku は文書 OCR 向けに最適化されており、情景 OCR(看板など紙以外にプリントされた文字の読み取り)向けには最適化されていません。
@@ -86,6 +92,6 @@ yomitoku --help
 
 本リポジトリ内に格納されているソースコードおよび本プロジェクトに関連する HuggingFaceHub 上のモデルの重みファイルのライセンスは CC BY-NC-SA 4.0 に従います。
 非商用での個人利用、研究目的での利用はご自由にお使いください。
-商用目的での利用に関しては、別途、商用ライセンスを提供しますので、開発者にお問い合わせください。
+商用目的での利用に関しては、別途、商用ライセンスを提供しますので、https://www.mlism.com/ にお問い合わせください。
 
 YomiToku © 2024 by Kotaro Kinoshita is licensed under CC BY-NC-SA 4.0. To view a copy of this license, visit https://creativecommons.org/licenses/by-nc-sa/4.0/

{yomitoku-0.5.3 → yomitoku-0.7.4}/README_EN.md

@@ -2,11 +2,12 @@
 
 <img src="static/logo/horizontal.png" width="800px">
 
-![Python](https://img.shields.io/badge/Python-3.9|3.10|3.11|3.12-F9DC3E.svg?logo=python&logoColor=&style=flat)
+![Python](https://img.shields.io/badge/Python-3.10|3.11|3.12-F9DC3E.svg?logo=python&logoColor=&style=flat)
 ![Pytorch](https://img.shields.io/badge/Pytorch-2.5-EE4C2C.svg?logo=Pytorch&style=fla)
 ![CUDA](https://img.shields.io/badge/CUDA->=11.8-76B900.svg?logo=NVIDIA&style=fla)
 ![OS](https://img.shields.io/badge/OS-Linux|Mac|Win-1793D1.svg?&style=fla)
 [![Document](https://img.shields.io/badge/docs-live-brightgreen)](https://kotaro-kinoshita.github.io/yomitoku-dev/)
+[![PyPI Downloads](https://static.pepy.tech/badge/yomitoku)](https://pepy.tech/projects/yomitoku)
 
 ## 🌟 Introduction
 
@@ -22,13 +23,12 @@ YomiToku is a Document AI engine specialized in Japanese document image analysis
 
 The verification results for various types of images are also included in [gallery.md](gallery.md)
 
-|                          Input                          |                       Results of OCR                        |
+|                           Input                            |                     Results of OCR                      |
 | :--------------------------------------------------------: | :-----------------------------------------------------: |
 |        <img src="static/in/demo.jpg" width="400px">        | <img src="static/out/in_demo_p1_ocr.jpg" width="400px"> |
-|                    Results of Layout Analysis                    |    Results of HTML Export    |
+|                 Results of Layout Analysis                 |                 Results of HTML Export                  |
 | <img src="static/out/in_demo_p1_layout.jpg" width="400px"> |   <img src="static/out/demo_html.png" width="400px">    |
 
-
 For the results exported in Markdown, please refer to [static/out/in_demo_p1.md](static/out/in_demo_p1.md) in the repository.
 
 - `Red Frame`: Positions of figures and images
@@ -49,32 +49,36 @@ Source of the image: Created by processing content from “Reiwa 6 Edition Infor
 pip install yomitoku
 ```
 
-
 - Please install the version of PyTorch that matches your CUDA version. By default, a version compatible with CUDA 12.4 or higher will be installed.
 - PyTorch versions 2.5 and above are supported. As a result, CUDA version 11.8 or higher is required. If this is not feasible, please use the Dockerfile provided in the repository.
 
 ## 🚀 Usage
 
 ```
-yomitoku ${path_data} -f md -o results -v --figure
+yomitoku ${path_data} -f md -o results -v --figure --lite
 ```
 
 - `${path_data}`: Specify the path to a directory containing images to be analyzed or directly provide the path to an image file. If a directory is specified, images in its subdirectories will also be processed.
 - `-f`, `--format`: Specify the output file format. Supported formats are json, csv, html, and md.
 - `-o`, `--outdir`: Specify the name of the output directory. If it does not exist, it will be created.
 - `-v`, `--vis`: If specified, outputs visualized images of the analysis results.
+- `-l`, `--lite`: inference is performed using a lightweight model. This enables fast inference even on a CPU.
 - `-d`, `--device`: Specify the device for running the model. If a GPU is unavailable, inference will be executed on the CPU. (Default: cuda)
 - `--ignore_line_break`: Ignores line breaks in the image and concatenates sentences within a paragraph. (Default: respects line breaks as they appear in the image.)
 - `--figure_letter`: Exports characters contained within detected figures and tables to the output file.
-- `--figure`: Exports detected figures and images to the output file (supported only for html and markdown).
-
+- `--figure`: Exports detected figures and images to the output file
+- `--encoding` Specifies the character encoding for the output file to be exported. If unsupported characters are included, they will be ignored. (utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
+- `--combine` When a PDF is provided as input and contains multiple pages, this option combines their prediction results into a single file for export.
+- `--ignore_meta` Excludes text information such as headers and footers from the output file.
 
 For other options, please refer to the help documentation.
+
 ```
 yomitoku --help
 ```
 
 **NOTE**
+
 - It is recommended to run on a GPU. The system is not optimized for inference on CPUs, which may result in significantly longer processing times.
 - Only printed text recognition is supported. While it may occasionally read handwritten text, official support is not provided.
 - YomiToku is optimized for document OCR and is not designed for scene OCR (e.g., text printed on non-paper surfaces like signs).

yomitoku-0.5.3/configs/layout_parser_rtdetrv2.yaml → yomitoku-0.7.4/configs/yomitoku-layout-parser-rtdtrv2-open-beta.yaml

@@ -1,31 +1,31 @@
 hf_hub_repo: KotaroKinoshita/yomitoku-layout-parser-rtdtrv2-open-beta
-thresh_score: 0.45
+thresh_score: 0.5
 data:
   img_size:
-    - 640
-    - 640
+  - 640
+  - 640
 PResNet:
   depth: 50
   variant: d
   freeze_at: 0
   return_idx:
-    - 1
-    - 2
-    - 3
+  - 1
+  - 2
+  - 3
   num_stages: 4
   freeze_norm: true
 HybridEncoder:
   in_channels:
-    - 512
-    - 1024
-    - 2048
+  - 512
+  - 1024
+  - 2048
   feat_strides:
-    - 8
-    - 16
-    - 32
+  - 8
+  - 16
+  - 32
   hidden_dim: 256
   use_encoder_idx:
-    - 2
+  - 2
   num_encoder_layers: 1
   nhead: 8
   dim_feedforward: 1024
@@ -35,15 +35,15 @@ HybridEncoder:
   depth_mult: 1
   act: silu
 RTDETRTransformerv2:
-  num_classes: 3
+  num_classes: 6
   feat_channels:
-    - 256
-    - 256
-    - 256
+  - 256
+  - 256
+  - 256
   feat_strides:
-    - 8
-    - 16
-    - 32
+  - 8
+  - 16
+  - 32
   hidden_dim: 256
   num_levels: 3
   num_layers: 6
@@ -52,16 +52,23 @@ RTDETRTransformerv2:
   label_noise_ratio: 0.5
   box_noise_scale: 1.0
   eval_spatial_size:
-    - 640
-    - 640
+  - 640
+  - 640
   eval_idx: -1
   num_points:
-    - 4
-    - 4
-    - 4
+  - 4
+  - 4
+  - 4
   cross_attn_method: default
   query_select_method: default
 category:
-  - paragraph
-  - figure
-  - table
+- tables
+- figures
+- paragraphs
+- section_headings
+- page_header
+- page_footer
+role:
+- section_headings
+- page_header
+- page_footer

yomitoku-0.7.4/configs/yomitoku-table-structure-recognizer-rtdtrv2-open-beta.yaml

@@ -0,0 +1,67 @@
+hf_hub_repo: KotaroKinoshita/yomitoku-table-structure-recognizer-rtdtrv2-open-beta
+thresh_score: 0.4
+data:
+  img_size:
+  - 640
+  - 640
+PResNet:
+  depth: 50
+  variant: d
+  freeze_at: 0
+  return_idx:
+  - 1
+  - 2
+  - 3
+  num_stages: 4
+  freeze_norm: true
+HybridEncoder:
+  in_channels:
+  - 512
+  - 1024
+  - 2048
+  feat_strides:
+  - 8
+  - 16
+  - 32
+  hidden_dim: 256
+  use_encoder_idx:
+  - 2
+  num_encoder_layers: 1
+  nhead: 8
+  dim_feedforward: 1024
+  dropout: 0.0
+  enc_act: gelu
+  expansion: 1.0
+  depth_mult: 1
+  act: silu
+RTDETRTransformerv2:
+  num_classes: 3
+  feat_channels:
+  - 256
+  - 256
+  - 256
+  feat_strides:
+  - 8
+  - 16
+  - 32
+  hidden_dim: 256
+  num_levels: 3
+  num_layers: 6
+  num_queries: 300
+  num_denoising: 100
+  label_noise_ratio: 0.5
+  box_noise_scale: 1.0
+  eval_spatial_size:
+  - 640
+  - 640
+  eval_idx: -1
+  num_points:
+  - 4
+  - 4
+  - 4
+  cross_attn_method: default
+  query_select_method: default
+category:
+- row
+- col
+- span

yomitoku-0.5.3/configs/text_detector.yaml → yomitoku-0.7.4/configs/yomitoku-text-detector-dbnet-open-beta.yaml

@@ -4,10 +4,10 @@ backbone:
   dilation: true
 decoder:
   in_channels:
-    - 256
-    - 512
-    - 1024
-    - 2048
+  - 256
+  - 512
+  - 1024
+  - 2048
   hidden_dim: 256
   adaptive: true
   serial: true
@@ -21,10 +21,10 @@ post_process:
   thresh: 0.2
   box_thresh: 0.5
   max_candidates: 1500
-  unclip_ratio: 2.0
+  unclip_ratio: 7.0
 visualize:
   color:
-    - 0
-    - 255
-    - 0
-  heatmap: false
+  - 0
+  - 255
+  - 0
+  heatmap: false

yomitoku-0.7.4/configs/yomitoku-text-recognizer-parseq-open-beta.yaml

@@ -0,0 +1,32 @@
+hf_hub_repo: KotaroKinoshita/yomitoku-text-recognizer-parseq-open-beta
+charset: /home/kinoshita/Projects/know-how/yomitoku/src/yomitoku/resource/charset.txt
+num_tokens: 7312
+max_label_length: 100
+decode_ar: 1
+refine_iters: 1
+data:
+  num_workers: 4
+  batch_size: 128
+  img_size:
+  - 32
+  - 800
+encoder:
+  patch_size:
+  - 8
+  - 8
+  num_heads: 8
+  embed_dim: 512
+  mlp_ratio: 4
+  depth: 12
+decoder:
+  embed_dim: 512
+  num_heads: 8
+  mlp_ratio: 4
+  depth: 1
+visualize:
+  font: src/yomitoku/resource/MPLUS1p-Medium.ttf
+  color:
+  - 0
+  - 0
+  - 255
+  font_size: 18

yomitoku-0.7.4/configs/yomitoku-text-recognizer-parseq-small-open-beta.yaml

@@ -0,0 +1,32 @@
+hf_hub_repo: KotaroKinoshita/yomitoku-text-recognizer-parseq-small-open-beta
+charset: /home/kinoshita/Projects/know-how/yomitoku/src/yomitoku/resource/charset.txt
+num_tokens: 7312
+max_label_length: 100
+decode_ar: 1
+refine_iters: 1
+data:
+  num_workers: 4
+  batch_size: 128
+  img_size:
+  - 32
+  - 800
+encoder:
+  patch_size:
+  - 16
+  - 16
+  num_heads: 8
+  embed_dim: 384
+  mlp_ratio: 4
+  depth: 9
+decoder:
+  embed_dim: 384
+  num_heads: 8
+  mlp_ratio: 4
+  depth: 1
+visualize:
+  font: src/yomitoku/resource/MPLUS1p-Medium.ttf
+  color:
+  - 0
+  - 0
+  - 255
+  font_size: 18

yomitoku-0.7.4/demo/setting_document_anaysis.py

@@ -0,0 +1,6 @@
+from yomitoku import DocumentAnalyzer
+
+if __name__ == "__main__":
+    configs = {"ocr": {"text_detector": {"path_cfg": "demo/text_detector.yaml"}}}
+
+    analyzer = DocumentAnalyzer(configs=configs, visualize=True, device="cuda")

{yomitoku-0.5.3 → yomitoku-0.7.4}/demo/simple_document_analysis.py

@@ -4,17 +4,14 @@ from yomitoku import DocumentAnalyzer
 from yomitoku.data.functions import load_pdf
 
 if __name__ == "__main__":
-    PATH_IMGE = ""
-
-    analyzer = DocumentAnalyzer(configs=None, visualize=True, device="cuda")
+    PATH_IMGE = "demo/sample.pdf"
+    analyzer = DocumentAnalyzer(visualize=True, device="cuda")
     # PDFファイルを読み込み
-    imgs = load_pdf("demo/sample.pdf")
+    imgs = load_pdf(PATH_IMGE)
     for i, img in enumerate(imgs):
         results, ocr_vis, layout_vis = analyzer(img)
-
         # HTML形式で解析結果をエクスポート
-        results.to_html(f"output_{i}.html")
-
+        results.to_html(f"output_{i}.html", img=img)
         # 可視化画像を保存
         cv2.imwrite(f"output_ocr_{i}.jpg", ocr_vis)
         cv2.imwrite(f"output_layout_{i}.jpg", layout_vis)

{yomitoku-0.5.3 → yomitoku-0.7.4}/demo/simple_layout.py

@@ -4,7 +4,7 @@ from yomitoku import LayoutAnalyzer
 from yomitoku.data.functions import load_pdf
 
 if __name__ == "__main__":
-    analyzer = LayoutAnalyzer(configs=None, visualize=True, device="cuda")
+    analyzer = LayoutAnalyzer(visualize=True, device="cuda")
     # PDFファイルを読み込み
     imgs = load_pdf("demo/sample.pdf")
     for i, img in enumerate(imgs):

{yomitoku-0.5.3 → yomitoku-0.7.4}/demo/simple_ocr.py

@@ -4,7 +4,7 @@ from yomitoku import OCR
 from yomitoku.data.functions import load_pdf
 
 if __name__ == "__main__":
-    ocr = OCR(configs=None, visualize=True, device="cuda")
+    ocr = OCR(visualize=True, device="cpu")
     # PDFファイルを読み込み
     imgs = load_pdf("demo/sample.pdf")
     for i, img in enumerate(imgs):

yomitoku-0.7.4/docs/cli.en.md

@@ -0,0 +1,110 @@
+# CLI Usage
+
+The model weight files are downloaded from Hugging Face Hub only during the first execution.
+
+```
+yomitoku ${path_data} -v -o results
+```
+
+- `${path_data}`: Specify the path to a directory containing images to be analyzed or directly provide the path to an image file. If a directory is specified, images in its subdirectories will also be processed.
+- `-f`, `--format`: Specify the output file format. Supported formats are json, csv, html, and md.
+- `-o`, `--outdir`: Specify the name of the output directory. If it does not exist, it will be created.
+- `-v`, `--vis`: If specified, outputs visualized images of the analysis results.
+
+**NOTE**
+
+- Only printed text recognition is supported. While it may occasionally read handwritten text, official support is not provided.
+- YomiToku is optimized for document OCR and is not designed for scene OCR (e.g., text printed on non-paper surfaces like signs).
+- The resolution of input images is critical for improving the accuracy of AI-OCR recognition. Low-resolution images may lead to reduced recognition accuracy. It is recommended to use images with a minimum short side resolution of 720px for inference.
+
+## Reference for Help
+
+Displays the options available for the CLI using 　`--help`, `-h`
+
+```
+yomitoku -h
+```
+
+## Running in Lightweight Mode
+
+By using the --lite option, it is possible to perform inference with a lightweight model. This enables faster analysis compared to the standard mode. However, the accuracy of character recognition may decrease.
+
+```
+yomitoku ${path_data} --lite -v
+```
+
+## Specifying Output Format
+
+You can specify the output format of the analysis results using the --format or -f option. Supported output formats include JSON, CSV, HTML, and MD (Markdown).
+
+```
+yomitoku ${path_data} -f md
+```
+
+## Specifying the Output Device
+
+You can specify the device for running the model using the -d or --device option. Supported options are cuda, cpu, and mps. If a GPU is not available, inference will be performed on the CPU. (Default: cuda)
+
+```
+yomitoku ${path_data} -d cpu
+```
+
+## Ignoring Line Breaks
+
+In the normal mode, line breaks are applied based on the information described in the image. By using the --ignore_line_break option, you can ignore the line break positions in the image and return the same sentence within a paragraph as a single connected output.
+
+```
+yomitoku ${path_data} --ignore_line_break
+```
+
+## Outputting Figures and Graph Images
+
+In the normal mode, information about figures or images contained in document images is not output. By using the --figure option, you can extract figures and images included in the document image, save them as separate image files, and include links to the detected individual images in the output file.
+
+```
+yomitoku ${path_data} --figure
+```
+
+## Outputting Text Contained in Figures and Images
+
+In normal mode, text information contained within figures or images is not included in the output file. By using the --figure_letter option, text information within figures and images will also be included in the output file.
+
+```
+yomitoku ${path_data} --figure_letter
+```
+
+## Specifying the Character Encoding of the Output File
+
+You can specify the character encoding of the output file using the --encoding option. Supported encodings include `utf-8`, `utf-8-sig`, `shift-jis`, `enc-jp`, and `cp932`. If unsupported characters are encountered, they will be ignored and not included in the output.
+
+```
+yomitoku ${path_data} --encoding utf-8-sig
+```
+
+## Specifying the Path to Config Files
+
+Specify the path to the config files for each module as follows:
+
+- `--td_cfg`: Path to the YAML file containing the config for the Text Detector
+- `--tr_cfg`: Path to the YAML file containing the config for the Text Recognizer
+- `--lp_cfg`: Path to the YAML file containing the config for the Layout Parser
+- `--tsr_cfg`: Path to the YAML file containing the config for the Table Structure Recognizer
+
+```
+yomitoku ${path_data} --td_cfg ${path_yaml}
+```
+
+## Do not include metadata in the output file
+
+You can exclude metadata such as headers and footers from the output file.
+```
+yomitoku ${path_data} --ignore_meta
+```
+
+## Combine multiple pages
+
+If the PDF contains multiple pages, you can export them as a single file.
+
+```
+yomitoku ${path_data} -f md --combine
+```