yomitoku 0.8.0__tar.gz → 0.9.0__tar.gz

{yomitoku-0.8.0 → yomitoku-0.9.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: yomitoku
-Version: 0.8.0
+Version: 0.9.0
 Summary: Yomitoku is an AI-powered document image analysis package designed specifically for the Japanese language.
 Author-email: Kotaro Kinoshita <kotaro.kinoshita@mlism.com>
 License: CC BY-NC-SA 4.0
@@ -19,6 +19,8 @@ Requires-Dist: shapely>=2.0.6
 Requires-Dist: timm>=1.0.11
 Requires-Dist: torch>=2.5.0
 Requires-Dist: torchvision>=0.20.0
+Provides-Extra: mcp
+Requires-Dist: mcp[cli]>=1.6.0; extra == 'mcp'
 Description-Content-Type: text/markdown
 
 日本語版 | [English](README_EN.md)

yomitoku-0.9.0/docs/mcp.en.md

@@ -0,0 +1,48 @@
+# MCP
+
+This section explains how to use the Yomitoku MCP server in conjunction with Claude Desktop.
+
+## Installing Yomitoku
+
+First, install Yomitoku by following the "Installation with uv" section in [Installation](installation.en.md).
+
+However, to add `mcp` as a dependency during installation, include `mcp` in `--extra` as shown below.
+
+```bash
+uv sync --extra mcp
+```
+
+## Setting up Claude Desktop
+
+Next, add the following configuration to the `mcpServers` section of the Claude Desktop configuration file. (Refer to [here](https://modelcontextprotocol.io/quickstart/user) for how to open the configuration file)
+
+```json
+{
+  "mcpServers": {
+    "yomitoku": {
+      "command": "uv",
+      "args": [
+        "--directory",
+        "(Absolute path of the directory where Yomitoku was cloned)",
+        "run",
+        "yomitoku_mcp"
+      ],
+      "env": {
+        "RESOURCE_DIR": "(Absolute path of the directory containing files for OCR)"
+      }
+    }
+  }
+}
+```
+
+For example, if you executed `git clone https://github.com/kotaro-kinoshita/yomitoku.git` in `/Users/your-username/workspace`, then `(Directory where Yomitoku was cloned)` would be `/Users/your-username/workspace/yomitoku`, and if you use `sample.pdf` in the `yomitoku/demo` directory, specify `(Directory containing files for OCR)` as `/Users/your-username/workspace/yomitoku/demo`.
+
+## Using Claude Desktop
+
+* Please restart Claude Desktop to apply changes to the configuration file.
+
+For example, if you use `yomitoku/demo/sample.pdf` as a sample, instruct as follows:
+
+```txt
+Analyze sample.pdf using OCR and translate it into English.
+```

yomitoku-0.9.0/docs/mcp.ja.md

@@ -0,0 +1,50 @@
+# MCP
+
+ここではYomitokuのMCPサーバーをClaude Desktopに連携して利用する方法を説明します。
+
+## Yomitokuのインストール
+
+まずは
+[Installation](installation.ja.md)の「uvでのインストール」に従ってYomitokuをインストールしてください。
+
+ただし、`mcp`を依存関係に追加するためにインストール時には下記のように`--extra`に`mcp`を加えます。
+
+```bash
+uv sync --extra mcp
+```
+
+## Claude Desktopの設定
+
+次にClaude Desktopの設定ファイルの`mcpServers`に以下ように設定を追加します。(設定ファイルの開き方は[こちら](https://modelcontextprotocol.io/quickstart/user)を参照してください)
+
+```json
+{
+  "mcpServers": {
+    "yomitoku": {
+      "command": "uv",
+      "args": [
+        "--directory",
+        "(YomitokuをCloneしたディレクトリの絶対パス)",
+        "run",
+        "yomitoku_mcp"
+      ],
+      "env": {
+        "RESOURCE_DIR": "(OCR対象のファイルがあるディレクトリの絶対パス)"
+      }
+    }
+  }
+}
+```
+
+
+例えば、`/Users/your-username/workspace`で`git clone https://github.com/kotaro-kinoshita/yomitoku.git`を実行した場合は、`(YomitokuをCloneしたディレクトリ)`は`/Users/your-username/workspace/yomitoku`となり、`yomitoku/demo`ディレクトリの`sample.pdf`を用いる場合は`(OCR対象のファイルがあるディレクトリ)`を`/Users/your-username/workspace/yomitoku/demo`と指定します。
+
+## Claude Desktopでの利用
+
+※ 設定ファイルの変更を反映するにはClaude Desktopを再起動してください。
+
+例えば`yomitoku/demo/sample.pdf`をサンプルとして用いる場合、下記のように指示してください。
+
+```txt
+sample.pdfをOCRで解析して要約してください。
+```

{yomitoku-0.8.0 → yomitoku-0.9.0}/mkdocs.yml

@@ -69,6 +69,7 @@ nav:
   - Installation: installation.md
   - CLI Usage: cli.md
   - Module Usage: module.md
+  - MCP: mcp.md
 
 repo_url: https://github.com/kotaro-kinoshita/yomitoku-dev
 

{yomitoku-0.8.0 → yomitoku-0.9.0}/pyproject.toml

@@ -70,6 +70,12 @@ explicit = true
 
 [project.scripts]
 yomitoku = "yomitoku.cli.main:main"
+yomitoku_mcp = "yomitoku.cli.mcp:run_mcp_server"
+
+[project.optional-dependencies]
+mcp = [
+    "mcp[cli]>=1.6.0",
+]
 
 [tool.tox]
 legacy_tox_ini = """

{yomitoku-0.8.0 → yomitoku-0.9.0}/src/yomitoku/cli/main.py

@@ -3,7 +3,6 @@ import os
 import time
 from pathlib import Path
 
-import cv2
 import torch
 
 from ..constants import SUPPORT_OUTPUT_FORMAT
@@ -14,6 +13,8 @@ from ..utils.logger import set_logger
 from ..export import save_csv, save_html, save_json, save_markdown
 from ..export import convert_json, convert_csv, convert_html, convert_markdown
 
+from ..utils.misc import save_image
+
 logger = set_logger(__name__, "INFO")
 
 
@@ -94,7 +95,7 @@ def process_single_file(args, analyzer, path, format):
                 args.outdir, f"{dirname}_{filename}_p{page+1}_ocr.jpg"
             )
 
-            cv2.imwrite(out_path, ocr)
+            save_image(ocr, out_path)
             logger.info(f"Output file: {out_path}")
 
         if layout is not None:
@@ -102,7 +103,7 @@ def process_single_file(args, analyzer, path, format):
                 args.outdir, f"{dirname}_{filename}_p{page+1}_layout.jpg"
             )
 
-            cv2.imwrite(out_path, layout)
+            save_image(layout, out_path)
             logger.info(f"Output file: {out_path}")
 
         out_path = os.path.join(args.outdir, f"{dirname}_{filename}_p{page+1}.{format}")

yomitoku-0.9.0/src/yomitoku/cli/mcp.py

@@ -0,0 +1,165 @@
+import json
+import io
+import csv
+import os
+from pathlib import Path
+
+from mcp.server.fastmcp import Context, FastMCP
+
+from yomitoku import DocumentAnalyzer
+from yomitoku.data.functions import load_image, load_pdf
+from yomitoku.export import convert_json, convert_markdown, convert_csv, convert_html
+
+try:
+    RESOURCE_DIR = os.environ["RESOURCE_DIR"]
+except KeyError:
+    raise ValueError("Environment variable 'RESOURCE_DIR' is not set.")
+
+
+analyzer = None
+
+
+async def load_analyzer(ctx: Context) -> DocumentAnalyzer:
+    """
+    Load the DocumentAnalyzer instance if not already loaded.
+
+    Args:
+        ctx (Context): The context in which the analyzer is being loaded.
+
+    Returns:
+        DocumentAnalyzer: The loaded document analyzer instance.
+    """
+    global analyzer
+    if analyzer is None:
+        await ctx.info("Load document analyzer")
+        analyzer = DocumentAnalyzer(visualize=False, device="cuda")
+    return analyzer
+
+
+mcp = FastMCP("yomitoku")
+
+
+@mcp.tool()
+async def process_ocr(ctx: Context, filename: str, output_format: str) -> str:
+    """
+    Perform OCR on the specified file in the resource direcory and convert
+    the results to the desired format.
+
+    Args:
+        ctx (Context): The context in which the OCR processing is executed.
+        filename (str): The name of the file to process in the resource directory.
+        output_format (str): The desired format for the output. The available options are:
+            - json: Outputs the text as structured data along with positional information.
+            - markdown: Outputs texts and tables in Markdown format.
+            - html: Outputs texts and tables in HTML format.
+            - csv: Outputs texts and tables in CSV format.
+
+    Returns:
+        str: The OCR results converted to the specified format.
+    """
+    analyzer = await load_analyzer(ctx)
+
+    await ctx.info("Start ocr processing")
+
+    file_path = os.path.join(RESOURCE_DIR, filename)
+    if Path(file_path).suffix[1:].lower() in ["pdf"]:
+        imgs = load_pdf(file_path)
+    else:
+        imgs = load_image(file_path)
+
+    results = []
+    for page, img in enumerate(imgs):
+        analyzer.img = img
+        result, _, _ = await analyzer.run(img)
+        results.append(result)
+        await ctx.report_progress(page + 1, len(imgs))
+
+    if output_format == "json":
+        return json.dumps(
+            [
+                convert_json(
+                    result,
+                    out_path=None,
+                    ignore_line_break=True,
+                    img=img,
+                    export_figure=False,
+                    figure_dir=None,
+                ).model_dump()
+                for img, result in zip(imgs, results)
+            ],
+            ensure_ascii=False,
+            sort_keys=True,
+            separators=(",", ": "),
+        )
+    elif output_format == "markdown":
+        return "\n".join(
+            [
+                convert_markdown(
+                    result,
+                    out_path=None,
+                    ignore_line_break=True,
+                    img=img,
+                    export_figure=False,
+                )[0]
+                for img, result in zip(imgs, results)
+            ]
+        )
+    elif output_format == "html":
+        return "\n".join(
+            [
+                convert_html(
+                    result,
+                    out_path=None,
+                    ignore_line_break=True,
+                    img=img,
+                    export_figure=False,
+                    export_figure_letter="",
+                )[0]
+                for img, result in zip(imgs, results)
+            ]
+        )
+    elif output_format == "csv":
+        output = io.StringIO()
+        writer = csv.writer(output, quoting=csv.QUOTE_MINIMAL)
+        for img, result in zip(imgs, results):
+            elements = convert_csv(
+                result,
+                out_path=None,
+                ignore_line_break=True,
+                img=img,
+                export_figure=False,
+            )
+            for element in elements:
+                if element["type"] == "table":
+                    writer.writerows(element["element"])
+                else:
+                    writer.writerow([element["element"]])
+                writer.writerow([""])
+        return output.getvalue()
+    else:
+        raise ValueError(
+            f"Unsupported output format: {output_format}."
+            " Supported formats are json, markdown, html or csv."
+        )
+
+
+@mcp.resource("file://list")
+async def get_file_list() -> list[str]:
+    """
+    Retrieve a list of files in the resource directory.
+
+    Returns:
+        list[str]: A list of filenames in the resource directory.
+    """
+    return os.listdir(RESOURCE_DIR)
+
+
+def run_mcp_server():
+    """
+    Run the MCP server.
+    """
+    mcp.run(transport="stdio")
+
+
+if __name__ == "__main__":
+    run_mcp_server()

{yomitoku-0.8.0 → yomitoku-0.9.0}/src/yomitoku/configs/cfg_text_detector_dbnet.py

@@ -27,7 +27,7 @@ class Data:
 @dataclass
 class PostProcess:
     min_size: int = 2
-    thresh: float = 0.2
+    thresh: float = 0.15
     box_thresh: float = 0.5
     max_candidates: int = 1500
     unclip_ratio: float = 7.0

{yomitoku-0.8.0 → yomitoku-0.9.0}/src/yomitoku/configs/cfg_text_detector_dbnet_v2.py

@@ -27,10 +27,10 @@ class Data:
 @dataclass
 class PostProcess:
     min_size: int = 2
-    thresh: float = 0.4
+    thresh: float = 0.2
     box_thresh: float = 0.5
     max_candidates: int = 1500
-    unclip_ratio: float = 6.0
+    unclip_ratio: float = 5.0
 
 
 @dataclass

{yomitoku-0.8.0 → yomitoku-0.9.0}/src/yomitoku/export/export_csv.py

@@ -1,7 +1,7 @@
 import csv
 import os
 
-import cv2
+from ..utils.misc import save_image
 
 
 def table_to_csv(table, ignore_line_break):
@@ -54,7 +54,7 @@ def save_figure(
         filename = os.path.splitext(os.path.basename(out_path))[0]
         figure_name = f"{filename}_figure_{i}.png"
         figure_path = os.path.join(save_dir, figure_name)
-        cv2.imwrite(figure_path, figure_img)
+        save_image(figure_img, figure_path)
 
 
 def convert_csv(

{yomitoku-0.8.0 → yomitoku-0.9.0}/src/yomitoku/export/export_html.py

@@ -1,10 +1,10 @@
 import os
 import re
 from html import escape
-
-import cv2
 from lxml import etree, html
 
+from ..utils.misc import save_image
+
 
 def convert_text_to_html(text):
     """
@@ -122,7 +122,7 @@ def figure_to_html(
         filename = os.path.splitext(os.path.basename(out_path))[0]
         figure_name = f"{filename}_figure_{i}.png"
         figure_path = os.path.join(save_dir, figure_name)
-        cv2.imwrite(figure_path, figure_img)
+        save_image(figure_img, figure_path)
 
         elements.append(
             {
@@ -180,8 +180,13 @@ def convert_html(
     elements = sorted(elements, key=lambda x: x["order"])
 
     html_string = "".join([element["html"] for element in elements])
-    parsed_html = html.fromstring(html_string)
-    formatted_html = etree.tostring(parsed_html, pretty_print=True, encoding="unicode")
+    if not len(html_string) == 0:
+        parsed_html = html.fromstring(html_string)
+        formatted_html = etree.tostring(
+            parsed_html, pretty_print=True, encoding="unicode"
+        )
+    else:
+        formatted_html = ""
 
     return formatted_html, elements
 

{yomitoku-0.8.0 → yomitoku-0.9.0}/src/yomitoku/export/export_json.py

@@ -1,7 +1,7 @@
 import json
 import os
 
-import cv2
+from ..utils.misc import save_image
 
 
 def paragraph_to_json(paragraph, ignore_line_break):
@@ -33,7 +33,7 @@ def save_figure(
         filename = os.path.splitext(os.path.basename(out_path))[0]
         figure_name = f"{filename}_figure_{i}.png"
         figure_path = os.path.join(save_dir, figure_name)
-        cv2.imwrite(figure_path, figure_img)
+        save_image(figure_img, figure_path)
 
 
 def convert_json(inputs, out_path, ignore_line_break, img, export_figure, figure_dir):

{yomitoku-0.8.0 → yomitoku-0.9.0}/src/yomitoku/export/export_markdown.py

@@ -1,7 +1,7 @@
 import os
 import re
 
-import cv2
+from ..utils.misc import save_image
 
 
 def escape_markdown_special_chars(text):
@@ -89,7 +89,7 @@ def figure_to_md(
         filename = os.path.splitext(os.path.basename(out_path))[0]
         figure_name = f"{filename}_figure_{i}.png"
         figure_path = os.path.join(save_dir, figure_name)
-        cv2.imwrite(figure_path, figure_img)
+        save_image(figure_img, figure_path)
 
         elements.append(
             {

{yomitoku-0.8.0 → yomitoku-0.9.0}/src/yomitoku/utils/misc.py

@@ -1,3 +1,6 @@
+import cv2
+
+
 def load_charset(charset_path):
     with open(charset_path, "r", encoding="utf-8") as f:
         charset = f.read()
@@ -9,6 +12,15 @@ def filter_by_flag(elements, flags):
     return [element for element, flag in zip(elements, flags) if flag]
 
 
+def save_image(img, path):
+    success, buffer = cv2.imencode(".jpg", img)
+    if not success:
+        raise ValueError("Failed to encode image")
+
+    with open(path, "wb") as f:
+        f.write(buffer.tobytes())
+
+
 def calc_overlap_ratio(rect_a, rect_b):
     intersection = calc_intersection(rect_a, rect_b)
     if intersection is None:

{yomitoku-0.8.0 → yomitoku-0.9.0}/static/out/in_demo_p1.html

@@ -1,10 +1,10 @@
 <div>
-  <p>AI の進化に伴う課題と現状の取組</p>
+  <p>Al の進化に伴う課題と現状の取組</p>
   <p>第1節</p>
   <p>第4章<br/>デジタルテクノロジーの課題と現状の対応策</p>
   <table border="1" style="border-collapse: collapse">
     <tr>
-      <td rowspan="1" colspan="3">図表 I-4-1-1<br/>生成AIの課題</td>
+      <td rowspan="1" colspan="3">図表I-4-1-1<br/>生成AIの課題</td>
     </tr>
     <tr>
       <td rowspan="1" colspan="2">リスク</td>
@@ -17,7 +17,7 @@
     </tr>
     <tr>
       <td rowspan="1" colspan="1">フィルターバブル及びエコーチェンバー現象</td>
-      <td rowspan="1" colspan="1">●SNS等によるレコメンドを通じた社会の分断が生じている</td>
+      <td rowspan="1" colspan="1">● SNS 等によるレコメンドを通じた社会の分断が生じている</td>
     </tr>
     <tr>
       <td rowspan="1" colspan="1">多様性の喪失</td>
@@ -29,7 +29,7 @@
     </tr>
     <tr>
       <td rowspan="1" colspan="1">生命、身体、財産の侵害</td>
-      <td rowspan="1" colspan="1">●AIが不適切な判断を下すことで、自動運転車が事故を引き起こし、生命や財産に深刻な損害<br/>を与える可能性がある<br/>●トリアージにおいては、AIが順位を決定する際に倫理的なバイアスを持つことで、公平性の<br/>喪失等が生じる可能性がある</td>
+      <td rowspan="1" colspan="1">●AI が不適切な判断を下すことで、自動運転車が事故を引き起こし、生命や財産に深刻な損害<br/>を与える可能性がある<br/>●トリアージにおいては、AIが順位を決定する際に倫理的なバイアスを持つことで、公平性の<br/>喪失等が生じる可能性がある</td>
     </tr>
     <tr>
       <td rowspan="1" colspan="1">データ汚染攻撃</td>
@@ -37,7 +37,7 @@
     </tr>
     <tr>
       <td rowspan="1" colspan="1">ブラックボックス化、判断に関する説明の要求</td>
-      <td rowspan="1" colspan="1">● AIの判断のブラックボックス化に起因する問題も生じている<br/>●AIの判断に関する透明性を求める動きも上がっている</td>
+      <td rowspan="1" colspan="1">●AIの判断のブラックボックス化に起因する問題も生じている<br/>●AIの判断に関する透明性を求める動きも上がっている</td>
     </tr>
     <tr>
       <td rowspan="1" colspan="1">エネルギー使用量及び環境の負荷</td>
@@ -46,7 +46,7 @@
     <tr>
       <td rowspan="7" colspan="1">生成AIで<br/>特に顕在化<br/>したリスク</td>
       <td rowspan="1" colspan="1">悪用</td>
-      <td rowspan="1" colspan="1">● AIの詐欺目的での利用も問題視されている</td>
+      <td rowspan="1" colspan="1">●AIの詐欺目的での利用も問題視されている</td>
     </tr>
     <tr>
       <td rowspan="1" colspan="1">機密情報の流出</td>
@@ -54,7 +54,7 @@
     </tr>
     <tr>
       <td rowspan="1" colspan="1">ハルシネーション</td>
-      <td rowspan="1" colspan="1">●生成AIが事実と異なることをもっともらしく回答する「ハルシネーション」に関してはAI開<br/>発者·提供者への訴訟も起きている</td>
+      <td rowspan="1" colspan="1">●生成AIが事実と異なることをもっともらしく回答する「ハルシネーション」に関してはAI開<br/>発者・提供者への訴訟も起きている</td>
     </tr>
     <tr>
       <td rowspan="1" colspan="1">偽情報、誤情報を鵜呑みにすること</td>
@@ -74,11 +74,11 @@
     </tr>
   </table>
   <p/>
-  <h1>1<br/>主要な LLMの概要</h1>
+  <h1>1 主要なLLMの概要</h1>
   <p>(出典)「AI事業者ガイドライン(第1.0版)」別添(概要)</p>
   <p>生成AIの基盤となる大規模言語モデル(LLM)の開発では、マイクロソフトやグーグルなど米<br/>国ビックテック企業などが先行している状況にある。</p>
   <p>しかし、日本以外の企業·研究機関がクローズに研究開発を進めたLLM を活用するだけでは、<br/>LLM構築の過程がブラックボックス化してしまい、LLMを活用する際の権利侵害や情報漏えいな<br/>どの懸念を払拭できない。日本語に強いLLMの利活用のためには、構築の過程や用いるデータが<br/>明らかな、透明性の高い安心して利活用できる国産のLLM構築が必要となる*3。すでに日本の企業<br/>においても、独自にLLM開発に取り組んでおり、ここではその動向を紹介する。</p>
-  <p>ビッグテック企業が開発したLLMと比べると、日本では、中規模モデルのLLMが開発されてい<br/>る傾向が見られる(図表I-4-1-2)。</p>
-  <p>*3 産業技術総合研究所プレスリリース「産総研の計算資源ABCIを用いて世界トップレベルの生成AIの開発を開始一産総研·東京工業大学·<br/>LLM-jp(国立情報学研究所主宰)が協力ー」(2023年10月17日), &lt; &lt; ttps://www.aist go.jp/aist_i/news/pr20231017.html&gt; (2024/<br/>参照)</p>
+  <p>ビッグテック企業が開発したLLMと比べると、日本では、中規模モデルのLLMが開発されてい<br/>る傾向が見られる(図表 I-4-1-2)。</p>
+  <p>*3 産業技術総合研究所プレスリリース「産総研の計算資源ABCIを用いて世界トップレベルの生成AIの開発を開始一産総研·東京工業大学·<br/>LLM-jp(国立情報学研究所主宰)が協力ー」(2023年10月17日), &lt; &lt; https://www.aist go.jp/aist_j/news/pr20231017.html&gt; (2022<br/>参照)</p>
   <p>令和6年版 情報通信白書 第I部 47</p>
 </div>

{yomitoku-0.8.0 → yomitoku-0.9.0}/static/out/in_demo_p1.md

@@ -1,29 +1,29 @@
-AI の進化に伴う課題と現状の取組
+Al の進化に伴う課題と現状の取組
 
 第1節
 
 第4章<br>デジタルテクノロジーの課題と現状の対応策
 
-|図表 I\-4\-1\-1<br>生成AIの課題|||
+|図表I\-4\-1\-1<br>生成AIの課題|||
 |-|-|-|
 |リスク||事例|
 |従来型AI<br>から存在<br>するリスク|バイアスのある結果及び差別的な結果の出力|●IT企業が自社で開発したAI人材採用システムが女性を差別するという機械学習面の欠陥を持<br>ち合わせていた|
-||フィルターバブル及びエコーチェンバー現象|●SNS等によるレコメンドを通じた社会の分断が生じている|
+||フィルターバブル及びエコーチェンバー現象|● SNS 等によるレコメンドを通じた社会の分断が生じている|
 ||多様性の喪失|●社会全体が同じモデルを、同じ温度感で使った場合、導かれる意見及び回答がLLMによって<br>収束してしまい、多様性が失われる可能性がある|
 ||不適切な個人情報の取扱い|●透明性を欠く個人情報の利用及び個人情報の政治利用も問題視されている|
-||生命、身体、財産の侵害|●AIが不適切な判断を下すことで、自動運転車が事故を引き起こし、生命や財産に深刻な損害<br>を与える可能性がある<br>●トリアージにおいては、AIが順位を決定する際に倫理的なバイアスを持つことで、公平性の<br>喪失等が生じる可能性がある|
+||生命、身体、財産の侵害|●AI が不適切な判断を下すことで、自動運転車が事故を引き起こし、生命や財産に深刻な損害<br>を与える可能性がある<br>●トリアージにおいては、AIが順位を決定する際に倫理的なバイアスを持つことで、公平性の<br>喪失等が生じる可能性がある|
 ||データ汚染攻撃|●AIの学習実施時及びサービス運用時には学習データへの不正データ混入、サービス運用時で<br>はアプリケーション自体を狙ったサイバー攻撃等のリスクが存在する|
-||ブラックボックス化、判断に関する説明の要求|● AIの判断のブラックボックス化に起因する問題も生じている<br>●AIの判断に関する透明性を求める動きも上がっている|
+||ブラックボックス化、判断に関する説明の要求|●AIの判断のブラックボックス化に起因する問題も生じている<br>●AIの判断に関する透明性を求める動きも上がっている|
 ||エネルギー使用量及び環境の負荷|●AIの利用拡大により、計算リソースの需要も拡大しており、結果として、データセンターが<br>増大しエネルギー使用量の増加が懸念されている|
-|生成AIで<br>特に顕在化<br>したリスク|悪用|● AIの詐欺目的での利用も問題視されている|
+|生成AIで<br>特に顕在化<br>したリスク|悪用|●AIの詐欺目的での利用も問題視されている|
 ||機密情報の流出|●AIの利用においては、個人情報や機密情報がプロンプトとして入力され、そのAIからの出力<br>等を通じて流出してしまうリスクがある|
-||ハルシネーション|●生成AIが事実と異なることをもっともらしく回答する「ハルシネーション」に関してはAI開<br>発者·提供者への訴訟も起きている|
+||ハルシネーション|●生成AIが事実と異なることをもっともらしく回答する「ハルシネーション」に関してはAI開<br>発者・提供者への訴訟も起きている|
 ||偽情報、誤情報を鵜呑みにすること|●生成AIが生み出す誤情報を鵜呑みにすることがリスクとなりうる<br>●ディープフェイクは、各国で悪用例が相次いでいる|
 ||著作権との関係|●知的財産権の取扱いへの議論が提起されている|
 ||資格等との関係|●生成AIの活用を通じた業法免許や資格等の侵害リスクも考えうる|
 ||バイアスの再生成|●生成AIは既存の情報に基づいて回答を作るため既存の情報に含まれる偏見を増幅し、不公平<br>や差別的な出力が継続/拡大する可能性がある|
 
-# 1<br>主要な LLMの概要
+# 1 主要なLLMの概要
 
 \(出典\)「AI事業者ガイドライン\(第1.0版\)」別添\(概要\)
 
@@ -31,8 +31,8 @@ AI の進化に伴う課題と現状の取組
 
 しかし、日本以外の企業·研究機関がクローズに研究開発を進めたLLM を活用するだけでは、<br>LLM構築の過程がブラックボックス化してしまい、LLMを活用する際の権利侵害や情報漏えいな<br>どの懸念を払拭できない。日本語に強いLLMの利活用のためには、構築の過程や用いるデータが<br>明らかな、透明性の高い安心して利活用できる国産のLLM構築が必要となる\*3。すでに日本の企業<br>においても、独自にLLM開発に取り組んでおり、ここではその動向を紹介する。
 
-ビッグテック企業が開発したLLMと比べると、日本では、中規模モデルのLLMが開発されてい<br>る傾向が見られる\(図表I\-4\-1\-2\)。
+ビッグテック企業が開発したLLMと比べると、日本では、中規模モデルのLLMが開発されてい<br>る傾向が見られる\(図表 I\-4\-1\-2\)。
 
-\*3 産業技術総合研究所プレスリリース「産総研の計算資源ABCIを用いて世界トップレベルの生成AIの開発を開始一産総研·東京工業大学·<br>LLM\-jp\(国立情報学研究所主宰\)が協力ー」\(2023年10月17日\), < < ttps://www.aist go.jp/aist_i/news/pr20231017.html> \(2024/<br>参照\)
+\*3 産業技術総合研究所プレスリリース「産総研の計算資源ABCIを用いて世界トップレベルの生成AIの開発を開始一産総研·東京工業大学·<br>LLM\-jp\(国立情報学研究所主宰\)が協力ー」\(2023年10月17日\), < < https://www.aist go.jp/aist_j/news/pr20231017.html> \(2022<br>参照\)
 
 令和6年版 情報通信白書 第I部 47