ai-docs-gen 0.1.4__py3-none-any.whl → 0.1.8__py3-none-any.whl

ai_docs/generator.py

@@ -1,6 +1,7 @@
 import json
 from datetime import datetime
 import os
+import re
 import shutil
 import subprocess
 from pathlib import Path
@@ -942,6 +943,7 @@ def generate_docs(
         if not mkdocs_bin:
             raise RuntimeError("mkdocs is not installed or not on PATH")
         subprocess.check_call([mkdocs_bin, "build", "-f", "mkdocs.yml"], cwd=output_root)
+        _postprocess_mermaid_html(output_root / "ai_docs_site")
         print("[ai-docs] mkdocs: done")
 
     # Save cache
@@ -957,3 +959,33 @@ def generate_docs(
         print("[ai-docs] errors summary:")
         for item in errors:
             print(f"[ai-docs] error: {item}")
+
+
+def _postprocess_mermaid_html(site_dir: Path) -> None:
+    if not site_dir.exists():
+        return
+
+    mermaid_div_re = re.compile(r'(<div class="mermaid">)(.*?)(</div>)', re.DOTALL)
+    bracket_re = re.compile(r"\\[([^\\]]*)\\]")
+
+    for path in site_dir.rglob("*.html"):
+        text = path.read_text(encoding="utf-8")
+        if 'class="mermaid"' not in text:
+            continue
+
+        def _fix_mermaid(match: re.Match) -> str:
+            head, body, tail = match.groups()
+            body = body.replace("&gt;", ">")
+
+            def _fix_brackets(bmatch: re.Match) -> str:
+                inner = bmatch.group(1).replace("(", " ").replace(")", "")
+                inner = re.sub(r"[ \\t]+", " ", inner)
+                return f"[{inner}]"
+
+            body = bracket_re.sub(_fix_brackets, body)
+            body = re.sub(r"[ \\t]+", " ", body)
+            return f"{head}{body}{tail}"
+
+        updated = mermaid_div_re.sub(_fix_mermaid, text)
+        if updated != text:
+            path.write_text(updated, encoding="utf-8")

ai_docs/tokenizer.py

@@ -3,11 +3,22 @@ from typing import List
 import tiktoken
 
 
+class _ByteEncoding:
+    def encode(self, text: str):
+        return list(text.encode("utf-8", errors="ignore"))
+
+    def decode(self, tokens):
+        return bytes(tokens).decode("utf-8", errors="ignore")
+
+
 def get_encoding(model: str):
     try:
         return tiktoken.encoding_for_model(model)
     except KeyError:
-        return tiktoken.get_encoding("cl100k_base")
+        try:
+            return tiktoken.get_encoding("cl100k_base")
+        except Exception:
+            return _ByteEncoding()
 
 
 def count_tokens(text: str, model: str) -> int:
@@ -23,4 +34,3 @@ def chunk_text(text: str, model: str, max_tokens: int) -> List[str]:
         chunk = tokens[i:i + max_tokens]
         chunks.append(enc.decode(chunk))
     return chunks
-

{ai_docs_gen-0.1.4.dist-info → ai_docs_gen-0.1.8.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ai-docs-gen
-Version: 0.1.4
+Version: 0.1.8
 Summary: CLI-инструмент для генерации технической документации по коду и конфигурациям
 Requires-Python: >=3.8
 Description-Content-Type: text/markdown
@@ -16,6 +16,8 @@ Requires-Dist: pymdown-extensions
 
 # ai_docs — генератор технической документации
 
+[English version](README_EN.md) | [Русская версия](README.md)
+
 ## Обзор
 `ai_docs` — CLI‑инструмент для генерации технической документации по коду и конфигурациям.
 Поддерживает локальные папки, локальные git‑проекты и удалённые git‑репозитории.
@@ -51,7 +53,7 @@ python3 -m venv .venv
 pip install -e .
 ```
 
-2) Настройка `.env` (пример — `.env.example`):
+2) Настройка переменных окружения (пример — `.env.example`):
 ```env
 OPENAI_API_KEY=your_api_key_here
 OPENAI_BASE_URL=https://api.openai.com/v1
@@ -63,6 +65,18 @@ AI_DOCS_THREADS=1
 AI_DOCS_LOCAL_SITE=false
 ```
 
+Если инструмент установлен как пакет, можно задать переменные окружения так:
+```bash
+export OPENAI_API_KEY="your_api_key_here"
+export OPENAI_BASE_URL="https://api.openai.com/v1"
+export OPENAI_MODEL="gpt-4o-mini"
+export OPENAI_MAX_TOKENS="1200"
+export OPENAI_CONTEXT_TOKENS="8192"
+export OPENAI_TEMPERATURE="0.2"
+export AI_DOCS_THREADS="1"
+export AI_DOCS_LOCAL_SITE="false"
+```
+
 3) Генерация README и MkDocs:
 ```bash
 python -m ai_docs --source .
@@ -78,6 +92,22 @@ python ai_docs --source .
 ai-docs --source .
 ```
 
+Примечание для Windows:
+- Пути обрабатываются корректно, но внутри всегда нормализуются в формат с `/`.
+- Если используете PowerShell, пример активации venv и переменных окружения:
+```powershell
+python -m venv .venv
+.\\.venv\\Scripts\\Activate.ps1
+$env:OPENAI_API_KEY="your_api_key_here"
+$env:OPENAI_BASE_URL="https://api.openai.com/v1"
+$env:OPENAI_MODEL="gpt-4o-mini"
+$env:OPENAI_MAX_TOKENS="1200"
+$env:OPENAI_CONTEXT_TOKENS="8192"
+$env:OPENAI_TEMPERATURE="0.2"
+$env:AI_DOCS_THREADS="1"
+$env:AI_DOCS_LOCAL_SITE="false"
+```
+
 ## Примеры использования
 
 Локальная папка:

{ai_docs_gen-0.1.4.dist-info → ai_docs_gen-0.1.8.dist-info}/RECORD

@@ -4,16 +4,16 @@ ai_docs/cache.py,sha256=Z3Mwg2QEYZNaC6bRyv6Py0FcFDV0d9KnyFiBf-EsyFE,1784
 ai_docs/changes.py,sha256=tA6kf79XPiywqWBBfBaqf-upRyowyInsw-BFYOIUAmA,973
 ai_docs/cli.py,sha256=XhZO6b49lYGqefITwu-R57-pN6t5esyARGlcMz7cXAA,3639
 ai_docs/domain.py,sha256=HrbdDw_Qxe1gk7J4dzYN1MHbYXDGY3-Tyr5--LgSjzc,6253
-ai_docs/generator.py,sha256=n_sdUxHPFF4c4CPplbxEGDYmK32tfXq2w7a1sEVqa8E,41146
+ai_docs/generator.py,sha256=LECWo5Od62wCEHdTXg0qTzMKkP43Sb9TpqdWpdTSk-w,42261
 ai_docs/llm.py,sha256=BCVcMM1X_B_LMEuyLBM6jFNz8jYONikM4pEJVhJ16c0,2633
 ai_docs/mkdocs.py,sha256=Zh23S3T3gTou2TryfLSwDWzWTwDtLYf5kM5eTnLpGek,5243
 ai_docs/scanner.py,sha256=M9K0S_Pb0490csiT4HW41mzD8UfkSb8X0suh6rob2f8,8885
 ai_docs/summary.py,sha256=01cJer00yJnT7p7nKgvPy-H37A3PqHHVeA8RuzkwX8M,10357
-ai_docs/tokenizer.py,sha256=G8btLH0IRJCx4b2jM8lWSzS0dcOZP-sAqwWYUQ5jF40,614
+ai_docs/tokenizer.py,sha256=oXiE-1G_OiWYbzXmWH1CUSBOhxHaMPosGpCuFLMJTQU,899
 ai_docs/utils.py,sha256=kJKgO2R8ZQa58MBUZK2oEr03wFvVkRaWZYruxxJigGo,993
 ai_docs/assets/mermaid.min.js,sha256=LPe7bNxKbqlto9MkpER9gwDR2nA85fMTEWCGQsD4Ymk,2908475
-ai_docs_gen-0.1.4.dist-info/METADATA,sha256=7_oRu7QtyAoQn_J1m8gA1Lk8QJsmvZ7PbkIjhiMaA4M,7723
-ai_docs_gen-0.1.4.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
-ai_docs_gen-0.1.4.dist-info/entry_points.txt,sha256=C5tKlnOjrwbPgVbOB_zA8WeFjk05DXsMhq2UgTw5BDk,45
-ai_docs_gen-0.1.4.dist-info/top_level.txt,sha256=Uqf4JT1_bI7m3yV5gs5kuL5Nmws5E2XT3W9yajZck2c,8
-ai_docs_gen-0.1.4.dist-info/RECORD,,
+ai_docs_gen-0.1.8.dist-info/METADATA,sha256=EKIPGUjtC5ReK17kckU9FWBBQNhzTSRsPQkQjgQvrWw,8925
+ai_docs_gen-0.1.8.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
+ai_docs_gen-0.1.8.dist-info/entry_points.txt,sha256=C5tKlnOjrwbPgVbOB_zA8WeFjk05DXsMhq2UgTw5BDk,45
+ai_docs_gen-0.1.8.dist-info/top_level.txt,sha256=Uqf4JT1_bI7m3yV5gs5kuL5Nmws5E2XT3W9yajZck2c,8
+ai_docs_gen-0.1.8.dist-info/RECORD,,