ai-docs-gen 0.1.4__tar.gz → 0.1.5__tar.gz

{ai_docs_gen-0.1.4 → ai_docs_gen-0.1.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ai-docs-gen
-Version: 0.1.4
+Version: 0.1.5
 Summary: CLI-инструмент для генерации технической документации по коду и конфигурациям
 Requires-Python: >=3.8
 Description-Content-Type: text/markdown
@@ -16,6 +16,8 @@ Requires-Dist: pymdown-extensions
 
 # ai_docs — генератор технической документации
 
+[English version](README_EN.md) | [Русская версия](README.md)
+
 ## Обзор
 `ai_docs` — CLI‑инструмент для генерации технической документации по коду и конфигурациям.
 Поддерживает локальные папки, локальные git‑проекты и удалённые git‑репозитории.
@@ -51,7 +53,7 @@ python3 -m venv .venv
 pip install -e .
 ```
 
-2) Настройка `.env` (пример — `.env.example`):
+2) Настройка переменных окружения (пример — `.env.example`):
 ```env
 OPENAI_API_KEY=your_api_key_here
 OPENAI_BASE_URL=https://api.openai.com/v1
@@ -63,6 +65,18 @@ AI_DOCS_THREADS=1
 AI_DOCS_LOCAL_SITE=false
 ```
 
+Если инструмент установлен как пакет, можно задать переменные окружения так:
+```bash
+export OPENAI_API_KEY="your_api_key_here"
+export OPENAI_BASE_URL="https://api.openai.com/v1"
+export OPENAI_MODEL="gpt-4o-mini"
+export OPENAI_MAX_TOKENS="1200"
+export OPENAI_CONTEXT_TOKENS="8192"
+export OPENAI_TEMPERATURE="0.2"
+export AI_DOCS_THREADS="1"
+export AI_DOCS_LOCAL_SITE="false"
+```
+
 3) Генерация README и MkDocs:
 ```bash
 python -m ai_docs --source .
@@ -78,6 +92,22 @@ python ai_docs --source .
 ai-docs --source .
 ```
 
+Примечание для Windows:
+- Пути обрабатываются корректно, но внутри всегда нормализуются в формат с `/`.
+- Если используете PowerShell, пример активации venv и переменных окружения:
+```powershell
+python -m venv .venv
+.\\.venv\\Scripts\\Activate.ps1
+$env:OPENAI_API_KEY="your_api_key_here"
+$env:OPENAI_BASE_URL="https://api.openai.com/v1"
+$env:OPENAI_MODEL="gpt-4o-mini"
+$env:OPENAI_MAX_TOKENS="1200"
+$env:OPENAI_CONTEXT_TOKENS="8192"
+$env:OPENAI_TEMPERATURE="0.2"
+$env:AI_DOCS_THREADS="1"
+$env:AI_DOCS_LOCAL_SITE="false"
+```
+
 ## Примеры использования
 
 Локальная папка:

{ai_docs_gen-0.1.4 → ai_docs_gen-0.1.5}/README.md

@@ -1,5 +1,7 @@
 # ai_docs — генератор технической документации
 
+[English version](README_EN.md) | [Русская версия](README.md)
+
 ## Обзор
 `ai_docs` — CLI‑инструмент для генерации технической документации по коду и конфигурациям.
 Поддерживает локальные папки, локальные git‑проекты и удалённые git‑репозитории.
@@ -35,7 +37,7 @@ python3 -m venv .venv
 pip install -e .
 ```
 
-2) Настройка `.env` (пример — `.env.example`):
+2) Настройка переменных окружения (пример — `.env.example`):
 ```env
 OPENAI_API_KEY=your_api_key_here
 OPENAI_BASE_URL=https://api.openai.com/v1
@@ -47,6 +49,18 @@ AI_DOCS_THREADS=1
 AI_DOCS_LOCAL_SITE=false
 ```
 
+Если инструмент установлен как пакет, можно задать переменные окружения так:
+```bash
+export OPENAI_API_KEY="your_api_key_here"
+export OPENAI_BASE_URL="https://api.openai.com/v1"
+export OPENAI_MODEL="gpt-4o-mini"
+export OPENAI_MAX_TOKENS="1200"
+export OPENAI_CONTEXT_TOKENS="8192"
+export OPENAI_TEMPERATURE="0.2"
+export AI_DOCS_THREADS="1"
+export AI_DOCS_LOCAL_SITE="false"
+```
+
 3) Генерация README и MkDocs:
 ```bash
 python -m ai_docs --source .
@@ -62,6 +76,22 @@ python ai_docs --source .
 ai-docs --source .
 ```
 
+Примечание для Windows:
+- Пути обрабатываются корректно, но внутри всегда нормализуются в формат с `/`.
+- Если используете PowerShell, пример активации venv и переменных окружения:
+```powershell
+python -m venv .venv
+.\\.venv\\Scripts\\Activate.ps1
+$env:OPENAI_API_KEY="your_api_key_here"
+$env:OPENAI_BASE_URL="https://api.openai.com/v1"
+$env:OPENAI_MODEL="gpt-4o-mini"
+$env:OPENAI_MAX_TOKENS="1200"
+$env:OPENAI_CONTEXT_TOKENS="8192"
+$env:OPENAI_TEMPERATURE="0.2"
+$env:AI_DOCS_THREADS="1"
+$env:AI_DOCS_LOCAL_SITE="false"
+```
+
 ## Примеры использования
 
 Локальная папка:

{ai_docs_gen-0.1.4 → ai_docs_gen-0.1.5}/ai_docs/tokenizer.py

@@ -3,11 +3,22 @@ from typing import List
 import tiktoken
 
 
+class _ByteEncoding:
+    def encode(self, text: str):
+        return list(text.encode("utf-8", errors="ignore"))
+
+    def decode(self, tokens):
+        return bytes(tokens).decode("utf-8", errors="ignore")
+
+
 def get_encoding(model: str):
     try:
         return tiktoken.encoding_for_model(model)
     except KeyError:
-        return tiktoken.get_encoding("cl100k_base")
+        try:
+            return tiktoken.get_encoding("o200k_base")
+        except Exception:
+            return _ByteEncoding()
 
 
 def count_tokens(text: str, model: str) -> int:
@@ -23,4 +34,3 @@ def chunk_text(text: str, model: str, max_tokens: int) -> List[str]:
         chunk = tokens[i:i + max_tokens]
         chunks.append(enc.decode(chunk))
     return chunks
-

{ai_docs_gen-0.1.4 → ai_docs_gen-0.1.5}/ai_docs_gen.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ai-docs-gen
-Version: 0.1.4
+Version: 0.1.5
 Summary: CLI-инструмент для генерации технической документации по коду и конфигурациям
 Requires-Python: >=3.8
 Description-Content-Type: text/markdown
@@ -16,6 +16,8 @@ Requires-Dist: pymdown-extensions
 
 # ai_docs — генератор технической документации
 
+[English version](README_EN.md) | [Русская версия](README.md)
+
 ## Обзор
 `ai_docs` — CLI‑инструмент для генерации технической документации по коду и конфигурациям.
 Поддерживает локальные папки, локальные git‑проекты и удалённые git‑репозитории.
@@ -51,7 +53,7 @@ python3 -m venv .venv
 pip install -e .
 ```
 
-2) Настройка `.env` (пример — `.env.example`):
+2) Настройка переменных окружения (пример — `.env.example`):
 ```env
 OPENAI_API_KEY=your_api_key_here
 OPENAI_BASE_URL=https://api.openai.com/v1
@@ -63,6 +65,18 @@ AI_DOCS_THREADS=1
 AI_DOCS_LOCAL_SITE=false
 ```
 
+Если инструмент установлен как пакет, можно задать переменные окружения так:
+```bash
+export OPENAI_API_KEY="your_api_key_here"
+export OPENAI_BASE_URL="https://api.openai.com/v1"
+export OPENAI_MODEL="gpt-4o-mini"
+export OPENAI_MAX_TOKENS="1200"
+export OPENAI_CONTEXT_TOKENS="8192"
+export OPENAI_TEMPERATURE="0.2"
+export AI_DOCS_THREADS="1"
+export AI_DOCS_LOCAL_SITE="false"
+```
+
 3) Генерация README и MkDocs:
 ```bash
 python -m ai_docs --source .
@@ -78,6 +92,22 @@ python ai_docs --source .
 ai-docs --source .
 ```
 
+Примечание для Windows:
+- Пути обрабатываются корректно, но внутри всегда нормализуются в формат с `/`.
+- Если используете PowerShell, пример активации venv и переменных окружения:
+```powershell
+python -m venv .venv
+.\\.venv\\Scripts\\Activate.ps1
+$env:OPENAI_API_KEY="your_api_key_here"
+$env:OPENAI_BASE_URL="https://api.openai.com/v1"
+$env:OPENAI_MODEL="gpt-4o-mini"
+$env:OPENAI_MAX_TOKENS="1200"
+$env:OPENAI_CONTEXT_TOKENS="8192"
+$env:OPENAI_TEMPERATURE="0.2"
+$env:AI_DOCS_THREADS="1"
+$env:AI_DOCS_LOCAL_SITE="false"
+```
+
 ## Примеры использования
 
 Локальная папка:

{ai_docs_gen-0.1.4 → ai_docs_gen-0.1.5}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "ai-docs-gen"
-version = "0.1.4"
+version = "0.1.5"
 description = "CLI-инструмент для генерации технической документации по коду и конфигурациям"
 readme = "README.md"
 requires-python = ">=3.8"