morphoformer 2.1.3__tar.gz

morphoformer-2.1.3/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2025-2026 voluntasprogressus
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

morphoformer-2.1.3/PKG-INFO

@@ -0,0 +1,213 @@
+Metadata-Version: 2.4
+Name: morphoformer
+Version: 2.1.3
+Summary: MorphFormer: multilingual morphological reinflection via character-level Transformer
+Author: voluntasprogressus
+License-Expression: MIT
+Project-URL: Repository, https://github.com/voluntasprogressus/Morphological-Reinflection-Models
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.14
+Classifier: Operating System :: OS Independent
+Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence
+Classifier: Topic :: Text Processing :: Linguistic
+Requires-Python: >=3.14
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: torch>=2.0.0
+Provides-Extra: dev
+Requires-Dist: pytest>=7.0; extra == "dev"
+Requires-Dist: ruff>=0.4.0; extra == "dev"
+Dynamic: license-file
+
+# MorphFormer v2
+
+MorphFormer v2 - это улучшенная версия модели для мультиязычной морфологической реинфлексии. Модель основана на архитектуре Transformer с поддержкой нескольких языков и оптимизированными настройками DataLoader.
+
+## Особенности
+
+- **Мультиязычность**: Поддержка множества языков через language adapters
+- **Оптимизированный DataLoader**: Настройки для максимальной производительности
+- **Гибкая конфигурация**: TOML-конфигурации с пресетами
+- **Модульная архитектура**: Подключаемые модули для attention, feedforward, conv и других компонентов
+- **Поддержка различных устройств**: CPU, CUDA, ROCm, XPU, MPS
+
+## Установка
+
+### Установка как пакет
+```bash
+cd Morph_v2
+pip install -e .
+```
+
+### Установка зависимостей
+```bash
+pip install torch tomli
+```
+
+## Быстрый старт
+
+### 1. Скачать данные
+```bash
+morphoformer download --lang rus --out-dir data
+```
+
+### 2. Создать конфигурацию
+```bash
+# Используйте примеры конфигураций из config_examples/
+# или создайте свою:
+morphoformer init-config --preset medium --out config.toml
+```
+
+### 3. Обучить модель
+```bash
+morphoformer train --config config.toml --data data/rus_train.tsv
+```
+
+### 4. Инференс
+```bash
+morphoformer infer --checkpoint checkpoints/morphformer_epoch50.pt --word "тест" --morph "V;IND;PRS;3;SG" --lang rus
+```
+
+## Команды CLI
+
+### Обучение
+```bash
+morphoformer train --config config.toml --data train.tsv [--val val.tsv] [--epochs 50] [--batch 64]
+```
+
+### Инференс
+```bash
+morphoformer infer --checkpoint model.pt --word "слово" --morph "признаки;через;точку;с;запятой" [--lang rus]
+```
+
+### Интерактивный режим
+```bash
+morphoformer serve --checkpoint model.pt
+```
+
+### Скачивание данных
+```bash
+morphoformer download --lang all [--out-dir data] [--merge]
+```
+
+### Список модулей
+```bash
+morphoformer modules
+```
+
+### Создание конфигурации
+```bash
+morphoformer init-config --preset small|medium|large --out config.toml
+```
+
+## Конфигурация
+
+Примеры конфигураций находятся в директории `config_examples/`.
+
+### Пресеты
+- **small.toml**: Для CPU или GPU с ограниченной памятью
+- **medium.toml**: Баланс производительности и качества
+- **large.toml**: Для мощных GPU с 16+ GB VRAM
+
+### Настройки DataLoader
+```toml
+[data]
+num_workers = 2        # Количество worker-процессов (0 для Windows)
+pin_memory = true      # Pinned memory для GPU
+prefetch_factor = 2    # Предзагрузка батчей
+persistent_workers = false  # Переиспользование workers
+```
+
+## Структура проекта
+
+```
+morphoformer/
+├── __init__.py
+├── __main__.py
+├── cli.py
+├── config/
+│   ├── __init__.py
+│   ├── schema.py      # Схема конфигурации
+│   ├── loader.py      # Загрузка TOML
+│   └── presets.py     # Пресеты моделей
+├── config_examples/   # Примеры конфигураций
+├── data/
+│   ├── __init__.py
+│   ├── vocab.py       # Словарь символов
+│   ├── feature_vocab.py # Словарь признаков
+│   ├── dataset.py     # Датасет
+│   └── download.py    # Загрузка данных
+├── inference/
+│   ├── __init__.py
+│   ├── decode.py      # Декодирование
+│   └── cache.py       # Кэш KV
+├── modules/
+│   ├── __init__.py
+│   ├── transformer.py # Основная модель
+│   ├── encoder.py     # Энкодер
+│   ├── decoder.py     # Декодер
+│   ├── registry.py    # Реестр модулей
+│   └── ...           # Другие модули
+└── training/
+    ├── __init__.py
+    ├── trainer.py     # Тренер
+    ├── scheduler.py   # Планировщик LR
+    └── memory.py      # Управление памятью
+```
+
+## Примеры использования
+
+### Обучение с кастомными настройками
+```bash
+morphoformer train \
+  --config config.toml \
+  --data train.tsv \
+  --batch 32 \
+  --num-workers 2 \
+  --pin-memory true \
+  --prefetch-factor 2
+```
+
+### Инференс с GPU
+```bash
+morphoformer infer \
+  --checkpoint model.pt \
+  --word "бежать" \
+  --morph "V;IND;PRS;3;PL" \
+  --lang rus \
+  --device cuda
+```
+
+### Скачивание нескольких языков
+```bash
+morphoformer download --lang rus,deu,fra --out-dir data --merge
+```
+
+## Оптимизация производительности
+
+### Для Windows
+```toml
+num_workers = 0  # Отключить multiprocessing
+pin_memory = true
+prefetch_factor = 2
+```
+
+### Для Linux/macOS
+```toml
+num_workers = 2  # Оптимально для 4-8 ядер
+pin_memory = true
+prefetch_factor = 2
+persistent_workers = true
+```
+
+### Для мощных систем
+```toml
+num_workers = 4  # Для 8+ ядер
+pin_memory = true
+prefetch_factor = 3  # Больше предзагрузки
+persistent_workers = true
+```
+
+## Лицензия
+
+MIT

morphoformer-2.1.3/README.md

@@ -0,0 +1,192 @@
+# MorphFormer v2
+
+MorphFormer v2 - это улучшенная версия модели для мультиязычной морфологической реинфлексии. Модель основана на архитектуре Transformer с поддержкой нескольких языков и оптимизированными настройками DataLoader.
+
+## Особенности
+
+- **Мультиязычность**: Поддержка множества языков через language adapters
+- **Оптимизированный DataLoader**: Настройки для максимальной производительности
+- **Гибкая конфигурация**: TOML-конфигурации с пресетами
+- **Модульная архитектура**: Подключаемые модули для attention, feedforward, conv и других компонентов
+- **Поддержка различных устройств**: CPU, CUDA, ROCm, XPU, MPS
+
+## Установка
+
+### Установка как пакет
+```bash
+cd Morph_v2
+pip install -e .
+```
+
+### Установка зависимостей
+```bash
+pip install torch tomli
+```
+
+## Быстрый старт
+
+### 1. Скачать данные
+```bash
+morphoformer download --lang rus --out-dir data
+```
+
+### 2. Создать конфигурацию
+```bash
+# Используйте примеры конфигураций из config_examples/
+# или создайте свою:
+morphoformer init-config --preset medium --out config.toml
+```
+
+### 3. Обучить модель
+```bash
+morphoformer train --config config.toml --data data/rus_train.tsv
+```
+
+### 4. Инференс
+```bash
+morphoformer infer --checkpoint checkpoints/morphformer_epoch50.pt --word "тест" --morph "V;IND;PRS;3;SG" --lang rus
+```
+
+## Команды CLI
+
+### Обучение
+```bash
+morphoformer train --config config.toml --data train.tsv [--val val.tsv] [--epochs 50] [--batch 64]
+```
+
+### Инференс
+```bash
+morphoformer infer --checkpoint model.pt --word "слово" --morph "признаки;через;точку;с;запятой" [--lang rus]
+```
+
+### Интерактивный режим
+```bash
+morphoformer serve --checkpoint model.pt
+```
+
+### Скачивание данных
+```bash
+morphoformer download --lang all [--out-dir data] [--merge]
+```
+
+### Список модулей
+```bash
+morphoformer modules
+```
+
+### Создание конфигурации
+```bash
+morphoformer init-config --preset small|medium|large --out config.toml
+```
+
+## Конфигурация
+
+Примеры конфигураций находятся в директории `config_examples/`.
+
+### Пресеты
+- **small.toml**: Для CPU или GPU с ограниченной памятью
+- **medium.toml**: Баланс производительности и качества
+- **large.toml**: Для мощных GPU с 16+ GB VRAM
+
+### Настройки DataLoader
+```toml
+[data]
+num_workers = 2        # Количество worker-процессов (0 для Windows)
+pin_memory = true      # Pinned memory для GPU
+prefetch_factor = 2    # Предзагрузка батчей
+persistent_workers = false  # Переиспользование workers
+```
+
+## Структура проекта
+
+```
+morphoformer/
+├── __init__.py
+├── __main__.py
+├── cli.py
+├── config/
+│   ├── __init__.py
+│   ├── schema.py      # Схема конфигурации
+│   ├── loader.py      # Загрузка TOML
+│   └── presets.py     # Пресеты моделей
+├── config_examples/   # Примеры конфигураций
+├── data/
+│   ├── __init__.py
+│   ├── vocab.py       # Словарь символов
+│   ├── feature_vocab.py # Словарь признаков
+│   ├── dataset.py     # Датасет
+│   └── download.py    # Загрузка данных
+├── inference/
+│   ├── __init__.py
+│   ├── decode.py      # Декодирование
+│   └── cache.py       # Кэш KV
+├── modules/
+│   ├── __init__.py
+│   ├── transformer.py # Основная модель
+│   ├── encoder.py     # Энкодер
+│   ├── decoder.py     # Декодер
+│   ├── registry.py    # Реестр модулей
+│   └── ...           # Другие модули
+└── training/
+    ├── __init__.py
+    ├── trainer.py     # Тренер
+    ├── scheduler.py   # Планировщик LR
+    └── memory.py      # Управление памятью
+```
+
+## Примеры использования
+
+### Обучение с кастомными настройками
+```bash
+morphoformer train \
+  --config config.toml \
+  --data train.tsv \
+  --batch 32 \
+  --num-workers 2 \
+  --pin-memory true \
+  --prefetch-factor 2
+```
+
+### Инференс с GPU
+```bash
+morphoformer infer \
+  --checkpoint model.pt \
+  --word "бежать" \
+  --morph "V;IND;PRS;3;PL" \
+  --lang rus \
+  --device cuda
+```
+
+### Скачивание нескольких языков
+```bash
+morphoformer download --lang rus,deu,fra --out-dir data --merge
+```
+
+## Оптимизация производительности
+
+### Для Windows
+```toml
+num_workers = 0  # Отключить multiprocessing
+pin_memory = true
+prefetch_factor = 2
+```
+
+### Для Linux/macOS
+```toml
+num_workers = 2  # Оптимально для 4-8 ядер
+pin_memory = true
+prefetch_factor = 2
+persistent_workers = true
+```
+
+### Для мощных систем
+```toml
+num_workers = 4  # Для 8+ ядер
+pin_memory = true
+prefetch_factor = 3  # Больше предзагрузки
+persistent_workers = true
+```
+
+## Лицензия
+
+MIT

morphoformer-2.1.3/morphoformer/__init__.py

@@ -0,0 +1 @@
+__version__ = "2.1.3"

morphoformer-2.1.3/morphoformer/__main__.py

@@ -0,0 +1,3 @@
+from .cli import main
+
+main()