mawo-slovnet 1.0.0__tar.gz

mawo_slovnet-1.0.0/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2025 MAWO Team
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

mawo_slovnet-1.0.0/PKG-INFO

@@ -0,0 +1,370 @@
+Metadata-Version: 2.4
+Name: mawo-slovnet
+Version: 1.0.0
+Summary: Нейросетевые модели для русского языка: NER, морфология и синтаксис с автоматической загрузкой
+Author-email: MAWO Team <team@mawo.ru>
+Maintainer-email: MAWO Team <team@mawo.ru>
+License-Expression: MIT
+Project-URL: Homepage, https://github.com/mawo-ru/mawo-slovnet
+Project-URL: Documentation, https://github.com/mawo-ru/mawo-slovnet#readme
+Project-URL: Repository, https://github.com/mawo-ru/mawo-slovnet
+Project-URL: Issues, https://github.com/mawo-ru/mawo-slovnet/issues
+Project-URL: Changelog, https://github.com/mawo-ru/mawo-slovnet/blob/main/CHANGELOG.md
+Keywords: nlp,russian,ner,morphology,syntax,slovnet,mawo
+Classifier: Development Status :: 5 - Production/Stable
+Classifier: Intended Audience :: Developers
+Classifier: Intended Audience :: Science/Research
+Classifier: Natural Language :: Russian
+Classifier: Operating System :: OS Independent
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence
+Classifier: Topic :: Text Processing :: Linguistic
+Requires-Python: >=3.10
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: numpy>=1.20.0
+Provides-Extra: dev
+Requires-Dist: pytest>=7.0; extra == "dev"
+Requires-Dist: black>=23.0; extra == "dev"
+Requires-Dist: ruff>=0.1.0; extra == "dev"
+Requires-Dist: mypy>=1.0; extra == "dev"
+Provides-Extra: all
+Requires-Dist: mawo-slovnet[dev]; extra == "all"
+Dynamic: license-file
+
+# mawo-slovnet
+
+[![PyPI версия](https://badge.fury.io/py/mawo-slovnet.svg)](https://badge.fury.io/py/mawo-slovnet)
+[![Python 3.10+](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/downloads/)
+[![Лицензия: MIT](https://img.shields.io/badge/License-MIT-yellow.svg)](https://opensource.org/licenses/MIT)
+
+**Нейросетевые модели для русского языка**: NER, морфология и синтаксис с автоматической загрузкой моделей.
+
+## Возможности
+
+- **3 готовые модели**: NER, морфология, синтаксический разбор
+- **Автозагрузка**: Модели скачиваются автоматически при первом использовании
+- **Работа офлайн**: После загрузки работает без интернета
+- **Гибридный режим**: Нейросети + правила (если модели недоступны)
+- **Компактные модели**: Всего 6.9МБ для всех трёх моделей
+- **Качество**: 95% accuracy на новостных текстах
+
+## Установка
+
+```bash
+pip install mawo-slovnet
+```
+
+## Быстрый старт
+
+### Named Entity Recognition (NER)
+
+```python
+from mawo_slovnet import NewsNERTagger
+
+# Создаём NER-теггер (модель скачается автоматически при первом запуске)
+ner = NewsNERTagger()
+
+# Анализируем текст
+text = "Владимир Путин посетил Москву в понедельник."
+markup = ner(text)
+
+# Извлекаем именованные сущности
+for span in markup.spans:
+    print(f"{span.text} -> {span.type}")
+# Владимир Путин -> PER
+# Москву -> LOC
+```
+
+### Морфологический анализ
+
+```python
+from mawo_slovnet import NewsMorphTagger
+
+# Создаём морфологический теггер
+morph = NewsMorphTagger()
+
+# Анализируем текст
+text = "Мама мыла раму."
+markup = morph(text)
+
+# Получаем морфологические теги
+for token in markup.tokens:
+    print(f"{token.text}: {token.pos} {token.feats}")
+# Мама: NOUN Case=Nom|Gender=Fem|Number=Sing
+# мыла: VERB Gender=Fem|Number=Sing|Tense=Past
+# раму: NOUN Case=Acc|Gender=Fem|Number=Sing
+```
+
+### Синтаксический разбор
+
+```python
+from mawo_slovnet import NewsSyntaxParser
+
+# Создаём синтаксический парсер
+syntax = NewsSyntaxParser()
+
+# Разбираем предложение
+text = "Кот сидит на коврике."
+markup = syntax(text)
+
+# Получаем зависимости
+for token in markup.tokens:
+    print(f"{token.text} -> {token.head_id} ({token.rel})")
+# Кот -> 1 (nsubj)
+# сидит -> 1 (root)
+# на -> 4 (case)
+# коврике -> 1 (obl)
+```
+
+## Продвинутое использование
+
+### Ручная загрузка моделей
+
+```python
+from mawo_slovnet import download_models
+
+# Загрузить все модели заранее
+download_models()
+
+# Или загрузить конкретную модель
+download_models(["ner"])  # только NER
+download_models(["morph", "syntax"])  # морфология + синтаксис
+```
+
+### Проверка статуса моделей
+
+```python
+from mawo_slovnet import get_model_info
+
+# Проверить, какие модели загружены
+info = get_model_info()
+print(info)
+# {
+#     "ner": {"cached": True, "size_mb": 2.2, "path": "..."},
+#     "morph": {"cached": True, "size_mb": 2.4, "path": "..."},
+#     "syntax": {"cached": True, "size_mb": 2.5, "path": "..."}
+# }
+```
+
+### Гибридный режим (fallback)
+
+Если модели недоступны, библиотека автоматически использует rule-based подход:
+
+```python
+from mawo_slovnet import NewsNERTagger
+
+# Если модели нет - будет использован fallback
+ner = NewsNERTagger()
+
+# Работает даже без ML-моделей (хуже качество, но работает)
+markup = ner("Пушкин жил в Петербурге")
+```
+
+## Типы сущностей (NER)
+
+Модель распознаёт следующие типы:
+
+- **PER** (Person): Владимир Путин, А.С. Пушкин
+- **LOC** (Location): Москва, Россия, Невский проспект
+- **ORG** (Organization): Газпром, ООН, Министерство финансов
+
+## Морфологические признаки
+
+Модель определяет:
+
+- **Часть речи**: NOUN, VERB, ADJ, ADV, PRON, etc.
+- **Падеж**: Nom, Gen, Dat, Acc, Ins, Loc
+- **Число**: Sing, Plur
+- **Род**: Masc, Fem, Neut
+- **Время**: Past, Pres, Fut
+- **Наклонение**: Ind, Imp
+- **Залог**: Act, Pass
+
+## Синтаксические отношения
+
+Основные типы зависимостей:
+
+- **root**: Корень предложения
+- **nsubj**: Подлежащее
+- **obj**: Дополнение
+- **obl**: Обстоятельство
+- **amod**: Определение (прилагательное)
+- **advmod**: Обстоятельство (наречие)
+- **case**: Падежный маркер (предлог)
+
+## Файлы моделей
+
+Модели автоматически загружаются в:
+
+```
+~/.cache/mawo_slovnet/models/
+├── ner/                    # NER модель (2.2МБ)
+├── morph/                  # Морфология (2.4МБ)
+└── syntax/                 # Синтаксис (2.5МБ)
+```
+
+Или в директорию пакета:
+
+```
+mawo_slovnet/
+├── slovnet_ner_news_v1.tar.neural.gz       # 2.2МБ
+├── slovnet_morph_news_v1.tar.neural.gz     # 2.4МБ
+└── slovnet_syntax_news_v1.tar.neural.gz    # 2.5МБ
+```
+
+## Производительность
+
+### Скорость обработки
+
+| Модель | Скорость | Качество |
+|--------|----------|----------|
+| NER | ~1000 токенов/сек | 95% F1 |
+| Морфология | ~800 токенов/сек | 97% accuracy |
+| Синтаксис | ~600 токенов/сек | 92% UAS |
+
+*На CPU (Intel i7), однопоточно*
+
+### Использование памяти
+
+| Компонент | Память |
+|-----------|--------|
+| NER модель | ~150МБ |
+| Морф модель | ~180МБ |
+| Синтакс модель | ~200МБ |
+
+## Батч-обработка
+
+```python
+from mawo_slovnet import NewsNERTagger
+
+ner = NewsNERTagger()
+
+# Обработка нескольких текстов
+texts = [
+    "Пушкин родился в Москве.",
+    "Толстой жил в Ясной Поляне.",
+    "Достоевский писал в Петербурге."
+]
+
+for text in texts:
+    markup = ner(text)
+    for span in markup.spans:
+        print(f"{text}: {span.text} ({span.type})")
+```
+
+## Интеграция с другими библиотеками
+
+### С mawo-pymorphy3
+
+```python
+from mawo_slovnet import NewsMorphTagger
+from mawo_pymorphy3 import create_analyzer
+
+# SlovNet для быстрой обработки
+morph_slovnet = NewsMorphTagger()
+
+# pymorphy3 для детального анализа
+morph_deep = create_analyzer()
+
+text = "стали"
+# Быстрый разбор
+slovnet_result = morph_slovnet(text)
+
+# Детальный анализ
+for parse in morph_deep.parse(text):
+    print(parse.tag, parse.normal_form)
+```
+
+### С mawo-natasha
+
+```python
+from mawo_slovnet import NewsNERTagger
+from mawo_natasha import MAWODoc
+
+ner = NewsNERTagger()
+doc = MAWODoc("Пушкин жил в Москве")
+
+# Обогащение документа NER-метками
+markup = ner(doc.text)
+doc.spans = markup.spans
+```
+
+## Источники моделей
+
+Модели основаны на:
+
+- **SlovNet v0.6.0** от Alexander Kukushkin
+- **Yandex Cloud Storage**: Официальные предобученные модели
+- **Архитектура**: CNN-CRF с Navec embeddings
+- **Обучение**: Новостные корпуса (RIA, Lenta.ru, etc.)
+
+## Решение проблем
+
+### Модели не загружаются
+
+```python
+# Попробуйте загрузить вручную
+from mawo_slovnet import download_models
+download_models(force=True)
+```
+
+### Ошибка импорта
+
+```bash
+pip install --upgrade mawo-slovnet
+```
+
+### Нехватка памяти
+
+```python
+# Загружайте только нужные модели
+from mawo_slovnet import NewsNERTagger  # Только NER
+
+# Не импортируйте все сразу
+```
+
+## Разработка
+
+### Настройка окружения
+
+```bash
+git clone https://github.com/mawo-ru/mawo-slovnet.git
+cd mawo-slovnet
+pip install -e ".[dev]"
+```
+
+### Запуск тестов
+
+```bash
+pytest tests/
+```
+
+## Благодарности
+
+Основано на **SlovNet** от Alexander Kukushkin (github.com/natasha/slovnet).
+
+**Улучшения MAWO:**
+- Автоматическая загрузка моделей
+- Offline-first архитектура
+- Гибридный режим (ML + rules)
+- Оптимизация памяти
+
+## Лицензия
+
+Лицензия MIT - см. файл [LICENSE](LICENSE).
+
+## Ссылки
+
+- **GitHub**: https://github.com/mawo-ru/mawo-slovnet
+- **PyPI**: https://pypi.org/project/mawo-slovnet/
+- **Проблемы**: https://github.com/mawo-ru/mawo-slovnet/issues
+- **Оригинальный SlovNet**: https://github.com/natasha/slovnet
+
+---
+
+Сделано с ❤️ командой [MAWO](https://github.com/mawo-ru)