rumorph 0.2.0__tar.gz → 0.4.0__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- {rumorph-0.2.0 → rumorph-0.4.0}/.github/workflows/ci.yml +5 -3
- {rumorph-0.2.0 → rumorph-0.4.0}/.github/workflows/docs.yml +3 -6
- {rumorph-0.2.0 → rumorph-0.4.0}/.github/workflows/publish.yml +3 -1
- {rumorph-0.2.0 → rumorph-0.4.0}/CITATION.cff +6 -4
- {rumorph-0.2.0 → rumorph-0.4.0}/CONTRIBUTING.md +14 -5
- {rumorph-0.2.0 → rumorph-0.4.0}/Cargo.lock +4 -4
- {rumorph-0.2.0 → rumorph-0.4.0}/Cargo.toml +1 -1
- rumorph-0.4.0/LICENSE-DICTIONARY.txt +24 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/Makefile +10 -3
- {rumorph-0.2.0 → rumorph-0.4.0}/PKG-INFO +70 -30
- {rumorph-0.2.0 → rumorph-0.4.0}/README.en.md +65 -27
- {rumorph-0.2.0 → rumorph-0.4.0}/README.md +65 -27
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/Cargo.toml +1 -1
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/README.md +13 -3
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/alphabet.rs +40 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/builder.rs +53 -11
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/cli.rs +348 -88
- rumorph-0.4.0/crates/rumorph/src/dictionary/context.rs +1038 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary/guess.rs +55 -19
- rumorph-0.4.0/crates/rumorph/src/dictionary/own.rs +291 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary/parts.rs +71 -2
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary/rules.rs +236 -51
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary/ud.rs +1 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary.rs +740 -75
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/error.rs +5 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/format.rs +51 -11
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/lib.rs +1 -1
- rumorph-0.4.0/crates/rumorph-build/src/frequencies.rs +393 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-build/src/main.rs +432 -47
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-build/src/ud.rs +421 -60
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-dict-ru/Cargo.toml +1 -1
- rumorph-0.4.0/crates/rumorph-dict-ru/LICENSE-DICTIONARY.txt +24 -0
- rumorph-0.4.0/crates/rumorph-dict-ru/README.md +18 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-dict-ru/src/lib.rs +2 -1
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-py/src/lib.rs +424 -52
- rumorph-0.4.0/data/ru-context.bin +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/analysis.en.md +12 -10
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/analysis.md +12 -10
- rumorph-0.4.0/docs/analyzer.en.md +273 -0
- rumorph-0.4.0/docs/analyzer.md +273 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/cli.en.md +16 -12
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/cli.md +16 -12
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/exceptions.en.md +2 -2
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/exceptions.md +2 -2
- rumorph-0.4.0/docs/img/speed.en.svg +82 -0
- rumorph-0.4.0/docs/img/speed.svg +82 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/index.en.md +18 -9
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/index.md +18 -9
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/inflection.en.md +1 -1
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/inflection.md +1 -1
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/installation.en.md +2 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/installation.md +2 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/migration.en.md +3 -3
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/migration.md +3 -3
- rumorph-0.4.0/docs/performance.en.md +145 -0
- rumorph-0.4.0/docs/performance.md +145 -0
- rumorph-0.4.0/docs/spacy.en.md +97 -0
- rumorph-0.4.0/docs/spacy.md +97 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/mkdocs.yml +3 -2
- {rumorph-0.2.0 → rumorph-0.4.0}/pyproject.toml +13 -3
- {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/_rumorph.pyi +7 -2
- {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/data/ru.dict +0 -0
- rumorph-0.4.0/python/rumorph/spacy.py +256 -0
- rumorph-0.4.0/scripts/compare.py +840 -0
- rumorph-0.4.0/scripts/compare.py.lock +1767 -0
- rumorph-0.4.0/scripts/conventions.py +152 -0
- rumorph-0.4.0/scripts/export_ud.py +125 -0
- rumorph-0.4.0/scripts/train_context.py +1035 -0
- rumorph-0.4.0/scripts/train_context.py.lock +497 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_analyzer.py +368 -8
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_guess.py +30 -1
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_inflection.py +25 -2
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_parts.py +10 -1
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_pymorphy.py +38 -3
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_rules.py +18 -3
- rumorph-0.4.0/tests/test_spacy.py +195 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/uv.lock +1019 -1
- rumorph-0.2.0/LICENSE-DICTIONARY.txt +0 -12
- rumorph-0.2.0/crates/rumorph-dict-ru/LICENSE-DICTIONARY.txt +0 -12
- rumorph-0.2.0/crates/rumorph-dict-ru/README.md +0 -13
- rumorph-0.2.0/docs/analyzer.en.md +0 -211
- rumorph-0.2.0/docs/analyzer.md +0 -211
- rumorph-0.2.0/docs/performance.en.md +0 -34
- rumorph-0.2.0/docs/performance.md +0 -34
- {rumorph-0.2.0 → rumorph-0.4.0}/.cargo/config.toml +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/.github/ISSUE_TEMPLATE/bug_report.yml +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/.github/ISSUE_TEMPLATE/config.yml +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/.github/ISSUE_TEMPLATE/feature_request.yml +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/.github/PULL_REQUEST_TEMPLATE.md +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/.github/dependabot.yml +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/.gitignore +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/.pre-commit-config.yaml +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/.python-version +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/CODE_OF_CONDUCT.md +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/LICENSE.txt +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/LICENSE.txt +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/bin/rumorph.rs +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-build/Cargo.toml +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-build/src/lexemes.rs +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-dict-ru/build.rs +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-py/Cargo.toml +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/authors.en.md +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/authors.md +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/css/extra.css +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/img/rumorph.png +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/docs/img/rumorph.svg +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/__init__.py +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/__main__.py +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/py.typed +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/scripts/export_pymorphy.py +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/scripts/smoke.py +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_cli.py +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_docs.py +0 -0
- {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_package.py +0 -0
|
@@ -77,15 +77,17 @@ jobs:
|
|
|
77
77
|
- name: Cache Rust
|
|
78
78
|
uses: Swatinem/rust-cache@d1527c8f67ef9af357290475d4af4b0fab8f12e0 # v2.9.3
|
|
79
79
|
- name: Install dependencies
|
|
80
|
-
|
|
80
|
+
# У spaCy нет колес для 3.14t: там тесты компонента пропускаются
|
|
81
|
+
run: uv sync --locked --no-default-groups --group test ${{ matrix.python-version != '3.14t' && '--group spacy' || '' }}
|
|
81
82
|
- name: Build dictionary
|
|
82
83
|
shell: bash
|
|
83
84
|
run: |
|
|
84
85
|
uv run --no-sync python scripts/export_pymorphy.py build/opencorpora
|
|
85
|
-
|
|
86
|
+
uv run --no-sync python scripts/export_ud.py build/ud
|
|
87
|
+
cargo run --release --locked -p rumorph-build -- build/opencorpora build/ud python/rumorph/data/ru.dict data/ru-context.bin
|
|
86
88
|
uv run --no-sync python -c "import hashlib; print(hashlib.sha256(open('python/rumorph/data/ru.dict', 'rb').read()).hexdigest())"
|
|
87
89
|
- name: Run tests
|
|
88
|
-
run: uv run --no-sync pytest --cov rumorph
|
|
90
|
+
run: uv run --no-sync pytest --cov rumorph ${{ matrix.python-version == '3.14t' && '--cov-fail-under=0' || '' }}
|
|
89
91
|
- name: Run Rust tests
|
|
90
92
|
run: cargo test -p rumorph -p rumorph-build -p rumorph-dict-ru --all-features --locked
|
|
91
93
|
|
|
@@ -1,13 +1,10 @@
|
|
|
1
1
|
name: docs
|
|
2
2
|
|
|
3
|
+
# Сайт описывает выпущенную версию: публикуется по тегу релиза, а не с master
|
|
3
4
|
on:
|
|
4
5
|
push:
|
|
5
|
-
|
|
6
|
-
-
|
|
7
|
-
paths:
|
|
8
|
-
- "docs/**"
|
|
9
|
-
- "mkdocs.yml"
|
|
10
|
-
- ".github/workflows/docs.yml"
|
|
6
|
+
tags:
|
|
7
|
+
- "[0-9]+.[0-9]+.[0-9]+"
|
|
11
8
|
workflow_dispatch:
|
|
12
9
|
|
|
13
10
|
concurrency:
|
|
@@ -18,6 +18,7 @@ on:
|
|
|
18
18
|
- "Cargo.lock"
|
|
19
19
|
- "crates/*/Cargo.toml"
|
|
20
20
|
- "crates/rumorph-dict-ru/**"
|
|
21
|
+
- "data/**"
|
|
21
22
|
|
|
22
23
|
permissions:
|
|
23
24
|
contents: read
|
|
@@ -75,7 +76,8 @@ jobs:
|
|
|
75
76
|
- name: Build dictionary
|
|
76
77
|
run: |
|
|
77
78
|
uv run --no-sync python scripts/export_pymorphy.py build/opencorpora
|
|
78
|
-
|
|
79
|
+
uv run --no-sync python scripts/export_ud.py build/ud
|
|
80
|
+
cargo run --release --locked -p rumorph-build -- build/opencorpora build/ud python/rumorph/data/ru.dict data/ru-context.bin
|
|
79
81
|
sha256sum python/rumorph/data/ru.dict
|
|
80
82
|
- name: Upload dictionary
|
|
81
83
|
uses: actions/upload-artifact@cf430e030ddbb5b0abf93d22962f4752f3646cd9 # v7.0.2
|
|
@@ -6,11 +6,13 @@ authors:
|
|
|
6
6
|
- family-names: Shkarin
|
|
7
7
|
given-names: Sergey
|
|
8
8
|
email: kouki.sergey@gmail.com
|
|
9
|
-
version: 0.
|
|
10
|
-
date-released: 2026-10-
|
|
9
|
+
version: 0.4.0
|
|
10
|
+
date-released: 2026-10-23
|
|
11
11
|
repository-code: "https://github.com/SergeyShk/ruMorph"
|
|
12
12
|
url: "https://sergeyshk.github.io/ruMorph/"
|
|
13
|
-
license:
|
|
13
|
+
license:
|
|
14
|
+
- MIT
|
|
15
|
+
- CC-BY-SA-4.0
|
|
14
16
|
doi: 10.5281/zenodo.23520738
|
|
15
17
|
keywords:
|
|
16
18
|
- russian
|
|
@@ -22,4 +24,4 @@ keywords:
|
|
|
22
24
|
- universal dependencies
|
|
23
25
|
- opencorpora
|
|
24
26
|
- rust
|
|
25
|
-
abstract: "ruMorph is a morphological analyzer of Russian with a Rust core and a Python API. For a word form it finds the analyses in the OpenCorpora dictionary - the lemma, the part of speech and the Universal Dependencies features
|
|
27
|
+
abstract: "ruMorph is a morphological analyzer of Russian with a Rust core and a Python API. For a word form it finds the analyses in the OpenCorpora dictionary - the lemma, the part of speech and the Universal Dependencies features following the UD guidelines and, where they are silent, the SynTagRus conventions - and orders them by probability; a BiLSTM context model chooses the analysis of every word of a sentence by its neighbours. Numbers, signs, Latin script and abbreviations are analyzed by rules, and the analyses of unknown words are guessed by their endings, hyphenated parts and prefixes. Every analysis gives the forms of its lexeme, the form with the requested features and the form that agrees with a number. Lists of words are analyzed without the GIL; the package includes the rumorph command and a spaCy component."
|
|
@@ -15,11 +15,19 @@ git clone https://github.com/SergeyShk/ruMorph.git
|
|
|
15
15
|
cd ruMorph
|
|
16
16
|
|
|
17
17
|
make deps # создать окружение, установить все зависимости и собрать модуль на Rust
|
|
18
|
-
make dictionary # собрать словарь из pymorphy3-dicts-ru
|
|
18
|
+
make dictionary # собрать словарь из pymorphy3-dicts-ru и трибанков UD
|
|
19
19
|
uv run pre-commit install # хуки: линтеры на коммите, тесты на пуше
|
|
20
20
|
```
|
|
21
21
|
|
|
22
|
-
Модуль на Rust собирается при установке пакета в окружение; `uv run` пересобирает его сам, когда меняются файлы `crates/` или `Cargo.toml`. Словарь `python/rumorph/data/ru.dict` в git не хранится: `make dictionary` выгружает словарь pymorphy3-dicts-ru скриптом `scripts/export_pymorphy.py` и собирает
|
|
22
|
+
Модуль на Rust собирается при установке пакета в окружение; `uv run` пересобирает его сам, когда меняются файлы `crates/` или `Cargo.toml`. Словарь `python/rumorph/data/ru.dict` в git не хранится: `make dictionary` выгружает словарь pymorphy3-dicts-ru скриптом `scripts/export_pymorphy.py`, скачивает обучающие части трибанков UD_Russian-Taiga и UD_Russian-GSD закрепленного релиза скриптом `scripts/export_ud.py` (счетчики разметки словоформ для частот разборов) и собирает словарь сборщиком `rumorph-build`, вшивая в него веса контекстной модели `data/ru-context.bin`; `make test` и `make build` делают это сами. Полный список команд - `make help`.
|
|
23
|
+
|
|
24
|
+
Веса контекстной модели хранятся в git. Переобучать модель нужно, когда меняются теги UD словаря (сборщик тогда откажется вшивать старые веса) или соглашения разметки: `scripts/conventions.py` переписывает разметку Taiga и GSD в соглашениях ruMorph и для счетчиков, и для обучения. Модель учится на кандидатах словаря без весов, после обучения словарь собирается с ней; обучение скачивает обучающие и проверочные части трибанков и корпус OpenCorpora с проверкой SHA-256, теги корпуса переводит `rumorph-build tags` (нужен cargo). Выгрузки `target/opencorpora` и `target/ud` делает `make dictionary`:
|
|
25
|
+
|
|
26
|
+
```bash
|
|
27
|
+
cargo run --release --locked -p rumorph-build -- target/opencorpora target/ud python/rumorph/data/ru.dict
|
|
28
|
+
uv run --with-editable . scripts/train_context.py --dictionary python/rumorph/data/ru.dict --data target/context --output data/ru-context.bin
|
|
29
|
+
make dictionary
|
|
30
|
+
```
|
|
23
31
|
|
|
24
32
|
## Проверки
|
|
25
33
|
|
|
@@ -48,12 +56,13 @@ make docs-build # mkdocs build --strict, если менялась докуме
|
|
|
48
56
|
|
|
49
57
|
- `crates/rumorph/` - ядро анализатора на Rust: формат словаря, сборка (feature `build`), разбор и команда `rumorph` (feature `cli`, `src/cli.rs`; пакет Python вызывает ее из `python/rumorph/__main__.py`); публикуется на crates.io.
|
|
50
58
|
- `crates/rumorph-dict-ru/` - крейт со словарем для `rumorph` (feature `bundled`): файл словаря в git не хранится, `build.rs` берет `python/rumorph/data/ru.dict`, а без него собирает крейт с пустым словарем, только если задана переменная `RUMORPH_EMPTY_DICTIONARY=1` (ее задает `.cargo/config.toml` репозитория).
|
|
51
|
-
- `crates/rumorph-build/` - сборка словаря из выгрузки pymorphy3-dicts-ru
|
|
59
|
+
- `crates/rumorph-build/` - сборка словаря из выгрузки pymorphy3-dicts-ru, перевод тегов OpenCorpora в UD (`ud.rs`) и частоты разборов по счетчикам трибанков UD (`frequencies.rs`).
|
|
52
60
|
- `crates/rumorph-py/` - модуль Python `rumorph._rumorph` на PyO3.
|
|
53
61
|
- `python/rumorph/` - пакет Python поверх модуля; `data/ru.dict` - собранный словарь.
|
|
54
|
-
- `scripts/` - выгрузка словаря pymorphy3-dicts-ru и проверка установленного пакета перед
|
|
62
|
+
- `scripts/` - выгрузка словаря pymorphy3-dicts-ru и счетчиков трибанков UD (`export_ud.py`, соглашения разметки - `conventions.py`), обучение контекстной модели (`train_context.py`, зависимости закреплены в `train_context.py.lock`), проверка установленного пакета перед публикацией и сравнение с другими анализаторами (`compare.py`, зависимости закреплены в `compare.py.lock`).
|
|
63
|
+
- `data/` - веса контекстной модели (`ru-context.bin`), которые сборщик вшивает в словарь.
|
|
55
64
|
- `tests/` - тесты пакета Python; `tests/test_pymorphy.py` сверяет разборы с pymorphy3 на частых словоформах, `tests/test_docs.py` - два языка документации.
|
|
56
65
|
- `docs/` - документация MkDocs (Material), `mkdocs.yml` - навигация и перевод ее на английский.
|
|
57
|
-
- `.github/workflows/` - CI (`ci.yml`), публикация (`publish.yml`: словарь собирается один раз и входит в колеса для Linux, macOS и Windows и в исходники), документация (`docs.yml
|
|
66
|
+
- `.github/workflows/` - CI (`ci.yml`), публикация (`publish.yml`: словарь собирается один раз и входит в колеса для Linux, macOS и Windows и в исходники), документация (`docs.yml`: сайт публикуется по тегу релиза).
|
|
58
67
|
|
|
59
68
|
Версия пакета хранится в `pyproject.toml` и в `Cargo.toml` в записи semver (`0.1.0.dev1` - `0.1.0-dev.1`); зависимость `rumorph` от `rumorph-dict-ru` закреплена той же версией (`=0.1.0-dev.1`). Их совпадение проверяет тест. Тег версии запускает `publish.yml`: колеса и исходники собираются один раз, проверяются на всех платформах и публикуются на TestPyPI, а версия без `.devN` затем - на PyPI и крейтами на crates.io. Если публикация прервалась, перезапускайте только упавшие задания (Re-run failed jobs): пересобранные колеса отличаются побайтно, и PyPI их не примет, а задание крейтов пропускает уже опубликованный крейт. Изменения описываются в заметках GitHub Release, отдельного файла CHANGELOG нет.
|
|
@@ -151,7 +151,7 @@ dependencies = [
|
|
|
151
151
|
|
|
152
152
|
[[package]]
|
|
153
153
|
name = "rumorph"
|
|
154
|
-
version = "0.
|
|
154
|
+
version = "0.4.0"
|
|
155
155
|
dependencies = [
|
|
156
156
|
"bytemuck",
|
|
157
157
|
"crc32fast",
|
|
@@ -163,7 +163,7 @@ dependencies = [
|
|
|
163
163
|
|
|
164
164
|
[[package]]
|
|
165
165
|
name = "rumorph-build"
|
|
166
|
-
version = "0.
|
|
166
|
+
version = "0.4.0"
|
|
167
167
|
dependencies = [
|
|
168
168
|
"rumorph",
|
|
169
169
|
"serde_json",
|
|
@@ -171,11 +171,11 @@ dependencies = [
|
|
|
171
171
|
|
|
172
172
|
[[package]]
|
|
173
173
|
name = "rumorph-dict-ru"
|
|
174
|
-
version = "0.
|
|
174
|
+
version = "0.4.0"
|
|
175
175
|
|
|
176
176
|
[[package]]
|
|
177
177
|
name = "rumorph-py"
|
|
178
|
-
version = "0.
|
|
178
|
+
version = "0.4.0"
|
|
179
179
|
dependencies = [
|
|
180
180
|
"pyo3",
|
|
181
181
|
"rumorph",
|
|
@@ -0,0 +1,24 @@
|
|
|
1
|
+
The dictionary bundled with ruMorph (rumorph/data/ru.dict) is built from:
|
|
2
|
+
|
|
3
|
+
- the OpenCorpora dictionary (https://opencorpora.org), revision 417150, as compiled
|
|
4
|
+
in the pymorphy3-dicts-ru package version 2.4.417150.4580142, including its
|
|
5
|
+
P(tag | word) estimates from the OpenCorpora corpus, licensed under the Creative
|
|
6
|
+
Commons Attribution-ShareAlike 3.0 Unported License (CC BY-SA 3.0);
|
|
7
|
+
- the OpenCorpora annotated corpus (https://opencorpora.org), revision 4580223, on which
|
|
8
|
+
the context model is also trained, licensed under the Creative Commons
|
|
9
|
+
Attribution-ShareAlike 3.0 Unported License (CC BY-SA 3.0);
|
|
10
|
+
- counts of word form annotations in the training parts of the Universal Dependencies
|
|
11
|
+
treebanks, release 2.18 (https://universaldependencies.org), and the weights of the
|
|
12
|
+
context model trained on their training and development parts, licensed under the
|
|
13
|
+
Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0):
|
|
14
|
+
- UD_Russian-Taiga (https://github.com/UniversalDependencies/UD_Russian-Taiga)
|
|
15
|
+
by Olga Lyashevskaya, Olga Rudina, Natalia Vlasova and Anna Zhuravleva;
|
|
16
|
+
- UD_Russian-GSD (https://github.com/UniversalDependencies/UD_Russian-GSD),
|
|
17
|
+
annotated and converted by Google, by Ryan McDonald, Vitaly Nikolaev and
|
|
18
|
+
Olga Lyashevskaya.
|
|
19
|
+
|
|
20
|
+
The ruMorph dictionary is an adaptation of that data and is distributed under the
|
|
21
|
+
Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0):
|
|
22
|
+
https://creativecommons.org/licenses/by-sa/4.0/
|
|
23
|
+
|
|
24
|
+
The ruMorph code is distributed under the MIT License (LICENSE.txt).
|
|
@@ -7,6 +7,9 @@ PACKAGE := rumorph
|
|
|
7
7
|
DICTIONARY := $(SRC_PATH)/$(PACKAGE)/data/ru.dict
|
|
8
8
|
EXPORT_PATH := target/opencorpora
|
|
9
9
|
EXPORT_STAMP := $(EXPORT_PATH)/.exported
|
|
10
|
+
UD_PATH := target/ud
|
|
11
|
+
UD_STAMP := $(UD_PATH)/.exported
|
|
12
|
+
CONTEXT := data/ru-context.bin
|
|
10
13
|
|
|
11
14
|
help: ## Показать список команд
|
|
12
15
|
@grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) | awk 'BEGIN {FS = ":.*?## "}; {printf "%-20s %s\n", $$1, $$2}'
|
|
@@ -28,14 +31,18 @@ else
|
|
|
28
31
|
uv sync --all-groups
|
|
29
32
|
endif
|
|
30
33
|
|
|
31
|
-
dictionary: $(DICTIONARY) ## Собрать словарь из pymorphy3-dicts-ru
|
|
34
|
+
dictionary: $(DICTIONARY) ## Собрать словарь из pymorphy3-dicts-ru и трибанков UD
|
|
32
35
|
|
|
33
36
|
$(EXPORT_STAMP): $(SCRIPTS_PATH)/export_pymorphy.py uv.lock | deps
|
|
34
37
|
uv run python $(SCRIPTS_PATH)/export_pymorphy.py $(EXPORT_PATH)
|
|
35
38
|
touch $@
|
|
36
39
|
|
|
37
|
-
$(
|
|
38
|
-
|
|
40
|
+
$(UD_STAMP): $(SCRIPTS_PATH)/export_ud.py $(SCRIPTS_PATH)/conventions.py | deps
|
|
41
|
+
uv run python $(SCRIPTS_PATH)/export_ud.py $(UD_PATH)
|
|
42
|
+
touch $@
|
|
43
|
+
|
|
44
|
+
$(DICTIONARY): $(EXPORT_STAMP) $(UD_STAMP) $(CONTEXT) $(wildcard crates/rumorph/src/*.rs crates/rumorph/src/dictionary/*.rs crates/rumorph-build/src/*.rs)
|
|
45
|
+
cargo run --release --locked -p rumorph-build -- $(EXPORT_PATH) $(UD_PATH) $(DICTIONARY) $(CONTEXT)
|
|
39
46
|
|
|
40
47
|
lock: uv ## Обновить lock-файлы до последних версий зависимостей
|
|
41
48
|
uv lock --upgrade
|
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
Metadata-Version: 2.4
|
|
2
2
|
Name: rumorph
|
|
3
|
-
Version: 0.
|
|
3
|
+
Version: 0.4.0
|
|
4
4
|
Classifier: Development Status :: 3 - Alpha
|
|
5
5
|
Classifier: Operating System :: OS Independent
|
|
6
6
|
Classifier: Programming Language :: Python :: 3
|
|
@@ -16,13 +16,15 @@ Classifier: Intended Audience :: Science/Research
|
|
|
16
16
|
Classifier: Topic :: Text Processing :: Linguistic
|
|
17
17
|
Classifier: Typing :: Typed
|
|
18
18
|
Classifier: Natural Language :: Russian
|
|
19
|
+
Requires-Dist: spacy>=3.8,<4 ; extra == 'spacy'
|
|
20
|
+
Provides-Extra: spacy
|
|
19
21
|
License-File: LICENSE.txt
|
|
20
22
|
License-File: LICENSE-DICTIONARY.txt
|
|
21
23
|
Summary: Fast Russian morphological analyzer written in Rust with a Python API
|
|
22
|
-
Keywords: morphology,morphological analysis,lemmatization,pymorphy,OpenCorpora,NLP,russian
|
|
24
|
+
Keywords: morphology,morphological analysis,lemmatization,pymorphy,OpenCorpora,NLP,russian,spaCy
|
|
23
25
|
Author-email: Шкарин Сергей <kouki.sergey@gmail.com>
|
|
24
26
|
Maintainer-email: Шкарин Сергей <kouki.sergey@gmail.com>
|
|
25
|
-
License-Expression: MIT AND CC-BY-SA-
|
|
27
|
+
License-Expression: MIT AND CC-BY-SA-4.0
|
|
26
28
|
Requires-Python: >=3.11
|
|
27
29
|
Description-Content-Type: text/markdown; charset=UTF-8; variant=GFM
|
|
28
30
|
Project-URL: Documentation, https://sergeyshk.github.io/ruMorph/
|
|
@@ -61,16 +63,18 @@ Project-URL: Repository, https://github.com/SergeyShk/ruMorph
|
|
|
61
63
|
|
|
62
64
|
**ruMorph** - морфологический анализатор русского языка: ядро на Rust и API для Python. Для словоформы анализатор находит по словарю [OpenCorpora](https://opencorpora.org) варианты разбора - начальную форму (лемму), часть речи и признаки [Universal Dependencies](https://universaldependencies.org/) - упорядочивает их по вероятности и строит формы слова.
|
|
63
65
|
|
|
64
|
-
Разбор и лемматизация в
|
|
66
|
+
Разбор и лемматизация в 6-8 раз быстрее, чем в pymorphy3 с ускорением `pymorphy3[fast]`, форма по признакам и согласование с количеством - в 16-18 раз; списки слов разбираются без GIL. Части речи, признаки и леммы следуют руководству UD, а где оно молчит - соглашениям трибанка SynTagRus, поэтому результат можно сравнивать с разметкой spaCy, Stanza и других инструментов на UD.
|
|
65
67
|
|
|
66
68
|
* **[Анализатор](https://sergeyshk.github.io/ruMorph/analyzer/)** - разборы словоформы по убыванию вероятности, разбор списков слов и лемматизация без GIL, проверка словоформы по словарю
|
|
67
|
-
* **[
|
|
69
|
+
* **[Разбор предложения](https://sergeyshk.github.io/ruMorph/analyzer/#analyze_sentence)** - выбор разбора по соседним словам контекстной моделью: часть речи, лемма и признаки верны у 82-94 % слов против 71-82 % без контекста
|
|
70
|
+
* **[Части речи и признаки UD](https://sergeyshk.github.io/ruMorph/analysis/#ud)** - части речи, признаки и леммы по руководству UD и соглашениям SynTagRus; пометы OpenCorpora, у которых нет признака UD
|
|
68
71
|
* **[Токены вне словаря](https://sergeyshk.github.io/ruMorph/analysis/#rules)** - числа, знаки, латиница, инициалы и сокращения по правилам
|
|
69
72
|
* **[Незнакомые слова](https://sergeyshk.github.io/ruMorph/analysis/#guess)** - разборы по окончанию, слова через дефис и с приставками, формы угаданных слов
|
|
70
73
|
* **[Словоизменение](https://sergeyshk.github.io/ruMorph/inflection/)** - формы лексемы, форма по признакам UD, согласование с количеством
|
|
71
74
|
* **[Команда rumorph](https://sergeyshk.github.io/ruMorph/cli/)** - разбор файлов и потоков: леммы, CoNLL-U, TSV и JSON Lines
|
|
75
|
+
* **[spaCy](https://sergeyshk.github.io/ruMorph/spacy/)** - компонент конвейера spaCy вместо теггера, морфологизатора и лемматизатора
|
|
72
76
|
* **[Переход с pymorphy](https://sergeyshk.github.io/ruMorph/migration/)** - соответствие вызовов pymorphy2 и pymorphy3, частей речи и граммем
|
|
73
|
-
* **[
|
|
77
|
+
* **[Сравнение](https://sergeyshk.github.io/ruMorph/performance/)** - точность и скорость в сравнении с pymorphy3, mystem, spaCy, Stanza и Slovnet, загрузка словаря и память
|
|
74
78
|
|
|
75
79
|
> [!NOTE]
|
|
76
80
|
> Ранняя версия: до 1.0 API может меняться между версиями 0.x, изменения описываются в заметках к выпускам.
|
|
@@ -102,7 +106,7 @@ uv add rumorph
|
|
|
102
106
|
>>> morph.lemmatize("Мы стали друзьями в ковиде".split())
|
|
103
107
|
['мы', 'стать', 'друг', 'в', 'ковид']
|
|
104
108
|
>>> [(a.lemma, a.pos, a.feats.get("Case"), round(a.prob, 3)) for a in morph.analyze("стали")][:2]
|
|
105
|
-
[('стать', 'VERB', None, 0.
|
|
109
|
+
[('стать', 'VERB', None, 0.988), ('сталь', 'NOUN', 'Gen', 0.005)]
|
|
106
110
|
>>> morph.analyze("кошка")[0].inflect(Case="Gen", Number="Plur")
|
|
107
111
|
'кошек'
|
|
108
112
|
>>> morph.analyze("рубль")[0].agree(5)
|
|
@@ -115,14 +119,14 @@ uv add rumorph
|
|
|
115
119
|
|
|
116
120
|
### Разбор словоформы
|
|
117
121
|
|
|
118
|
-
Метод `analyze` возвращает разборы словоформы по убыванию вероятности - объекты `Analysis` с леммой, частью речи, признаками UD, пометами словаря, вероятностью и источником разбора. Регистр не важен, буква «е» может обозначать «ё». Разборы неизменяемы: их можно сравнивать, класть в множества и сохранять через pickle.
|
|
122
|
+
Метод `analyze` возвращает разборы словоформы по убыванию вероятности - объекты `Analysis` с леммой, частью речи, признаками UD, пометами словаря, вероятностью и источником разбора. Регистр для поиска не важен, но меняет доли имен собственных («шаров» - «шар», «Шаров» - фамилия), буква «е» может обозначать «ё». Разборы неизменяемы: их можно сравнивать, класть в множества и сохранять через pickle.
|
|
119
123
|
|
|
120
124
|
```python
|
|
121
125
|
>>> from rumorph import Analyzer
|
|
122
126
|
|
|
123
127
|
>>> morph = Analyzer()
|
|
124
128
|
>>> morph.analyze("стали")[0]
|
|
125
|
-
Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|Mood=Ind|Number=Plur|Tense=Past|VerbForm=Fin|Voice=
|
|
129
|
+
Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|Mood=Ind|Number=Plur|Tense=Past|VerbForm=Fin|Voice=Act', labels='intr', prob=0.9877829877829878, source='dictionary')
|
|
126
130
|
>>> [len(analyses) for analyses in morph.analyze_many(["мама", "мыла", "раму"])]
|
|
127
131
|
[1, 4, 2]
|
|
128
132
|
>>> morph.is_known("Ежи"), morph.is_known("вайб")
|
|
@@ -133,12 +137,26 @@ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|M
|
|
|
133
137
|
|
|
134
138
|
Подробнее - в документации: [анализатор](https://sergeyshk.github.io/ruMorph/analyzer/), [разбор словоформы](https://sergeyshk.github.io/ruMorph/analysis/).
|
|
135
139
|
|
|
140
|
+
### Разбор предложения
|
|
141
|
+
|
|
142
|
+
Метод `analyze_sentence` упорядочивает разборы слов предложения с учетом соседних слов: первым идет разбор, который выбрала контекстная модель, а вероятность - ее оценка в этом предложении. Модель (BiLSTM, 0,9 МБ) обучена на трибанках UD_Russian-Taiga, UD_Russian-GSD и корпусе OpenCorpora и входит в словарь пакета; слова - токены одного предложения.
|
|
143
|
+
|
|
144
|
+
```python
|
|
145
|
+
>>> words = ["Я", "читаю", "книги"]
|
|
146
|
+
>>> [analyses[0].feats.get("Case") for analyses in morph.analyze_many(words)]
|
|
147
|
+
['Nom', None, 'Gen']
|
|
148
|
+
>>> [analyses[0].feats.get("Case") for analyses in morph.analyze_sentence(words)]
|
|
149
|
+
['Nom', None, 'Acc']
|
|
150
|
+
>>> morph.analyze_sentence(["Мост", "сделан", "из", "стали"])[3][0].lemma
|
|
151
|
+
'сталь'
|
|
152
|
+
```
|
|
153
|
+
|
|
136
154
|
<details>
|
|
137
155
|
<summary><b>Части речи и признаки Universal Dependencies</b></summary>
|
|
138
156
|
|
|
139
157
|
<br>
|
|
140
158
|
|
|
141
|
-
Части речи и признаки следуют [Universal Dependencies](https://universaldependencies.org/u/pos/)
|
|
159
|
+
Части речи и признаки следуют руководству [Universal Dependencies](https://universaldependencies.org/u/pos/), а где оно молчит - соглашениям крупнейшего русского трибанка [UD_Russian-SynTagRus](https://github.com/UniversalDependencies/UD_Russian-SynTagRus). Отличия от частей речи OpenCorpora:
|
|
142
160
|
|
|
143
161
|
* «который», «этот», «свой», «весь», «такой» и другие местоименные прилагательные - `DET`
|
|
144
162
|
* «быть» и «бы» - `AUX`
|
|
@@ -178,16 +196,16 @@ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|M
|
|
|
178
196
|
* инициалы «А.» - имя, отчество или фамилия с `Abbr=Yes`
|
|
179
197
|
* сокращения с точкой «т.», «им.» - разборы словарного сокращения, аббревиатуры капсом «НКО» - `PROPN` или `NOUN` с `Abbr=Yes`
|
|
180
198
|
* наречия «по-бурятски», «по-молодому» - `ADV`
|
|
181
|
-
* прочие токены «км/ч»,
|
|
199
|
+
* прочие токены «км/ч», «100%-ный» - `X` без признаков, лемма - токен в нижнем регистре
|
|
182
200
|
|
|
183
|
-
Доли неоднозначных разборов взяты из частот в
|
|
201
|
+
Доли неоднозначных разборов взяты из частот в трибанках UD Taiga и GSD, доли имен собственных - с учетом регистра: «Земли» - прежде всего планета (PROPN), «земли» - NOUN.
|
|
184
202
|
|
|
185
203
|
```python
|
|
186
204
|
>>> from rumorph import Analyzer
|
|
187
205
|
|
|
188
206
|
>>> morph = Analyzer()
|
|
189
207
|
>>> [(a.lemma, a.pos, a.feats["NumType"], round(a.prob, 2)) for a in morph.analyze("2026")]
|
|
190
|
-
[('2026', 'ADJ', 'Ord', 0.
|
|
208
|
+
[('2026', 'ADJ', 'Ord', 0.98), ('2026', 'NUM', 'Card', 0.02)]
|
|
191
209
|
>>> [(a.lemma, a.pos, a.feats["Case"]) for a in morph.analyze("2005-го")][:1]
|
|
192
210
|
[('2005-й', 'ADJ', 'Gen')]
|
|
193
211
|
>>> [(a.pos, a.feats, a.source) for a in morph.analyze("iPhone")]
|
|
@@ -206,9 +224,10 @@ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|M
|
|
|
206
224
|
Разборы слова кириллицей, которого нет в словаре, анализатор угадывает по окончанию: берет формы словарных слов с тем же окончанием - их часть речи, признаки и словоизменение. `source` у таких разборов - `"guess"`.
|
|
207
225
|
|
|
208
226
|
* Слово в нижнем регистре угадывается как нарицательное, слово с заглавной буквы - в основном как имя собственное: фамилия, имя, топоним
|
|
209
|
-
* Слово через дефис разбирается по последней части: «крэш-тестов» - «крэш-тест», «Мак-Киннона» -
|
|
227
|
+
* Слово через дефис разбирается по последней части: «крэш-тестов» - «крэш-тест», «Мак-Киннона» - «мак-киннон», а слово с протяжкой или заиканием - по словарному слову без них: «не-е-ет» - «нет», «с-спасибо» - «спасибо»
|
|
210
228
|
* Слово с известной приставкой - «эко», «анти», «супер», «микро» и другими - разбирается по словарному слову без нее: «экодомов» - «экодом»
|
|
211
229
|
* У угаданного разбора есть формы, и они сохраняют заглавные буквы: «Мак-Киннона» в дательном падеже - «Мак-Киннону»
|
|
230
|
+
* Слово, которое нужно разбирать точно, можно добавить по образцу - словарному слову, которое изменяется так же: `Analyzer(words={"зумер": "геймер"})`
|
|
212
231
|
|
|
213
232
|
```python
|
|
214
233
|
>>> from rumorph import Analyzer
|
|
@@ -221,6 +240,9 @@ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|M
|
|
|
221
240
|
('мартов', 'PROPN', 'Sur', 'Мартову')
|
|
222
241
|
>>> morph.analyze("крэш-тестов")[0].lemma, morph.analyze("экодомов")[0].lemma
|
|
223
242
|
('крэш-тест', 'экодом')
|
|
243
|
+
>>> zoomers = Analyzer(words={"зумер": "геймер"})
|
|
244
|
+
>>> zoomers.analyze("зумерами")[0].lemma, zoomers.is_known("зумеры")
|
|
245
|
+
('зумер', True)
|
|
224
246
|
```
|
|
225
247
|
|
|
226
248
|
Подробнее - в [документации](https://sergeyshk.github.io/ruMorph/analysis/#guess).
|
|
@@ -278,6 +300,25 @@ $ rumorph --format conllu text.txt > text.conllu
|
|
|
278
300
|
|
|
279
301
|
</details>
|
|
280
302
|
|
|
303
|
+
<details>
|
|
304
|
+
<summary><b>spaCy</b></summary>
|
|
305
|
+
|
|
306
|
+
<br>
|
|
307
|
+
|
|
308
|
+
Компонент `rumorph` (`pip install "rumorph[spacy]"`) размечает токены конвейера spaCy частью речи, признаками UD и леммой по разбору с контекстом. В моделях `ru_core_news_*` он заменяет морфологизатор и лемматизатор: на SynTagRus test часть речи, лемма и признаки вместе верны у 93,7 % слов против 82,0 % у `ru_core_news_sm`, а конвейер работает быстрее.
|
|
309
|
+
|
|
310
|
+
```python
|
|
311
|
+
import spacy
|
|
312
|
+
|
|
313
|
+
nlp = spacy.load("ru_core_news_sm", exclude=["morphologizer", "lemmatizer"])
|
|
314
|
+
nlp.add_pipe("rumorph", after="parser")
|
|
315
|
+
doc = nlp("Мост сделан из стали.")
|
|
316
|
+
```
|
|
317
|
+
|
|
318
|
+
Подробнее - в [документации](https://sergeyshk.github.io/ruMorph/spacy/): предложения, параметры и разбор ruMorph токена.
|
|
319
|
+
|
|
320
|
+
</details>
|
|
321
|
+
|
|
281
322
|
<details>
|
|
282
323
|
<summary><b>Переход с pymorphy</b></summary>
|
|
283
324
|
|
|
@@ -302,23 +343,21 @@ ruMorph работает с тем же словарем OpenCorpora, что pym
|
|
|
302
343
|
</details>
|
|
303
344
|
|
|
304
345
|
<details>
|
|
305
|
-
<summary><b
|
|
346
|
+
<summary><b>Сравнение</b></summary>
|
|
306
347
|
|
|
307
348
|
<br>
|
|
308
349
|
|
|
309
|
-
|
|
350
|
+
Доля слов, у которых верны часть речи и лемма первого разбора, % (тестовые части трибанков UD 2.18):
|
|
310
351
|
|
|
311
|
-
|
|
|
312
|
-
|
|
|
313
|
-
|
|
|
314
|
-
|
|
|
315
|
-
|
|
|
316
|
-
| Форма по признакам | 1 399 | 76 | 76 |
|
|
317
|
-
| Согласование с количеством | 1 417 | 85 | 85 |
|
|
352
|
+
| Система | SynTagRus | Taiga | GSD | Токенов в секунду |
|
|
353
|
+
| :------ | :-------- | :---- | :-- | :---------------- |
|
|
354
|
+
| ruMorph | **94,1** | **90,7** | **92,0** | **639 969** |
|
|
355
|
+
| pymorphy3 | 84,8 | 82,9 | 84,3 | 23 263 |
|
|
356
|
+
| mystem | 81,9 | 79,4 | 79,9 | 81 138 |
|
|
318
357
|
|
|
319
|
-
|
|
358
|
+
С контекстом (`analyze_sentence`) ruMorph по части речи, лемме и признакам вместе точнее всех теггеров на Taiga и GSD (90,2 и 81,6 % слов против 85,6 и 80,3 % у Stanza), а на SynTagRus идет вровень со Stanza (93,7 и 93,5 %), хотя Stanza обучена на SynTagRus. При этом он разбирает 109 тыс. токенов в секунду против 2 858 у Stanza. На короткий текст вместе с загрузкой ruMorph отвечает за 6 мс против 0,2-2 с у теггеров, процессы делят словарь, и каждый следующий добавляет 1,2 МБ. Замер - Apple M3 Pro, Python 3.11.
|
|
320
359
|
|
|
321
|
-
Подробнее - в [документации](https://sergeyshk.github.io/ruMorph/performance/):
|
|
360
|
+
Подробнее - в [документации](https://sergeyshk.github.io/ruMorph/performance/): теггеры с контекстом, график скорости от объема текста, операции в сравнении с pymorphy3, память и как это измерено.
|
|
322
361
|
|
|
323
362
|
</details>
|
|
324
363
|
|
|
@@ -331,7 +370,7 @@ git clone https://github.com/SergeyShk/ruMorph.git
|
|
|
331
370
|
cd ruMorph
|
|
332
371
|
|
|
333
372
|
make deps # создать окружение, установить зависимости и собрать модуль на Rust
|
|
334
|
-
make dictionary # собрать словарь из pymorphy3-dicts-ru
|
|
373
|
+
make dictionary # собрать словарь из pymorphy3-dicts-ru и трибанков UD
|
|
335
374
|
make test # запустить тесты Python, примеры из докстрингов (doctest) и тесты Rust
|
|
336
375
|
make lint # ruff, mypy, rustfmt и clippy
|
|
337
376
|
```
|
|
@@ -353,12 +392,13 @@ uv run pre-commit install
|
|
|
353
392
|
|
|
354
393
|
<br>
|
|
355
394
|
|
|
356
|
-
* **crates/rumorph** - ядро анализатора на Rust: формат словаря, сборка,
|
|
357
|
-
* **crates/rumorph-build** - сборка словаря из выгрузки pymorphy3-dicts-ru
|
|
395
|
+
* **crates/rumorph** - ядро анализатора на Rust: формат словаря, сборка, разбор, контекстная модель и словоизменение
|
|
396
|
+
* **crates/rumorph-build** - сборка словаря из выгрузки pymorphy3-dicts-ru, перевод тегов OpenCorpora в UD и частоты разборов по трибанкам UD
|
|
358
397
|
* **crates/rumorph-dict-ru** - крейт со словарем для `rumorph` на crates.io
|
|
359
398
|
* **crates/rumorph-py** - модуль Python `rumorph._rumorph` на PyO3
|
|
360
399
|
* **python/rumorph** - пакет Python
|
|
361
|
-
* **scripts** - выгрузка словаря pymorphy3-dicts-ru и проверка установленного пакета перед публикацией
|
|
400
|
+
* **scripts** - выгрузка словаря pymorphy3-dicts-ru и счетчиков трибанков UD, обучение контекстной модели, проверка установленного пакета перед публикацией и сравнение с другими анализаторами
|
|
401
|
+
* **data** - веса контекстной модели, которые сборщик вшивает в словарь
|
|
362
402
|
* **docs** - документация MkDocs на русском и английском
|
|
363
403
|
* **tests** - тесты пакета Python
|
|
364
404
|
|
|
@@ -370,7 +410,7 @@ uv run pre-commit install
|
|
|
370
410
|
|
|
371
411
|
## Лицензия
|
|
372
412
|
|
|
373
|
-
Код распространяется под лицензией [MIT](https://github.com/SergeyShk/ruMorph/blob/master/LICENSE.txt). Словарь в пакете собран из словаря [OpenCorpora](https://opencorpora.org) и распространяется по лицензии CC BY-SA
|
|
413
|
+
Код распространяется под лицензией [MIT](https://github.com/SergeyShk/ruMorph/blob/master/LICENSE.txt). Словарь в пакете собран из словаря [OpenCorpora](https://opencorpora.org) с частотами и контекстной моделью по трибанкам [UD_Russian-Taiga](https://github.com/UniversalDependencies/UD_Russian-Taiga) и [UD_Russian-GSD](https://github.com/UniversalDependencies/UD_Russian-GSD) и корпусу OpenCorpora и распространяется по лицензии CC BY-SA 4.0 ([LICENSE-DICTIONARY.txt](https://github.com/SergeyShk/ruMorph/blob/master/LICENSE-DICTIONARY.txt)).
|
|
374
414
|
|
|
375
415
|
## Цитирование
|
|
376
416
|
|