rumorph 0.2.0__tar.gz → 0.4.0__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (114) hide show
  1. {rumorph-0.2.0 → rumorph-0.4.0}/.github/workflows/ci.yml +5 -3
  2. {rumorph-0.2.0 → rumorph-0.4.0}/.github/workflows/docs.yml +3 -6
  3. {rumorph-0.2.0 → rumorph-0.4.0}/.github/workflows/publish.yml +3 -1
  4. {rumorph-0.2.0 → rumorph-0.4.0}/CITATION.cff +6 -4
  5. {rumorph-0.2.0 → rumorph-0.4.0}/CONTRIBUTING.md +14 -5
  6. {rumorph-0.2.0 → rumorph-0.4.0}/Cargo.lock +4 -4
  7. {rumorph-0.2.0 → rumorph-0.4.0}/Cargo.toml +1 -1
  8. rumorph-0.4.0/LICENSE-DICTIONARY.txt +24 -0
  9. {rumorph-0.2.0 → rumorph-0.4.0}/Makefile +10 -3
  10. {rumorph-0.2.0 → rumorph-0.4.0}/PKG-INFO +70 -30
  11. {rumorph-0.2.0 → rumorph-0.4.0}/README.en.md +65 -27
  12. {rumorph-0.2.0 → rumorph-0.4.0}/README.md +65 -27
  13. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/Cargo.toml +1 -1
  14. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/README.md +13 -3
  15. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/alphabet.rs +40 -0
  16. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/builder.rs +53 -11
  17. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/cli.rs +348 -88
  18. rumorph-0.4.0/crates/rumorph/src/dictionary/context.rs +1038 -0
  19. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary/guess.rs +55 -19
  20. rumorph-0.4.0/crates/rumorph/src/dictionary/own.rs +291 -0
  21. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary/parts.rs +71 -2
  22. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary/rules.rs +236 -51
  23. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary/ud.rs +1 -0
  24. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/dictionary.rs +740 -75
  25. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/error.rs +5 -0
  26. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/format.rs +51 -11
  27. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/lib.rs +1 -1
  28. rumorph-0.4.0/crates/rumorph-build/src/frequencies.rs +393 -0
  29. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-build/src/main.rs +432 -47
  30. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-build/src/ud.rs +421 -60
  31. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-dict-ru/Cargo.toml +1 -1
  32. rumorph-0.4.0/crates/rumorph-dict-ru/LICENSE-DICTIONARY.txt +24 -0
  33. rumorph-0.4.0/crates/rumorph-dict-ru/README.md +18 -0
  34. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-dict-ru/src/lib.rs +2 -1
  35. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-py/src/lib.rs +424 -52
  36. rumorph-0.4.0/data/ru-context.bin +0 -0
  37. {rumorph-0.2.0 → rumorph-0.4.0}/docs/analysis.en.md +12 -10
  38. {rumorph-0.2.0 → rumorph-0.4.0}/docs/analysis.md +12 -10
  39. rumorph-0.4.0/docs/analyzer.en.md +273 -0
  40. rumorph-0.4.0/docs/analyzer.md +273 -0
  41. {rumorph-0.2.0 → rumorph-0.4.0}/docs/cli.en.md +16 -12
  42. {rumorph-0.2.0 → rumorph-0.4.0}/docs/cli.md +16 -12
  43. {rumorph-0.2.0 → rumorph-0.4.0}/docs/exceptions.en.md +2 -2
  44. {rumorph-0.2.0 → rumorph-0.4.0}/docs/exceptions.md +2 -2
  45. rumorph-0.4.0/docs/img/speed.en.svg +82 -0
  46. rumorph-0.4.0/docs/img/speed.svg +82 -0
  47. {rumorph-0.2.0 → rumorph-0.4.0}/docs/index.en.md +18 -9
  48. {rumorph-0.2.0 → rumorph-0.4.0}/docs/index.md +18 -9
  49. {rumorph-0.2.0 → rumorph-0.4.0}/docs/inflection.en.md +1 -1
  50. {rumorph-0.2.0 → rumorph-0.4.0}/docs/inflection.md +1 -1
  51. {rumorph-0.2.0 → rumorph-0.4.0}/docs/installation.en.md +2 -0
  52. {rumorph-0.2.0 → rumorph-0.4.0}/docs/installation.md +2 -0
  53. {rumorph-0.2.0 → rumorph-0.4.0}/docs/migration.en.md +3 -3
  54. {rumorph-0.2.0 → rumorph-0.4.0}/docs/migration.md +3 -3
  55. rumorph-0.4.0/docs/performance.en.md +145 -0
  56. rumorph-0.4.0/docs/performance.md +145 -0
  57. rumorph-0.4.0/docs/spacy.en.md +97 -0
  58. rumorph-0.4.0/docs/spacy.md +97 -0
  59. {rumorph-0.2.0 → rumorph-0.4.0}/mkdocs.yml +3 -2
  60. {rumorph-0.2.0 → rumorph-0.4.0}/pyproject.toml +13 -3
  61. {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/_rumorph.pyi +7 -2
  62. {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/data/ru.dict +0 -0
  63. rumorph-0.4.0/python/rumorph/spacy.py +256 -0
  64. rumorph-0.4.0/scripts/compare.py +840 -0
  65. rumorph-0.4.0/scripts/compare.py.lock +1767 -0
  66. rumorph-0.4.0/scripts/conventions.py +152 -0
  67. rumorph-0.4.0/scripts/export_ud.py +125 -0
  68. rumorph-0.4.0/scripts/train_context.py +1035 -0
  69. rumorph-0.4.0/scripts/train_context.py.lock +497 -0
  70. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_analyzer.py +368 -8
  71. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_guess.py +30 -1
  72. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_inflection.py +25 -2
  73. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_parts.py +10 -1
  74. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_pymorphy.py +38 -3
  75. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_rules.py +18 -3
  76. rumorph-0.4.0/tests/test_spacy.py +195 -0
  77. {rumorph-0.2.0 → rumorph-0.4.0}/uv.lock +1019 -1
  78. rumorph-0.2.0/LICENSE-DICTIONARY.txt +0 -12
  79. rumorph-0.2.0/crates/rumorph-dict-ru/LICENSE-DICTIONARY.txt +0 -12
  80. rumorph-0.2.0/crates/rumorph-dict-ru/README.md +0 -13
  81. rumorph-0.2.0/docs/analyzer.en.md +0 -211
  82. rumorph-0.2.0/docs/analyzer.md +0 -211
  83. rumorph-0.2.0/docs/performance.en.md +0 -34
  84. rumorph-0.2.0/docs/performance.md +0 -34
  85. {rumorph-0.2.0 → rumorph-0.4.0}/.cargo/config.toml +0 -0
  86. {rumorph-0.2.0 → rumorph-0.4.0}/.github/ISSUE_TEMPLATE/bug_report.yml +0 -0
  87. {rumorph-0.2.0 → rumorph-0.4.0}/.github/ISSUE_TEMPLATE/config.yml +0 -0
  88. {rumorph-0.2.0 → rumorph-0.4.0}/.github/ISSUE_TEMPLATE/feature_request.yml +0 -0
  89. {rumorph-0.2.0 → rumorph-0.4.0}/.github/PULL_REQUEST_TEMPLATE.md +0 -0
  90. {rumorph-0.2.0 → rumorph-0.4.0}/.github/dependabot.yml +0 -0
  91. {rumorph-0.2.0 → rumorph-0.4.0}/.gitignore +0 -0
  92. {rumorph-0.2.0 → rumorph-0.4.0}/.pre-commit-config.yaml +0 -0
  93. {rumorph-0.2.0 → rumorph-0.4.0}/.python-version +0 -0
  94. {rumorph-0.2.0 → rumorph-0.4.0}/CODE_OF_CONDUCT.md +0 -0
  95. {rumorph-0.2.0 → rumorph-0.4.0}/LICENSE.txt +0 -0
  96. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/LICENSE.txt +0 -0
  97. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph/src/bin/rumorph.rs +0 -0
  98. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-build/Cargo.toml +0 -0
  99. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-build/src/lexemes.rs +0 -0
  100. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-dict-ru/build.rs +0 -0
  101. {rumorph-0.2.0 → rumorph-0.4.0}/crates/rumorph-py/Cargo.toml +0 -0
  102. {rumorph-0.2.0 → rumorph-0.4.0}/docs/authors.en.md +0 -0
  103. {rumorph-0.2.0 → rumorph-0.4.0}/docs/authors.md +0 -0
  104. {rumorph-0.2.0 → rumorph-0.4.0}/docs/css/extra.css +0 -0
  105. {rumorph-0.2.0 → rumorph-0.4.0}/docs/img/rumorph.png +0 -0
  106. {rumorph-0.2.0 → rumorph-0.4.0}/docs/img/rumorph.svg +0 -0
  107. {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/__init__.py +0 -0
  108. {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/__main__.py +0 -0
  109. {rumorph-0.2.0 → rumorph-0.4.0}/python/rumorph/py.typed +0 -0
  110. {rumorph-0.2.0 → rumorph-0.4.0}/scripts/export_pymorphy.py +0 -0
  111. {rumorph-0.2.0 → rumorph-0.4.0}/scripts/smoke.py +0 -0
  112. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_cli.py +0 -0
  113. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_docs.py +0 -0
  114. {rumorph-0.2.0 → rumorph-0.4.0}/tests/test_package.py +0 -0
@@ -77,15 +77,17 @@ jobs:
77
77
  - name: Cache Rust
78
78
  uses: Swatinem/rust-cache@d1527c8f67ef9af357290475d4af4b0fab8f12e0 # v2.9.3
79
79
  - name: Install dependencies
80
- run: uv sync --locked --no-default-groups --group test
80
+ # У spaCy нет колес для 3.14t: там тесты компонента пропускаются
81
+ run: uv sync --locked --no-default-groups --group test ${{ matrix.python-version != '3.14t' && '--group spacy' || '' }}
81
82
  - name: Build dictionary
82
83
  shell: bash
83
84
  run: |
84
85
  uv run --no-sync python scripts/export_pymorphy.py build/opencorpora
85
- cargo run --release --locked -p rumorph-build -- build/opencorpora python/rumorph/data/ru.dict
86
+ uv run --no-sync python scripts/export_ud.py build/ud
87
+ cargo run --release --locked -p rumorph-build -- build/opencorpora build/ud python/rumorph/data/ru.dict data/ru-context.bin
86
88
  uv run --no-sync python -c "import hashlib; print(hashlib.sha256(open('python/rumorph/data/ru.dict', 'rb').read()).hexdigest())"
87
89
  - name: Run tests
88
- run: uv run --no-sync pytest --cov rumorph
90
+ run: uv run --no-sync pytest --cov rumorph ${{ matrix.python-version == '3.14t' && '--cov-fail-under=0' || '' }}
89
91
  - name: Run Rust tests
90
92
  run: cargo test -p rumorph -p rumorph-build -p rumorph-dict-ru --all-features --locked
91
93
 
@@ -1,13 +1,10 @@
1
1
  name: docs
2
2
 
3
+ # Сайт описывает выпущенную версию: публикуется по тегу релиза, а не с master
3
4
  on:
4
5
  push:
5
- branches:
6
- - master
7
- paths:
8
- - "docs/**"
9
- - "mkdocs.yml"
10
- - ".github/workflows/docs.yml"
6
+ tags:
7
+ - "[0-9]+.[0-9]+.[0-9]+"
11
8
  workflow_dispatch:
12
9
 
13
10
  concurrency:
@@ -18,6 +18,7 @@ on:
18
18
  - "Cargo.lock"
19
19
  - "crates/*/Cargo.toml"
20
20
  - "crates/rumorph-dict-ru/**"
21
+ - "data/**"
21
22
 
22
23
  permissions:
23
24
  contents: read
@@ -75,7 +76,8 @@ jobs:
75
76
  - name: Build dictionary
76
77
  run: |
77
78
  uv run --no-sync python scripts/export_pymorphy.py build/opencorpora
78
- cargo run --release --locked -p rumorph-build -- build/opencorpora python/rumorph/data/ru.dict
79
+ uv run --no-sync python scripts/export_ud.py build/ud
80
+ cargo run --release --locked -p rumorph-build -- build/opencorpora build/ud python/rumorph/data/ru.dict data/ru-context.bin
79
81
  sha256sum python/rumorph/data/ru.dict
80
82
  - name: Upload dictionary
81
83
  uses: actions/upload-artifact@cf430e030ddbb5b0abf93d22962f4752f3646cd9 # v7.0.2
@@ -6,11 +6,13 @@ authors:
6
6
  - family-names: Shkarin
7
7
  given-names: Sergey
8
8
  email: kouki.sergey@gmail.com
9
- version: 0.2.0
10
- date-released: 2026-10-21
9
+ version: 0.4.0
10
+ date-released: 2026-10-23
11
11
  repository-code: "https://github.com/SergeyShk/ruMorph"
12
12
  url: "https://sergeyshk.github.io/ruMorph/"
13
- license: MIT
13
+ license:
14
+ - MIT
15
+ - CC-BY-SA-4.0
14
16
  doi: 10.5281/zenodo.23520738
15
17
  keywords:
16
18
  - russian
@@ -22,4 +24,4 @@ keywords:
22
24
  - universal dependencies
23
25
  - opencorpora
24
26
  - rust
25
- abstract: "ruMorph is a morphological analyzer of Russian with a Rust core and a Python API. For a word form it finds the analyses in the OpenCorpora dictionary - the lemma, the part of speech and the Universal Dependencies features in the conventions of the SynTagRus treebank - and orders them by probability; numbers, signs, Latin script and abbreviations are analyzed by rules, and the analyses of unknown words are guessed by their endings, hyphenated parts and prefixes. Every analysis gives the forms of its lexeme, the form with the requested features and the form that agrees with a number. Lists of words are analyzed without the GIL."
27
+ abstract: "ruMorph is a morphological analyzer of Russian with a Rust core and a Python API. For a word form it finds the analyses in the OpenCorpora dictionary - the lemma, the part of speech and the Universal Dependencies features following the UD guidelines and, where they are silent, the SynTagRus conventions - and orders them by probability; a BiLSTM context model chooses the analysis of every word of a sentence by its neighbours. Numbers, signs, Latin script and abbreviations are analyzed by rules, and the analyses of unknown words are guessed by their endings, hyphenated parts and prefixes. Every analysis gives the forms of its lexeme, the form with the requested features and the form that agrees with a number. Lists of words are analyzed without the GIL; the package includes the rumorph command and a spaCy component."
@@ -15,11 +15,19 @@ git clone https://github.com/SergeyShk/ruMorph.git
15
15
  cd ruMorph
16
16
 
17
17
  make deps # создать окружение, установить все зависимости и собрать модуль на Rust
18
- make dictionary # собрать словарь из pymorphy3-dicts-ru
18
+ make dictionary # собрать словарь из pymorphy3-dicts-ru и трибанков UD
19
19
  uv run pre-commit install # хуки: линтеры на коммите, тесты на пуше
20
20
  ```
21
21
 
22
- Модуль на Rust собирается при установке пакета в окружение; `uv run` пересобирает его сам, когда меняются файлы `crates/` или `Cargo.toml`. Словарь `python/rumorph/data/ru.dict` в git не хранится: `make dictionary` выгружает словарь pymorphy3-dicts-ru скриптом `scripts/export_pymorphy.py` и собирает его сборщиком `rumorph-build`; `make test` и `make build` делают это сами. Полный список команд - `make help`.
22
+ Модуль на Rust собирается при установке пакета в окружение; `uv run` пересобирает его сам, когда меняются файлы `crates/` или `Cargo.toml`. Словарь `python/rumorph/data/ru.dict` в git не хранится: `make dictionary` выгружает словарь pymorphy3-dicts-ru скриптом `scripts/export_pymorphy.py`, скачивает обучающие части трибанков UD_Russian-Taiga и UD_Russian-GSD закрепленного релиза скриптом `scripts/export_ud.py` (счетчики разметки словоформ для частот разборов) и собирает словарь сборщиком `rumorph-build`, вшивая в него веса контекстной модели `data/ru-context.bin`; `make test` и `make build` делают это сами. Полный список команд - `make help`.
23
+
24
+ Веса контекстной модели хранятся в git. Переобучать модель нужно, когда меняются теги UD словаря (сборщик тогда откажется вшивать старые веса) или соглашения разметки: `scripts/conventions.py` переписывает разметку Taiga и GSD в соглашениях ruMorph и для счетчиков, и для обучения. Модель учится на кандидатах словаря без весов, после обучения словарь собирается с ней; обучение скачивает обучающие и проверочные части трибанков и корпус OpenCorpora с проверкой SHA-256, теги корпуса переводит `rumorph-build tags` (нужен cargo). Выгрузки `target/opencorpora` и `target/ud` делает `make dictionary`:
25
+
26
+ ```bash
27
+ cargo run --release --locked -p rumorph-build -- target/opencorpora target/ud python/rumorph/data/ru.dict
28
+ uv run --with-editable . scripts/train_context.py --dictionary python/rumorph/data/ru.dict --data target/context --output data/ru-context.bin
29
+ make dictionary
30
+ ```
23
31
 
24
32
  ## Проверки
25
33
 
@@ -48,12 +56,13 @@ make docs-build # mkdocs build --strict, если менялась докуме
48
56
 
49
57
  - `crates/rumorph/` - ядро анализатора на Rust: формат словаря, сборка (feature `build`), разбор и команда `rumorph` (feature `cli`, `src/cli.rs`; пакет Python вызывает ее из `python/rumorph/__main__.py`); публикуется на crates.io.
50
58
  - `crates/rumorph-dict-ru/` - крейт со словарем для `rumorph` (feature `bundled`): файл словаря в git не хранится, `build.rs` берет `python/rumorph/data/ru.dict`, а без него собирает крейт с пустым словарем, только если задана переменная `RUMORPH_EMPTY_DICTIONARY=1` (ее задает `.cargo/config.toml` репозитория).
51
- - `crates/rumorph-build/` - сборка словаря из выгрузки pymorphy3-dicts-ru и перевод тегов OpenCorpora в UD (`ud.rs`).
59
+ - `crates/rumorph-build/` - сборка словаря из выгрузки pymorphy3-dicts-ru, перевод тегов OpenCorpora в UD (`ud.rs`) и частоты разборов по счетчикам трибанков UD (`frequencies.rs`).
52
60
  - `crates/rumorph-py/` - модуль Python `rumorph._rumorph` на PyO3.
53
61
  - `python/rumorph/` - пакет Python поверх модуля; `data/ru.dict` - собранный словарь.
54
- - `scripts/` - выгрузка словаря pymorphy3-dicts-ru и проверка установленного пакета перед публикацией.
62
+ - `scripts/` - выгрузка словаря pymorphy3-dicts-ru и счетчиков трибанков UD (`export_ud.py`, соглашения разметки - `conventions.py`), обучение контекстной модели (`train_context.py`, зависимости закреплены в `train_context.py.lock`), проверка установленного пакета перед публикацией и сравнение с другими анализаторами (`compare.py`, зависимости закреплены в `compare.py.lock`).
63
+ - `data/` - веса контекстной модели (`ru-context.bin`), которые сборщик вшивает в словарь.
55
64
  - `tests/` - тесты пакета Python; `tests/test_pymorphy.py` сверяет разборы с pymorphy3 на частых словоформах, `tests/test_docs.py` - два языка документации.
56
65
  - `docs/` - документация MkDocs (Material), `mkdocs.yml` - навигация и перевод ее на английский.
57
- - `.github/workflows/` - CI (`ci.yml`), публикация (`publish.yml`: словарь собирается один раз и входит в колеса для Linux, macOS и Windows и в исходники), документация (`docs.yml`).
66
+ - `.github/workflows/` - CI (`ci.yml`), публикация (`publish.yml`: словарь собирается один раз и входит в колеса для Linux, macOS и Windows и в исходники), документация (`docs.yml`: сайт публикуется по тегу релиза).
58
67
 
59
68
  Версия пакета хранится в `pyproject.toml` и в `Cargo.toml` в записи semver (`0.1.0.dev1` - `0.1.0-dev.1`); зависимость `rumorph` от `rumorph-dict-ru` закреплена той же версией (`=0.1.0-dev.1`). Их совпадение проверяет тест. Тег версии запускает `publish.yml`: колеса и исходники собираются один раз, проверяются на всех платформах и публикуются на TestPyPI, а версия без `.devN` затем - на PyPI и крейтами на crates.io. Если публикация прервалась, перезапускайте только упавшие задания (Re-run failed jobs): пересобранные колеса отличаются побайтно, и PyPI их не примет, а задание крейтов пропускает уже опубликованный крейт. Изменения описываются в заметках GitHub Release, отдельного файла CHANGELOG нет.
@@ -151,7 +151,7 @@ dependencies = [
151
151
 
152
152
  [[package]]
153
153
  name = "rumorph"
154
- version = "0.2.0"
154
+ version = "0.4.0"
155
155
  dependencies = [
156
156
  "bytemuck",
157
157
  "crc32fast",
@@ -163,7 +163,7 @@ dependencies = [
163
163
 
164
164
  [[package]]
165
165
  name = "rumorph-build"
166
- version = "0.2.0"
166
+ version = "0.4.0"
167
167
  dependencies = [
168
168
  "rumorph",
169
169
  "serde_json",
@@ -171,11 +171,11 @@ dependencies = [
171
171
 
172
172
  [[package]]
173
173
  name = "rumorph-dict-ru"
174
- version = "0.2.0"
174
+ version = "0.4.0"
175
175
 
176
176
  [[package]]
177
177
  name = "rumorph-py"
178
- version = "0.2.0"
178
+ version = "0.4.0"
179
179
  dependencies = [
180
180
  "pyo3",
181
181
  "rumorph",
@@ -3,7 +3,7 @@ members = ["crates/rumorph", "crates/rumorph-build", "crates/rumorph-dict-ru", "
3
3
  resolver = "3"
4
4
 
5
5
  [workspace.package]
6
- version = "0.2.0"
6
+ version = "0.4.0"
7
7
  edition = "2024"
8
8
  rust-version = "1.88"
9
9
  license = "MIT"
@@ -0,0 +1,24 @@
1
+ The dictionary bundled with ruMorph (rumorph/data/ru.dict) is built from:
2
+
3
+ - the OpenCorpora dictionary (https://opencorpora.org), revision 417150, as compiled
4
+ in the pymorphy3-dicts-ru package version 2.4.417150.4580142, including its
5
+ P(tag | word) estimates from the OpenCorpora corpus, licensed under the Creative
6
+ Commons Attribution-ShareAlike 3.0 Unported License (CC BY-SA 3.0);
7
+ - the OpenCorpora annotated corpus (https://opencorpora.org), revision 4580223, on which
8
+ the context model is also trained, licensed under the Creative Commons
9
+ Attribution-ShareAlike 3.0 Unported License (CC BY-SA 3.0);
10
+ - counts of word form annotations in the training parts of the Universal Dependencies
11
+ treebanks, release 2.18 (https://universaldependencies.org), and the weights of the
12
+ context model trained on their training and development parts, licensed under the
13
+ Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0):
14
+ - UD_Russian-Taiga (https://github.com/UniversalDependencies/UD_Russian-Taiga)
15
+ by Olga Lyashevskaya, Olga Rudina, Natalia Vlasova and Anna Zhuravleva;
16
+ - UD_Russian-GSD (https://github.com/UniversalDependencies/UD_Russian-GSD),
17
+ annotated and converted by Google, by Ryan McDonald, Vitaly Nikolaev and
18
+ Olga Lyashevskaya.
19
+
20
+ The ruMorph dictionary is an adaptation of that data and is distributed under the
21
+ Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0):
22
+ https://creativecommons.org/licenses/by-sa/4.0/
23
+
24
+ The ruMorph code is distributed under the MIT License (LICENSE.txt).
@@ -7,6 +7,9 @@ PACKAGE := rumorph
7
7
  DICTIONARY := $(SRC_PATH)/$(PACKAGE)/data/ru.dict
8
8
  EXPORT_PATH := target/opencorpora
9
9
  EXPORT_STAMP := $(EXPORT_PATH)/.exported
10
+ UD_PATH := target/ud
11
+ UD_STAMP := $(UD_PATH)/.exported
12
+ CONTEXT := data/ru-context.bin
10
13
 
11
14
  help: ## Показать список команд
12
15
  @grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) | awk 'BEGIN {FS = ":.*?## "}; {printf "%-20s %s\n", $$1, $$2}'
@@ -28,14 +31,18 @@ else
28
31
  uv sync --all-groups
29
32
  endif
30
33
 
31
- dictionary: $(DICTIONARY) ## Собрать словарь из pymorphy3-dicts-ru
34
+ dictionary: $(DICTIONARY) ## Собрать словарь из pymorphy3-dicts-ru и трибанков UD
32
35
 
33
36
  $(EXPORT_STAMP): $(SCRIPTS_PATH)/export_pymorphy.py uv.lock | deps
34
37
  uv run python $(SCRIPTS_PATH)/export_pymorphy.py $(EXPORT_PATH)
35
38
  touch $@
36
39
 
37
- $(DICTIONARY): $(EXPORT_STAMP) crates/rumorph/src/format.rs crates/rumorph/src/builder.rs $(wildcard crates/rumorph-build/src/*.rs)
38
- cargo run --release --locked -p rumorph-build -- $(EXPORT_PATH) $(DICTIONARY)
40
+ $(UD_STAMP): $(SCRIPTS_PATH)/export_ud.py $(SCRIPTS_PATH)/conventions.py | deps
41
+ uv run python $(SCRIPTS_PATH)/export_ud.py $(UD_PATH)
42
+ touch $@
43
+
44
+ $(DICTIONARY): $(EXPORT_STAMP) $(UD_STAMP) $(CONTEXT) $(wildcard crates/rumorph/src/*.rs crates/rumorph/src/dictionary/*.rs crates/rumorph-build/src/*.rs)
45
+ cargo run --release --locked -p rumorph-build -- $(EXPORT_PATH) $(UD_PATH) $(DICTIONARY) $(CONTEXT)
39
46
 
40
47
  lock: uv ## Обновить lock-файлы до последних версий зависимостей
41
48
  uv lock --upgrade
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.4
2
2
  Name: rumorph
3
- Version: 0.2.0
3
+ Version: 0.4.0
4
4
  Classifier: Development Status :: 3 - Alpha
5
5
  Classifier: Operating System :: OS Independent
6
6
  Classifier: Programming Language :: Python :: 3
@@ -16,13 +16,15 @@ Classifier: Intended Audience :: Science/Research
16
16
  Classifier: Topic :: Text Processing :: Linguistic
17
17
  Classifier: Typing :: Typed
18
18
  Classifier: Natural Language :: Russian
19
+ Requires-Dist: spacy>=3.8,<4 ; extra == 'spacy'
20
+ Provides-Extra: spacy
19
21
  License-File: LICENSE.txt
20
22
  License-File: LICENSE-DICTIONARY.txt
21
23
  Summary: Fast Russian morphological analyzer written in Rust with a Python API
22
- Keywords: morphology,morphological analysis,lemmatization,pymorphy,OpenCorpora,NLP,russian
24
+ Keywords: morphology,morphological analysis,lemmatization,pymorphy,OpenCorpora,NLP,russian,spaCy
23
25
  Author-email: Шкарин Сергей <kouki.sergey@gmail.com>
24
26
  Maintainer-email: Шкарин Сергей <kouki.sergey@gmail.com>
25
- License-Expression: MIT AND CC-BY-SA-3.0
27
+ License-Expression: MIT AND CC-BY-SA-4.0
26
28
  Requires-Python: >=3.11
27
29
  Description-Content-Type: text/markdown; charset=UTF-8; variant=GFM
28
30
  Project-URL: Documentation, https://sergeyshk.github.io/ruMorph/
@@ -61,16 +63,18 @@ Project-URL: Repository, https://github.com/SergeyShk/ruMorph
61
63
 
62
64
  **ruMorph** - морфологический анализатор русского языка: ядро на Rust и API для Python. Для словоформы анализатор находит по словарю [OpenCorpora](https://opencorpora.org) варианты разбора - начальную форму (лемму), часть речи и признаки [Universal Dependencies](https://universaldependencies.org/) - упорядочивает их по вероятности и строит формы слова.
63
65
 
64
- Разбор и лемматизация в 7-8 раз быстрее, чем в pymorphy3 с ускорением `pymorphy3[fast]`, форма по признакам и согласование с количеством - в 17-18 раз; списки слов разбираются без GIL. Части речи, признаки и леммы следуют соглашениям трибанка SynTagRus, поэтому результат можно сравнивать с разметкой spaCy, Stanza и других инструментов на UD.
66
+ Разбор и лемматизация в 6-8 раз быстрее, чем в pymorphy3 с ускорением `pymorphy3[fast]`, форма по признакам и согласование с количеством - в 16-18 раз; списки слов разбираются без GIL. Части речи, признаки и леммы следуют руководству UD, а где оно молчит - соглашениям трибанка SynTagRus, поэтому результат можно сравнивать с разметкой spaCy, Stanza и других инструментов на UD.
65
67
 
66
68
  * **[Анализатор](https://sergeyshk.github.io/ruMorph/analyzer/)** - разборы словоформы по убыванию вероятности, разбор списков слов и лемматизация без GIL, проверка словоформы по словарю
67
- * **[Части речи и признаки UD](https://sergeyshk.github.io/ruMorph/analysis/#ud)** - части речи, признаки и леммы в соглашениях SynTagRus; пометы OpenCorpora, у которых нет признака UD
69
+ * **[Разбор предложения](https://sergeyshk.github.io/ruMorph/analyzer/#analyze_sentence)** - выбор разбора по соседним словам контекстной моделью: часть речи, лемма и признаки верны у 82-94 % слов против 71-82 % без контекста
70
+ * **[Части речи и признаки UD](https://sergeyshk.github.io/ruMorph/analysis/#ud)** - части речи, признаки и леммы по руководству UD и соглашениям SynTagRus; пометы OpenCorpora, у которых нет признака UD
68
71
  * **[Токены вне словаря](https://sergeyshk.github.io/ruMorph/analysis/#rules)** - числа, знаки, латиница, инициалы и сокращения по правилам
69
72
  * **[Незнакомые слова](https://sergeyshk.github.io/ruMorph/analysis/#guess)** - разборы по окончанию, слова через дефис и с приставками, формы угаданных слов
70
73
  * **[Словоизменение](https://sergeyshk.github.io/ruMorph/inflection/)** - формы лексемы, форма по признакам UD, согласование с количеством
71
74
  * **[Команда rumorph](https://sergeyshk.github.io/ruMorph/cli/)** - разбор файлов и потоков: леммы, CoNLL-U, TSV и JSON Lines
75
+ * **[spaCy](https://sergeyshk.github.io/ruMorph/spacy/)** - компонент конвейера spaCy вместо теггера, морфологизатора и лемматизатора
72
76
  * **[Переход с pymorphy](https://sergeyshk.github.io/ruMorph/migration/)** - соответствие вызовов pymorphy2 и pymorphy3, частей речи и граммем
73
- * **[Скорость и память](https://sergeyshk.github.io/ruMorph/performance/)** - разбор, лемматизация и словоизменение в сравнении с pymorphy3, загрузка словаря и память
77
+ * **[Сравнение](https://sergeyshk.github.io/ruMorph/performance/)** - точность и скорость в сравнении с pymorphy3, mystem, spaCy, Stanza и Slovnet, загрузка словаря и память
74
78
 
75
79
  > [!NOTE]
76
80
  > Ранняя версия: до 1.0 API может меняться между версиями 0.x, изменения описываются в заметках к выпускам.
@@ -102,7 +106,7 @@ uv add rumorph
102
106
  >>> morph.lemmatize("Мы стали друзьями в ковиде".split())
103
107
  ['мы', 'стать', 'друг', 'в', 'ковид']
104
108
  >>> [(a.lemma, a.pos, a.feats.get("Case"), round(a.prob, 3)) for a in morph.analyze("стали")][:2]
105
- [('стать', 'VERB', None, 0.975), ('сталь', 'NOUN', 'Gen', 0.011)]
109
+ [('стать', 'VERB', None, 0.988), ('сталь', 'NOUN', 'Gen', 0.005)]
106
110
  >>> morph.analyze("кошка")[0].inflect(Case="Gen", Number="Plur")
107
111
  'кошек'
108
112
  >>> morph.analyze("рубль")[0].agree(5)
@@ -115,14 +119,14 @@ uv add rumorph
115
119
 
116
120
  ### Разбор словоформы
117
121
 
118
- Метод `analyze` возвращает разборы словоформы по убыванию вероятности - объекты `Analysis` с леммой, частью речи, признаками UD, пометами словаря, вероятностью и источником разбора. Регистр не важен, буква «е» может обозначать «ё». Разборы неизменяемы: их можно сравнивать, класть в множества и сохранять через pickle.
122
+ Метод `analyze` возвращает разборы словоформы по убыванию вероятности - объекты `Analysis` с леммой, частью речи, признаками UD, пометами словаря, вероятностью и источником разбора. Регистр для поиска не важен, но меняет доли имен собственных («шаров» - «шар», «Шаров» - фамилия), буква «е» может обозначать «ё». Разборы неизменяемы: их можно сравнивать, класть в множества и сохранять через pickle.
119
123
 
120
124
  ```python
121
125
  >>> from rumorph import Analyzer
122
126
 
123
127
  >>> morph = Analyzer()
124
128
  >>> morph.analyze("стали")[0]
125
- Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|Mood=Ind|Number=Plur|Tense=Past|VerbForm=Fin|Voice=Mid', labels='intr', prob=0.9753459013836056, source='dictionary')
129
+ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|Mood=Ind|Number=Plur|Tense=Past|VerbForm=Fin|Voice=Act', labels='intr', prob=0.9877829877829878, source='dictionary')
126
130
  >>> [len(analyses) for analyses in morph.analyze_many(["мама", "мыла", "раму"])]
127
131
  [1, 4, 2]
128
132
  >>> morph.is_known("Ежи"), morph.is_known("вайб")
@@ -133,12 +137,26 @@ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|M
133
137
 
134
138
  Подробнее - в документации: [анализатор](https://sergeyshk.github.io/ruMorph/analyzer/), [разбор словоформы](https://sergeyshk.github.io/ruMorph/analysis/).
135
139
 
140
+ ### Разбор предложения
141
+
142
+ Метод `analyze_sentence` упорядочивает разборы слов предложения с учетом соседних слов: первым идет разбор, который выбрала контекстная модель, а вероятность - ее оценка в этом предложении. Модель (BiLSTM, 0,9 МБ) обучена на трибанках UD_Russian-Taiga, UD_Russian-GSD и корпусе OpenCorpora и входит в словарь пакета; слова - токены одного предложения.
143
+
144
+ ```python
145
+ >>> words = ["Я", "читаю", "книги"]
146
+ >>> [analyses[0].feats.get("Case") for analyses in morph.analyze_many(words)]
147
+ ['Nom', None, 'Gen']
148
+ >>> [analyses[0].feats.get("Case") for analyses in morph.analyze_sentence(words)]
149
+ ['Nom', None, 'Acc']
150
+ >>> morph.analyze_sentence(["Мост", "сделан", "из", "стали"])[3][0].lemma
151
+ 'сталь'
152
+ ```
153
+
136
154
  <details>
137
155
  <summary><b>Части речи и признаки Universal Dependencies</b></summary>
138
156
 
139
157
  <br>
140
158
 
141
- Части речи и признаки следуют [Universal Dependencies](https://universaldependencies.org/u/pos/) в соглашениях крупнейшего русского трибанка [UD_Russian-SynTagRus](https://github.com/UniversalDependencies/UD_Russian-SynTagRus). Отличия от частей речи OpenCorpora:
159
+ Части речи и признаки следуют руководству [Universal Dependencies](https://universaldependencies.org/u/pos/), а где оно молчит - соглашениям крупнейшего русского трибанка [UD_Russian-SynTagRus](https://github.com/UniversalDependencies/UD_Russian-SynTagRus). Отличия от частей речи OpenCorpora:
142
160
 
143
161
  * «который», «этот», «свой», «весь», «такой» и другие местоименные прилагательные - `DET`
144
162
  * «быть» и «бы» - `AUX`
@@ -178,16 +196,16 @@ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|M
178
196
  * инициалы «А.» - имя, отчество или фамилия с `Abbr=Yes`
179
197
  * сокращения с точкой «т.», «им.» - разборы словарного сокращения, аббревиатуры капсом «НКО» - `PROPN` или `NOUN` с `Abbr=Yes`
180
198
  * наречия «по-бурятски», «по-молодому» - `ADV`
181
- * прочие токены «км/ч», «РосПил» - `X` без признаков, лемма - токен в нижнем регистре
199
+ * прочие токены «км/ч», «100%-ный» - `X` без признаков, лемма - токен в нижнем регистре
182
200
 
183
- Доли неоднозначных разборов взяты из частот в SynTagRus.
201
+ Доли неоднозначных разборов взяты из частот в трибанках UD Taiga и GSD, доли имен собственных - с учетом регистра: «Земли» - прежде всего планета (PROPN), «земли» - NOUN.
184
202
 
185
203
  ```python
186
204
  >>> from rumorph import Analyzer
187
205
 
188
206
  >>> morph = Analyzer()
189
207
  >>> [(a.lemma, a.pos, a.feats["NumType"], round(a.prob, 2)) for a in morph.analyze("2026")]
190
- [('2026', 'ADJ', 'Ord', 0.94), ('2026', 'NUM', 'Card', 0.06)]
208
+ [('2026', 'ADJ', 'Ord', 0.98), ('2026', 'NUM', 'Card', 0.02)]
191
209
  >>> [(a.lemma, a.pos, a.feats["Case"]) for a in morph.analyze("2005-го")][:1]
192
210
  [('2005-й', 'ADJ', 'Gen')]
193
211
  >>> [(a.pos, a.feats, a.source) for a in morph.analyze("iPhone")]
@@ -206,9 +224,10 @@ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|M
206
224
  Разборы слова кириллицей, которого нет в словаре, анализатор угадывает по окончанию: берет формы словарных слов с тем же окончанием - их часть речи, признаки и словоизменение. `source` у таких разборов - `"guess"`.
207
225
 
208
226
  * Слово в нижнем регистре угадывается как нарицательное, слово с заглавной буквы - в основном как имя собственное: фамилия, имя, топоним
209
- * Слово через дефис разбирается по последней части: «крэш-тестов» - «крэш-тест», «Мак-Киннона» - «мак-киннон»
227
+ * Слово через дефис разбирается по последней части: «крэш-тестов» - «крэш-тест», «Мак-Киннона» - «мак-киннон», а слово с протяжкой или заиканием - по словарному слову без них: «не-е-ет» - «нет», «с-спасибо» - «спасибо»
210
228
  * Слово с известной приставкой - «эко», «анти», «супер», «микро» и другими - разбирается по словарному слову без нее: «экодомов» - «экодом»
211
229
  * У угаданного разбора есть формы, и они сохраняют заглавные буквы: «Мак-Киннона» в дательном падеже - «Мак-Киннону»
230
+ * Слово, которое нужно разбирать точно, можно добавить по образцу - словарному слову, которое изменяется так же: `Analyzer(words={"зумер": "геймер"})`
212
231
 
213
232
  ```python
214
233
  >>> from rumorph import Analyzer
@@ -221,6 +240,9 @@ Analysis(word='стали', lemma='стать', pos='VERB', feats='Aspect=Perf|M
221
240
  ('мартов', 'PROPN', 'Sur', 'Мартову')
222
241
  >>> morph.analyze("крэш-тестов")[0].lemma, morph.analyze("экодомов")[0].lemma
223
242
  ('крэш-тест', 'экодом')
243
+ >>> zoomers = Analyzer(words={"зумер": "геймер"})
244
+ >>> zoomers.analyze("зумерами")[0].lemma, zoomers.is_known("зумеры")
245
+ ('зумер', True)
224
246
  ```
225
247
 
226
248
  Подробнее - в [документации](https://sergeyshk.github.io/ruMorph/analysis/#guess).
@@ -278,6 +300,25 @@ $ rumorph --format conllu text.txt > text.conllu
278
300
 
279
301
  </details>
280
302
 
303
+ <details>
304
+ <summary><b>spaCy</b></summary>
305
+
306
+ <br>
307
+
308
+ Компонент `rumorph` (`pip install "rumorph[spacy]"`) размечает токены конвейера spaCy частью речи, признаками UD и леммой по разбору с контекстом. В моделях `ru_core_news_*` он заменяет морфологизатор и лемматизатор: на SynTagRus test часть речи, лемма и признаки вместе верны у 93,7 % слов против 82,0 % у `ru_core_news_sm`, а конвейер работает быстрее.
309
+
310
+ ```python
311
+ import spacy
312
+
313
+ nlp = spacy.load("ru_core_news_sm", exclude=["morphologizer", "lemmatizer"])
314
+ nlp.add_pipe("rumorph", after="parser")
315
+ doc = nlp("Мост сделан из стали.")
316
+ ```
317
+
318
+ Подробнее - в [документации](https://sergeyshk.github.io/ruMorph/spacy/): предложения, параметры и разбор ruMorph токена.
319
+
320
+ </details>
321
+
281
322
  <details>
282
323
  <summary><b>Переход с pymorphy</b></summary>
283
324
 
@@ -302,23 +343,21 @@ ruMorph работает с тем же словарем OpenCorpora, что pym
302
343
  </details>
303
344
 
304
345
  <details>
305
- <summary><b>Скорость и память</b></summary>
346
+ <summary><b>Сравнение</b></summary>
306
347
 
307
348
  <br>
308
349
 
309
- Тысяч слов или разборов в секунду, больше - лучше:
350
+ Доля слов, у которых верны часть речи и лемма первого разбора, % (тестовые части трибанков UD 2.18):
310
351
 
311
- | Операция | ruMorph | pymorphy3 | pymorphy3[fast] |
312
- | :------- | :------ | :-------- | :-------------- |
313
- | Разбор словоформы | 732 | 20 | 105 |
314
- | Лемматизация | 1 404 | 22 | 170 |
315
- | Лемматизация в 4 потоках | 4 275 | - | - |
316
- | Форма по признакам | 1 399 | 76 | 76 |
317
- | Согласование с количеством | 1 417 | 85 | 85 |
352
+ | Система | SynTagRus | Taiga | GSD | Токенов в секунду |
353
+ | :------ | :-------- | :---- | :-- | :---------------- |
354
+ | ruMorph | **94,1** | **90,7** | **92,0** | **639 969** |
355
+ | pymorphy3 | 84,8 | 82,9 | 84,3 | 23 263 |
356
+ | mystem | 81,9 | 79,4 | 79,9 | 81 138 |
318
357
 
319
- Импорт и загрузка словаря занимают 4 мс против 30 мс у pymorphy3, прирост памяти процесса - 16,0 МБ против 25,5 МБ у `pymorphy3[fast]`; процессы делят словарь, и каждый следующий добавляет 1,4 МБ. Замер - на 128 251 словоформе тестовой части UD_Russian-SynTagRus, Apple M3 Pro, Python 3.11.
358
+ С контекстом (`analyze_sentence`) ruMorph по части речи, лемме и признакам вместе точнее всех теггеров на Taiga и GSD (90,2 и 81,6 % слов против 85,6 и 80,3 % у Stanza), а на SynTagRus идет вровень со Stanza (93,7 и 93,5 %), хотя Stanza обучена на SynTagRus. При этом он разбирает 109 тыс. токенов в секунду против 2 858 у Stanza. На короткий текст вместе с загрузкой ruMorph отвечает за 6 мс против 0,2-2 с у теггеров, процессы делят словарь, и каждый следующий добавляет 1,2 МБ. Замер - Apple M3 Pro, Python 3.11.
320
359
 
321
- Подробнее - в [документации](https://sergeyshk.github.io/ruMorph/performance/): все операции и как они измерены.
360
+ Подробнее - в [документации](https://sergeyshk.github.io/ruMorph/performance/): теггеры с контекстом, график скорости от объема текста, операции в сравнении с pymorphy3, память и как это измерено.
322
361
 
323
362
  </details>
324
363
 
@@ -331,7 +370,7 @@ git clone https://github.com/SergeyShk/ruMorph.git
331
370
  cd ruMorph
332
371
 
333
372
  make deps # создать окружение, установить зависимости и собрать модуль на Rust
334
- make dictionary # собрать словарь из pymorphy3-dicts-ru
373
+ make dictionary # собрать словарь из pymorphy3-dicts-ru и трибанков UD
335
374
  make test # запустить тесты Python, примеры из докстрингов (doctest) и тесты Rust
336
375
  make lint # ruff, mypy, rustfmt и clippy
337
376
  ```
@@ -353,12 +392,13 @@ uv run pre-commit install
353
392
 
354
393
  <br>
355
394
 
356
- * **crates/rumorph** - ядро анализатора на Rust: формат словаря, сборка, разбор и словоизменение
357
- * **crates/rumorph-build** - сборка словаря из выгрузки pymorphy3-dicts-ru и перевод тегов OpenCorpora в UD
395
+ * **crates/rumorph** - ядро анализатора на Rust: формат словаря, сборка, разбор, контекстная модель и словоизменение
396
+ * **crates/rumorph-build** - сборка словаря из выгрузки pymorphy3-dicts-ru, перевод тегов OpenCorpora в UD и частоты разборов по трибанкам UD
358
397
  * **crates/rumorph-dict-ru** - крейт со словарем для `rumorph` на crates.io
359
398
  * **crates/rumorph-py** - модуль Python `rumorph._rumorph` на PyO3
360
399
  * **python/rumorph** - пакет Python
361
- * **scripts** - выгрузка словаря pymorphy3-dicts-ru и проверка установленного пакета перед публикацией
400
+ * **scripts** - выгрузка словаря pymorphy3-dicts-ru и счетчиков трибанков UD, обучение контекстной модели, проверка установленного пакета перед публикацией и сравнение с другими анализаторами
401
+ * **data** - веса контекстной модели, которые сборщик вшивает в словарь
362
402
  * **docs** - документация MkDocs на русском и английском
363
403
  * **tests** - тесты пакета Python
364
404
 
@@ -370,7 +410,7 @@ uv run pre-commit install
370
410
 
371
411
  ## Лицензия
372
412
 
373
- Код распространяется под лицензией [MIT](https://github.com/SergeyShk/ruMorph/blob/master/LICENSE.txt). Словарь в пакете собран из словаря [OpenCorpora](https://opencorpora.org) и распространяется по лицензии CC BY-SA 3.0 ([LICENSE-DICTIONARY.txt](https://github.com/SergeyShk/ruMorph/blob/master/LICENSE-DICTIONARY.txt)).
413
+ Код распространяется под лицензией [MIT](https://github.com/SergeyShk/ruMorph/blob/master/LICENSE.txt). Словарь в пакете собран из словаря [OpenCorpora](https://opencorpora.org) с частотами и контекстной моделью по трибанкам [UD_Russian-Taiga](https://github.com/UniversalDependencies/UD_Russian-Taiga) и [UD_Russian-GSD](https://github.com/UniversalDependencies/UD_Russian-GSD) и корпусу OpenCorpora и распространяется по лицензии CC BY-SA 4.0 ([LICENSE-DICTIONARY.txt](https://github.com/SergeyShk/ruMorph/blob/master/LICENSE-DICTIONARY.txt)).
374
414
 
375
415
  ## Цитирование
376
416