reg-normalizer 1.0.0__tar.gz

reg_normalizer-1.0.0/MANIFEST.in

@@ -0,0 +1,4 @@
+include README.md
+include LICENSE
+include requirements.txt
+recursive-include reg_normalizer/data *.yaml

reg_normalizer-1.0.0/PKG-INFO

@@ -0,0 +1,162 @@
+Metadata-Version: 2.4
+Name: reg-normalizer
+Version: 1.0.0
+Summary: Tool for normalizing and standardizing Russian region names
+Author-email: Your Name <your.email@example.com>
+License: CC BY-NC-SA 4.0
+Project-URL: Homepage, https://github.com/tochno-st/reg_normalizer
+Project-URL: Documentation, https://github.com/tochno-st/reg_normalizer#readme
+Project-URL: Repository, https://github.com/tochno-st/reg_normalizer
+Project-URL: Bug Tracker, https://github.com/tochno-st/reg_normalizer/issues
+Keywords: regions,normalization,russian,fuzzy-matching,data-cleaning
+Classifier: Development Status :: 4 - Beta
+Classifier: Intended Audience :: Developers
+Classifier: Intended Audience :: Science/Research
+Classifier: License :: Free for non-commercial use
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.8
+Classifier: Programming Language :: Python :: 3.9
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Operating System :: OS Independent
+Classifier: Topic :: Software Development :: Libraries :: Python Modules
+Classifier: Topic :: Text Processing :: Linguistic
+Classifier: Natural Language :: Russian
+Requires-Python: >=3.8
+Description-Content-Type: text/markdown
+Requires-Dist: pyyaml>=6.0
+Requires-Dist: fuzzywuzzy>=0.18.0
+Requires-Dist: python-levenshtein>=0.20.0
+Requires-Dist: pandas>=1.5.0
+Requires-Dist: nltk>=3.8.0
+Provides-Extra: dev
+Requires-Dist: ipykernel; extra == "dev"
+Requires-Dist: pytest>=7.0; extra == "dev"
+Requires-Dist: pytest-cov; extra == "dev"
+
+[![License: CC BY-NC-SA 4.0](https://img.shields.io/badge/License-CC_BY—NC—SA_4.0-lightgrey.svg)](https://creativecommons.org/licenses/by-nc-sa/4.0/)
+
+
+# Region Normalizer
+
+**Region Normalizer** — инструмент для нормализации и стандартизации наименований российских регионов. Он помогает распознавать регион даже в случаях, когда в названии встречаются опечатки, латинские буквы или другие особенности написания. Инструмент сопоставляет различные формы написания с [эталонным справочником](https://github.com/tochno-st/reg_normalizer/blob/main/data/interim/regions_etalon_v2.0.yaml) и позволяет извлекать дополнительные атрибуты, такие как коды ОКАТО, ISO, английские названия и многое другое.
+
+Разные наименования одного и того же региона — частая проблема в реальных данных, например, на портале ЕМИСС встречается до 275 различных вариантов написания регионов. Особенно многообразны варианты у Тюменской и Архангельской областей — по 8 и 7 вариантов соответственно. В состав этих регионов входят автономные округа (ХМАО, ЯНАО, НАО), и часть ведомств отмечает, что данные приведены без автономных округов, но сокращения и формулировки используются самые разные.
+
+## Возможности
+- Поиск и нормализация региона по произвольному названию (с учетом опечаток, сокращений, аббревиатур, смешения латиницы и кириллицы)
+- Пакетная обработка больших таблиц с названиями регионов
+- Гибкая настройка весов алгоритмов сопоставления
+- Добавление дополнительных полей из эталонного справочника (ОКАТО, ISO, английское название и др.)
+
+## Установка
+
+1. Клонируйте репозиторий:
+
+```bash
+git clone https://github.com/tochno-st/reg_normalizer.git
+cd reg_normalizer
+```
+
+2. Установите зависимости:
+
+```bash
+pip install -r requirements.txt
+```
+
+## Быстрый старт
+
+### 1. Импорт и инициализация
+
+```python
+import sys
+sys.path.append('src')
+from regions_validator import RegionMatcher
+matcher = RegionMatcher()
+```
+
+### 2. Нормализация одного региона
+
+```python
+region_name = "московск область"
+match, score = matcher.find_best_match(region_name)
+print(f"Input: {region_name}")
+print(f"Match: {match}")
+print(f"Score: {score:.2f}")
+```
+
+### 3. Использование с DataFrame
+
+```python
+import pandas as pd
+sample_data = pd.DataFrame({
+    'region_name': [
+        'московск Обл',
+        'свердловск',
+        'петербург',
+        'Mосковская област',
+        'татарстан респ.',
+        'Свердлов обл',
+        'aлтайский к',
+        'Республика     Алтай',
+        'ХМао',
+        'Юж федеральный округ',
+        'спб',
+        'рт',
+        'город москва столица российской федерации город федерального значения',
+        'тюменская область (кроме ханты мансийского автономного округа югры и ямало ненецкого автономного округа)'
+    ]
+})
+
+result_df = matcher.match_dataframe(
+    sample_data,
+    'region_name',
+    weights={'levenshtein': 0.4, 'token_set': 0.6},
+    approach_weights={'original': 0.3, 'stemmed': 0.7},
+    threshold=70
+)
+```
+
+### 4. Добавление дополнительных полей
+
+```python
+# Добавить английские названия
+result_df = matcher.attach_field(result_df, 'region_name', 'name_eng')
+# Добавить коды ОКАТО
+result_df = matcher.attach_field(result_df, 'region_name', 'okato')
+# Добавить коды ISO
+result_df = matcher.attach_field(result_df, 'region_name', 'iso_code')
+print(result_df.head())
+```
+
+## Кастомизация
+
+- **weights** — веса для алгоритмов сравнения ('levenshtein', 'token_set')
+- **approach_weights** — веса для подходов ('original', 'stemmed')
+- **threshold** — пороговое значение для принятия совпадения
+
+Пример:
+```python
+custom_weights = {'levenshtein': 0.3, 'token_set': 0.7}
+custom_approach_weights = {'original': 0.2, 'stemmed': 0.8}
+match, score = matcher.find_best_match(
+    "свердловск",
+    weights=custom_weights,
+    approach_weights=custom_approach_weights,
+    threshold=60
+)
+```
+
+## Структура эталонного справочника
+
+Файл [`data/interim/regions_etalon_v2.0.yaml`](https://github.com/tochno-st/reg_normalizer/blob/main/data/interim/regions_etalon_v2.0.yaml) содержит ключи:
+- `name_rus` — официальное название региона
+- `name_eng` — английское название
+- `okato` — код ОКАТО
+- `iso_code` — код ISO
+
+## Лицензия
+
+<a rel="license" href="https://creativecommons.org/licenses/by-nc-sa/4.0/"><img alt="Creative Commons License" style="border-width:0" src="https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png" /></a><br />
+Creative Commons License Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0).

reg_normalizer-1.0.0/README.md

@@ -0,0 +1,125 @@
+[![License: CC BY-NC-SA 4.0](https://img.shields.io/badge/License-CC_BY—NC—SA_4.0-lightgrey.svg)](https://creativecommons.org/licenses/by-nc-sa/4.0/)
+
+
+# Region Normalizer
+
+**Region Normalizer** — инструмент для нормализации и стандартизации наименований российских регионов. Он помогает распознавать регион даже в случаях, когда в названии встречаются опечатки, латинские буквы или другие особенности написания. Инструмент сопоставляет различные формы написания с [эталонным справочником](https://github.com/tochno-st/reg_normalizer/blob/main/data/interim/regions_etalon_v2.0.yaml) и позволяет извлекать дополнительные атрибуты, такие как коды ОКАТО, ISO, английские названия и многое другое.
+
+Разные наименования одного и того же региона — частая проблема в реальных данных, например, на портале ЕМИСС встречается до 275 различных вариантов написания регионов. Особенно многообразны варианты у Тюменской и Архангельской областей — по 8 и 7 вариантов соответственно. В состав этих регионов входят автономные округа (ХМАО, ЯНАО, НАО), и часть ведомств отмечает, что данные приведены без автономных округов, но сокращения и формулировки используются самые разные.
+
+## Возможности
+- Поиск и нормализация региона по произвольному названию (с учетом опечаток, сокращений, аббревиатур, смешения латиницы и кириллицы)
+- Пакетная обработка больших таблиц с названиями регионов
+- Гибкая настройка весов алгоритмов сопоставления
+- Добавление дополнительных полей из эталонного справочника (ОКАТО, ISO, английское название и др.)
+
+## Установка
+
+1. Клонируйте репозиторий:
+
+```bash
+git clone https://github.com/tochno-st/reg_normalizer.git
+cd reg_normalizer
+```
+
+2. Установите зависимости:
+
+```bash
+pip install -r requirements.txt
+```
+
+## Быстрый старт
+
+### 1. Импорт и инициализация
+
+```python
+import sys
+sys.path.append('src')
+from regions_validator import RegionMatcher
+matcher = RegionMatcher()
+```
+
+### 2. Нормализация одного региона
+
+```python
+region_name = "московск область"
+match, score = matcher.find_best_match(region_name)
+print(f"Input: {region_name}")
+print(f"Match: {match}")
+print(f"Score: {score:.2f}")
+```
+
+### 3. Использование с DataFrame
+
+```python
+import pandas as pd
+sample_data = pd.DataFrame({
+    'region_name': [
+        'московск Обл',
+        'свердловск',
+        'петербург',
+        'Mосковская област',
+        'татарстан респ.',
+        'Свердлов обл',
+        'aлтайский к',
+        'Республика     Алтай',
+        'ХМао',
+        'Юж федеральный округ',
+        'спб',
+        'рт',
+        'город москва столица российской федерации город федерального значения',
+        'тюменская область (кроме ханты мансийского автономного округа югры и ямало ненецкого автономного округа)'
+    ]
+})
+
+result_df = matcher.match_dataframe(
+    sample_data,
+    'region_name',
+    weights={'levenshtein': 0.4, 'token_set': 0.6},
+    approach_weights={'original': 0.3, 'stemmed': 0.7},
+    threshold=70
+)
+```
+
+### 4. Добавление дополнительных полей
+
+```python
+# Добавить английские названия
+result_df = matcher.attach_field(result_df, 'region_name', 'name_eng')
+# Добавить коды ОКАТО
+result_df = matcher.attach_field(result_df, 'region_name', 'okato')
+# Добавить коды ISO
+result_df = matcher.attach_field(result_df, 'region_name', 'iso_code')
+print(result_df.head())
+```
+
+## Кастомизация
+
+- **weights** — веса для алгоритмов сравнения ('levenshtein', 'token_set')
+- **approach_weights** — веса для подходов ('original', 'stemmed')
+- **threshold** — пороговое значение для принятия совпадения
+
+Пример:
+```python
+custom_weights = {'levenshtein': 0.3, 'token_set': 0.7}
+custom_approach_weights = {'original': 0.2, 'stemmed': 0.8}
+match, score = matcher.find_best_match(
+    "свердловск",
+    weights=custom_weights,
+    approach_weights=custom_approach_weights,
+    threshold=60
+)
+```
+
+## Структура эталонного справочника
+
+Файл [`data/interim/regions_etalon_v2.0.yaml`](https://github.com/tochno-st/reg_normalizer/blob/main/data/interim/regions_etalon_v2.0.yaml) содержит ключи:
+- `name_rus` — официальное название региона
+- `name_eng` — английское название
+- `okato` — код ОКАТО
+- `iso_code` — код ISO
+
+## Лицензия
+
+<a rel="license" href="https://creativecommons.org/licenses/by-nc-sa/4.0/"><img alt="Creative Commons License" style="border-width:0" src="https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png" /></a><br />
+Creative Commons License Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0).

reg_normalizer-1.0.0/pyproject.toml

@@ -0,0 +1,58 @@
+[build-system]
+requires = ["setuptools>=61.0", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "reg-normalizer"
+version = "1.0.0"
+description = "Tool for normalizing and standardizing Russian region names"
+readme = "README.md"
+authors = [
+    {name = "Your Name", email = "your.email@example.com"}
+]
+license = {text = "CC BY-NC-SA 4.0"}
+requires-python = ">=3.8"
+classifiers = [
+    "Development Status :: 4 - Beta",
+    "Intended Audience :: Developers",
+    "Intended Audience :: Science/Research",
+    "License :: Free for non-commercial use",
+    "Programming Language :: Python :: 3",
+    "Programming Language :: Python :: 3.8",
+    "Programming Language :: Python :: 3.9",
+    "Programming Language :: Python :: 3.10",
+    "Programming Language :: Python :: 3.11",
+    "Programming Language :: Python :: 3.12",
+    "Operating System :: OS Independent",
+    "Topic :: Software Development :: Libraries :: Python Modules",
+    "Topic :: Text Processing :: Linguistic",
+    "Natural Language :: Russian",
+]
+keywords = ["regions", "normalization", "russian", "fuzzy-matching", "data-cleaning"]
+
+dependencies = [
+    "pyyaml>=6.0",
+    "fuzzywuzzy>=0.18.0",
+    "python-levenshtein>=0.20.0",
+    "pandas>=1.5.0",
+    "nltk>=3.8.0",
+]
+
+[project.urls]
+Homepage = "https://github.com/tochno-st/reg_normalizer"
+Documentation = "https://github.com/tochno-st/reg_normalizer#readme"
+Repository = "https://github.com/tochno-st/reg_normalizer"
+"Bug Tracker" = "https://github.com/tochno-st/reg_normalizer/issues"
+
+[project.optional-dependencies]
+dev = [
+    "ipykernel",
+    "pytest>=7.0",
+    "pytest-cov",
+]
+
+[tool.setuptools]
+packages = ["reg_normalizer"]
+
+[tool.setuptools.package-data]
+reg_normalizer = ["data/interim/*.yaml"]

reg_normalizer-1.0.0/reg_normalizer/__init__.py

@@ -0,0 +1,12 @@
+"""
+Region Normalizer - Tool for normalizing and standardizing Russian region names.
+
+This package helps recognize regions even with typos, Latin characters, or various spelling variations.
+It matches different forms of region names against an etalon reference and allows extracting additional
+attributes such as OKATO codes, ISO codes, English names, and more.
+"""
+
+from .regions_validator import RegionMatcher
+
+__version__ = "1.0.0"
+__all__ = ["RegionMatcher"]