edu-rdm-integration 0.6.5__tar.gz → 0.6.7__tar.gz

{edu-rdm-integration-0.6.5 → edu-rdm-integration-0.6.7}/CHANGELOG.md

@@ -29,6 +29,30 @@
 ### Удалено
 
 
+## [0.6.7] - 2023-11-01
+
+Добавлен миксин EntityEnumRegisterMixin для регистрации сущностей в RegionalDataMartEntityEnum. 
+Миксин ModelEnumRegisterMixin для регистрации моделей в RegionalDataMartModelEnum.
+Добавлены методы для запуска регистрации моделей и сущностей.
+
+### Добавлено
+
+- [EDUCLLG-7632](https://jira.bars.group/browse/EDUCLLG-7632)
+  PATCH - Добавлен функционал регистрации моделей и сущностей в моделях-перечислениях.
+
+
+## [0.6.6] - 2023-10-16
+
+Добавлен базовый класс для тестирования Функций сбора, добавлена явная зависимость Django.
+
+### Добавлено
+
+- [EDUSCHL-20684](https://jira.bars.group/browse/EDUSCHL-20684)
+  PATCH - Базовый класс для тестирования Функций сбора;
+- [EDUSCHL-20684](https://jira.bars.group/browse/EDUSCHL-20684)
+  PATCH - Добавлена зависимость Django.
+
+
 ## [0.6.5] - 2023-10-11
 
 Получение метода генерации логов вынесено в отдельный метод для избавления от необходимости хранить все методы в одном классе.
@@ -111,7 +135,7 @@
 
 ## [0.5.8] - 2023-09-13
 
-Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей 
+Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей
 BaseExportLatestEntitiesData._set_description_to_async_task.
 
 ### Исправлено
@@ -143,8 +167,8 @@ BaseExportLatestEntitiesData._set_description_to_async_task.
 - [EDUSCHL-20435](https://jira.bars.group/browse/EDUSCHL-20435)
   PATCH - Исправлено нахождение левой границы в классе ExportLatestEntitiesData;
         - Добавлена проверка на наличие запущенных или готовых к выгрузке сущностей;
-        - Добавлен параметр update_modified, который обновляет поле modified у собранных моделей, 
-          чтобы выгрузить невыгруженные записи. 
+        - Добавлен параметр update_modified, который обновляет поле modified у собранных моделей,
+          чтобы выгрузить невыгруженные записи.
 
 
 ## [0.5.5] - 2023-09-04
@@ -197,14 +221,14 @@ split_by_days_count переименовал в split_by_quantity.
 - [EDUSCHL-20227](https://jira.bars.group/browse/EDUSCHL-20227)
   PATCH Если у сущности не заполнен creating_trigger_models, то в генераторе BaseFirstCollectModelsDataCommandsGenerator
   не формируется словарь с параметрами для команды.
-  
+
 - [EDUSCHL-20229](https://jira.bars.group/browse/EDUSCHL-20229)
   PATCH Если у сущности не заполнен creating_trigger_models, то в генераторе BaseFirstCollectModelsDataCommandsGenerator
   не формируется словарь с параметрами для команды.
 
 
 ## [0.5.0] - 2023-08-19
- 
+
 Дополнительная функциональность WebEduEntityValueCache была перенесена в EntityCache в function_tools.
 
 ### Удалено

{edu-rdm-integration-0.6.5 → edu-rdm-integration-0.6.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.6.5
+Version: 0.6.7
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -16,6 +16,10 @@ Classifier: Programming Language :: Python :: 3.8
 Classifier: Programming Language :: Python :: 3.9
 Classifier: Intended Audience :: Developers
 Classifier: Environment :: Console
+Classifier: Framework :: Django :: 1.11
+Classifier: Framework :: Django :: 2.0
+Classifier: Framework :: Django :: 2.1
+Classifier: Framework :: Django :: 2.2
 Description-Content-Type: text/markdown
 License-File: LICENSE
 Requires-Dist: packaging<24,>=21.3
@@ -23,9 +27,10 @@ Requires-Dist: pip<24,>=20.1.1
 Requires-Dist: setuptools<69,>=47.3.1
 Requires-Dist: wheel<0.42,>=0.37.1
 Requires-Dist: transliterate<2
+Requires-Dist: Django<2.3,>=1.11
 Requires-Dist: educommon<4,>=3.0.0
 Requires-Dist: function-tools<1,>=0.5.0
-Requires-Dist: m3-db-utils<1,>=0.3.6
+Requires-Dist: m3-db-utils<1,>=0.3.8
 Requires-Dist: uploader-client<1,>=0.1.12
 
 # Проект "Интеграция с Региональной витриной данных (РВД)"
@@ -285,6 +290,30 @@ Requires-Dist: uploader-client<1,>=0.1.12
 ### Удалено
 
 
+## [0.6.7] - 2023-11-01
+
+Добавлен миксин EntityEnumRegisterMixin для регистрации сущностей в RegionalDataMartEntityEnum. 
+Миксин ModelEnumRegisterMixin для регистрации моделей в RegionalDataMartModelEnum.
+Добавлены методы для запуска регистрации моделей и сущностей.
+
+### Добавлено
+
+- [EDUCLLG-7632](https://jira.bars.group/browse/EDUCLLG-7632)
+  PATCH - Добавлен функционал регистрации моделей и сущностей в моделях-перечислениях.
+
+
+## [0.6.6] - 2023-10-16
+
+Добавлен базовый класс для тестирования Функций сбора, добавлена явная зависимость Django.
+
+### Добавлено
+
+- [EDUSCHL-20684](https://jira.bars.group/browse/EDUSCHL-20684)
+  PATCH - Базовый класс для тестирования Функций сбора;
+- [EDUSCHL-20684](https://jira.bars.group/browse/EDUSCHL-20684)
+  PATCH - Добавлена зависимость Django.
+
+
 ## [0.6.5] - 2023-10-11
 
 Получение метода генерации логов вынесено в отдельный метод для избавления от необходимости хранить все методы в одном классе.
@@ -367,7 +396,7 @@ Requires-Dist: uploader-client<1,>=0.1.12
 
 ## [0.5.8] - 2023-09-13
 
-Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей 
+Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей
 BaseExportLatestEntitiesData._set_description_to_async_task.
 
 ### Исправлено
@@ -399,8 +428,8 @@ BaseExportLatestEntitiesData._set_description_to_async_task.
 - [EDUSCHL-20435](https://jira.bars.group/browse/EDUSCHL-20435)
   PATCH - Исправлено нахождение левой границы в классе ExportLatestEntitiesData;
         - Добавлена проверка на наличие запущенных или готовых к выгрузке сущностей;
-        - Добавлен параметр update_modified, который обновляет поле modified у собранных моделей, 
-          чтобы выгрузить невыгруженные записи. 
+        - Добавлен параметр update_modified, который обновляет поле modified у собранных моделей,
+          чтобы выгрузить невыгруженные записи.
 
 
 ## [0.5.5] - 2023-09-04
@@ -453,14 +482,14 @@ split_by_days_count переименовал в split_by_quantity.
 - [EDUSCHL-20227](https://jira.bars.group/browse/EDUSCHL-20227)
   PATCH Если у сущности не заполнен creating_trigger_models, то в генераторе BaseFirstCollectModelsDataCommandsGenerator
   не формируется словарь с параметрами для команды.
-  
+
 - [EDUSCHL-20229](https://jira.bars.group/browse/EDUSCHL-20229)
   PATCH Если у сущности не заполнен creating_trigger_models, то в генераторе BaseFirstCollectModelsDataCommandsGenerator
   не формируется словарь с параметрами для команды.
 
 
 ## [0.5.0] - 2023-08-19
- 
+
 Дополнительная функциональность WebEduEntityValueCache была перенесена в EntityCache в function_tools.
 
 ### Удалено

edu-rdm-integration-0.6.7/requirements/dependencies/external_packages.txt

@@ -0,0 +1,2 @@
+transliterate<2
+Django>=1.11,<2.3

edu-rdm-integration-0.6.7/requirements/dependencies/internal_packages.txt

@@ -0,0 +1,4 @@
+educommon>=3.0.0,<4
+function-tools>=0.5.0,<1
+m3-db-utils>=0.3.8,<1
+uploader-client>=0.1.12,<1

{edu-rdm-integration-0.6.5 → edu-rdm-integration-0.6.7}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '0.6.5'
+VERSION = '0.6.7'
 
 current_dir_path = Path().resolve()
 
@@ -83,6 +83,10 @@ setup(
         'Programming Language :: Python :: 3.9',
         'Intended Audience :: Developers',
         'Environment :: Console',
+        'Framework :: Django :: 1.11',
+        'Framework :: Django :: 2.0',
+        'Framework :: Django :: 2.1',
+        'Framework :: Django :: 2.2',
     ],
 
     platforms=['Any'],

edu-rdm-integration-0.6.7/src/edu_rdm_integration/collect_data/tests.py

@@ -0,0 +1,138 @@
+import datetime
+import decimal
+import uuid
+from typing import (
+    TYPE_CHECKING,
+    Any,
+    Dict,
+    Optional,
+    Type,
+)
+from unittest import (
+    mock,
+)
+
+from django.conf import (
+    settings,
+)
+from django.db.models.fields.files import (
+    FieldFile,
+)
+from django.test import (
+    TestCase,
+)
+from django.utils import (
+    timezone,
+)
+
+from educommon.audit_log.models import (
+    AuditLog,
+    Table,
+)
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
+
+
+if TYPE_CHECKING:
+    from django.db.models import (
+        Model,
+    )
+
+    from function_tools.managers import (
+        RunnerManager,
+    )
+
+
+class BaseCollectingFunctionTestCase(TestCase):
+    """Базовый класс тестирования Функции сбора."""
+
+    databases = (settings.DEFAULT_DB_ALIAS, settings.SERVICE_DB_ALIAS)
+
+    @property
+    def manager(self) -> Type['RunnerManager']:
+        """Менеджер раннера Функции сбора."""
+        raise NotImplementedError
+
+    @classmethod
+    def tearDownClass(cls) -> None:
+        """Вызывается один раз после запуска всех тестов класса."""
+        cls.delete_auditlogs()
+
+        super().tearDownClass()
+
+    @staticmethod
+    def delete_auditlogs() -> None:
+        """Удаляет логи."""
+        AuditLog.objects.all().delete()
+
+    def setUp(self) -> None:
+        """Подготавливает фикстуры."""
+        self.now = timezone.now()
+
+    def run_collecting_function(self) -> None:
+        """Запускает Функцию сбора."""
+        runner_manager = self.manager(
+            logs_period_started_at=datetime.datetime.combine(self.now, datetime.time.min),
+            logs_period_ended_at=datetime.datetime.combine(self.now, datetime.time.max),
+        )
+        runner_manager.run()
+
+    @mock.patch('educommon.audit_log.models.AuditLog.ready_to_save')
+    @mock.patch('educommon.audit_log.models.AuditLog.is_read_only')
+    def create_auditlog(
+        self,
+        is_read_only_mock: mock.MagicMock,
+        ready_to_save_mock: mock.MagicMock,
+        *,
+        instance: 'Model',
+        changes: Optional[Dict[str, Any]] = None,
+        operation: EntityLogOperation = EntityLogOperation.UPDATE,
+    ) -> None:
+        """Создает AuditLog."""
+        is_read_only_mock.return_value = False
+        ready_to_save_mock.return_value = True
+
+        table = Table.objects.only('pk').get(name=instance._meta.db_table)
+
+        timestamp = datetime.datetime.combine(self.now, timezone.now().time())
+
+        if changes is None:
+            changes = {'__stub': None}  # changes не может быть пустым
+        else:
+            changes['modified'] = timestamp.isoformat().replace('T', ' ')
+
+        AuditLog.objects.create(
+            user_id=1,
+            user_type_id=1,
+            ip='127.0.0.1',
+            data=self._clean_data(instance),
+            changes=changes,
+            table=table,
+            object_id=instance.pk,
+            time=timestamp,
+            operation=operation,
+        )
+
+    def _clean_data(self, instance: 'Model') -> Dict[str, Optional[str]]:
+        """Подготавливает данные экземпляра модели для формирования AuditLog'a."""
+        fields = {}
+
+        for key, value in vars(instance).items():
+            if key.startswith('_'):
+                continue
+
+            if isinstance(value, datetime.datetime):
+                fields[key] = value.strftime('%Y-%m-%d %H:%M:%S.%f%z')
+            elif isinstance(value, datetime.date):
+                fields[key] = value.strftime('%Y-%m-%d')
+            elif isinstance(value, bool):
+                fields[key] = 't' if value else 'f'
+            elif isinstance(value, (int, float, uuid.UUID, decimal.Decimal)):
+                fields[key] = str(value)
+            elif isinstance(value, FieldFile):
+                fields[key] = value.name
+            else:
+                fields[key] = value
+
+        return fields

{edu-rdm-integration-0.6.5 → edu-rdm-integration-0.6.7}/src/edu_rdm_integration/entities.py

@@ -8,15 +8,27 @@ from typing import (
     Tuple,
 )
 
+from edu_rdm_integration.enum_register.mixins import (
+    EntityEnumRegisterMixin,
+)
+from edu_rdm_integration.models import (
+    RegionalDataMartModelEnum,
+)
 from educommon.integration_entities.entities import (
     BaseEntity,
 )
 
 
 @dataclass
-class AddressEntity(BaseEntity):
+class AddressEntity(EntityEnumRegisterMixin, BaseEntity):
     """Сущность РВД 'Адреса'."""
 
+    # Параметры регистрации в модель-перечисление РВД
+    # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+    title = 'Адреса'
+    main_model_enum = RegionalDataMartModelEnum.ADDRESS
+    # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+
     # Имена полей объявляются как константы, чтобы можно было выводить списки полей
     ID = 'id'
     USE_ADDRESS = 'use_address'
@@ -88,9 +100,16 @@ class AddressEntity(BaseEntity):
 
 
 @dataclass
-class AddressOrganisationEntity(BaseEntity):
+class AddressOrganisationEntity(EntityEnumRegisterMixin, BaseEntity):
     """Сущность РВД 'Адреса'."""
 
+    # Параметры регистрации в модель-перечисление РВД
+    # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+    title = 'Адреса организаций'
+    main_model_enum = RegionalDataMartModelEnum.ADDRESS_ORGANISATION
+    additional_model_enums = (RegionalDataMartModelEnum.ORGANISATION, )
+    # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+
     # Имена полей объявляются как константы, чтобы можно было выводить списки полей
     ADDRESS_ID = 'address_id'
     ORGANISATION_ID = 'organisation_id'
@@ -132,9 +151,15 @@ class AddressOrganisationEntity(BaseEntity):
 
 
 @dataclass
-class TelecomEntity(BaseEntity):
+class TelecomEntity(EntityEnumRegisterMixin, BaseEntity):
     """Сущность РВД "Контактные данные"."""
 
+    # Параметры регистрации в модель-перечисление РВД
+    # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+    title = 'Контактные данные'
+    main_model_enum = RegionalDataMartModelEnum.TELECOM
+    # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+
     # Имена полей объявляются как константы, чтобы можно было выводить списки полей
     ID = 'id'
     TYPE_CONTACT = 'type_contact'
@@ -194,11 +219,17 @@ class TelecomEntity(BaseEntity):
 
 
 @dataclass
-class OrganisationsEntity(BaseEntity):
+class OrganisationsEntity(EntityEnumRegisterMixin, BaseEntity):
     """
     Сущность РВД "Организации".
     """
 
+    # Параметры регистрации в модель-перечисление РВД
+    # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+    title = 'Организации'
+    main_model_enum = RegionalDataMartModelEnum.ORGANISATION
+    # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+
     ID = 'id'
     ROSOBR_ID = 'rosobr_id'
     OGRN = 'ogrn'
@@ -209,7 +240,7 @@ class OrganisationsEntity(BaseEntity):
     OKPF = 'okpf'
     OKFS = 'okfs'
     OKOGU = 'okogu'
-    OKATO  = 'okato'
+    OKATO = 'okato'
     OKTMO = 'oktmo'
     NAME = 'name'
     PARTOF_ID = 'partof_id'

edu-rdm-integration-0.6.7/src/edu_rdm_integration/enum_register/mixins.py

@@ -0,0 +1,87 @@
+from typing import (
+    Any,
+    Dict,
+    Tuple,
+)
+
+from django.db import (
+    models,
+)
+from django.utils.decorators import (
+    classproperty,
+)
+
+from edu_rdm_integration.models import (
+    RegionalDataMartEntityEnum,
+    RegionalDataMartModelEnum,
+)
+from edu_rdm_integration.utils import (
+    camel_to_underscore,
+)
+from m3_db_utils.mixins import (
+    BaseEnumRegisterMixin,
+)
+from m3_db_utils.models import (
+    ModelEnumValue,
+)
+
+
+class EntityEnumRegisterMixin(BaseEnumRegisterMixin):
+    """Миксин, для регистрации сущности в RegionalDataMartEntityEnum."""
+
+    enum = RegionalDataMartEntityEnum
+    """Модель-перечисление в которую регистрируется сущность."""
+
+    main_model_enum: ModelEnumValue
+    """Значение RegionalDataMartModelEnum, 
+    основной модели РВД для формирования сущности."""
+
+    additional_model_enums: Tuple[ModelEnumValue] = ()
+    """Перечень дополнительных значений RegionalDataMartModelEnum, 
+    которые участвуют в формировании записей сущностей"""
+
+    title: str
+    """Расшифровка сущности модели-перечисления"""
+
+    @classproperty
+    def key(cls) -> str:
+        return camel_to_underscore(cls.__name__.rsplit('Entity', 1)[0], upper=True)
+
+    @classmethod
+    def get_register_params(cls) -> Dict[str, Any]:
+        register_params = super().get_register_params()
+        register_params['main_model_enum'] = cls.main_model_enum
+        register_params['entity'] = cls
+        register_params['additional_model_enums'] = cls.additional_model_enums
+
+        return register_params
+
+
+class ModelEnumRegisterMixin(BaseEnumRegisterMixin):
+    """Миксин, для регистрации модели в RegionalDataMartModelEnum."""
+
+    enum = RegionalDataMartModelEnum
+    """Модель-перечисление в которую регистрируется модель."""
+
+    creating_trigger_models: Tuple[models.Model] = ()
+    """Перечень моделей по которым генерируются логи."""
+
+    loggable_models: Tuple[models.Model] = ()
+    """Перечень моделей по которым собираются логи."""
+
+    @classproperty
+    def key(cls) -> str:
+        return camel_to_underscore(cls.__name__).upper()
+
+    @classproperty
+    def title(cls):
+        return cls._meta.verbose_name
+
+    @classmethod
+    def get_register_params(cls) -> Dict[str, Any]:
+        register_params = super().get_register_params()
+        register_params['model'] = cls
+        register_params['creating_trigger_models'] = cls.creating_trigger_models
+        register_params['loggable_models'] = cls.loggable_models
+
+        return register_params

edu-rdm-integration-0.6.7/src/edu_rdm_integration/enum_register/register.py

@@ -0,0 +1,82 @@
+import inspect
+import sys
+from importlib import (
+    import_module,
+)
+from operator import (
+    attrgetter,
+)
+from typing import (
+    Iterable,
+    Type,
+)
+
+from django.apps import (
+    apps,
+)
+from django.db import (
+    models,
+)
+
+from edu_rdm_integration.enum_register.mixins import (
+    EntityEnumRegisterMixin,
+    ModelEnumRegisterMixin,
+)
+from edu_rdm_integration.models import (
+    BaseEntityModel,
+)
+from educommon.integration_entities.entities import (
+    BaseEntity,
+)
+from m3_db_utils.mixins import (
+    BaseEnumRegisterMixin,
+)
+
+
+def register_classes(classes: Iterable[Type[BaseEnumRegisterMixin]]) -> None:
+    """Вызывает метод регистрации в модель-перечисление
+    у переданных классов.
+
+    Args:
+        classes: Классы, поддерживающие интерфейс регистрации.
+    """
+    classes = sorted(classes, key=attrgetter('order_number'))
+
+    for enum_class in classes:
+        enum_class.register()
+
+
+def is_register_model(model: models.Model) -> bool:
+    """Проверяет, является ли класс регистрируемой моделью."""
+    return issubclass(model, ModelEnumRegisterMixin)
+
+
+def is_register_entity(class_) -> bool:
+    """Проверяет, является ли класс регистрируемой сущностью."""
+    return (
+        inspect.isclass(class_) and
+        issubclass(class_, BaseEntity) and
+        issubclass(class_, EntityEnumRegisterMixin)
+    )
+
+
+def register_models() -> None:
+    """Регистрирует модели в RegionalDataMartModelEnum."""
+    register_classes([
+        m for m in apps.get_models() if is_register_model(m)
+    ])
+
+
+def register_entities(import_path: str) -> None:
+    """Находит регистрируемые сущности в модуле по переданному пути и
+    регистрирует в RegionalDataMartEntityEnum.
+
+    Args:
+        import_path: Путь до пакета, хранящего классы сущностей;
+    """
+    import_module(import_path)
+    entities_module = sys.modules[import_path]
+
+    register_classes([
+        c[1] for c in inspect.getmembers(entities_module, is_register_entity)
+    ])

{edu-rdm-integration-0.6.5 → edu-rdm-integration-0.6.7}/src/edu_rdm_integration/utils.py

@@ -165,3 +165,42 @@ def split_interval_by_delta(start_date: datetime, end_date: datetime, days_delta
     intervals = [*zip(iter_interval, iter_interval)]
 
     return intervals
+
+
+def camel_to_underscore(name: str, upper=False) -> str:
+    """Переводит строку из верблюжьего в змеиный регистр.
+    По умолчанию строка приводится к нижнему регистру.
+    Несколько заглавных букв не будут разъединены, кроме последней.
+
+    Args:
+        name: форматируемая строка;
+        upper: флаг перевода в верхний регистр;
+
+    Returns:
+        Строка, приведенная к змеиному регистру.
+
+    >>> camel_to_underscore('ОдинДваТри')
+    'один_два_три'
+    >>> camel_to_underscore('Один_два_три')
+    'один_два_три'
+    >>> camel_to_underscore('Один_Два_Три')
+    'один_два_три'
+    >>> camel_to_underscore('__ОдинДваТри__')
+    '__один_два_три__'
+    >>> camel_to_underscore('__ОдинДВАТри__')
+    '__один_два_три__'
+    """
+    output = []
+    for i, c in enumerate(name):
+        if i > 0:
+            pc = name[i - 1]
+            if c.isupper() and not pc.isupper() and pc != '_':
+                output.append('_')
+            elif i > 3 and not c.isupper():
+                previous = name[i - 3:i]
+                if previous.isalpha() and previous.isupper():
+                    output.insert(len(output) - 1, '_')
+
+        output.append(c.upper() if upper else c.lower())
+
+    return ''.join(output)