edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/{entities.py → rdm_entities/entities.py}

@@ -15,10 +15,10 @@ from m3_db_utils.models import (
     ModelEnumValue,
 )
 
-from edu_rdm_integration.enum_register.mixins import (
+from edu_rdm_integration.rdm_entities.mixins import (
     EntityEnumRegisterMixin,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.rdm_models.models import (
     RegionalDataMartModelEnum,
 )
 
@@ -83,24 +83,35 @@ class AddressEntity(EntityEnumRegisterMixin, BaseEntity):
 
     @classmethod
     def get_primary_key_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей первичного ключа.
-        """
-        return cls.ID,
+        """Возвращает кортеж полей первичного ключа."""
+        return (cls.ID,)
 
     @classmethod
     def get_foreign_key_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей внешних ключей.
-        """
+        """Возвращает кортеж полей внешних ключей."""
         return ()
 
     @classmethod
     def get_ordered_fields(cls) -> tuple[str, ...]:
+        """Возвращает кортеж полей в правильном порядке."""
         return (
-            cls.ID, cls.USE_ADDRESS, cls.TYPE_ADDRESS, cls.TEXT, cls.CITY, cls.DISTRICT, cls.STATE, cls.POSTAL_CODE,
-            cls.COUNTRY, cls.START_DATETIME, cls.END_DATETIME, cls.FLAT, cls.BUILDING, cls.HOUSE, cls.STREET,
-            cls.CREATE_DATETIME, cls.SEND_DATETIME
+            cls.ID,
+            cls.USE_ADDRESS,
+            cls.TYPE_ADDRESS,
+            cls.TEXT,
+            cls.CITY,
+            cls.DISTRICT,
+            cls.STATE,
+            cls.POSTAL_CODE,
+            cls.COUNTRY,
+            cls.START_DATETIME,
+            cls.END_DATETIME,
+            cls.FLAT,
+            cls.BUILDING,
+            cls.HOUSE,
+            cls.STREET,
+            cls.CREATE_DATETIME,
+            cls.SEND_DATETIME,
         )
 
     # TODO EDUSCHL-20938 Удалить в рамках задачи
@@ -114,6 +125,7 @@ class AddressEntity(EntityEnumRegisterMixin, BaseEntity):
         """
         return RegionalDataMartModelEnum.ADDRESS
 
+
 @dataclass
 class AddressOrganisationEntity(EntityEnumRegisterMixin, BaseEntity):
     """Сущность РВД 'Адреса'."""
@@ -150,21 +162,26 @@ class AddressOrganisationEntity(EntityEnumRegisterMixin, BaseEntity):
 
     @classmethod
     def get_primary_key_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей первичного ключа.
-        """
-        return cls.ADDRESS_ID, cls.ORGANISATION_ID,
+        """Возвращает кортеж полей первичного ключа."""
+        return (
+            cls.ADDRESS_ID,
+            cls.ORGANISATION_ID,
+        )
 
     @classmethod
     def get_foreign_key_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей внешних ключей.
-        """
+        """Возвращает кортеж полей внешних ключей."""
         return ()
 
     @classmethod
     def get_ordered_fields(cls) -> tuple[str, ...]:
-        return cls.ADDRESS_ID, cls.ORGANISATION_ID, cls.CREATE_DATETIME, cls.SEND_DATETIME,
+        """Возвращает кортеж полей в правильном порядке."""
+        return (
+            cls.ADDRESS_ID,
+            cls.ORGANISATION_ID,
+            cls.CREATE_DATETIME,
+            cls.SEND_DATETIME,
+        )
 
     # TODO EDUSCHL-20938 Удалить в рамках задачи
     @classmethod
@@ -186,7 +203,7 @@ class AddressOrganisationEntity(EntityEnumRegisterMixin, BaseEntity):
 
         !!! Временное решение. Будет удалено в рамках EDUSCHL-20938.
         """
-        return (RegionalDataMartModelEnum.ORGANISATION, )
+        return (RegionalDataMartModelEnum.ORGANISATION,)
 
 
 @dataclass
@@ -225,32 +242,37 @@ class TelecomEntity(EntityEnumRegisterMixin, BaseEntity):
 
     @classmethod
     def get_ordered_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей в правильном порядке.
-        """
-        return (cls.ID, cls.TYPE_CONTACT, cls.VALUE_TYPE, cls.USE_COD, cls.RANK_CONTACT,
-                cls.START_DATETIME, cls.END_DATETIME, cls.CREATE_DATETIME, cls.SEND_DATETIME,)
+        """Возвращает кортеж полей в правильном порядке."""
+        return (
+            cls.ID,
+            cls.TYPE_CONTACT,
+            cls.VALUE_TYPE,
+            cls.USE_COD,
+            cls.RANK_CONTACT,
+            cls.START_DATETIME,
+            cls.END_DATETIME,
+            cls.CREATE_DATETIME,
+            cls.SEND_DATETIME,
+        )
 
     @classmethod
     def get_primary_key_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей первичного ключа.
-        """
-        return cls.ID,
+        """Возвращает кортеж полей первичного ключа."""
+        return (cls.ID,)
 
     @classmethod
     def get_foreign_key_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей внешних ключей.
-        """
+        """Возвращает кортеж полей внешних ключей."""
         return ()
 
     @classmethod
     def get_required_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж обязательных полей.
-        """
-        return cls.ID, cls.CREATE_DATETIME, cls.SEND_DATETIME,
+        """Возвращает кортеж обязательных полей."""
+        return (
+            cls.ID,
+            cls.CREATE_DATETIME,
+            cls.SEND_DATETIME,
+        )
 
     @classmethod
     def get_hashable_fields(cls) -> tuple[str, ...]:
@@ -271,9 +293,7 @@ class TelecomEntity(EntityEnumRegisterMixin, BaseEntity):
 
 @dataclass
 class OrganisationsEntity(EntityEnumRegisterMixin, BaseEntity):
-    """
-    Сущность РВД "Организации".
-    """
+    """Сущность РВД "Организации"."""
 
     # Параметры регистрации в модель-перечисление РВД
     # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
@@ -326,9 +346,7 @@ class OrganisationsEntity(EntityEnumRegisterMixin, BaseEntity):
 
     @classmethod
     def get_ordered_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей в правильном порядке.
-        """
+        """Возвращает кортеж полей в правильном порядке."""
         return (
             cls.ID,
             cls.ROSOBR_ID,
@@ -353,9 +371,7 @@ class OrganisationsEntity(EntityEnumRegisterMixin, BaseEntity):
 
     @classmethod
     def get_required_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж обязательных полей.
-        """
+        """Возвращает кортеж обязательных полей."""
         return (
             cls.ID,
             cls.ROSOBR_ID,
@@ -377,23 +393,17 @@ class OrganisationsEntity(EntityEnumRegisterMixin, BaseEntity):
 
     @classmethod
     def get_primary_key_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей первичного ключа.
-        """
-        return cls.ID,
+        """Возвращает кортеж полей первичного ключа."""
+        return (cls.ID,)
 
     @classmethod
     def get_foreign_key_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей внешних ключей.
-        """
-        return cls.PARTOF_ID,
+        """Возвращает кортеж полей внешних ключей."""
+        return (cls.PARTOF_ID,)
 
     @classmethod
     def get_hashable_fields(cls) -> tuple[str, ...]:
-        """
-        Возвращает кортеж полей, которые необходимо деперсонализировать (хэшировать).
-        """
+        """Возвращает кортеж полей, которые необходимо деперсонализировать (хэшировать)."""
         return ()
 
     # TODO EDUSCHL-20938 Удалить в рамках задачи

edu_rdm_integration/rdm_entities/migrations/0001_initial.py

@@ -0,0 +1,44 @@
+# Generated by Django 3.2.24 on 2025-06-28 12:04
+
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+    initial = True
+
+    dependencies = [
+        ('edu_rdm_integration', '0017_delete_uploaddatacommand'),
+    ]
+
+    operations = [
+        migrations.SeparateDatabaseAndState(
+            state_operations=[
+                migrations.CreateModel(
+                    name='RegionalDataMartEntityEnum',
+                    fields=[
+                        ('title', models.TextField(verbose_name='расшифровка значения')),
+                        (
+                            'key',
+                            models.CharField(
+                                db_index=True, max_length=512, primary_key=True, serialize=False, verbose_name='ключ'
+                            ),
+                        ),
+                        ('order_number', models.PositiveIntegerField(default=100000, verbose_name='Порядковый номер')),
+                    ],
+                    options={
+                        'verbose_name': 'Модель-перечисление сущностей "Региональной витрины данных"',
+                        'verbose_name_plural': 'Модели-перечисления сущностей "Региональной витрины данных"',
+                        'db_table': 'rdm_entity',
+                    },
+                ),
+            ],
+            database_operations=[],
+        ),
+        migrations.SeparateDatabaseAndState(
+            state_operations=[],
+            database_operations=[],
+        ),
+    ]

edu_rdm_integration/{enum_register → rdm_entities}/mixins.py

@@ -1,13 +1,8 @@
 from typing import (
     Any,
-    NamedTuple,
     Optional,
 )
 
-from django.db import (
-    models,
-)
-
 from m3_db_utils.mixins import (
     BaseEnumRegisterMixin,
 )
@@ -18,16 +13,12 @@ from m3_django_compat import (
     classproperty,
 )
 
-from edu_rdm_integration.models import (
-    RegionalDataMartEntityEnum,
-    RegionalDataMartModelEnum,
-)
-from edu_rdm_integration.typing import (
-    MODEL_TYPE_VAR,
-)
-from edu_rdm_integration.utils import (
+from edu_rdm_integration.core.utils import (
     camel_to_underscore,
 )
+from edu_rdm_integration.rdm_entities.models import (
+    RegionalDataMartEntityEnum,
+)
 
 
 class EntityEnumRegisterMixin(BaseEnumRegisterMixin):
@@ -48,11 +39,13 @@ class EntityEnumRegisterMixin(BaseEnumRegisterMixin):
     """Расшифровка сущности модели-перечисления"""
 
     @classproperty
-    def key(cls) -> str:
-        return camel_to_underscore(cls.__name__.rsplit('Entity', 1)[0], upper=True)
+    def key(self) -> str:
+        """Ключ сущности в модели-перечислении RegionalDataMartEntityEnum."""
+        return camel_to_underscore(self.__name__.rsplit('Entity', 1)[0], upper=True)
 
     @classmethod
     def get_register_params(cls) -> dict[str, Any]:
+        """Параметры для регистрации сущности в модели перечислении RegionalDataMartEntityEnum."""
         register_params = super().get_register_params()
 
         register_params['main_model_enum'] = getattr(cls, 'main_model_enum', None) or cls.get_main_model_enum()
@@ -81,47 +74,3 @@ class EntityEnumRegisterMixin(BaseEnumRegisterMixin):
         !!! Временное решение. Будет удалено в рамках EDUSCHL-20938.
         """
         return ()
-
-
-class ModelEnumRegisterMixin(BaseEnumRegisterMixin):
-    """Миксин, для регистрации модели в RegionalDataMartModelEnum."""
-
-    enum = RegionalDataMartModelEnum
-    """Модель-перечисление в которую регистрируется модель."""
-
-    creating_trigger_models: tuple[models.Model, ...] = ()
-    """Перечень моделей по которым генерируются логи."""
-
-    loggable_models: tuple[models.Model, ...] = ()
-    """Перечень моделей по которым собираются логи."""
-
-    @classproperty
-    def key(cls) -> str:
-        return camel_to_underscore(cls.__name__).upper()
-
-    @classproperty
-    def title(cls):
-        return cls._meta.verbose_name
-
-    @classmethod
-    def get_register_params(cls) -> dict[str, Any]:
-        register_params = super().get_register_params()
-        register_params['model'] = cls
-        register_params['creating_trigger_models'] = cls.creating_trigger_models
-        register_params['loggable_models'] = cls.loggable_models
-
-        return register_params
-
-
-class FromNamedTupleMixin:
-    """Миксин получения экземпляра модели из получаемого кэша значений."""
-
-    @classmethod
-    def from_namedtuple(cls: type[MODEL_TYPE_VAR], namedtuple: NamedTuple) -> MODEL_TYPE_VAR:
-        """Создает экземпляр класса из NamedTuple."""
-        return cls(
-            **{
-                field: getattr(namedtuple, field)
-                for field in [f.column for f in cls._meta.get_fields()]
-            }
-        )

edu_rdm_integration/rdm_entities/models.py

@@ -0,0 +1,63 @@
+from m3_db_utils.models import (
+    ModelEnumValue,
+    TitledModelEnum,
+)
+
+
+class RegionalDataMartEntityEnum(TitledModelEnum):
+    """Модель-перечисление сущностей выгрузки в Региональная витрина данных.
+
+    Поля:
+        entity - data-класс сущности;
+        main_model_enum - значение модели-перечисления RegionalDataMartModelEnum основной модели РВД для формирования
+            данных сущности. Обычно это модель идентификаторы записей которой соответствуют идентификаторам в записях
+            сущности. У этих записей проставляется подэтап выгрузки данных;
+        additional_model_enums - кортеж значений модели-перечисления RegionalDataMartModelEnum с дополнительными
+            моделями РВД, которые участвуют в формировании записей сущностей. Они показывают, что перед запуском
+            экспорта данных сущности по ним и основной модели должен быть запущен сбор данных.
+    """
+
+    class Meta:
+        db_table = 'rdm_entity'
+        extensible = True
+        verbose_name = 'Модель-перечисление сущностей "Региональной витрины данных"'
+        verbose_name_plural = 'Модели-перечисления сущностей "Региональной витрины данных"'
+
+    @property
+    def model_enums(self):
+        """Возвращает модели, от которых зависит сущность."""
+        value = self.model_enum_value
+
+        return self.get_model_enums_from_value(value=value)
+
+    @staticmethod
+    def get_model_enums_from_value(value: ModelEnumValue):
+        """Получение значений модели-перечисления моделей по значению модели-перечисления сущностей."""
+        model_enums = [value.main_model_enum, *value.additional_model_enums]
+
+        return model_enums
+
+    @classmethod
+    def get_entities_model_enums(
+        cls,
+        entity_enums: list[ModelEnumValue],
+        is_sorted: bool = True,
+    ) -> list[ModelEnumValue]:
+        """Получение списка значений модели-перечисления моделей RegionalDataMartModelEnum.
+
+        Args:
+            entity_enums: Список значений модели-перечисления сущностей RegionalDataMartEntityEnum;
+            is_sorted: Необходимость сортировки значений модели-перечисления RegionalDataMartModelEnum по полю
+                order_number.
+        """
+        model_enums = set()
+
+        for entity_enum_value in entity_enums:
+            model_enums.update(cls.get_model_enums_from_value(value=entity_enum_value))
+
+        model_enums = list(model_enums)
+
+        if is_sorted:
+            model_enums = sorted(model_enums, key=lambda value: value.order_number)
+
+        return model_enums

edu_rdm_integration/rdm_entities/utils.py

@@ -0,0 +1,33 @@
+import inspect
+import sys
+from importlib import (
+    import_module,
+)
+
+from educommon.integration_entities.entities import (
+    BaseEntity,
+)
+
+from edu_rdm_integration.core.utils import (
+    register_classes,
+)
+from edu_rdm_integration.rdm_entities.mixins import (
+    EntityEnumRegisterMixin,
+)
+
+
+def is_register_entity(class_) -> bool:
+    """Проверяет, является ли класс регистрируемой сущностью."""
+    return inspect.isclass(class_) and issubclass(class_, BaseEntity) and issubclass(class_, EntityEnumRegisterMixin)
+
+
+def register_entities(import_path: str) -> None:
+    """Находит регистрируемые сущности в модуле по переданному пути и регистрирует в RegionalDataMartEntityEnum.
+
+    Args:
+        import_path: Путь до пакета, хранящего классы сущностей;
+    """
+    import_module(import_path)
+    entities_module = sys.modules[import_path]
+
+    register_classes([c[1] for c in inspect.getmembers(entities_module, is_register_entity)])

edu_rdm_integration/rdm_models/apps.py

@@ -0,0 +1,16 @@
+from django.apps import (
+    AppConfig,
+)
+
+
+class RDMModelsConfigApp(AppConfig):
+    """Приложение для работы с моделями РВД."""
+
+    name = 'edu_rdm_integration.rdm_models'
+    label = 'edu_rdm_integration_models'
+    verbose_name = 'Модели РВД'
+
+    def __init__(self, *args, **kwargs):
+        print('1')
+
+        super().__init__(*args, **kwargs)

edu_rdm_integration/rdm_models/migrations/0001_initial.py

@@ -0,0 +1,40 @@
+# Generated by Django 3.2.24 on 2025-06-28 14:08
+
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+    initial = True
+
+    dependencies = [
+        ('edu_rdm_integration', '0017_delete_uploaddatacommand'),
+    ]
+
+    operations = [
+        migrations.SeparateDatabaseAndState(
+            state_operations=[
+                migrations.CreateModel(
+                    name='RegionalDataMartModelEnum',
+                    fields=[
+                        ('title', models.TextField(verbose_name='расшифровка значения')),
+                        (
+                            'key',
+                            models.CharField(
+                                db_index=True, max_length=512, primary_key=True, serialize=False, verbose_name='ключ'
+                            ),
+                        ),
+                        ('order_number', models.PositiveIntegerField(default=100000, verbose_name='Порядковый номер')),
+                    ],
+                    options={
+                        'verbose_name': 'Модель-перечисление моделей "Региональной витрины данных"',
+                        'verbose_name_plural': 'Модели-перечисления моделей "Региональной витрины данных"',
+                        'db_table': 'rdm_model',
+                    },
+                ),
+            ],
+            database_operations=[],
+        ),
+    ]

edu_rdm_integration/rdm_models/mixins.py

@@ -0,0 +1,67 @@
+from typing import (
+    Any,
+    NamedTuple,
+)
+
+from django.db import (
+    models,
+)
+
+from m3_db_utils.mixins import (
+    BaseEnumRegisterMixin,
+)
+from m3_django_compat import (
+    classproperty,
+)
+
+from edu_rdm_integration.core.typing import (
+    MODEL_TYPE_VAR,
+)
+from edu_rdm_integration.core.utils import (
+    camel_to_underscore,
+)
+from edu_rdm_integration.rdm_models.models import (
+    RegionalDataMartModelEnum,
+)
+
+
+class ModelEnumRegisterMixin(BaseEnumRegisterMixin):
+    """Миксин, для регистрации модели в RegionalDataMartModelEnum."""
+
+    enum = RegionalDataMartModelEnum
+    """Модель-перечисление в которую регистрируется модель."""
+
+    creating_trigger_models: tuple[models.Model, ...] = ()
+    """Перечень моделей по которым генерируются логи."""
+
+    loggable_models: tuple[models.Model, ...] = ()
+    """Перечень моделей по которым собираются логи."""
+
+    @classproperty
+    def key(self) -> str:
+        """Ключ сущности в модели-перечислении RegionalDataMartEntityEnum."""
+        return camel_to_underscore(self.__name__).upper()
+
+    @classproperty
+    def title(self):
+        """Название сущности."""
+        return self._meta.verbose_name
+
+    @classmethod
+    def get_register_params(cls) -> dict[str, Any]:
+        """Параметры для регистрации сущности в модели перечислении RegionalDataMartEntityEnum."""
+        register_params = super().get_register_params()
+        register_params['model'] = cls
+        register_params['creating_trigger_models'] = cls.creating_trigger_models
+        register_params['loggable_models'] = cls.loggable_models
+
+        return register_params
+
+
+class FromNamedTupleMixin:
+    """Миксин получения экземпляра модели из получаемого кэша значений."""
+
+    @classmethod
+    def from_namedtuple(cls: type[MODEL_TYPE_VAR], namedtuple: NamedTuple) -> MODEL_TYPE_VAR:
+        """Создает экземпляр класса из NamedTuple."""
+        return cls(**{field: getattr(namedtuple, field) for field in [f.column for f in cls._meta.get_fields()]})

edu_rdm_integration/rdm_models/models.py

@@ -0,0 +1,73 @@
+from django.db.models import (
+    CASCADE,
+    DateTimeField,
+    ForeignKey,
+    SmallIntegerField,
+)
+from m3.db import (
+    BaseObjectModel,
+)
+
+from educommon.django.db.mixins import (
+    ReprStrPreModelMixin,
+)
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
+from m3_db_utils.models import (
+    TitledModelEnum,
+)
+
+
+class BaseEntityModel(ReprStrPreModelMixin, BaseObjectModel):
+    """Базовая модель сущности."""
+
+    collecting_sub_stage = ForeignKey(
+        verbose_name='Подэтап сбора данных сущности',
+        to='edu_rdm_integration_collect_data_stage.CollectingExportedDataSubStage',
+        on_delete=CASCADE,
+    )
+    exporting_sub_stage = ForeignKey(
+        verbose_name='Подэтап выгрузки',
+        to='edu_rdm_integration_export_data_stage.ExportingDataSubStage',
+        blank=True,
+        null=True,
+        on_delete=CASCADE,
+    )
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        auto_now_add=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+    modified = DateTimeField(
+        verbose_name='Дата изменения',
+        auto_now=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['collecting_sub_stage', 'exporting_sub_stage', 'operation', 'created', 'modified']
+
+    class Meta:
+        abstract = True
+
+
+class RegionalDataMartModelEnum(TitledModelEnum):
+    """Модель-перечисление моделей "Региональная витрина данных"."""
+
+    class Meta:
+        db_table = 'rdm_model'
+        extensible = True
+        verbose_name = 'Модель-перечисление моделей "Региональной витрины данных"'
+        verbose_name_plural = 'Модели-перечисления моделей "Региональной витрины данных"'