edu-rdm-integration 3.18.0__tar.gz → 3.18.2__tar.gz

{edu_rdm_integration-3.18.0 → edu_rdm_integration-3.18.2}/CHANGELOG.md

@@ -29,6 +29,37 @@
 ### Удалено
 
 
+## [3.18.2] - 2025-09-12
+
+### Исправлено
+
+- [EDUCLLG-7932](https://jira.bars.group/browse/EDUCLLG-7932)
+  PATCH Исправлена обработка None значений order_number в функции register_classes для корректной работы с автоматическим расчетом порядковых номеров.
+
+
+## [3.18.1] - 2025-09-02
+
+Доработки модели перечисления RDMModelEnum для расширения функционала механизма зачистки устаревших данных моделей РВД.
+
+### Добавлено
+
+- [EDUDEVOPS-94](https://jira.bars.group/browse/EDUDEVOPS-94)
+  PATCH Добавлена базовая модель для определения модели являющейся основной для сущности.
+- 
+- [EDUDEVOPS-94](https://jira.bars.group/browse/EDUDEVOPS-94)
+  PATCH Добавлен механизм расчета обратных связей для моделей в модели-перечислении RDMModelEnum.
+
+### Изменено
+
+- [EDUDEVOPS-94](https://jira.bars.group/browse/EDUDEVOPS-94)
+  PATCH Изменен алгоритм сортировки моделей с использованием ключей модели-перечисления RDMModelEnum.
+
+### Исправлено
+
+- [EDUDEVOPS-94](https://jira.bars.group/browse/EDUDEVOPS-94)
+  PATCH Исправлена ошибка регистрации сущностей.
+
+
 ## [3.18.0] - 2025-08-29
 
 Добавлено новое приложение `edu_rdm_integration.pipelines.cleanup_outdated_data`, которое необходимо подключить в 

{edu_rdm_integration-3.18.0 → edu_rdm_integration-3.18.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.18.0
+Version: 3.18.2
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.18.0 → edu_rdm_integration-3.18.2}/src/edu_rdm_integration/core/utils.py

@@ -58,7 +58,6 @@ def register_classes(classes: Iterable[type[BaseEnumRegisterMixin]]) -> None:
     Args:
         classes: Классы, поддерживающие интерфейс регистрации.
     """
-    classes = sorted(classes, key=attrgetter('order_number'))
 
     for enum_class in classes:
         enum_class.register()

{edu_rdm_integration-3.18.0 → edu_rdm_integration-3.18.2}/src/edu_rdm_integration/rdm_entities/models.py

@@ -102,4 +102,14 @@ class RDMEntityEnum(TitledModelEnum):
         except ValueError as e:
             raise ValueError(f'Trying register entity "{entity.__name__}". {e.args[0]}')
 
-        setattr(cls, key, ModelEnumValue(key=key, order_number=order_number, **kwargs))
+        model_enum_value = ModelEnumValue(
+            key=key,
+            title=title,
+            entity=entity,
+            main_model_enum=main_model_enum,
+            additional_model_enums=additional_model_enums,
+            order_number=order_number,
+            **kwargs,
+        )
+
+        setattr(cls, key, model_enum_value)

{edu_rdm_integration-3.18.0 → edu_rdm_integration-3.18.2}/src/edu_rdm_integration/rdm_models/models.py

@@ -1,3 +1,6 @@
+from collections import (
+    defaultdict,
+)
 from typing import (
     Optional,
     Type,
@@ -32,6 +35,36 @@ from m3_db_utils.models import (
 class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
     """Базовая модель РВД."""
 
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        auto_now_add=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+    modified = DateTimeField(
+        verbose_name='Дата изменения',
+        auto_now=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['created', 'modified']
+
+    class Meta:
+        abstract = True
+
+
+class BaseMainRDMModel(BaseRDMModel):
+    """Абстрактная основная модель РВД.
+
+    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД.
+    """
+
     collecting_sub_stage = ForeignKey(
         verbose_name='Подэтап сбора данных',
         to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
@@ -49,21 +82,6 @@ class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
         choices=EntityLogOperation.get_choices(),
     )
 
-    created = DateTimeField(
-        verbose_name='Дата создания',
-        auto_now_add=True,
-        null=True,
-        blank=True,
-        db_index=True,
-    )
-    modified = DateTimeField(
-        verbose_name='Дата изменения',
-        auto_now=True,
-        null=True,
-        blank=True,
-        db_index=True,
-    )
-
     @property
     def attrs_for_repr_str(self):
         """Список атрибутов для отображения экземпляра модели."""
@@ -86,71 +104,160 @@ class RDMModelEnum(TitledModelEnum):
         verbose_name_plural = 'Модели-перечисления моделей "Региональной витрины данных"'
 
     @classmethod
-    def _get_model_dependencies(cls, model: Type[BaseRDMModel]) -> list[tuple[str, str]]:
-        """Получение списка зависимостей модели РВД."""
-        model_dependencies = []
+    def _get_model_relations(cls, model: Type['BaseRDMModel']) -> dict[str, str]:
+        """Получение списка связей модели РВД."""
+        model_label_enum_data = cls.get_model_label_enum_data()
+        model_relations = {}
 
         for field in model._meta.concrete_fields:
             if isinstance(field, FictiveForeignKeyField):
-                model_dependencies.append(field.to)
+                model_label = field.to
             elif isinstance(field, ForeignKey):
-                model_dependencies.append(field.related_model._meta.label)
+                model_label = field.related_model._meta.label
+            else:
+                continue
+
+            if model_label in model_label_enum_data:
+                model_key = model_label_enum_data[model_label].key
+                model_relations[field.attname] = model_key
 
-        return model_dependencies
+        return model_relations
 
     @classmethod
-    def _calculate_order_number(
-        cls, order_number: Optional[int], model: Type[BaseRDMModel] = None, *args, **kwargs
-    ) -> int:
-        """Вычисление порядкового номера элемента модели-перечисления.
+    def _get_models_relations(cls) -> dict[str, dict[str, str]]:
+        """Получение списка связей всех зарегистрированных моделей РВД."""
+        model_label_enum_data = cls.get_model_label_enum_data()
+        all_models = [model_enum_value.model for model_enum_value in model_label_enum_data.values()]
 
-        Если order_number указан, то используется он.
+        models_relations = {}
+        for model in all_models:
+            model_key = model_label_enum_data[model._meta.label].key
+            model_relations = cls._get_model_relations(model=model)
 
-        При добавлении новой модели РВД в модель-перечисление производится перерасчет порядковых номеров уже
-        добавленных элементов. Порядок моделей РВД выстраивается по зависимости друг от друга. Зависимость определяется
-        внешними ключами (ForeignKey) и фиктивными внешними ключами (FictiveForeignKey). Сначала идут модели не имеющие
-        зависимостей, затем модели, которые зависят от других моделей. Сортировка моделей РВД происходит по алгоритму
-        топологической сортировки.
-        """
-        if order_number is not None:
-            return super()._calculate_order_number(order_number=order_number)
+            if model_relations:
+                models_relations[model_key] = model_relations
 
-        enum_data = cls._get_enum_data()
-        models = [model, *[model_enum_value.model for model_enum_value in enum_data.values()]]
+        return models_relations
+
+    @classmethod
+    def _sort_models_dependencies(cls, models_dependencies: list[tuple[str, str]]) -> list[str]:
+        """Сортировка моделей РВД по зависимости друг от друга."""
+        sorted_dependencies_models = topological_sort(models_dependencies)
+
+        ordered_models = [*sorted_dependencies_models.cyclic, *reversed(sorted_dependencies_models.sorted)]
+
+        return ordered_models
+
+    @classmethod
+    def _get_ordered_models(cls) -> list[str]:
+        """Получение списка моделей РВД в порядке их зависимости.
+
+        Есть возможность указать дополнительные модели, для которых совместно с зарегистрированными моделями РВД будет
+        рассчитываться порядок.
+
+        Returns:
+            list[str]: список моделей РВД в порядке их зависимости
+        """
+        enum_keys = cls.get_model_enum_keys()
+        models_relations = cls._get_models_relations()
 
         models_dependencies = []
-        for model in models:
-            model_dependencies = cls._get_model_dependencies(model=model)
+        for model_key, model_relations in models_relations.items():
+            for _, related_model_key in model_relations.items():
+                models_dependencies.append((model_key, related_model_key))
 
-            for model_dependency in model_dependencies:
-                models_dependencies.append((model._meta.label, model_dependency))
+        ordered_models = cls._sort_models_dependencies(models_dependencies=models_dependencies)
 
-        sorted_dependencies_models = topological_sort(models_dependencies)
+        without_dependencies = set(enum_keys).difference(set(ordered_models))
 
-        ordered_models = [*sorted_dependencies_models.cyclic, *reversed(sorted_dependencies_models.sorted)]
+        ordered_models = [*without_dependencies, *ordered_models]
 
-        for model_enum_value in enum_data.values():
+        return ordered_models
+
+    @classmethod
+    def _recalculate_order_numbers(cls, *args, **kwargs):
+        """Перерасчет порядковых номеров элементов модели-перечисления.
+
+        При добавлении новой модели РВД в модель-перечисление производится перерасчет порядковых номеров уже
+        добавленных элементов. Порядок моделей РВД выстраивается по зависимости друг от друга. Зависимость определяется
+        внешними ключами (ForeignKey) и фиктивными внешними ключами (FictiveForeignKey). Сначала идут модели не имеющие
+        зависимостей, затем модели, которые зависят от других моделей. Сортировка моделей РВД происходит по алгоритму
+        топологической сортировки.
+        """
+        ordered_model_keys = cls._get_ordered_models()
+
+        for model_enum_value in cls._get_enum_data().values():
             if model_enum_value.is_manual_order_number:
                 try:
-                    manual_index_model = ordered_models[model_enum_value.order_number - 1]
+                    manual_index_model_key = ordered_model_keys[model_enum_value.order_number - 1]
                 except IndexError:
                     continue
 
-                if manual_index_model != model_enum_value.model._meta.label and cls.is_strict_order_number:
+                if manual_index_model_key != model_enum_value.key and cls.is_strict_order_number:
                     raise ValueError(
                         f'Order number "{model_enum_value.order_number}" is already in use in the "{cls.__name__}". '
                         f'Please choose a different one.'
                     )
             else:
-                model_enum_value.order_number = ordered_models.index(model_enum_value.model._meta.label) + 1
+                model_enum_value.order_number = ordered_model_keys.index(model_enum_value.key) + 1
+
+    @classmethod
+    def _calculate_tmp_order_number(cls) -> int:
+        """Вычисление временного порядкового номера элемента модели-перечисления."""
+        order_number_enum_data = cls._get_order_number_enum_data()
+
+        order_numbers = order_number_enum_data.keys()
+        tmp_order_number = max(order_numbers) + 1 if order_number_enum_data else 1
 
-        return ordered_models.index(model._meta.label) + 1
+        return tmp_order_number
+
+    @classmethod
+    def _validate_manual_order_number(cls, order_number: int, model: Type['BaseRDMModel']):
+        """Валидация пользовательского порядкового номера."""
+        ordered_models = cls._get_ordered_models()
+
+        try:
+            manual_index_model = ordered_models[order_number - 1]
+        except IndexError:
+            return
+
+        if manual_index_model != model._meta.label and cls.is_strict_order_number:
+            raise ValueError(
+                f'Order number "{order_number}" is already in use in the "{cls.__name__}". '
+                f'Please choose a different one.'
+            )
+
+    @classmethod
+    def _update_reverse_relations(cls):
+        """Обновление обратных связей моделей РВД.
+
+        У значения модели-перечисления
+        """
+        enum_data = cls._get_enum_data()
+        # Обнуление обратных связей всех моделей
+        for model_enum_value in enum_data.values():
+            model_enum_value.reverse_relations = defaultdict(list)
+
+        models_relations = cls._get_models_relations()
+
+        for model_key, model_relations in models_relations.items():
+            for field_name, related_model_key in model_relations.items():
+                enum_data[related_model_key].reverse_relations[model_key].append(field_name)
+
+    @classmethod
+    def get_model_label_enum_data(cls) -> dict[str, Type['ModelEnumValue']]:
+        """Получение словаря значений модели-перечисления с лейблом модели в качестве значения."""
+        enum_data = cls._get_enum_data()
+
+        model_label_enum_data = {model_value.model._meta.label: model_value for model_value in enum_data.values()}
+
+        return model_label_enum_data
 
     @classmethod
     def extend(
         cls,
         key,
-        model: Type[BaseRDMModel] = None,
+        model: Type['BaseRDMModel'] = None,
         title: str = '',
         creating_trigger_models: tuple = (),
         loggable_models: tuple = (),
@@ -173,18 +280,18 @@ class RDMModelEnum(TitledModelEnum):
             args: порядковые аргументы для модели-перечисления
             kwargs: именованные аргументы для модели-перечисления
         """
+        if key.upper() in cls.get_model_enum_keys():
+            raise ValueError('Model enum value with key "{key}" already exists.')
+
         if model is None:
             raise ValueError(f'Trying extend model "{cls.__name__}". Argument "model" is required.')
 
         is_manual_order_number = order_number is not None
 
-        try:
-            order_number = cls._calculate_order_number(
-                order_number=order_number,
-                model=model,
-            )
-        except ValueError as e:
-            raise ValueError(f'Trying register model "{model.__name__}". {e.args[0]}')
+        if order_number is None:
+            order_number = cls._calculate_tmp_order_number()
+        else:
+            cls._validate_manual_order_number(order_number=order_number, model=model)
 
         model_enum_value = ModelEnumValue(
             key=key,
@@ -194,7 +301,10 @@ class RDMModelEnum(TitledModelEnum):
             loggable_models=loggable_models,
             order_number=order_number,
             is_manual_order_number=is_manual_order_number,
+            reverse_relations=defaultdict(list),
             **kwargs,
         )
-
         setattr(cls, key, model_enum_value)
+
+        cls._recalculate_order_numbers()
+        cls._update_reverse_relations()

{edu_rdm_integration-3.18.0 → edu_rdm_integration-3.18.2}/src/edu_rdm_integration/stages/export_data/models.py

@@ -168,6 +168,11 @@ class RDMExportingDataSubStageStatus(TitledModelEnum):
         verbose_name = 'Модель-перечисление статусов подэтапа выгрузки данных'
         verbose_name_plural = 'Модели-перечисления статусов подэтапов выгрузки данных'
 
+    @classmethod
+    def get_not_finished_statuses(cls):
+        """Получить список статусов, которые не завершены."""
+        return cls.CREATED, cls.IN_PROGRESS, cls.FAILED, cls.READY_FOR_EXPORT, cls.PROCESS_ERROR
+
 
 class RDMExportingDataSubStage(ReprStrPreModelMixin, BaseObjectModel):
     """Подэтап выгрузки данных."""

{edu_rdm_integration-3.18.0 → edu_rdm_integration-3.18.2}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.18.0
+Version: 3.18.2
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse