edu-rdm-integration 3.17.0__tar.gz → 3.18.0__tar.gz

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/CHANGELOG.md

@@ -29,17 +29,56 @@
 ### Удалено
 
 
+## [3.18.0] - 2025-08-29
+
+Добавлено новое приложение `edu_rdm_integration.pipelines.cleanup_outdated_data`, которое необходимо подключить в 
+settings.py в установленные приложения.
+
+Реализован механизм создания уборщиков устаревших данных моделей РВД. Их регистрация производится в модели-перечислении 
+`RDMModelEnum` при вызове метода `extend` в параметре `outdated_data_cleaners`. Запуск уборщиков производится при помощи 
+менеджера, который запускается в команде `rdm_cleanup_outdated_data`. Сама команда используется в качестве ночного 
+скрипта. В менеджере производится обход всех зарегистрированных моделей РВД в модели-перечислении `RDMModelEnum`, при 
+наличии уборщиков они запускаются.
+
+Изменен алгоритм расчета порядкового номера элемента в модели-перечислении `RDMModelEnum`. Теперь, при расширении 
+модели-перечислении производится перерасчет всех порядковых номеров уже зарегистрированных значений, кроме установленных
+вручную. Порядковые номера определяются согласно нахождению в последовательности из моделей, отсортированных по 
+зависимости между собой - от меньшей зависимости к большей. Такое поведение было достигнуто путем указания моделей в 
+фиктивных внешних ключах.
+
+Во всех регистрациях моделей РВД были убраны порядковые номера order_number для автоматического расчета значений. При 
+миграции на данную версию, аналогичную работу будет необходимо проделать на продукте.
+
+Повышены минимальные версии пакетов:
+- educommon>=3.25.0;
+- m3-db-utils>=0.7.0.
+
+### Добавлено
+
+- [EDUDEVOPS-94](https://jira.bars.group/browse/EDUDEVOPS-94)
+  MINOR Топологическая сортировка моделей РВД согласно зависимости между собой.
+
+- [EDUDEVOPS-94](https://jira.bars.group/browse/EDUDEVOPS-94)
+  MINOR Добавлена команда/ночной скрипт rdm_cleanup_outdated_data`.
+
+### Изменено
+
+- [EDUDEVOPS-94](https://jira.bars.group/browse/EDUDEVOPS-94)
+  MINOR Установка значения order_number в элементах RDMModelEnum производится при добавлении в модель перечислении и 
+    пересчитывается при добавлении новых значений.
+
+
 ## [3.17.0] - 2025-01-27
 
 Добавлено предупреждение пользователя о недостаточности данных и новая зависимость m3-ui.
 
 ### Добавлено
   [EDUCLLG-7932](https://jira.bars.group/browse/EDUCLLG-7932)
-- Добавлена зависимость `m3-ui>=2.2.122,<2.3` в `pyproject.toml`
+  MINOR Добавлена зависимость `m3-ui>=2.2.122,<2.3` в `pyproject.toml`
 
 ### Изменено
   [EDUCLLG-7932](https://jira.bars.group/browse/EDUCLLG-7932)
-- Метод `generate` в `generators.py`: изменена логика - вместо создания пустых команд при отсутствии данных теперь возвращается предупреждение
+  MINOR `generate` в `generators.py`: изменена логика - вместо создания пустых команд при отсутствии данных теперь возвращается предупреждение
 
 
 ## [3.16.2] - 2025-08-19

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.17.0
+Version: 3.18.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -27,15 +27,15 @@ Requires-Dist: transliterate<2
 Requires-Dist: Django<5.0,>=3.1
 Requires-Dist: celery<5.3,>=4.4.7
 Requires-Dist: asyncpg==0.23.0
-Requires-Dist: educommon<4,>=3.24.0
+Requires-Dist: educommon<4,>=3.25.0
 Requires-Dist: edu-function-tools<1,>=0.2.0
-Requires-Dist: m3-db-utils<1,>=0.3.10
+Requires-Dist: m3-db-utils<1,>=0.7.0
 Requires-Dist: m3-django-compat<2,>=1.10.2
 Requires-Dist: m3-ui<2.3,>=2.2.122
 Requires-Dist: uploader-client<1,>=0.3.0
 Provides-Extra: dev
 Requires-Dist: isort==5.12.0; extra == "dev"
-Requires-Dist: ruff==0.12.0; extra == "dev"
+Requires-Dist: ruff==0.12.1; extra == "dev"
 Requires-Dist: flake8<7,>=4.0.1; extra == "dev"
 Requires-Dist: pytest<8,>=3.2.5; extra == "dev"
 Requires-Dist: pytest-cov<5; extra == "dev"
@@ -125,6 +125,7 @@ INSTALLED_APPS = (
     'edu_rdm_integration.core.registry',
     'edu_rdm_integration.rdm_entities',
     'edu_rdm_integration.rdm_models',
+    'edu_rdm_integration.pipelines.cleanup_outdated_data',
     'edu_rdm_integration.pipelines.transfer',
     'edu_rdm_integration.stages.collect_data',
     'edu_rdm_integration.stages.export_data',

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/README.md

@@ -77,6 +77,7 @@ INSTALLED_APPS = (
     'edu_rdm_integration.core.registry',
     'edu_rdm_integration.rdm_entities',
     'edu_rdm_integration.rdm_models',
+    'edu_rdm_integration.pipelines.cleanup_outdated_data',
     'edu_rdm_integration.pipelines.transfer',
     'edu_rdm_integration.stages.collect_data',
     'edu_rdm_integration.stages.export_data',

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/pyproject.toml

@@ -22,9 +22,9 @@ dependencies = [
     'Django>=3.1,<5.0',
     'celery>=4.4.7,<5.3',
     'asyncpg==0.23.0',
-    'educommon>=3.24.0,<4',
+    'educommon>=3.25.0,<4',
     'edu-function-tools>=0.2.0,<1',
-    'm3-db-utils>=0.3.10,<1',
+    'm3-db-utils>=0.7.0,<1',
     'm3-django-compat>=1.10.2,<2',
     'm3-ui>=2.2.122,<2.3',
     'uploader-client>=0.3.0,<1',
@@ -55,7 +55,7 @@ Repository = 'https://stash.bars-open.ru/scm/edubase/edu-rdm-integration.git'
 [project.optional-dependencies]
 dev = [
     'isort==5.12.0',
-    'ruff==0.12.0',
+    'ruff==0.12.1',
     'flake8>=4.0.1,<7',
     'pytest>=3.2.5,<8',
     'pytest-cov<5',

edu_rdm_integration-3.18.0/src/edu_rdm_integration/models.py

@@ -0,0 +1 @@
+# Модели

edu_rdm_integration-3.18.0/src/edu_rdm_integration/pipelines/cleanup_outdated_data/apps.py

@@ -0,0 +1,11 @@
+from django.apps import (
+    AppConfig,
+)
+
+
+class RDMCleanupOutdatedDataAppConfig(AppConfig):
+    """Приложение для организации процесса очистки устаревших данных РВД."""
+
+    name = 'edu_rdm_integration.pipelines.cleanup_outdated_data'
+    label = 'edu_rdm_integration_cleanup_outdated_data_pipeline'
+    verbose_name = 'Приложение для организации процесса очистки устаревших данных РВД.'

edu_rdm_integration-3.18.0/src/edu_rdm_integration/pipelines/cleanup_outdated_data/management/commands/rdm_cleanup_outdated_data.py

@@ -0,0 +1,20 @@
+from django.core.management import (
+    BaseCommand,
+)
+
+from edu_rdm_integration.stages.service.model_outdated_data.managers import (
+    ModelOutdatedDataCleanerManager,
+)
+
+
+class Command(BaseCommand):
+    """Ночная команда для очистки устаревших данных РВД."""
+
+    nightly_script = True
+
+    help = 'Ночная команда для очистки устаревших данных РВД.'
+
+    def handle(self, *args, **options):
+        """Запуск очистки устаревших данных РВД."""
+        model_data_cleaner_manager = ModelOutdatedDataCleanerManager()
+        model_data_cleaner_manager.run()

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/rdm_entities/models.py

@@ -1,3 +1,11 @@
+from typing import (
+    Optional,
+    Type,
+)
+
+from educommon.integration_entities.entities import (
+    BaseEntity,
+)
 from m3_db_utils.models import (
     ModelEnumValue,
     TitledModelEnum,
@@ -61,3 +69,37 @@ class RDMEntityEnum(TitledModelEnum):
             model_enums = sorted(model_enums, key=lambda value: value.order_number)
 
         return model_enums
+
+    @classmethod
+    def extend(
+        cls,
+        key,
+        title: str = '',
+        entity: Type[BaseEntity] = None,
+        main_model_enum: tuple = (),
+        additional_model_enums: tuple = (),
+        order_number: Optional[int] = None,
+        *args,
+        **kwargs,
+    ):
+        """Метод расширения модели-перечисления, например из плагина.
+
+        Необходимо, чтобы сама модель-перечисление была расширяемой. Для этого необходимо, чтобы был установлен
+        extensible = True в Meta.
+
+        Args:
+            key: ключ элемента перечисления, указывается заглавными буквами с разделителем нижнее подчеркивание
+            title: название элемента перечисления
+            entity: сущность, регистрируемая в модели-перечислении
+            main_model_enum: основная модель РВД из модели-перечисления
+            additional_model_enums: дополнительные модели РВД из модели-перечисления
+            order_number: порядковый номер значения модели перечисления используемый при сортировке
+            args: порядковые аргументы для создания значения модели перечисления
+            kwargs: именованные аргументы для создания значения модели перечисления
+        """
+        try:
+            order_number = cls._calculate_order_number(order_number=order_number)
+        except ValueError as e:
+            raise ValueError(f'Trying register entity "{entity.__name__}". {e.args[0]}')
+
+        setattr(cls, key, ModelEnumValue(key=key, order_number=order_number, **kwargs))

edu_rdm_integration-3.18.0/src/edu_rdm_integration/rdm_models/models.py

@@ -0,0 +1,200 @@
+from typing import (
+    Optional,
+    Type,
+)
+
+from django.db.models import (
+    CASCADE,
+    DateTimeField,
+    ForeignKey,
+    SmallIntegerField,
+)
+from m3.db import (
+    BaseObjectModel,
+)
+
+from educommon.django.db.mixins import (
+    ReprStrPreModelMixin,
+)
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
+from educommon.utils.seqtools import (
+    topological_sort,
+)
+from m3_db_utils.models import (
+    FictiveForeignKeyField,
+    ModelEnumValue,
+    TitledModelEnum,
+)
+
+
+class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
+    """Базовая модель РВД."""
+
+    collecting_sub_stage = ForeignKey(
+        verbose_name='Подэтап сбора данных',
+        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
+        on_delete=CASCADE,
+    )
+    exporting_sub_stage = ForeignKey(
+        verbose_name='Подэтап выгрузки данных',
+        to='edu_rdm_integration_export_data_stage.RDMExportingDataSubStage',
+        blank=True,
+        null=True,
+        on_delete=CASCADE,
+    )
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        auto_now_add=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+    modified = DateTimeField(
+        verbose_name='Дата изменения',
+        auto_now=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['collecting_sub_stage', 'exporting_sub_stage', 'operation', 'created', 'modified']
+
+    class Meta:
+        abstract = True
+
+
+class RDMModelEnum(TitledModelEnum):
+    """Модель-перечисление моделей "Региональная витрина данных"."""
+
+    is_strict_order_number = True
+    """Флаг, указывающий на уникальность порядкового номера элементов модели-перечисления."""
+
+    class Meta:
+        db_table = 'rdm_model'
+        extensible = True
+        verbose_name = 'Модель-перечисление моделей "Региональной витрины данных"'
+        verbose_name_plural = 'Модели-перечисления моделей "Региональной витрины данных"'
+
+    @classmethod
+    def _get_model_dependencies(cls, model: Type[BaseRDMModel]) -> list[tuple[str, str]]:
+        """Получение списка зависимостей модели РВД."""
+        model_dependencies = []
+
+        for field in model._meta.concrete_fields:
+            if isinstance(field, FictiveForeignKeyField):
+                model_dependencies.append(field.to)
+            elif isinstance(field, ForeignKey):
+                model_dependencies.append(field.related_model._meta.label)
+
+        return model_dependencies
+
+    @classmethod
+    def _calculate_order_number(
+        cls, order_number: Optional[int], model: Type[BaseRDMModel] = None, *args, **kwargs
+    ) -> int:
+        """Вычисление порядкового номера элемента модели-перечисления.
+
+        Если order_number указан, то используется он.
+
+        При добавлении новой модели РВД в модель-перечисление производится перерасчет порядковых номеров уже
+        добавленных элементов. Порядок моделей РВД выстраивается по зависимости друг от друга. Зависимость определяется
+        внешними ключами (ForeignKey) и фиктивными внешними ключами (FictiveForeignKey). Сначала идут модели не имеющие
+        зависимостей, затем модели, которые зависят от других моделей. Сортировка моделей РВД происходит по алгоритму
+        топологической сортировки.
+        """
+        if order_number is not None:
+            return super()._calculate_order_number(order_number=order_number)
+
+        enum_data = cls._get_enum_data()
+        models = [model, *[model_enum_value.model for model_enum_value in enum_data.values()]]
+
+        models_dependencies = []
+        for model in models:
+            model_dependencies = cls._get_model_dependencies(model=model)
+
+            for model_dependency in model_dependencies:
+                models_dependencies.append((model._meta.label, model_dependency))
+
+        sorted_dependencies_models = topological_sort(models_dependencies)
+
+        ordered_models = [*sorted_dependencies_models.cyclic, *reversed(sorted_dependencies_models.sorted)]
+
+        for model_enum_value in enum_data.values():
+            if model_enum_value.is_manual_order_number:
+                try:
+                    manual_index_model = ordered_models[model_enum_value.order_number - 1]
+                except IndexError:
+                    continue
+
+                if manual_index_model != model_enum_value.model._meta.label and cls.is_strict_order_number:
+                    raise ValueError(
+                        f'Order number "{model_enum_value.order_number}" is already in use in the "{cls.__name__}". '
+                        f'Please choose a different one.'
+                    )
+            else:
+                model_enum_value.order_number = ordered_models.index(model_enum_value.model._meta.label) + 1
+
+        return ordered_models.index(model._meta.label) + 1
+
+    @classmethod
+    def extend(
+        cls,
+        key,
+        model: Type[BaseRDMModel] = None,
+        title: str = '',
+        creating_trigger_models: tuple = (),
+        loggable_models: tuple = (),
+        order_number: Optional[int] = None,
+        *args,
+        **kwargs,
+    ):
+        """Метод расширения модели-перечисления, например из плагина.
+
+        Необходимо, чтобы сама модель-перечисление была расширяемой. Для этого необходимо, чтобы был установлен
+        extensible = True в Meta.
+
+        Args:
+            key: ключ элемента перечисления, указывается заглавными буквами с разделителем нижнее подчеркивание
+            title: название элемента перечисления
+            model: модель, регистрируемая в модели-перечислении
+            creating_trigger_models: модели продукта, которые инициируют создание записей модели РВД
+            loggable_models: модели продукта, отслеживаемые в логах
+            order_number: порядковый номер значения модели перечисления используемый при сортировке
+            args: порядковые аргументы для модели-перечисления
+            kwargs: именованные аргументы для модели-перечисления
+        """
+        if model is None:
+            raise ValueError(f'Trying extend model "{cls.__name__}". Argument "model" is required.')
+
+        is_manual_order_number = order_number is not None
+
+        try:
+            order_number = cls._calculate_order_number(
+                order_number=order_number,
+                model=model,
+            )
+        except ValueError as e:
+            raise ValueError(f'Trying register model "{model.__name__}". {e.args[0]}')
+
+        model_enum_value = ModelEnumValue(
+            key=key,
+            model=model,
+            title=title,
+            creating_trigger_models=creating_trigger_models,
+            loggable_models=loggable_models,
+            order_number=order_number,
+            is_manual_order_number=is_manual_order_number,
+            **kwargs,
+        )
+
+        setattr(cls, key, model_enum_value)

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/collect_data/functions/base/helpers.py

@@ -2,6 +2,7 @@ from edu_function_tools.helpers import (
     EduFunctionHelper,
     EduRunnerHelper,
 )
+
 from edu_rdm_integration.core.operations import (
     ALL_OPERATIONS,
     UPDATED_OPERATIONS,

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/collect_data/functions/base/mixins.py

@@ -58,6 +58,7 @@ if TYPE_CHECKING:
     from edu_function_tools.caches import (
         EduEntityCache,
     )
+
     from edu_rdm_integration.rdm_models.models import (
         BaseRDMModel,
     )

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/collect_data/functions/base/runners.py

@@ -2,13 +2,12 @@ from django.conf import (
     settings,
 )
 
-from educommon.utils.seqtools import (
-    make_chunks,
-)
-
 from edu_function_tools.runners import (
     EduRunner,
 )
+from educommon.utils.seqtools import (
+    make_chunks,
+)
 
 
 class BaseCollectingDataRunner(EduRunner):

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/collect_data/functions/calculated/strategies.py

@@ -5,6 +5,7 @@ from typing import (
 from edu_function_tools.strategies import (
     EduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 )
+
 from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
 )

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/collect_data/functions/non_calculated/strategies.py

@@ -5,6 +5,7 @@ from typing import (
 from edu_function_tools.strategies import (
     EduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 )
+
 from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
 )

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/collect_data/models.py

@@ -17,9 +17,6 @@ from django.db.models import (
 from django.utils import (
     timezone,
 )
-from edu_function_tools.models import (
-    EduEntity,
-)
 from m3.db import (
     BaseObjectModel,
 )
@@ -175,13 +172,13 @@ class RDMCollectingDataSubStage(ReprStrPreModelMixin, BaseObjectModel):
     """Подэтап сбора данных для сущностей в рамках функции."""
 
     stage = ForeignKey(
-        to=RDMCollectingDataStage,
+        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataStage',
         verbose_name='Этап сбора данных',
         on_delete=PROTECT,
     )
 
     function = ForeignKey(
-        to=EduEntity,
+        to='function_tools.Entity',
         verbose_name='Функция',
         on_delete=PROTECT,
     )

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/collect_data/operations.py

@@ -17,15 +17,15 @@ from django.utils import (
     timezone,
 )
 
+from edu_function_tools.managers import (
+    EduRunnerManager,
+)
 from educommon import (
     logger,
 )
 from educommon.utils.date import (
     get_today_min_datetime,
 )
-from edu_function_tools.managers import (
-    EduRunnerManager,
-)
 from m3_db_utils.consts import (
     DEFAULT_ORDER_NUMBER,
 )
@@ -80,8 +80,9 @@ class BaseCollectModelsData(BaseOperationData):
         super().__init__(**kwargs)
 
         # Если модели не указаны, берется значение по умолчанию - все модели:
-        models = models if models else RDMModelEnum.get_enum_data().keys()
-        self.models: list[ModelEnumValue] = [RDMModelEnum.get_model_enum_value(model) for model in models]
+        model_enum_data = RDMModelEnum.get_enum_data()
+        models = models if models else model_enum_data.keys()
+        self.models: list[ModelEnumValue] = [v for k, v in model_enum_data.items() if k in models]
 
         self.logs_period_started_at = logs_period_started_at
         self.logs_period_ended_at = logs_period_ended_at

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/export_data/functions/base/caches.py

@@ -1,5 +1,5 @@
-from educommon.integration_entities.entities import (
-    BaseEntity,
+from typing_extensions import (
+    TYPE_CHECKING,
 )
 
 from edu_function_tools.caches import (
@@ -8,6 +8,12 @@ from edu_function_tools.caches import (
 )
 
 
+if TYPE_CHECKING:
+    from educommon.integration_entities.entities import (
+        BaseEntity,
+    )
+
+
 class BaseExportDataRunnerCacheStorage(EduRunnerCacheStorage):
     """Базовый кеш помощников ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
@@ -15,7 +21,7 @@ class BaseExportDataRunnerCacheStorage(EduRunnerCacheStorage):
 class BaseExportDataFunctionCacheStorage(EduFunctionCacheStorage):
     """Базовый кеш помощников функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
-    def _prepare_entity_instances(self, model_ids, *args, **kwargs) -> list[BaseEntity]:
+    def _prepare_entity_instances(self, model_ids, *args, **kwargs) -> list['BaseEntity']:
         """Формирование списка объектов сущностей для дальнейшей выгрузки.
 
         Необходимо переопределить логику формирования объектов у потомков.

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/export_data/functions/base/functions.py

@@ -15,6 +15,9 @@ from transliterate import (
     slugify,
 )
 
+from edu_function_tools.functions import (
+    EduLazySavingPredefinedQueueGlobalHelperFunction,
+)
 from educommon import (
     logger,
 )
@@ -25,9 +28,6 @@ from educommon.integration_entities.mixins import (
     EntitiesMixin,
 )
 
-from edu_function_tools.functions import (
-    EduLazySavingPredefinedQueueGlobalHelperFunction,
-)
 from edu_rdm_integration.core.consts import (
     LOGS_DELIMITER,
 )
@@ -236,4 +236,3 @@ class BaseExportDataFunction(
     def get_function_data(self):
         """Возвращает словарь с данными сущностей подготовленных к выгрузке."""
         return self._data
-

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/export_data/functions/base/runners.py

@@ -1,6 +1,7 @@
 from edu_function_tools.runners import (
     EduRunner,
 )
+
 from edu_rdm_integration.stages.export_data.functions.base.helpers import (
     BaseExportDataRunnerHelper,
 )

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/export_data/functions/base/tests.py

@@ -80,6 +80,7 @@ class BaseExportTestCase(TestCase):
 
     @classmethod
     def tearDownClass(cls) -> None:
+        """Удаляет временные директории."""
         try:
             shutil.rmtree(TEST_DIR)
         except OSError:
@@ -120,8 +121,7 @@ class BaseExportManagerTestCase(BaseExportTestCase):
             period_ended_at=self.export_period_ended_at,
         ).first()
         exported_data_substage = ExportingDataSubStage.objects.filter(
-            function_id=function_tools_entities[EduEntityType.FUNCTION.key],
-            stage=exported_data_stage
+            function_id=function_tools_entities[EduEntityType.FUNCTION.key], stage=exported_data_stage
         ).first()
 
         return exported_data_stage, exported_data_substage
@@ -153,10 +153,7 @@ class BaseExportFunctionTestCase(BaseExportTestCase):
     @override_settings(MEDIA_ROOT=(TEST_DIR + '/media'))
     def run_exporting_function(self, exporting_stage: ExportingDataStage, model_ids: list[int]) -> dict:
         """Запускает функцию экспорта."""
-        exporting_function = self.export_function(
-            stage=exporting_stage,
-            model_ids=model_ids
-        )
+        exporting_function = self.export_function(stage=exporting_stage, model_ids=model_ids)
         exporting_function.run()
 
         return exporting_function.get_function_data()

{edu_rdm_integration-3.17.0 → edu_rdm_integration-3.18.0}/src/edu_rdm_integration/stages/export_data/strategies.py

@@ -5,6 +5,7 @@ from typing import (
 from edu_function_tools.strategies import (
     EduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 )
+
 from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
 )

edu_rdm_integration-3.18.0/src/edu_rdm_integration/stages/service/model_outdated_data/cleaners.py

@@ -0,0 +1,26 @@
+from abc import (
+    ABCMeta,
+    abstractmethod,
+)
+from typing import (
+    TYPE_CHECKING,
+)
+
+
+if TYPE_CHECKING:
+    from m3_db_utils.models import (
+        ModelEnumValue,
+    )
+
+
+class BaseModelOutdatedDataCleaner(metaclass=ABCMeta):
+    """Базовый класс уборщика устаревших данных моделей РВД."""
+
+    def __init__(self, model_enum_value: 'ModelEnumValue', *args, **kwargs):
+        self._model_enum_value = model_enum_value
+
+        super().__init__(*args, **kwargs)
+
+    @abstractmethod
+    def run(self):
+        """Запуск очистки устаревших данных."""