edu-rdm-integration 3.21.0__py3-none-any.whl → 3.22.1__py3-none-any.whl

edu_rdm_integration/pipelines/cleanup_outdated_data/management/commands/rdm_cleanup_outdated_data.py

@@ -11,6 +11,9 @@ from edu_rdm_integration.rdm_models.models import (
 from edu_rdm_integration.stages.service.model_outdated_data.managers import (
     ModelOutdatedDataCleanerManager,
 )
+from edu_rdm_integration.stages.service.service_outdated_data.managers import (
+    ServiceOutdatedDataCleanerManager,
+)
 
 
 class Command(BaseCommand):
@@ -33,10 +36,26 @@ class Command(BaseCommand):
             '--models',
             action='store',
             dest='models',
-            type=lambda ml: [m.strip().upper() for m in ml.strip().split(',')] if ml else None,
+            type=lambda ml: [m.strip().upper() for m in ml.split(',')] if ml else None,
             help=models_help_text,
         )
 
+        # Аргумент для сервисных стадий
+        stages_help_text = (
+            'Значением параметра является перечисление стадий сервисных данных, '
+            'для которых должна быть произведена зачистка устаревших данных. '
+            'Перечисление этапов: collect, export, upload. '
+            'Если стадии не указываются, то зачистка будет произведена для всех стадий. '
+            'Стадии перечисляются через запятую без пробелов.'
+        )
+        parser.add_argument(
+            '--stages',
+            action='store',
+            dest='stages',
+            type=lambda st: [s.strip().lower() for s in st.split(',')] if st else None,
+            help=stages_help_text,
+        )
+
         parser.add_argument(
             '--safe',
             action='store_true',
@@ -62,7 +81,19 @@ class Command(BaseCommand):
         )
         model_data_cleaner_manager.run()
 
+    def _cleanup_service_outdated_data(self, options):
+        """Очистка устаревших данных сервисных моделей РВД."""
+        service_data_cleaner_manager = ServiceOutdatedDataCleanerManager(
+            stages=options['stages'],
+            safe=options['safe'],
+            log_sql=options['log_sql'],
+        )
+        service_data_cleaner_manager.run()
+
     def handle(self, *args, **options):
         """Запуск очистки устаревших данных РВД."""
         if settings.RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA:
             self._cleanup_model_outdated_data(options)
+
+        if settings.RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA:
+            self._cleanup_service_outdated_data(options)

edu_rdm_integration/stages/collect_data/migrations/0005_alter_rdmcollectingdatasubstage_previous.py

@@ -0,0 +1,22 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:17
+
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_collect_data_stage', '0004_auto_20250704_0825'),
+    ]
+
+    operations = [
+        migrations.AlterField(
+            model_name='rdmcollectingdatasubstage',
+            name='previous',
+            field=models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='edu_rdm_integration_collect_data_stage.rdmcollectingdatasubstage', verbose_name='Предыдущий сбор данных'),
+        ),
+    ]

edu_rdm_integration/stages/collect_data/migrations/0006_fix_fk_constraints.py

@@ -0,0 +1,59 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:43
+
+from django.db import (
+    migrations,
+)
+
+from edu_rdm_integration.stages.utils import (
+    update_foreign_key_constraint,
+)
+
+
+def apply_fk_updates(apps, schema_editor):
+    """
+    Применяет обновления внешних ключей для конкретных моделей.
+
+    Здесь задаются таблицы и поведение при удалении записей,
+    чтобы синхронизировать фактическое состояние БД с логикой моделей.
+    """
+    RDMCollectingDataSubStage = apps.get_model('edu_rdm_integration_collect_data_stage', 'RDMCollectingDataSubStage')
+    RDMCollectingDataStage = apps.get_model('edu_rdm_integration_collect_data_stage', 'RDMCollectingDataStage')
+
+    # Модель: RDMCollectingDataSubStage
+    # Поле previous_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMCollectingDataSubStage._meta.db_table,
+        field_name="previous_id",
+        target_table=RDMCollectingDataSubStage._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+    RDMCollectingDataCommandProgress = apps.get_model('edu_rdm_integration_collect_data_stage', 'RDMCollectingDataCommandProgress')
+    # Модель: RDMCollectingDataCommandProgress
+    # Поле stage_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMCollectingDataCommandProgress._meta.db_table,
+        field_name="stage_id",
+        target_table=RDMCollectingDataStage._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+    # Таблица: rdm_collecting_data_command_progress
+    # Поле stage_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name='rdm_collecting_data_command_progress',
+        field_name="stage_id",
+        target_table=RDMCollectingDataStage._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_collect_data_stage', '0005_alter_rdmcollectingdatasubstage_previous'),
+    ]
+
+    operations = [
+        migrations.RunPython(apply_fk_updates, reverse_code=migrations.RunPython.noop),
+    ]

edu_rdm_integration/stages/collect_data/registry/actions.py

@@ -278,4 +278,4 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             )
             for command in commands_to_save
         ]
-        self.model.objects.bulk_create(objs, batch_size=settings.COLLECT_PROGRESS_BATCH_SIZE)
+        self.model.objects.bulk_create(objs, batch_size=settings.RDM_COLLECT_PROGRESS_BATCH_SIZE)

edu_rdm_integration/stages/export_data/migrations/0003_fix_fk_constraints.py

@@ -0,0 +1,76 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:44
+
+from django.db import (
+    migrations,
+)
+
+from edu_rdm_integration.stages.utils import (
+    update_foreign_key_constraint,
+)
+
+
+def apply_fk_updates(apps, schema_editor):
+    """
+    Применяет обновления внешних ключей для конкретных моделей.
+
+    Здесь задаются таблицы и поведение при удалении записей,
+    чтобы синхронизировать фактическое состояние БД с логикой моделей.
+    """
+    RDMExportingDataSubStage = apps.get_model('edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStage')
+    RDMExportingDataStage = apps.get_model('edu_rdm_integration_export_data_stage', 'RDMExportingDataStage')
+
+    RDMExportingDataSubStageAttachment = apps.get_model(
+        'edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStageAttachment'
+    )
+    # Модель: RDMExportingDataSubStageAttachment
+    # Поле exporting_data_sub_stage_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageAttachment._meta.db_table,
+        field_name='exporting_data_sub_stage_id',
+        target_table=RDMExportingDataSubStage._meta.db_table,
+        on_delete='CASCADE',
+    )
+
+    RDMExportingDataSubStageEntity = apps.get_model(
+        'edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStageEntity'
+    )
+    # Модель: CollectDataCommandProgress
+    # Поле exporting_data_sub_stage_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageEntity._meta.db_table,
+        field_name='exporting_data_sub_stage_id',
+        target_table=RDMExportingDataSubStage._meta.db_table,
+        on_delete='CASCADE',
+    )
+
+    RDMExportingDataCommandProgress = apps.get_model(
+        'edu_rdm_integration_export_data_stage', 'RDMExportingDataCommandProgress'
+    )
+    # Модель: RDMExportingDataCommandProgress
+    # Поле stage_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataCommandProgress._meta.db_table,
+        field_name='stage_id',
+        target_table=RDMExportingDataStage._meta.db_table,
+        on_delete='SET NULL',
+    )
+
+    # Таблица: rdm_exporting_data_command_progress
+    # Поле stage_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name='rdm_exporting_data_command_progress',
+        field_name="stage_id",
+        target_table=RDMExportingDataStage._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_export_data_stage', '0002_auto_20250704_0810'),
+    ]
+
+    operations = [
+        migrations.RunPython(apply_fk_updates, reverse_code=migrations.RunPython.noop),
+    ]

edu_rdm_integration/stages/service/service_outdated_data/cleaners/base.py

@@ -0,0 +1,214 @@
+from abc import (
+    ABCMeta,
+    abstractmethod,
+)
+
+from django.conf import (
+    settings,
+)
+from django.db import (
+    connection,
+)
+
+from educommon import (
+    logger,
+)
+
+
+class BaseServiceOutdatedDataCleaner(metaclass=ABCMeta):
+    """Базовый класс уборщика устаревших сервисных данных."""
+
+    model = None
+
+    SELECT_RDM_CHUNK_BOUNDED_SQL = """
+        DO $$
+        DECLARE
+            chunk_size INT := {chunk_size};
+            last_id INT := 0;
+            first_id INT;
+            last_chunk_id INT;
+        BEGIN
+            DROP TABLE IF EXISTS rdm_chunk_bounds;
+            CREATE TEMP TABLE rdm_chunk_bounds (
+                chunk_number INT,
+                first_id INT,
+                last_id INT
+            );
+
+            DROP TABLE IF EXISTS tmp_chunk;
+            CREATE TEMP TABLE tmp_chunk (id INT) ON COMMIT DROP;
+
+            WHILE TRUE LOOP
+                TRUNCATE tmp_chunk;
+
+                INSERT INTO tmp_chunk (id)
+                SELECT id
+                FROM {table_name}
+                WHERE id > last_id
+                ORDER BY id
+                LIMIT chunk_size;
+
+                IF NOT FOUND THEN
+                    EXIT;
+                END IF;
+
+                SELECT MIN(id), MAX(id)
+                INTO first_id, last_chunk_id
+                FROM tmp_chunk;
+
+                INSERT INTO rdm_chunk_bounds (chunk_number, first_id, last_id)
+                VALUES (
+                    (SELECT COUNT(*) FROM rdm_chunk_bounds) + 1,
+                    first_id,
+                    last_chunk_id
+                );
+
+                last_id := last_chunk_id;
+            END LOOP;
+        END $$;
+
+        SELECT * FROM rdm_chunk_bounds ORDER BY chunk_number;
+    """
+
+    REMOVE_OUTDATED_DATA_SQL = """
+        WITH deleted_rows AS (
+            DELETE FROM {table_name}
+            WHERE id IN (
+                WITH tbl AS (
+                    SELECT *
+                    FROM {table_name}
+                    WHERE id >= {first_id}
+                        AND id <= {last_id}
+                )
+                SELECT tbl.id
+                FROM tbl
+                WHERE {conditions}
+            )
+            RETURNING id
+        )
+        SELECT COUNT(*) AS deleted_count FROM deleted_rows;
+    """
+
+    def __init__(
+        self,
+        *args,
+        safe: bool = False,
+        log_sql: bool = False,
+        **kwargs
+    ):
+        """Инициализация уборщика."""
+        self._safe = safe
+        self._log_sql = log_sql
+        self._deleted_count = 0
+
+        super().__init__(*args, **kwargs)
+
+    @abstractmethod
+    def get_merged_conditions(self) -> str:
+        """Возвращает условия для удаления устаревших данных."""
+
+    @classmethod
+    def get_table_name(cls) -> str:
+        """Возвращает имя таблицы в базе данных."""
+        if cls.model is None:
+            raise NotImplementedError('Необходимо задать атрибут "model"')
+        return cls.model._meta.db_table
+
+    def get_orphan_reference_condition(
+        self,
+        reference_table: str,
+        reference_field: str,
+        local_field: str = 'id'
+    ) -> str:
+        """Условие проверки отсутствия записей в связанной таблице."""
+        return f"""
+            NOT EXISTS (
+                SELECT 1
+                FROM {reference_table} ref
+                WHERE ref.{reference_field} = tbl.{local_field}
+            )
+        """
+
+    def get_status_condition(
+        self,
+        related_table: str,
+        related_field: str,
+        status_value: str,
+        days: int,
+        local_field: str = 'id'
+    ) -> str:
+        """Условие проверки записи с заданным статусом и возрастом."""
+        return f"""
+            EXISTS (
+                SELECT 1
+                FROM {related_table} sub
+                WHERE sub.{related_field} = tbl.{local_field}
+                  AND sub.status_id = '{status_value}'
+                  AND sub.ended_at <= NOW() - INTERVAL '{days} days'
+            )
+        """
+
+    def get_chunk_bounds(self):
+        """Возвращает границы чанков для текущей таблицы."""
+        sql = self.SELECT_RDM_CHUNK_BOUNDED_SQL.format(
+            table_name=self.get_table_name(),
+            chunk_size=settings.CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE,
+        )
+        with connection.cursor() as cursor:
+            cursor.execute(sql)
+            return cursor.fetchall()
+
+    def _log_query(self, sql: str):
+        """Логирует SQL-запрос."""
+        try:
+            import sqlparse
+            sql = sqlparse.format(sql, reindent=True, strip_comments=True)
+        except ImportError:
+            pass
+
+        logger.info(
+            f'Запрос для удаления устаревших данных модели {self.get_table_name()}:\n{sql}\n'
+        )
+
+    def _execute_delete_sql(self, delete_sql: str) -> int:
+        """Выполняет SQL-запрос на удаление (или только логирует в safe-режиме)."""
+        deleted = 0
+        if self._log_sql:
+            self._log_query(delete_sql)
+
+        if self._safe:
+            logger.info(
+                f'Безопасный режим включен — запрос удаления для {self.get_table_name()} не выполнен.'
+            )
+            return 0
+        else:
+            with connection.cursor() as cursor:
+                cursor.execute(delete_sql)
+                result = cursor.fetchone()
+                deleted = result[0] if result else 0
+
+        return deleted
+
+    def run(self):
+        """Запуск очистки данных."""
+        conditions = self.get_merged_conditions()
+
+        # Разделяем по чанкам
+        chunk_bounded = self.get_chunk_bounds()
+        for chunk_number, first_id, last_id in chunk_bounded:
+            while True:
+                delete_sql = self.REMOVE_OUTDATED_DATA_SQL.format(
+                    table_name=self.get_table_name(),
+                    first_id=first_id,
+                    last_id=last_id,
+                    conditions=conditions,
+                )
+                deleted = self._execute_delete_sql(delete_sql)
+                self._deleted_count += deleted
+
+                if deleted < self.chunk_size:
+                    break
+
+        logger.info(
+            f'Удалено устаревших записей сервисной модели {self.model.__name__}: {self._deleted_count}'
+        )

edu_rdm_integration/stages/service/service_outdated_data/cleaners/collect_data.py

@@ -0,0 +1,126 @@
+from typing import (
+    Optional,
+)
+
+from django.core.exceptions import (
+    FieldDoesNotExist,
+)
+from django.db.models import (
+    Subquery,
+)
+
+from edu_rdm_integration.rdm_models.models import (
+    RDMModelEnum,
+)
+from edu_rdm_integration.stages.collect_data.models import (
+    RDMCollectingDataCommandProgress,
+    RDMCollectingDataStage,
+    RDMCollectingDataSubStage,
+)
+from educommon.utils.seqtools import (
+    make_chunks,
+)
+
+from web_edu.plugins.regional_data_mart_integration.models import (
+    LessonClass,
+)
+
+from .base import (
+    BaseServiceOutdatedDataCleaner,
+)
+from .consts import (
+    OLD_RDM_MODEL,
+    UNION_CHUNK_SIZE,
+)
+
+
+class CollectingDataSubStageCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка подэтапов сбора данных, которые не ссылаются ни на одну модель РВД.
+
+    Подход:
+        - Проходим по всем моделям, зарегистрированным в RDMModelEnum, и собираем
+            значения полей collecting_sub_stage_id (если модель содержит такое поле).
+        - Объединяем запросы по моделям в UNION, получая набор валидных id.
+        - Удаляем те подэтапы, id которых отсутствуют в полученном наборе.
+    """
+
+    model = RDMCollectingDataSubStage
+
+    def _get_valid_substage_ids_subquery(self) -> Optional[Subquery]:
+        """Подзапрос, возвращающий все допустимые collecting_sub_stage_id из моделей, описанных в RDMModelEnum."""
+        model_enum_values = RDMModelEnum.get_model_enum_values()
+        all_model = [model_enum.model for model_enum in model_enum_values] + OLD_RDM_MODEL
+        chunk_queries = []
+
+        for enum_values_chunk in make_chunks(all_model, UNION_CHUNK_SIZE, is_list=True):
+            qs_list = []
+            for model_cls in enum_values_chunk:
+                if model_cls in [LessonClass]:
+                    continue
+                try:
+                    model_cls._meta.get_field('collecting_sub_stage_id')
+                except FieldDoesNotExist:
+                    continue
+
+                qs_list.append(model_cls.objects.values('collecting_sub_stage_id'))
+
+            if qs_list:
+                chunk_union = qs_list[0].union(*qs_list[1:])
+                chunk_queries.append(chunk_union)
+
+        if not chunk_queries:
+            return
+
+        # Объединяем все чанки в один общий UNION
+        full_union = chunk_queries[0].union(*chunk_queries[1:])
+
+        return Subquery(full_union)
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных.
+
+         Удаляем подэтапы, которых нет в объединённом наборе валидных collecting_sub_stage_id
+        (т.е. подэтапы, не используемые ни одной моделью данных).
+        """
+        conditions = ''
+        subquery = self._get_valid_substage_ids_subquery()
+        if subquery:
+            conditions = f"""
+                NOT EXISTS (
+                    SELECT collecting_sub_stage_id
+                    FROM ({str(subquery.query)}) AS valid
+                    WHERE valid.collecting_sub_stage_id = tbl.id
+                )
+            """
+
+        return conditions
+
+
+class CollectingDataStageCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка этапов сбора данных, у которых нет связанных подэтапов."""
+
+    model = RDMCollectingDataStage
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        sub_stage_table = CollectingDataSubStageCleaner.get_table_name()
+
+        return self.get_orphan_reference_condition(sub_stage_table, 'stage_id')
+
+
+class CollectingDataCommandProgressCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка устаревших хранящихся задач по сбору данных."""
+
+    model = RDMCollectingDataCommandProgress
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        stage_table = CollectingDataStageCleaner.get_table_name()
+        conditions = [
+            'stage_id IS NULL',
+            f'({self.get_status_condition(stage_table, "id", "FINISHED", 7, "stage_id")})',
+            f'({self.get_status_condition(stage_table, "id", "FAILED", 30, "stage_id")})',
+            f'({self.get_orphan_reference_condition(stage_table, "id", "stage_id")})',
+        ]
+
+        return " OR ".join(conditions)

edu_rdm_integration/stages/service/service_outdated_data/cleaners/consts.py

@@ -0,0 +1,12 @@
+from web_edu.plugins.regional_data_mart_integration.models.homework import Homework
+from web_edu.plugins.regional_data_mart_integration.models.homework_material import HomeworkMaterial
+from web_edu.plugins.regional_data_mart_integration.models.homework_student import HomeworkStudent
+
+
+UNION_CHUNK_SIZE = 5
+
+OLD_RDM_MODEL = [
+    HomeworkStudent,
+    HomeworkMaterial,
+    Homework,
+]

edu_rdm_integration/stages/service/service_outdated_data/cleaners/export_data.py

@@ -0,0 +1,154 @@
+from typing import (
+    Optional,
+)
+
+from django.core.exceptions import (
+    FieldDoesNotExist,
+)
+from django.db.models import (
+    Subquery,
+)
+
+from edu_rdm_integration.rdm_models.models import (
+    RDMModelEnum,
+)
+from edu_rdm_integration.stages.export_data.models import (
+    RDMExportingDataCommandProgress,
+    RDMExportingDataStage,
+    RDMExportingDataSubStage,
+    RDMExportingDataSubStageAttachment,
+    RDMExportingDataSubStageEntity,
+)
+from educommon.utils.seqtools import (
+    make_chunks,
+)
+
+from .base import (
+    BaseServiceOutdatedDataCleaner,
+)
+from .consts import (
+    OLD_RDM_MODEL,
+    UNION_CHUNK_SIZE,
+)
+
+
+class ExportingDataSubStageCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка подэтапов выгрузки данных, которые не ссылаются ни на одну модель РВД.
+
+    Подход:
+        - Проходим по всем моделям, зарегистрированным в RDMModelEnum, и собираем
+            значения полей exporting_sub_stage_id (если модель содержит такое поле).
+        - Объединяем запросы по моделям в UNION, получая набор валидных id.
+        - Удаляем те подэтапы, id которых отсутствуют в полученном наборе.
+    """
+    model = RDMExportingDataSubStage
+
+    def _get_valid_substage_ids_subquery(self) -> Optional[Subquery]:
+        """Подзапрос, возвращающий все допустимые exporting_sub_stage_id из моделей, описанных в RDMModelEnum."""
+        model_enum_values = RDMModelEnum.get_model_enum_values()
+        all_model = [model_enum.model for model_enum in model_enum_values] + OLD_RDM_MODEL
+        chunk_queries = []
+
+        for enum_values_chunk in make_chunks(all_model, UNION_CHUNK_SIZE, is_list=True):
+            qs_list = []
+            for model_cls in enum_values_chunk:
+                try:
+                    model_cls._meta.get_field('exporting_sub_stage_id')
+                except FieldDoesNotExist:
+                    continue
+                qs_list.append(model_cls.objects.values('exporting_sub_stage_id'))
+
+            if qs_list:
+                chunk_union = qs_list[0].union(*qs_list[1:])
+                chunk_queries.append(chunk_union)
+
+        if not chunk_queries:
+            return
+
+        # Объединяем все чанки в один общий UNION
+        full_union = chunk_queries[0].union(*chunk_queries[1:])
+
+        return Subquery(full_union.values('exporting_sub_stage_id'))
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных.
+
+         Удаляем подэтапы, которых нет в объединённом наборе валидных exporting_sub_stage_id
+        (т.е. подэтапы, не используемые ни одной моделью данных).
+        """
+        conditions = ''
+        subquery = self._get_valid_substage_ids_subquery()
+        if subquery:
+           conditions = f"""
+                NOT EXISTS (
+                    SELECT exporting_sub_stage_id
+                    FROM ({str(subquery.query)}) AS valid
+                    WHERE valid.exporting_sub_stage_id = tbl.id
+                )
+            """
+
+        return conditions
+
+
+class ExportingDataStageCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка этапов выгрузки данных без подэтапов."""
+
+    model = RDMExportingDataStage
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        sub_stage_table = ExportingDataSubStageCleaner.get_table_name()
+
+        return self.get_orphan_reference_condition(sub_stage_table, 'stage_id')
+
+
+class ExportingDataSubStageAttachmentCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка вложений подэтапов выгрузки данных."""
+
+    model = RDMExportingDataSubStageAttachment
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        sub_stage_table = ExportingDataSubStageCleaner.get_table_name()
+        conditions = [
+            f'({self.get_status_condition(sub_stage_table, "id", "FINISHED", 7, "exporting_data_sub_stage_id")})',
+            f'({self.get_status_condition(sub_stage_table, "id", "FAILED",30, "exporting_data_sub_stage_id")})',
+            f'({self.get_orphan_reference_condition(sub_stage_table, "id", "exporting_data_sub_stage_id")})',
+        ]
+
+        return ' OR '.join(conditions)
+
+
+class ExportingDataSubStageEntityCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка связей сущности и подэтапов выгрузки данных."""
+
+    model = RDMExportingDataSubStageEntity
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        sub_stage_table = ExportingDataSubStageCleaner.get_table_name()
+        conditions = [
+            f'({self.get_status_condition(sub_stage_table, "id", "FINISHED", 7, "exporting_data_sub_stage_id")})',
+            f'({self.get_status_condition(sub_stage_table, "id", "FAILED",30, "exporting_data_sub_stage_id")})',
+            f'({self.get_orphan_reference_condition(sub_stage_table, "id", "exporting_data_sub_stage_id")})',
+        ]
+
+        return ' OR '.join(conditions)
+
+
+class ExportingDataCommandProgressCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка устаревших хранящихся задач по экспорту данных."""
+
+    model = RDMExportingDataCommandProgress
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        stage_table = ExportingDataStageCleaner.get_table_name()
+        conditions = [
+            'stage_id IS NULL',
+            f'({self.get_status_condition(stage_table, "id", "FINISHED", 7, "stage_id")})',
+            f'({self.get_status_condition(stage_table, "id", "FAILED",30, "stage_id")})',
+            f'({self.get_orphan_reference_condition(stage_table, "id", "stage_id")})',
+        ]
+
+        return ' OR '.join(conditions)

edu_rdm_integration/stages/service/service_outdated_data/cleaners/upload_data.py

@@ -0,0 +1,64 @@
+from edu_rdm_integration.stages.upload_data.models import (
+    RDMExportingDataSubStageUploaderClientLog,
+    RDMUploadStatusRequestLog,
+)
+from uploader_client.models import (
+    Entry,
+)
+
+from .base import (
+    BaseServiceOutdatedDataCleaner,
+)
+from .export_data import (
+    ExportingDataSubStageAttachmentCleaner,
+    ExportingDataSubStageCleaner,
+)
+
+
+class ExportingDataSubStageUploaderClientLogCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка логов загрузчика подэтапов выгрузки данных без связи с подэтапами или файлами."""
+
+    model = RDMExportingDataSubStageUploaderClientLog
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        sub_stage_table = ExportingDataSubStageCleaner.get_table_name()
+        attachment_table = ExportingDataSubStageAttachmentCleaner.get_table_name()
+
+        conditions = [
+            f'({self.get_status_condition(sub_stage_table, "id", "FINISHED", 7, "sub_stage_id")})',
+            f'({self.get_status_condition(sub_stage_table, "id", "FAILED", 30, "sub_stage_id")})',
+            f'({self.get_orphan_reference_condition(sub_stage_table, "id", local_field="sub_stage_id")})',
+            f'({self.get_orphan_reference_condition(attachment_table, "id", local_field="attachment_id")})',
+        ]
+
+        return ' OR '.join(conditions)
+
+
+class UploadStatusRequestLogCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка логов статуса загрузки файла в витрину без связей upload."""
+
+    model = RDMUploadStatusRequestLog
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        uploader_client_log_table = ExportingDataSubStageUploaderClientLogCleaner.get_table_name()
+
+        return self.get_orphan_reference_condition(uploader_client_log_table, 'id', local_field='upload_id')
+
+
+class EntryCleaner(BaseServiceOutdatedDataCleaner):
+    """Очистка записей журнала, не связанные ни с upload, ни с логами."""
+
+    model = Entry
+
+    def get_merged_conditions(self) -> str:
+        """Формирует условие удаления для устаревших данных."""
+        uploader_client_log_table = ExportingDataSubStageUploaderClientLogCleaner.get_table_name()
+        upload_status_log_table = UploadStatusRequestLogCleaner.get_table_name()
+        conditions = [
+            f'({self.get_orphan_reference_condition(uploader_client_log_table, "entry_id")})',
+            f'({self.get_orphan_reference_condition(upload_status_log_table, "entry_id")})',
+        ]
+
+        return ' AND '.join(conditions)

edu_rdm_integration/stages/service/service_outdated_data/managers.py

@@ -0,0 +1,80 @@
+from typing import (
+    Optional,
+)
+
+from edu_rdm_integration.stages.service.service_outdated_data.cleaners.collect_data import (
+    CollectingDataCommandProgressCleaner,
+    CollectingDataStageCleaner,
+    CollectingDataSubStageCleaner,
+)
+from edu_rdm_integration.stages.service.service_outdated_data.cleaners.export_data import (
+    ExportingDataCommandProgressCleaner,
+    ExportingDataStageCleaner,
+    ExportingDataSubStageAttachmentCleaner,
+    ExportingDataSubStageCleaner,
+    ExportingDataSubStageEntityCleaner,
+)
+from edu_rdm_integration.stages.service.service_outdated_data.cleaners.upload_data import (
+    EntryCleaner,
+    ExportingDataSubStageUploaderClientLogCleaner,
+    UploadStatusRequestLogCleaner,
+)
+from educommon import (
+    logger,
+)
+
+
+
+class ServiceOutdatedDataCleanerManager:
+    """Управляет очисткой устаревших сервисных данных по разным этапам."""
+
+    STAGES_MAPPING = {
+        'collect': [
+            CollectingDataSubStageCleaner,
+            CollectingDataStageCleaner,
+            CollectingDataCommandProgressCleaner,
+        ],
+        'export': [
+            ExportingDataSubStageCleaner,
+            ExportingDataStageCleaner,
+            ExportingDataSubStageAttachmentCleaner,
+            ExportingDataSubStageEntityCleaner,
+            ExportingDataCommandProgressCleaner,
+        ],
+        'upload': [
+            ExportingDataSubStageUploaderClientLogCleaner,
+            UploadStatusRequestLogCleaner,
+            EntryCleaner,
+        ],
+    }
+
+    def __init__(
+        self,
+        *args,
+        stages: Optional[list[str]]= None,
+        safe: bool = False,
+        log_sql: bool = False,
+        **kwargs
+    ):
+        """Инициализация менеджера."""
+        self._stages = stages
+        self._safe = safe
+        self._log_sql = log_sql
+
+        super().__init__(*args, **kwargs)
+
+    def _process_stage(self, stage: str):
+        """Запускает все зарегистрированные уборщики для указанного этапа."""
+        cleaners = self.STAGES_MAPPING.get(stage, [])
+        if not cleaners:
+            logger.info(f'Для этапа "{stage}" нет зарегистрированных уборщиков.')
+            return
+
+        for cleaner_cls in cleaners:
+            cleaner_cls(safe=self._safe, log_sql=self._log_sql).run()
+
+    def run(self):
+        """Запускает очистку устаревших данных сервисных моделей РВД."""
+        stages_to_process = self._stages or self.STAGES_MAPPING.keys()
+        for stage in stages_to_process:
+            self._process_stage(stage)

edu_rdm_integration/stages/upload_data/migrations/0003_auto_20251006_1417.py

@@ -0,0 +1,28 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:17
+
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('uploader_client', '0001_initial'),
+        ('edu_rdm_integration_upload_data_stage', '0002_auto_20250704_0810'),
+    ]
+
+    operations = [
+        migrations.AlterField(
+            model_name='rdmexportingdatasubstageuploaderclientlog',
+            name='entry',
+            field=models.ForeignKey(null=True, on_delete=django.db.models.deletion.SET_NULL, related_name='uploader_client_log', to='uploader_client.entry', verbose_name='Лог запроса и ответа'),
+        ),
+        migrations.AlterField(
+            model_name='rdmuploadstatusrequestlog',
+            name='entry',
+            field=models.ForeignKey(null=True, on_delete=django.db.models.deletion.SET_NULL, related_name='upload_status_request_log', to='uploader_client.entry', verbose_name='Cвязь запроса статуса с запросом в витрину'),
+        ),
+    ]

edu_rdm_integration/stages/upload_data/migrations/0004_fix_fk_constraints.py

@@ -0,0 +1,79 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:43
+
+from django.db import (
+    migrations,
+)
+
+from edu_rdm_integration.stages.utils import (
+    update_foreign_key_constraint,
+)
+
+
+def apply_fk_updates(apps, schema_editor):
+    """
+    Применяет обновления внешних ключей для конкретных моделей.
+
+    Здесь задаются таблицы и поведение при удалении записей,
+    чтобы синхронизировать фактическое состояние БД с логикой моделей.
+    """
+    Entry = apps.get_model('smev_agent_client', 'Entry')
+    RDMExportingDataSubStage = apps.get_model('edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStage')
+    RDMExportingDataSubStageAttachment = apps.get_model(
+        'edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStageAttachment'
+    )
+    RDMExportingDataSubStageUploaderClientLog = apps.get_model(
+        'edu_rdm_integration_upload_data_stage', 'RDMExportingDataSubStageUploaderClientLog'
+    )
+    # Модель: RDMExportingDataSubStageUploaderClientLog
+    # Поле sub_stage_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageUploaderClientLog._meta.db_table,
+        field_name="sub_stage_id",
+        target_table=RDMExportingDataSubStage._meta.db_table,
+        on_delete="CASCADE",
+    )
+    # Модель: RDMExportingDataSubStageUploaderClientLog
+    # Поле attachment_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageUploaderClientLog._meta.db_table,
+        field_name="attachment_id",
+        target_table=RDMExportingDataSubStageAttachment._meta.db_table,
+        on_delete="CASCADE",
+    )
+    # Модель: RDMExportingDataSubStageUploaderClientLog
+    # Поле entry_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageUploaderClientLog._meta.db_table,
+        field_name="entry_id",
+        target_table=Entry._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+    RDMUploadStatusRequestLog = apps.get_model('edu_rdm_integration_upload_data_stage', 'RDMUploadStatusRequestLog')
+    # Модель: RDMUploadStatusRequestLog
+    # Поле upload_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMUploadStatusRequestLog._meta.db_table,
+        field_name="upload_id",
+        target_table=RDMExportingDataSubStageUploaderClientLog._meta.db_table,
+        on_delete="CASCADE",
+    )
+    # Модель: RDMUploadStatusRequestLog
+    # Поле entry_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMUploadStatusRequestLog._meta.db_table,
+        field_name="entry_id",
+        target_table=Entry._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_upload_data_stage', '0003_auto_20251006_1417'),
+    ]
+
+    operations = [
+        migrations.RunPython(apply_fk_updates, reverse_code=migrations.RunPython.noop),
+    ]

edu_rdm_integration/stages/upload_data/models.py

@@ -1,6 +1,7 @@
 from django.db.models import (
     CASCADE,
     PROTECT,
+    SET_NULL,
     BooleanField,
     CharField,
     DateTimeField,
@@ -91,7 +92,8 @@ class RDMExportingDataSubStageUploaderClientLog(ReprStrPreModelMixin, BaseObject
     entry = ForeignKey(
         to=Entry,
         verbose_name='Лог запроса и ответа',
-        on_delete=CASCADE,
+        on_delete=SET_NULL,
+        null=True,
         related_name='uploader_client_log',
     )
 
@@ -158,7 +160,8 @@ class RDMUploadStatusRequestLog(ReprStrPreModelMixin, BaseObjectModel):
     entry = ForeignKey(
         verbose_name='Cвязь запроса статуса с запросом в витрину',
         to=Entry,
-        on_delete=CASCADE,
+        null=True,
+        on_delete=SET_NULL,
         related_name='upload_status_request_log',
     )
     request_status = ForeignKey(

edu_rdm_integration/stages/utils.py

@@ -0,0 +1,49 @@
+from django.db import (
+    connection,
+)
+
+
+def update_foreign_key_constraint(
+    table_name: str,
+    field_name: str,
+    target_table: str,
+    on_delete: str,
+):
+    """
+    Обновляет внешний ключ (FOREIGN KEY) в PostgreSQL.
+
+    Выполняет:
+      1. Поиск существующего constraint'а по таблице и целевой модели.
+      2. Удаление найденного constraint'а.
+      3. Создание нового constraint'а с заданным ON DELETE.
+
+    Args:
+        table_name (str): Имя таблицы, содержащей внешний ключ.
+        field_name (str): Имя поля внешнего ключа.
+        target_table (str): Таблица, на которую указывает внешний ключ.
+        on_delete (str): Поведение при удалении связанной записи.
+    """
+    with connection.cursor() as cursor:
+        # Найти имя constraint'а
+        cursor.execute(f"""
+            SELECT conname
+            FROM pg_constraint
+            WHERE conrelid = '{table_name}'::regclass
+              AND confrelid = '{target_table}'::regclass
+              AND contype = 'f'
+        """)
+        row = cursor.fetchone()
+        if not row:
+            return
+
+        constraint_name = row[0]
+
+        # Удалить старый constraint, Добавить новый constraint с нужным ON DELETE
+        cursor.execute(f'''
+            ALTER TABLE "{table_name}"
+            DROP CONSTRAINT IF EXISTS "{constraint_name}",
+            ADD CONSTRAINT "{constraint_name}"
+            FOREIGN KEY ("{field_name}")
+            REFERENCES "{target_table}"(id)
+            ON DELETE {on_delete};
+        ''')

{edu_rdm_integration-3.21.0.dist-info → edu_rdm_integration-3.22.1.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.21.0
+Version: 3.22.1
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -153,6 +153,7 @@ INSTALLED_APPS = (
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_transfer_task', 'MINUTE'): '0',
         ('rdm_transfer_task', 'HOUR'): '*/4',
         ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
@@ -198,6 +199,7 @@ INSTALLED_APPS = (
         ('uploader_client', 'INSTALLATION_NAME'): '',
         ('uploader_client', 'INSTALLATION_ID'): '',
         ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA'): False,
+        ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_SERVICE_OUTDATED_DATA'): False,
         ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE'): 10000,
         ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE'): 10,
     })  
@@ -230,6 +232,9 @@ INSTALLED_APPS = (
     # Пункт меню "Региональная витрина данных" - Спрятать (False) / Отображать (True)
     RDM_MENU_ITEM = conf.get_bool('rdm_general', 'RDM_MENU_ITEM')
     
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
     RDM_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task', 'HOUR')
@@ -315,6 +320,8 @@ INSTALLED_APPS = (
   
     # Включить зачистку устаревших данных моделей РВД
     RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA')
+    # Включить зачистку устаревших данных сервисных моделей РВД
+    RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_SERVICE_OUTDATED_DATA')
     # Размер чанка записей зачистки устаревших данных моделей РВД
     RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE')
     # Количество подключений к БД для зачистки устаревших данных моделей РВД
@@ -332,6 +339,7 @@ INSTALLED_APPS = (
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
 | RDM_MENU_ITEM                                | Отображение пункта меню Пункт меню "Региональная витрина данных"                                                                   | False                   |
+| RDM_COLLECT_PROGRESS_BATCH_SIZE              | Размер батча для сохранений записей в базу при сборе данных РВД                                                                    | 10000                   |
 | RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                     | '0'                     |
 | RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                        | '*/4'                   |
 | RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                                | '*'                     |
@@ -379,6 +387,7 @@ INSTALLED_APPS = (
 | RDM_EXPORT_LOG_DIR                           | Директория логов экспорта данных, доступных для скачивания                                                                         |                         |
 | RDM_UPLOAD_LOG_DIR                           | Директория логов отправки данных в витрину, доступных для скачивания                                                               |                         |
 | RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA      | Включение зачистки устаревших данных моделей РВД                                                                                   | False                   |
+| RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA     | Включение зачистки устаревших данных сервисных моделей РВД                                                                         | False                   |
 | RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE  | Размер чанка записей зачистки устаревших данных моделей РВД                                                                        | 10000                   |
 | RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE   | Количество подключений к БД для зачистки устаревших данных моделей РВД                                                             | 10                      |
 
@@ -395,6 +404,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
@@ -482,6 +493,8 @@ INSTALLED_APPS = (
     [rdm_cleanup_outdated_data]
     # Включить зачистку устаревших данных моделей РВД
     ENABLE_CLEANUP_MODELS_OUTDATED_DATA = False
+    # Включить зачистку устаревших данных сервисных моделей РВД
+    ENABLE_CLEANUP_SERVICE_OUTDATED_DATA = False
     # Размер чанка записей проверки устаревших данных моделей РВД
     CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = 10000
     # Количество подключений к БД для проверки устаревших данных моделей РВД

{edu_rdm_integration-3.21.0.dist-info → edu_rdm_integration-3.22.1.dist-info}/RECORD

@@ -48,7 +48,7 @@ edu_rdm_integration/pipelines/cleanup_outdated_data/__init__.py,sha256=47DEQpj8H
 edu_rdm_integration/pipelines/cleanup_outdated_data/apps.py,sha256=tyTlr1Wt574eby2vIV68FMm7SPFSZKYw6zNkD8x6COE,507
 edu_rdm_integration/pipelines/cleanup_outdated_data/management/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/pipelines/cleanup_outdated_data/management/commands/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/pipelines/cleanup_outdated_data/management/commands/rdm_cleanup_outdated_data.py,sha256=JsmMCv9dQpy0flyJr2gviG0A57FG7JcLAHKO-If_VGY,2909
+edu_rdm_integration/pipelines/cleanup_outdated_data/management/commands/rdm_cleanup_outdated_data.py,sha256=DJU_T6Ezz48Rq6OoScjZ3ZyfHn6drlUo4_Wdj2OGAPY,4500
 edu_rdm_integration/pipelines/transfer/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/pipelines/transfer/actions.py,sha256=e94NVtTcFIqBBTZ9vbSfh_0oXUWK9ZOx2pDYnIePJVc,5920
 edu_rdm_integration/pipelines/transfer/app_meta.py,sha256=jshfepDDJrbCACtJBJBPuidAVJ6rcziQiet27wqOIjk,373
@@ -79,6 +79,7 @@ edu_rdm_integration/rdm_models/migrations/0001_initial.py,sha256=qXgObuG2nfOLEnG
 edu_rdm_integration/rdm_models/migrations/0002_rename_regionaldatamartmodelenum_rdmmodelenum.py,sha256=hNTLriOc9r9WEVKahJURA3yXhZ3ivbwJJ_HaMC46PpI,451
 edu_rdm_integration/rdm_models/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+edu_rdm_integration/stages/utils.py,sha256=XTOXXP1KeLCURjkjObP-lcIEARIBkgguk4MfN2dXivQ,1780
 edu_rdm_integration/stages/collect_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/collect_data/apps.py,sha256=PhrxzAMXvzXajSlgwLudAgasVjh9IFS5M7a7pGbEKC0,339
 edu_rdm_integration/stages/collect_data/consts.py,sha256=tzaK9oxzdMRq3oTEocPz4umoXSJWUtFc7YhyXucCNbs,127
@@ -154,9 +155,11 @@ edu_rdm_integration/stages/collect_data/migrations/0001_initial.py,sha256=gujp1W
 edu_rdm_integration/stages/collect_data/migrations/0002_edurdmcollectdatacommandprogress.py,sha256=TMePcN2Y1wuT1ZKcXgsFTClGWNsf82Ut_mDsPE0BR8Q,4841
 edu_rdm_integration/stages/collect_data/migrations/0003_auto_20250704_0810.py,sha256=5JkymsRshIKN3az4bbpL_xQxjs6XiknwwCRISS7c2Ts,1079
 edu_rdm_integration/stages/collect_data/migrations/0004_auto_20250704_0825.py,sha256=B6SUsxlhQvWoD8lFGNwaMUCFDzhPj91bsMdmAcSuEDg,1379
+edu_rdm_integration/stages/collect_data/migrations/0005_alter_rdmcollectingdatasubstage_previous.py,sha256=Q7OBeKXMRf1W_BHcz99UXYjvnav85vYdjoyiDitSXnk,670
+edu_rdm_integration/stages/collect_data/migrations/0006_fix_fk_constraints.py,sha256=H58FBhu43KHy1aw7whdA-1ZktIXIWKwp4Nx3tpLz2nI,2284
 edu_rdm_integration/stages/collect_data/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/collect_data/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/stages/collect_data/registry/actions.py,sha256=ZMk8H1adcI2ycQ0a0ECBVRNKrkeYDc64UEHKV8drpUU,10260
+edu_rdm_integration/stages/collect_data/registry/actions.py,sha256=PiNoiIR6svxPwH9J5Flj9KJdwlYfh9RUqysIlGDNk-Y,10264
 edu_rdm_integration/stages/collect_data/registry/apps.py,sha256=K5f97YXKMmdM7m33qgQYvJjrA8_eGAJ4VWyuRjJ0gwQ,439
 edu_rdm_integration/stages/collect_data/registry/ui.py,sha256=pw13DAASxqnX_E5D4RG9CywtnQKQeljXHief7mojVgk,8398
 edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js,sha256=QfxVSAA0282-41K0XGtyPa9WPzpoX_uClke8pHdAzBo,3112
@@ -209,6 +212,7 @@ edu_rdm_integration/stages/export_data/management/commands/export_entities_data.
 edu_rdm_integration/stages/export_data/management/commands/export_latest_entities_data.py,sha256=eYjBs_tZxcUAIseCyvsy5Jk-8k9Gm3xrG2dCuWNnrEs,1163
 edu_rdm_integration/stages/export_data/migrations/0001_initial.py,sha256=h7HIT-QkWONCzIergDp2c861Lw_-f9TZQ5FPIREeHTk,16864
 edu_rdm_integration/stages/export_data/migrations/0002_auto_20250704_0810.py,sha256=yjGlH25Mke2_VAe188LEkWZ04Xy1qenai7D2zOA-ecY,1558
+edu_rdm_integration/stages/export_data/migrations/0003_fix_fk_constraints.py,sha256=BjTE7YGk3Qtjqo0MsEJsuR0MeFzolBSm87ivqdrsr4A,2978
 edu_rdm_integration/stages/export_data/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/export_data/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/export_data/registry/actions.py,sha256=C5qLwGQeVd9ddOKo2zBJKBLtYn5x_8XV2MaTjK-SGFM,10940
@@ -223,6 +227,13 @@ edu_rdm_integration/stages/service/model_outdated_data/__init__.py,sha256=47DEQp
 edu_rdm_integration/stages/service/model_outdated_data/cleaners.py,sha256=enlEPTj5_elo-vQTXfq0ar8i1aiN4BzfZQLXNGBsZ68,16795
 edu_rdm_integration/stages/service/model_outdated_data/managers.py,sha256=0LNjvycTtSMGsN37U-otlPL_vlYJKZXtNXxwkseK1wA,2353
 edu_rdm_integration/stages/service/service_outdated_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+edu_rdm_integration/stages/service/service_outdated_data/managers.py,sha256=zKGQWIvv1go5OlBIkgBDLNyEKkkHvm0qKFfCatddd68,2715
+edu_rdm_integration/stages/service/service_outdated_data/cleaners/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+edu_rdm_integration/stages/service/service_outdated_data/cleaners/base.py,sha256=boVxqk2OHYN1-UkOjr3aOx-ClX2YX6OOUnYPrTkZ2d8,6733
+edu_rdm_integration/stages/service/service_outdated_data/cleaners/collect_data.py,sha256=zol47C4RQFnHd_MNldOHTtEjzeWsIZji1nDzKVVkJRg,4894
+edu_rdm_integration/stages/service/service_outdated_data/cleaners/consts.py,sha256=ONLW_NJFbnYU1CbDF4mzBXXqDt7fyKVfep3Qlf5sJOM,384
+edu_rdm_integration/stages/service/service_outdated_data/cleaners/export_data.py,sha256=A0denkwa7N7GxkRZ0tV4FUZAjfWkXpd7UOdYjHLD1Z4,6514
+edu_rdm_integration/stages/service/service_outdated_data/cleaners/upload_data.py,sha256=a8oJ8Sg1eLZf1NemehREkJsvdtmyLwtOIuN5iXpzSb4,2846
 edu_rdm_integration/stages/upload_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/apps.py,sha256=aFhVPK-65b35CGKoAeAgQ0mm3STaWtZg7rqk3eL-b7s,620
 edu_rdm_integration/stages/upload_data/consts.py,sha256=yTygXxS5dBRCvrE7Q3D0jEGSC5apIKvVAAViDM8QcKA,223
@@ -230,7 +241,7 @@ edu_rdm_integration/stages/upload_data/dataclasses.py,sha256=zwxlED6yEeMStfc-Y6p
 edu_rdm_integration/stages/upload_data/enums.py,sha256=uGRqcflf6moPWfFa8KKbeSY2y88-AegAcRJKlQ1PA_Y,453
 edu_rdm_integration/stages/upload_data/export_managers.py,sha256=DYHX0LwB6RkRqOEaB5EIWqbSJqjaUfR09AjRTjI2CR4,13646
 edu_rdm_integration/stages/upload_data/helpers.py,sha256=lCvM8QsERXRXP9rcpgaSQOKUkvi3bxkeHEC_zZruQy4,6183
-edu_rdm_integration/stages/upload_data/models.py,sha256=fUh_QeAsRajZYweefdDmlAaZh6Q25TSn8e8M3autrKE,5166
+edu_rdm_integration/stages/upload_data/models.py,sha256=4XiodbnbK2MRBi8wTfU0beZQW3dLPT4_5NAh9DM-9gw,5220
 edu_rdm_integration/stages/upload_data/operations.py,sha256=CVQYaucerJbOAE3JDO05FaX4Bz9hBMKBXYqJohXKZpI,6462
 edu_rdm_integration/stages/upload_data/queues.py,sha256=MbDnltQLjTCXLnNQVO0KA4SaAzyU8xO51CRid6Cle4g,6130
 edu_rdm_integration/stages/upload_data/tasks.py,sha256=SYoQjL4sl0W0yOBFczlnQW-N4YcFiFgdMlEQUDO7IsQ,3573
@@ -243,6 +254,8 @@ edu_rdm_integration/stages/upload_data/management/commands/datamart_status.py,sh
 edu_rdm_integration/stages/upload_data/management/commands/datamart_upload.py,sha256=VF94eqO3nIbvhPFwtUlYLAMwPXEU0uGt9m5xnIjLu68,1525
 edu_rdm_integration/stages/upload_data/migrations/0001_initial.py,sha256=4dRroCI8ZxBuyRJC81si-LVAfzLMn3mYDccy48gUzCo,8080
 edu_rdm_integration/stages/upload_data/migrations/0002_auto_20250704_0810.py,sha256=OLXfvs_x_S9W4wS6GKikNaaLUmI4h-LyLBdOs3K_e9I,818
+edu_rdm_integration/stages/upload_data/migrations/0003_auto_20251006_1417.py,sha256=C32q9tAHXWgZjCH05yxON7fXELBR24oor1Xsf7Ms2Wc,1081
+edu_rdm_integration/stages/upload_data/migrations/0004_fix_fk_constraints.py,sha256=OdVgXHEdr-EMdP0N2Qf5Aq4yShNiua90fmPpHjgvfAM,3245
 edu_rdm_integration/stages/upload_data/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/uploader_log/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/uploader_log/actions.py,sha256=stXHS_CB93AtnuToimsnsbl0gqOn_DbPk6jnCwJs9NQ,8030
@@ -254,8 +267,8 @@ edu_rdm_integration/stages/upload_data/uploader_log/ui.py,sha256=mU3XA9zVKHGqzNk
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/0001_initial.py,sha256=r5oOB7DBK9-mfuqPAgjXUJY5-hEcmMdILCwDTpaLnBc,753
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.21.0.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.21.0.dist-info/METADATA,sha256=kCdgMvokM8bolCEYgWhQYIDpWFV3hkfWK4MXL65gsHA,42284
-edu_rdm_integration-3.21.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
-edu_rdm_integration-3.21.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.21.0.dist-info/RECORD,,
+edu_rdm_integration-3.22.1.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.22.1.dist-info/METADATA,sha256=_GoPYkH6ufAkdZ-Ysai4vcZmDyhdUFjZcCQCOcb4Zsw,43714
+edu_rdm_integration-3.22.1.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
+edu_rdm_integration-3.22.1.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.22.1.dist-info/RECORD,,