edu-rdm-integration 3.22.2__tar.gz → 3.22.3__tar.gz

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/CHANGELOG.md

@@ -28,6 +28,22 @@
 
 ### Удалено
 
+## [3.22.3] - 2025-10-14
+
+Добавлена зачистка файлов устаревших данных сервисной модели РВД `RDMExportingDataSubStageAttachment`.
+Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
+### Добавлено
+
+- [EDUDEVOPS-98](https://jira.bars.group/browse/EDUDEVOPS-98)
+  PATCH Добавлена зачистка файлов устаревших данных сервисной модели РВД `RDMExportingDataSubStageAttachment`
+    в команду/ночной скрипт `rdm_cleanup_outdated_data`.
+
+### Исправлено
+
+- [EDUSCHL-24360](https://jira.bars.group/browse/EDUSCHL-24360)
+  PATCH Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
 
 ## [3.22.2] - 2025-10-12
 
@@ -106,6 +122,16 @@ BaseRDMModel -> BaseAdditionalRDMModel.
   ```
 
 
+## [3.21.2] - 2025-10-14
+
+Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
+### Исправлено
+
+- [EDUSCHL-24360](https://jira.bars.group/browse/EDUSCHL-24360)
+  PATCH Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
+
 ## [3.21.1] - 2025-10-12
 
 Для обеспечения корректной работы была выстроена иная структура базовых моделей РВД:
@@ -132,6 +158,16 @@ BaseRDMModel -> BaseAdditionalRDMModel.
   MINOR Переименование m3-django-compat в m3-django-compatibility.
 
 
+## [3.20.2] - 2025-10-14
+
+Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
+### Исправлено
+
+- [EDUSCHL-24360](https://jira.bars.group/browse/EDUSCHL-24360)
+  PATCH Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
+
 ## [3.20.1] - 2025-10-12
 
 Для обеспечения корректной работы была выстроена иная структура базовых моделей РВД:

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.22.2
+Version: 3.22.3
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration/rdm_entities/models.py

@@ -70,6 +70,11 @@ class RDMEntityEnum(TitledModelEnum):
 
         return model_enums
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления сущностей."""
+        return [(key, key) for key in sorted(cls.get_model_enum_keys())]
+
     @classmethod
     def extend(
         cls,

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration/rdm_models/models.py

@@ -116,6 +116,11 @@ class RDMModelEnum(TitledModelEnum):
         verbose_name = 'Модель-перечисление моделей "Региональной витрины данных"'
         verbose_name_plural = 'Модели-перечисления моделей "Региональной витрины данных"'
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления моделей."""
+        return [(key, key) for key in sorted(cls.get_model_enum_keys())]
+
     @classmethod
     def _get_model_relations(cls, model: Type['BaseRDMModel']) -> dict[str, str]:
         """Получение списка связей модели РВД."""

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration/stages/collect_data/models.py

@@ -65,6 +65,11 @@ class RDMCollectingDataStageStatus(TitledModelEnum):
         verbose_name = 'Модель-перечисление статусов этапа сбора данных'
         verbose_name_plural = 'Модели-перечисления статусов этапов сбора данных'
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления статусов."""
+        return [(key, key) for key in cls.get_model_enum_keys()]
+
 
 class RDMCollectingDataStage(ReprStrPreModelMixin, BaseObjectModel):
     """Этап подготовки данных в рамках Функций. За работу Функции отвечает ранер менеджер."""

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration/stages/collect_data/registry/actions.py

@@ -83,7 +83,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Модель',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMModelEnum.get_model_enum_keys()],
+                choices=partial(RDMModelEnum.get_choices),
                 parser=str,
                 lookup=lambda key: Q(model=key) if key else Q(),
             ),
@@ -93,7 +93,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус асинхронной задачи',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(value.key, value.title) for value in AsyncTaskStatus.get_model_enum_values()],
+                choices=partial(AsyncTaskStatus.get_choices),
                 parser=str,
                 lookup='task__status_id',
             ),
@@ -118,7 +118,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус сбора',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMCollectingDataStageStatus.get_model_enum_keys()],
+                choices=partial(RDMCollectingDataStageStatus.get_choices),
                 parser=str,
                 lookup=lambda key: Q(stage__status=key) if key else Q(),
             ),

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration/stages/export_data/migrations/0003_fix_fk_constraints.py

@@ -28,7 +28,7 @@ def apply_fk_updates(apps, schema_editor):
         table_name=RDMExportingDataSubStageAttachment._meta.db_table,
         field_name='exporting_data_sub_stage_id',
         target_table=RDMExportingDataSubStage._meta.db_table,
-        on_delete='CASCADE',
+        on_delete='SET NULL',
     )
 
     RDMExportingDataSubStageEntity = apps.get_model(

edu_rdm_integration-3.22.3/src/edu_rdm_integration/stages/export_data/migrations/0004_alter_rdmexportingdatasubstageattachment_exporting_data_sub_stage.py

@@ -0,0 +1,22 @@
+# Generated by Django 3.2.24 on 2025-10-14 10:33
+
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_export_data_stage', '0003_fix_fk_constraints'),
+    ]
+
+    operations = [
+        migrations.AlterField(
+            model_name='rdmexportingdatasubstageattachment',
+            name='exporting_data_sub_stage',
+            field=models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='edu_rdm_integration_export_data_stage.rdmexportingdatasubstage', verbose_name='Подэтап выгрузки данных'),
+        ),
+    ]

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration/stages/export_data/models.py

@@ -69,6 +69,11 @@ class RDMExportingDataStageStatus(TitledModelEnum):
         title='Завершено',
     )
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления статусов."""
+        return [(key, key) for key in cls.get_model_enum_keys()]
+
     class Meta:
         db_table = 'rdm_exporting_data_stage_status'
         verbose_name = 'Модель-перечисление статусов этапа выгрузки данных'
@@ -248,7 +253,9 @@ class RDMExportingDataSubStageAttachment(ReprStrPreModelMixin, BaseObjectModel):
     exporting_data_sub_stage = ForeignKey(
         to=RDMExportingDataSubStage,
         verbose_name='Подэтап выгрузки данных',
-        on_delete=CASCADE,
+        null=True,
+        blank=True,
+        on_delete=SET_NULL,
     )
 
     # TODO PYTD-22 В зависимости от принятого решения по инструменту ограничения доступа к media-файлам, нужно будет

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration/stages/export_data/registry/actions.py

@@ -86,7 +86,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Сущность',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMEntityEnum.get_model_enum_keys()],
+                choices=partial(RDMEntityEnum.get_choices),
                 parser=str,
                 lookup=lambda key: Q(entity=key) if key else Q(),
             ),
@@ -96,7 +96,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус асинхронной задачи',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(value.key, value.title) for value in AsyncTaskStatus.get_model_enum_values()],
+                choices=partial(AsyncTaskStatus.get_choices),
                 parser=str,
                 lookup='task__status_id',
             ),
@@ -131,7 +131,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус экспорта',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMExportingDataStageStatus.get_model_enum_keys()],
+                choices=partial(RDMExportingDataStageStatus.get_choices),
                 parser=str,
                 lookup=lambda key: Q(stage__status=key) if key else Q(),
             ),

edu_rdm_integration-3.22.3/src/edu_rdm_integration/stages/service/service_outdated_data/cleaners/base.py

@@ -0,0 +1,305 @@
+import asyncio
+from abc import (
+    ABCMeta,
+    abstractmethod,
+)
+from pathlib import (
+    Path,
+)
+from typing import (
+    TYPE_CHECKING,
+)
+
+import asyncpg
+from django.conf import (
+    settings,
+)
+from django.db import (
+    connection,
+)
+
+from educommon import (
+    logger,
+)
+
+
+if TYPE_CHECKING:
+    from asyncpg import (
+        Pool,
+    )
+
+
+class BaseServiceOutdatedDataCleaner(metaclass=ABCMeta):
+    """Базовый класс уборщика устаревших сервисных данных."""
+
+    model = None
+
+    SELECT_RDM_CHUNK_BOUNDED_SQL = """
+        DO $$
+        DECLARE
+            chunk_size INT := {chunk_size};
+            last_id INT := 0;
+            first_id INT;
+            last_chunk_id INT;
+        BEGIN
+            DROP TABLE IF EXISTS rdm_chunk_bounds;
+            CREATE TEMP TABLE rdm_chunk_bounds (
+                chunk_number INT,
+                first_id INT,
+                last_id INT
+            );
+
+            DROP TABLE IF EXISTS tmp_chunk;
+            CREATE TEMP TABLE tmp_chunk (id INT) ON COMMIT DROP;
+
+            WHILE TRUE LOOP
+                TRUNCATE tmp_chunk;
+
+                INSERT INTO tmp_chunk (id)
+                SELECT id
+                FROM {table_name}
+                WHERE id > last_id
+                ORDER BY id
+                LIMIT chunk_size;
+
+                IF NOT FOUND THEN
+                    EXIT;
+                END IF;
+
+                SELECT MIN(id), MAX(id)
+                INTO first_id, last_chunk_id
+                FROM tmp_chunk;
+
+                INSERT INTO rdm_chunk_bounds (chunk_number, first_id, last_id)
+                VALUES (
+                    (SELECT COUNT(*) FROM rdm_chunk_bounds) + 1,
+                    first_id,
+                    last_chunk_id
+                );
+
+                last_id := last_chunk_id;
+            END LOOP;
+        END $$;
+
+        SELECT * FROM rdm_chunk_bounds ORDER BY chunk_number;
+    """
+
+    REMOVE_OUTDATED_DATA_SQL = """
+        WITH deleted_rows AS (
+            DELETE FROM {table_name}
+            WHERE id IN (
+                WITH tbl AS (
+                    SELECT *
+                    FROM {table_name}
+                    WHERE id >= {first_id}
+                        AND id <= {last_id}
+                )
+                SELECT tbl.id
+                FROM tbl
+                WHERE {conditions}
+            )
+            RETURNING id
+        )
+        SELECT COUNT(*) AS deleted_count FROM deleted_rows;
+    """
+
+    def __init__(
+        self,
+        *args,
+        safe: bool = False,
+        log_sql: bool = False,
+        **kwargs
+    ):
+        """Инициализация уборщика."""
+        self._safe = safe
+        self._log_sql = log_sql
+        self._deleted_count = 0
+
+        super().__init__(*args, **kwargs)
+
+    @abstractmethod
+    def get_merged_conditions(self) -> str:
+        """Возвращает условия для удаления устаревших данных."""
+
+    @classmethod
+    def get_table_name(cls) -> str:
+        """Возвращает имя таблицы в базе данных."""
+        if cls.model is None:
+            raise NotImplementedError('Необходимо задать атрибут "model"')
+
+        return cls.model._meta.db_table
+
+    async def file_deletion_process(self, file_paths: list[str]):
+        """Функция для удаления файлов, связанных с удалёнными устаревшими записями.
+
+        Очистка данных производится в таблицах системных моделей РВД.
+        """
+
+    def get_orphan_reference_condition(
+        self,
+        reference_table: str,
+        reference_field: str,
+        local_field: str = 'id'
+    ) -> str:
+        """Условие проверки отсутствия записей в связанной таблице."""
+        return f"""
+            NOT EXISTS (
+                SELECT 1
+                FROM {reference_table} ref
+                WHERE ref.{reference_field} = tbl.{local_field}
+            )
+        """
+
+    def get_status_condition(
+        self,
+        related_table: str,
+        related_field: str,
+        status_value: str,
+        days: int,
+        local_field: str = 'id'
+    ) -> str:
+        """Условие проверки записи с заданным статусом и возрастом."""
+        return f"""
+            EXISTS (
+                SELECT 1
+                FROM {related_table} sub
+                WHERE sub.{related_field} = tbl.{local_field}
+                  AND sub.status_id = '{status_value}'
+                  AND sub.ended_at <= NOW() - INTERVAL '{days} days'
+            )
+        """
+
+    def get_chunk_bounded(self):
+        """Возвращает границы чанков для текущей таблицы."""
+        get_chunk_bounded_sql = self.SELECT_RDM_CHUNK_BOUNDED_SQL.format(
+            table_name=self.get_table_name(),
+            chunk_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE,
+        )
+
+        if self._log_sql:
+            # Проверка на доступность sqlparse для форматирования
+            try:
+                import sqlparse
+            except ImportError:
+                sqlparse = None
+
+            if sqlparse:
+                # Форматирование кода
+                get_chunk_bounded_sql = sqlparse.format(
+                    sql=get_chunk_bounded_sql,
+                    reindent=True,
+                    strip_comments=True,
+                )
+            logger.info(
+                f'Запрос для получения границ чанков модели {self.get_table_name()}: \n{get_chunk_bounded_sql}\n'
+            )
+
+        with connection.cursor() as cursor:
+            cursor.execute(get_chunk_bounded_sql)
+            result = cursor.fetchall()
+
+        return result
+
+    async def execute_query(self, pool: 'Pool', query: str):
+        """Асинхронное выполнение запроса."""
+        async with pool.acquire() as conn:
+            try:
+                if self._safe:
+                    logger.info(f'Запрос не будет выполнен, включен безопасный режим!\n')
+
+                    if self._log_sql:
+                        logger.info(f'{query}\n')
+                else:
+                    result = await conn.fetch(query)
+                    if not result:
+                        return
+
+                    if self._log_sql:
+                        logger.info(f'При помощи запроса:\n{query}\n')
+
+                    # Проверяем, что вернул запрос
+                    if 'deleted_count' in result[0]:
+                        deleted_count = result[0]['deleted_count']
+                        self._deleted_count += deleted_count
+                        logger.info(f'Было удалено записей: {deleted_count}')
+                    else:
+                        file_paths = [record['file_path'] for record in result if record.get('file_path')]
+                        if file_paths:
+                            await self.file_deletion_process(file_paths)
+                        deleted_count = len(result)
+                        self._deleted_count += deleted_count
+                        logger.info(f'Было удалено записей с файлами: {deleted_count}')
+
+            except Exception as e:
+                logger.error(f'Ошибка при выполнении {query}\n{e}')
+
+    def prepare_queries(self, chunk_bounded: list[tuple[int, int, int]]) -> list[str]:
+        """Формирование списка запросов для удаления устаревших данных."""
+        queries = []
+        conditions = self.get_merged_conditions()
+
+        for chunk_number, first_id, last_id in chunk_bounded:
+            remove_outdated_data_sql = self.REMOVE_OUTDATED_DATA_SQL.format(
+                table_name=self.get_table_name(),
+                first_id=first_id,
+                last_id=last_id,
+                conditions=conditions,
+            )
+
+            queries.append(remove_outdated_data_sql)
+
+        return queries
+
+    async def execute_queries(self, queries: list[str]) -> None:
+        """Асинхронное выполнение запросов."""
+        DB_SETTINGS = settings.DATABASES['default']
+
+        pool = await asyncpg.create_pool(
+            max_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE,
+            min_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE,
+            host=DB_SETTINGS['HOST'],
+            port=DB_SETTINGS['PORT'],
+            user=DB_SETTINGS['USER'],
+            password=DB_SETTINGS['PASSWORD'],
+            database=DB_SETTINGS['NAME'],
+        )
+
+        tasks = [self.execute_query(pool, query) for query in queries]
+
+        await asyncio.gather(*tasks)
+
+    def run(self):
+        """Запуск очистки устаревших данных."""
+        chunk_bounded = self.get_chunk_bounded()
+
+        queries = self.prepare_queries(chunk_bounded=chunk_bounded)
+
+        if queries:
+            even_loop = asyncio.new_event_loop()
+            try:
+                even_loop.run_until_complete(self.execute_queries(queries=queries))
+            finally:
+                even_loop.close()
+
+        logger.info(f'Удалено записей модели {self.model.__name__}: {self._deleted_count}')
+
+
+class ServiceFileCleaner:
+    """Асинхронный сервис для безопасного удаления файлов из MEDIA_ROOT."""
+
+    @staticmethod
+    async def file_deletion_process(file_paths: list[str]) -> None:
+        """Удаляет указанные файлы, считая пути относительными к MEDIA_ROOT."""
+        media_root = Path(settings.MEDIA_ROOT).resolve()
+
+        async def delete_file(path_str: str):
+            path = (media_root / path_str).resolve()
+            try:
+                exists = await asyncio.to_thread(path.exists)
+                if exists and await asyncio.to_thread(path.is_file):
+                    await asyncio.to_thread(path.unlink)
+
+            except Exception as e:
+                logger.warning(f"Не удалось удалить {path}: {e}")
+
+        await asyncio.gather(*(delete_file(path) for path in file_paths))

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration/stages/service/service_outdated_data/cleaners/export_data.py

@@ -25,6 +25,7 @@ from educommon.utils.seqtools import (
 
 from .base import (
     BaseServiceOutdatedDataCleaner,
+    ServiceFileCleaner,
 )
 from .consts import (
     OLD_RDM_MODEL,
@@ -102,15 +103,35 @@ class ExportingDataStageCleaner(BaseServiceOutdatedDataCleaner):
         return self.get_orphan_reference_condition(sub_stage_table, 'stage_id')
 
 
-class ExportingDataSubStageAttachmentCleaner(BaseServiceOutdatedDataCleaner):
+class ExportingDataSubStageAttachmentCleaner(ServiceFileCleaner, BaseServiceOutdatedDataCleaner):
     """Очистка вложений подэтапов выгрузки данных."""
 
     model = RDMExportingDataSubStageAttachment
 
+    REMOVE_OUTDATED_DATA_SQL = """
+        WITH deleted_rows AS (
+            DELETE FROM {table_name}
+            WHERE id IN (
+                WITH tbl AS (
+                    SELECT *
+                    FROM {table_name}
+                    WHERE id >= {first_id}
+                        AND id <= {last_id}
+                )
+                SELECT tbl.id
+                FROM tbl
+                WHERE {conditions}
+            )
+            RETURNING attachment AS file_path
+        )
+        SELECT file_path FROM deleted_rows;
+    """
+
     def get_merged_conditions(self) -> str:
         """Формирует условие удаления для устаревших данных."""
         sub_stage_table = ExportingDataSubStageCleaner.get_table_name()
         conditions = [
+            'exporting_data_sub_stage_id IS NULL',
             f'({self.get_status_condition(sub_stage_table, "id", "FINISHED", 7, "exporting_data_sub_stage_id")})',
             f'({self.get_status_condition(sub_stage_table, "id", "FAILED",30, "exporting_data_sub_stage_id")})',
             f'({self.get_orphan_reference_condition(sub_stage_table, "id", "exporting_data_sub_stage_id")})',

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.22.2
+Version: 3.22.3
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.22.2 → edu_rdm_integration-3.22.3}/src/edu_rdm_integration.egg-info/SOURCES.txt

@@ -224,6 +224,7 @@ src/edu_rdm_integration/stages/export_data/management/commands/export_latest_ent
 src/edu_rdm_integration/stages/export_data/migrations/0001_initial.py
 src/edu_rdm_integration/stages/export_data/migrations/0002_auto_20250704_0810.py
 src/edu_rdm_integration/stages/export_data/migrations/0003_fix_fk_constraints.py
+src/edu_rdm_integration/stages/export_data/migrations/0004_alter_rdmexportingdatasubstageattachment_exporting_data_sub_stage.py
 src/edu_rdm_integration/stages/export_data/migrations/__init__.py
 src/edu_rdm_integration/stages/export_data/registry/__init__.py
 src/edu_rdm_integration/stages/export_data/registry/actions.py