edu-rdm-integration 3.19.1__tar.gz → 3.21.0__tar.gz

{edu_rdm_integration-3.19.1 → edu_rdm_integration-3.21.0}/CHANGELOG.md

@@ -29,6 +29,66 @@
 ### Удалено
 
 
+## [3.21.0] - 2025-10-08
+
+Переименование m3-django-compat в m3-django-compatibility.
+
+### Изменено
+
+- [PYTD-20](https://jira.bars.group/browse/PYTD-20)
+  MINOR Переименование m3-django-compat в m3-django-compatibility.
+
+
+## [3.20.0] - 2025-10-06
+
+Проверка записей моделей РВД на устаревание чанками при помощи asyncio. Добавление настроек для работы.
+
+### Изменено
+
+- [EDUSCHL-24216](https://jira.bars.group/browse/EDUSCHL-24216)
+  MINOR Добавление настроек для работы зачистки устаревших данных моделей РВД чанками.
+
+- [EDUSCHL-24216](https://jira.bars.group/browse/EDUSCHL-24216)
+  MINOR Перенесена базовая реализация сборщика устаревших данных из ЭШ в пакет.
+
+Добавлены новые настройки
+
+| Название настройки в settings               | Описание                                                               | Значение по умолчанию |
+|---------------------------------------------|------------------------------------------------------------------------|-----------------------|
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE | Размер чанка записей зачистки устаревших данных моделей РВД            | 10000                 |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE  | Количество подключений к БД для зачистки устаревших данных моделей РВД | 10                    |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE'): 10000,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE'): 10,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Размер чанка записей зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE')
+    # Количество подключений к БД для зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE')
+  ```
+
+- В дефолтный конфиг проекта необходимо добавить:
+  ```
+    # Настройки зачистки устаревших данных
+    [rdm_cleanup_outdated_data]
+    # Размер чанка записей проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = 10000
+    # Количество подключений к БД для проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = 10
+  ```
+
+
 ## [3.19.1] - 2025-10-02
 
 Возвращение полей для указания операции и подэтапа сбора у всех моделей РВД.

{edu_rdm_integration-3.19.1 → edu_rdm_integration-3.21.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.19.1
+Version: 3.21.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -30,7 +30,7 @@ Requires-Dist: asyncpg==0.23.0
 Requires-Dist: educommon<4,>=3.25.0
 Requires-Dist: edu-function-tools<1,>=0.2.0
 Requires-Dist: m3-db-utils<1,>=0.7.0
-Requires-Dist: m3-django-compat<2,>=1.10.2
+Requires-Dist: m3-django-compatibility<2,>=1.12.0
 Requires-Dist: m3-ui<2.3,>=2.2.122
 Requires-Dist: uploader-client<1,>=0.3.0
 Provides-Extra: dev
@@ -198,6 +198,8 @@ INSTALLED_APPS = (
         ('uploader_client', 'INSTALLATION_NAME'): '',
         ('uploader_client', 'INSTALLATION_ID'): '',
         ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA'): False,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE'): 10000,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE'): 10,
     })  
     ```
 - Получение значений настроек из конфигурационного файла в settings.py:
@@ -313,6 +315,10 @@ INSTALLED_APPS = (
   
     # Включить зачистку устаревших данных моделей РВД
     RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA')
+    # Размер чанка записей зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE')
+    # Количество подключений к БД для зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE')
     ```
 
 Перечень настроек в settings.py указан в таблице ниже.
@@ -373,6 +379,9 @@ INSTALLED_APPS = (
 | RDM_EXPORT_LOG_DIR                           | Директория логов экспорта данных, доступных для скачивания                                                                         |                         |
 | RDM_UPLOAD_LOG_DIR                           | Директория логов отправки данных в витрину, доступных для скачивания                                                               |                         |
 | RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA      | Включение зачистки устаревших данных моделей РВД                                                                                   | False                   |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE  | Размер чанка записей зачистки устаревших данных моделей РВД                                                                        | 10000                   |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE   | Количество подключений к БД для зачистки устаревших данных моделей РВД                                                             | 10                      |
+
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -473,6 +482,10 @@ INSTALLED_APPS = (
     [rdm_cleanup_outdated_data]
     # Включить зачистку устаревших данных моделей РВД
     ENABLE_CLEANUP_MODELS_OUTDATED_DATA = False
+    # Размер чанка записей проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = 10000
+    # Количество подключений к БД для проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = 10
     ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 

{edu_rdm_integration-3.19.1 → edu_rdm_integration-3.21.0}/README.md

@@ -150,6 +150,8 @@ INSTALLED_APPS = (
         ('uploader_client', 'INSTALLATION_NAME'): '',
         ('uploader_client', 'INSTALLATION_ID'): '',
         ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA'): False,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE'): 10000,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE'): 10,
     })  
     ```
 - Получение значений настроек из конфигурационного файла в settings.py:
@@ -265,6 +267,10 @@ INSTALLED_APPS = (
   
     # Включить зачистку устаревших данных моделей РВД
     RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA')
+    # Размер чанка записей зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE')
+    # Количество подключений к БД для зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE')
     ```
 
 Перечень настроек в settings.py указан в таблице ниже.
@@ -325,6 +331,9 @@ INSTALLED_APPS = (
 | RDM_EXPORT_LOG_DIR                           | Директория логов экспорта данных, доступных для скачивания                                                                         |                         |
 | RDM_UPLOAD_LOG_DIR                           | Директория логов отправки данных в витрину, доступных для скачивания                                                               |                         |
 | RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA      | Включение зачистки устаревших данных моделей РВД                                                                                   | False                   |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE  | Размер чанка записей зачистки устаревших данных моделей РВД                                                                        | 10000                   |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE   | Количество подключений к БД для зачистки устаревших данных моделей РВД                                                             | 10                      |
+
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -425,6 +434,10 @@ INSTALLED_APPS = (
     [rdm_cleanup_outdated_data]
     # Включить зачистку устаревших данных моделей РВД
     ENABLE_CLEANUP_MODELS_OUTDATED_DATA = False
+    # Размер чанка записей проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = 10000
+    # Количество подключений к БД для проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = 10
     ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 

{edu_rdm_integration-3.19.1 → edu_rdm_integration-3.21.0}/pyproject.toml

@@ -25,7 +25,7 @@ dependencies = [
     'educommon>=3.25.0,<4',
     'edu-function-tools>=0.2.0,<1',
     'm3-db-utils>=0.7.0,<1',
-    'm3-django-compat>=1.10.2,<2',
+    'm3-django-compatibility>=1.12.0,<2',
     'm3-ui>=2.2.122,<2.3',
     'uploader-client>=0.3.0,<1',
 ]

{edu_rdm_integration-3.19.1 → edu_rdm_integration-3.21.0}/src/edu_rdm_integration/rdm_entities/mixins.py

@@ -9,7 +9,7 @@ from m3_db_utils.mixins import (
 from m3_db_utils.models import (
     ModelEnumValue,
 )
-from m3_django_compat import (
+from m3_django_compatibility import (
     classproperty,
 )
 

{edu_rdm_integration-3.19.1 → edu_rdm_integration-3.21.0}/src/edu_rdm_integration/rdm_models/mixins.py

@@ -10,7 +10,7 @@ from django.db import (
 from m3_db_utils.mixins import (
     BaseEnumRegisterMixin,
 )
-from m3_django_compat import (
+from m3_django_compatibility import (
     classproperty,
 )
 

edu_rdm_integration-3.21.0/src/edu_rdm_integration/stages/service/model_outdated_data/cleaners.py

@@ -0,0 +1,415 @@
+import asyncio
+from abc import (
+    ABCMeta,
+)
+from typing import (
+    TYPE_CHECKING,
+    Optional,
+)
+
+import asyncpg
+from django.conf import (
+    settings,
+)
+from django.db import (
+    connection,
+)
+from django.db.models import (
+    ForeignKey,
+)
+
+from educommon import (
+    logger,
+)
+from m3_db_utils.models import (
+    FictiveForeignKeyField,
+)
+
+from edu_rdm_integration.rdm_models.models import (
+    BaseMainRDMModel,
+    RDMModelEnum,
+)
+from edu_rdm_integration.stages.export_data.models import (
+    RDMExportingDataSubStageStatus,
+)
+
+
+if TYPE_CHECKING:
+    from asyncpg import (
+        Pool,
+    )
+
+    from m3_db_utils.models import (
+        ModelEnumValue,
+    )
+
+
+class BaseModelOutdatedDataCleaner(metaclass=ABCMeta):
+    """Базовый класс уборщика устаревших данных моделей РВД."""
+
+    # Запрос для разбиения таблицы на чанки и получения идентификаторов первых и последних записей
+    SELECT_RDM_CHUNK_BOUNDED_SQL = """
+            DO $$
+            DECLARE
+                chunk_size INT := {chunk_size};
+                last_id INT := 0;
+                first_id INT;
+                last_chunk_id INT;
+            BEGIN
+                -- Создаем временную таблицу без ON COMMIT DROP
+                DROP TABLE IF EXISTS rdm_chunk_bounds;
+                CREATE TEMP TABLE rdm_chunk_bounds (
+                    chunk_number INT,
+                    first_id INT,
+                    last_id INT
+                );
+
+                DROP TABLE IF EXISTS tmp_chunk;
+                CREATE TEMP TABLE tmp_chunk (id INT) ON COMMIT DROP;
+
+                WHILE TRUE LOOP
+                    TRUNCATE tmp_chunk;
+
+                    INSERT INTO tmp_chunk (id)
+                    SELECT id
+                    FROM {table_name}
+                    WHERE id > last_id
+                    ORDER BY id
+                    LIMIT chunk_size;
+
+                    IF NOT FOUND THEN
+                        EXIT;
+                    END IF;
+
+                    SELECT MIN(id), MAX(id)
+                    INTO first_id, last_chunk_id
+                    FROM tmp_chunk;
+
+                    INSERT INTO rdm_chunk_bounds (chunk_number, first_id, last_id)
+                    VALUES (
+                        (SELECT COUNT(*) FROM rdm_chunk_bounds) + 1,
+                        first_id,
+                        last_chunk_id
+                    );
+
+                    last_id := last_chunk_id;
+                END LOOP;
+            END $$;
+
+            -- Теперь можно безопасно выбрать данные
+            SELECT * FROM rdm_chunk_bounds ORDER BY chunk_number;
+        """
+
+    REMOVE_OUTDATED_DATA_SQL = """
+        WITH deleted_rows AS (
+            DELETE FROM {table_name}
+            WHERE id IN (
+                WITH tbl AS (
+                    SELECT *
+                    FROM {table_name}
+                    WHERE id >= {first_id}
+                        AND id <= {last_id}
+                )
+                SELECT tbl.id
+                FROM tbl
+                WHERE {conditions}
+            )
+            RETURNING id
+        )
+        SELECT COUNT(*) AS deleted_count FROM deleted_rows;
+    """
+
+    def __init__(
+        self,
+        model_enum_value: 'ModelEnumValue',
+        *args,
+        safe: bool = False,
+        log_sql: bool = False,
+        **kwargs,
+    ):
+        self._model_enum_value = model_enum_value
+        self._safe = safe
+        self._log_sql = log_sql
+        self._deleted_count = 0
+
+        super().__init__(*args, **kwargs)
+
+    def get_remove_empty_related_data_conditions(self) -> Optional[str]:
+        """Формирование условий очистки данных, содержащих связи с моделями с отсутствующими связанными записями."""
+        remove_empty_related_data_conditions = None
+
+        rel_model_condition_template = """
+            NOT EXISTS (
+                SELECT 1 FROM {0} WHERE {0}.id = tbl.{1}
+            )
+        """
+
+        rel_model_null_condition_template = """
+            tbl.{1} IS NOT NULL AND NOT EXISTS (
+                SELECT 1 FROM {0} WHERE {0}.id = tbl.{1}
+            )
+        """
+
+        remove_empty_related_data_conditions_template = """
+            (
+                {}
+            )
+            -- Добавлено условие: удалить только записи старше 30 дней
+            AND tbl.modified <= NOW() - INTERVAL '30 days'
+        """
+
+        model_label_enum_data = RDMModelEnum.get_model_label_enum_data()
+        related_fields = []
+
+        for field in self._model_enum_value.model._meta.concrete_fields:
+            if isinstance(field, FictiveForeignKeyField):
+                model_label = field.to
+            elif isinstance(field, ForeignKey):
+                model_label = field.related_model._meta.label
+            else:
+                continue
+
+            if model_label in model_label_enum_data:
+                table_name = model_label_enum_data[model_label].model._meta.db_table
+                related_fields.append((field.name, table_name, field.null))
+
+        if related_fields:
+            rel_model_conditions_list = []
+
+            for field_name, table_name, is_null in related_fields:
+                if is_null:
+                    rel_model_conditions_list.append(
+                        rel_model_null_condition_template.format(table_name, field_name)
+                    )
+                else:
+                    rel_model_conditions_list.append(rel_model_condition_template.format(table_name, field_name))
+
+            rel_model_conditions = ' OR '.join(rel_model_conditions_list)
+
+            remove_empty_related_data_conditions = remove_empty_related_data_conditions_template.format(
+                rel_model_conditions
+            )
+
+        return remove_empty_related_data_conditions
+
+    def get_remove_closed_periods_data_conditions(self) -> Optional[str]:
+        """Формирование условия очистки данных по закрытым периодам обучения - учебным годам.
+
+        Очистка данных производится в таблицах моделей РВД. Производится обход по всем периодам обучения. Если с даты
+        окончания периода обучения прошло более 30 дней, то данные по модели РВД удаляются.
+        """
+
+    def get_remove_data_by_deleted_records_conditions(self) -> Optional[str]:
+        """Формирование условия очистки данных по удаленным записям в ЭШ.
+
+        Если данные в ЭШ были удалены, то после оповещения "Региональной витрины данных" об удалении того или иного
+        экземпляра сущности, данные могут быть удалены, т.к. больше не будут обновляться.
+        """
+        remove_data_by_deleted_records_conditions_sql = None
+
+        if issubclass(self._model_enum_value.model, BaseMainRDMModel):
+            remove_data_by_deleted_records_conditions_sql = """
+                EXISTS (
+                    SELECT 1 
+                    FROM rdm_exporting_data_sub_stage redss
+                    WHERE redss.id = tbl.exporting_sub_stage_id
+                        AND redss.status_id = 'FINISHED'
+                        AND tbl.operation = 3                
+                )
+            """
+
+        return remove_data_by_deleted_records_conditions_sql
+
+    def get_reverse_relation_conditions(self) -> Optional[str]:
+        """Формирование условий для удаления записей по связанным моделям.
+
+        Записи по связанным моделям удаляются по следующим условиям:
+        - если запись в таблице с обратной связью не найдена или была успешно выгружена в витрину.
+        """
+        processed_model_fields = []
+        not_fished_exporting_data_statuses = ', '.join(
+            [f"'{status.key}'" for status in RDMExportingDataSubStageStatus.get_not_finished_statuses()]
+        )
+        conditions = []
+        main_model_condition_template = """
+            NOT EXISTS (
+                SELECT 1 
+                FROM (SELECT DISTINCT exporting_sub_stage_id, {2} FROM {0}) {1} 
+                LEFT JOIN (SELECT id, status_id FROM rdm_exporting_data_sub_stage) redss 
+                    ON redss.id = {1}.exporting_sub_stage_id
+                WHERE {1}.{2} = tbl.id AND redss.status_id IN ({3})
+            )
+        """
+        enum_data = RDMModelEnum.get_enum_data()
+        for model_key, field_names in self._model_enum_value.reverse_relations.items():
+            model_enum_value = enum_data[model_key]
+
+            if issubclass(model_enum_value.model, BaseMainRDMModel):
+                for field_name in field_names:
+                    if (model_enum_value.model._meta.db_table, field_name) not in processed_model_fields:
+                        table_slug = ''.join(w[0] for w in model_enum_value.model._meta.db_table.split('_'))
+
+                        conditions.append(
+                            main_model_condition_template.format(
+                                model_enum_value.model._meta.db_table,
+                                table_slug,
+                                field_name,
+                                not_fished_exporting_data_statuses,
+                            )
+                        )
+
+                        processed_model_fields.append((model_enum_value.model._meta.db_table, field_name))
+
+        return ' AND '.join(conditions) if conditions else None
+
+    def get_remove_data_by_finished_status_conditions(self) -> Optional[str]:
+        """Формирование условия для удаления записей по выгруженным моделям."""
+        remove_data_by_finished_status_conditions_sql = None
+
+        if issubclass(self._model_enum_value.model, BaseMainRDMModel):
+            remove_data_by_finished_status_conditions_sql = """
+                EXISTS (
+                    SELECT 1 
+                    FROM rdm_exporting_data_sub_stage redss
+                    WHERE redss.id = tbl.exporting_sub_stage_id
+                        AND redss.status_id = 'FINISHED'
+                )
+            """
+
+        return remove_data_by_finished_status_conditions_sql
+
+    def get_merged_conditions(self) -> str:
+        """Формирование общего условия для определения устаревших записей."""
+        remove_empty_related_data_conditions = self.get_remove_empty_related_data_conditions()
+        remove_closed_periods_data_conditions = self.get_remove_closed_periods_data_conditions()
+        remove_data_by_deleted_records_conditions = self.get_remove_data_by_deleted_records_conditions()
+        reverse_relation_conditions = self.get_reverse_relation_conditions()
+        remove_data_by_finished_status_conditions = self.get_remove_data_by_finished_status_conditions()
+
+        conditions = ''
+        main_conditions = []
+        if remove_empty_related_data_conditions:
+            main_conditions.append(f'({remove_empty_related_data_conditions})')
+
+        if remove_closed_periods_data_conditions:
+            main_conditions.append(f'({remove_closed_periods_data_conditions})')
+
+        if remove_data_by_deleted_records_conditions:
+            main_conditions.append(f'({remove_data_by_deleted_records_conditions})')
+
+        if main_conditions:
+            conditions = ' OR '.join(main_conditions)
+
+        if reverse_relation_conditions and remove_data_by_finished_status_conditions:
+            additional_conditions = f'({reverse_relation_conditions}) AND ({remove_data_by_finished_status_conditions})'
+        else:
+            additional_conditions = reverse_relation_conditions or remove_data_by_finished_status_conditions
+
+        if conditions and additional_conditions:
+            conditions = f'({conditions}) AND ({additional_conditions})'
+        else:
+            conditions = additional_conditions or conditions
+
+        return conditions
+
+    def get_chunk_bounded(self) -> list[tuple[int, int, int]]:
+        """Получение идентификаторов-границ чанков для проверки и удаления устаревших данных."""
+        get_chunk_bounded_sql = self.SELECT_RDM_CHUNK_BOUNDED_SQL.format(
+            chunk_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE,
+            table_name=self._model_enum_value.model._meta.db_table,
+        )
+
+        if self._log_sql:
+            # Проверка на доступность sqlparse для форматирования
+            try:
+                import sqlparse
+            except ImportError:
+                sqlparse = None
+
+            if sqlparse:
+                # Форматирование кода
+                get_chunk_bounded_sql = sqlparse.format(
+                    sql=get_chunk_bounded_sql,
+                    reindent=True,
+                    strip_comments=True,
+                )
+            logger.info(
+                f'Запрос для получения границ чанков модели {self._model_enum_value.key}: \n{get_chunk_bounded_sql}\n'
+            )
+
+        with connection.cursor() as cursor:
+            cursor.execute(get_chunk_bounded_sql)
+            result = cursor.fetchall()
+
+        return result
+
+    def prepare_queries(self, chunk_bounded: list[tuple[int, int, int]]) -> list[str]:
+        """Формирование списка запросов для удаления устаревших данных."""
+        queries = []
+        conditions = self.get_merged_conditions()
+
+        for chunk_number, first_id, last_id in chunk_bounded:
+            remove_outdated_data_sql = self.REMOVE_OUTDATED_DATA_SQL.format(
+                table_name=self._model_enum_value.model._meta.db_table,
+                first_id=first_id,
+                last_id=last_id,
+                conditions=conditions,
+            )
+
+            queries.append(remove_outdated_data_sql)
+
+        return queries
+
+    async def execute_query(self, pool: 'Pool', query: str) -> str:
+        """Асинхронное выполнение запроса."""
+        async with pool.acquire() as conn:
+            try:
+                if self._safe:
+                    logger.info(f'Запрос не будет выполнен, включен безопасный режим!\n')
+
+                    if self._log_sql:
+                        logger.info(f'{query}\n')
+                else:
+                    deleted_count = await conn.fetchval(query)
+
+                    self._deleted_count += deleted_count
+
+                    if self._log_sql:
+                        logger.info(f'При помощи запроса:\n{query}\n')
+
+                    logger.info(f'Было удалено записей: {deleted_count}\n')
+            except Exception as e:
+                logger.error(f'Ошибка при выполнении {query}\n{e}')
+
+    async def execute_queries(self, queries: list[str]) -> None:
+        """Асинхронное выполнение запросов."""
+        DB_SETTINGS = settings.DATABASES['default']
+
+        pool = await asyncpg.create_pool(
+            max_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE,
+            min_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE,
+            host=DB_SETTINGS['HOST'],
+            port=DB_SETTINGS['PORT'],
+            user=DB_SETTINGS['USER'],
+            password=DB_SETTINGS['PASSWORD'],
+            database=DB_SETTINGS['NAME'],
+        )
+
+        tasks = [self.execute_query(pool, query) for query in queries]
+
+        await asyncio.gather(*tasks)
+
+    def run(self):
+        """Запуск очистки устаревших данных."""
+        chunk_bounded = self.get_chunk_bounded()
+
+        queries = self.prepare_queries(chunk_bounded=chunk_bounded)
+
+        if queries:
+            even_loop = asyncio.new_event_loop()
+            try:
+                even_loop.run_until_complete(self.execute_queries(queries=queries))
+            finally:
+                even_loop.close()
+
+        logger.info(f'Удалено записей модели {self._model_enum_value.key}: {self._deleted_count}')

{edu_rdm_integration-3.19.1 → edu_rdm_integration-3.21.0}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.19.1
+Version: 3.21.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -30,7 +30,7 @@ Requires-Dist: asyncpg==0.23.0
 Requires-Dist: educommon<4,>=3.25.0
 Requires-Dist: edu-function-tools<1,>=0.2.0
 Requires-Dist: m3-db-utils<1,>=0.7.0
-Requires-Dist: m3-django-compat<2,>=1.10.2
+Requires-Dist: m3-django-compatibility<2,>=1.12.0
 Requires-Dist: m3-ui<2.3,>=2.2.122
 Requires-Dist: uploader-client<1,>=0.3.0
 Provides-Extra: dev
@@ -198,6 +198,8 @@ INSTALLED_APPS = (
         ('uploader_client', 'INSTALLATION_NAME'): '',
         ('uploader_client', 'INSTALLATION_ID'): '',
         ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA'): False,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE'): 10000,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE'): 10,
     })  
     ```
 - Получение значений настроек из конфигурационного файла в settings.py:
@@ -313,6 +315,10 @@ INSTALLED_APPS = (
   
     # Включить зачистку устаревших данных моделей РВД
     RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA')
+    # Размер чанка записей зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE')
+    # Количество подключений к БД для зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE')
     ```
 
 Перечень настроек в settings.py указан в таблице ниже.
@@ -373,6 +379,9 @@ INSTALLED_APPS = (
 | RDM_EXPORT_LOG_DIR                           | Директория логов экспорта данных, доступных для скачивания                                                                         |                         |
 | RDM_UPLOAD_LOG_DIR                           | Директория логов отправки данных в витрину, доступных для скачивания                                                               |                         |
 | RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA      | Включение зачистки устаревших данных моделей РВД                                                                                   | False                   |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE  | Размер чанка записей зачистки устаревших данных моделей РВД                                                                        | 10000                   |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE   | Количество подключений к БД для зачистки устаревших данных моделей РВД                                                             | 10                      |
+
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -473,6 +482,10 @@ INSTALLED_APPS = (
     [rdm_cleanup_outdated_data]
     # Включить зачистку устаревших данных моделей РВД
     ENABLE_CLEANUP_MODELS_OUTDATED_DATA = False
+    # Размер чанка записей проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = 10000
+    # Количество подключений к БД для проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = 10
     ```
 На основе дефолтного конфига произвести конфигурирование приложений.