edu-rdm-integration 3.5.10__tar.gz → 3.7.0__tar.gz

{edu_rdm_integration-3.5.10 → edu_rdm_integration-3.7.0}/CHANGELOG.md

@@ -28,6 +28,35 @@
 
 ### Удалено
 
+## [3.7.0] - 2025-05-12
+
+### Удалено
+
+- [EDUSCHL-23121](https://jira.bars.group/browse/EDUSCHL-23121)
+  MINOR Удалена неиспользуемая модель UploadDataCommand
+
+
+## [3.6.0] - 2025-04-19
+
+Вводится две новые очереди и соответсвущие этим очередям периодические задачи
+сбора и выгрузки данных. Очередь для сущности указывается в реестре "Сущности для сбора и экспорта данных" 
+- по умолчанию все сущности относятся к основной очереди.
+Итого - нужно настроить три очереди для работы.
+
+ - "Быстрая" очередь - RDM_FAST - для сущностей, по которым данные должны отдаваться каждые 5/10/15 минут по требованиям 
+витрины. Периодическая задача - TransferLatestEntitiesDataFastPeriodicTask.
+ - Основная очередь (та которая была до версии 3.6) - RDM- ля всех сущностей по умолчанию.
+Периодическая задача - TransferLatestEntitiesDataFastPeriodicTask.
+ - "Долгая" очередь - RDM_LONG - для сущностей по которым идет долгий сбор, например для расчетных сущностей. 
+Периодическая задача - TransferLatestEntitiesDataLongPeriodicTask.
+
+### Добавлено
+
+- [EDUSCHL-23348](https://jira.bars.group/browse/EDUSCHL-23348)
+  MINOR Добавлено две дополнительные очереди для сбора и выгрузки данных РВД и соответствующие периодические 
+  задачи TransferLatestEntitiesDataFastPeriodicTask и TransferLatestEntitiesDataLongPeriodicTask. Доработан реестр
+  Сущности для сбора и экспорта данных - добавлено окно редактирования для возможности выбора очереди.
+  
 
 ## [3.5.10] - 2025-03-24
 

{edu_rdm_integration-3.5.10 → edu_rdm_integration-3.7.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.5.10
+Version: 3.7.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu_rdm_integration/browse
@@ -78,6 +78,19 @@ Dynamic: license-file
 
 Стоит обратить внимание, что сущности РВД могут содержать в себе данные из нескольких моделей РВД.
 
+Очереди для периодических задач сборки и выгрузки данных
+: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответсвущие этим очередям периодические задачи
+сбора и выгрузки данных. Очередь для сущности указывается в реестре "Сущности для сбора и экспорта данных" - по умолчанию все
+сущности относятся к основной очереди.
+Итого - нужно настроить три очереди для работы.
+
+ - "Быстрая" очередь - RDM_FAST - для сущностей, по которым данные должны отдаваться каждые 5/10/15 минут по требованиям 
+витрины. Периодическая задача - TransferLatestEntitiesDataFastPeriodicTask.
+ - Основная очередь (та которая была до версии 3.6) - RDM- ля всех сущностей по умолчанию.
+Периодическая задача - TransferLatestEntitiesDataFastPeriodicTask.
+ - "Долгая" очередь - RDM_LONG - для сущностей по которым идет долгий сбор, например для расчетных сущностей. 
+Периодическая задача - TransferLatestEntitiesDataLongPeriodicTask.
+
 ## Требования к окружению
 
 Для работы требуется Python >=3.9. Так же в зависимостях есть внутренние пакеты:
@@ -129,6 +142,39 @@ Dynamic: license-file
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
     ```
+ С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
+   ```
+    PROJECT_DEFAULT_CONFIG.update({
+        # Настройки РВД
+        ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
+        ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
+        ('rdm_transfer_task', 'MINUTE'): '0',
+        ('rdm_transfer_task', 'HOUR'): '*/4',
+        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
+        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
+        ('rdm_transfer_task', 'ENTITIES'): '',
+        ('rdm_transfer_task_fast', 'MINUTE'): '*/5',
+        ('rdm_transfer_task_fast', 'HOUR'): '*',
+        ('rdm_transfer_task_fast', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS'): 1800,
+        ('rdm_transfer_task_long', 'MINUTE'): '0',
+        ('rdm_transfer_task_long', 'HOUR'): '*/6',
+        ('rdm_transfer_task_long', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS'): 28800,
+        ('rdm_upload_status_task', 'MINUTE'): '*/30',
+        ('rdm_upload_status_task', 'HOUR'): '*',
+        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('uploader_client', 'URL'): 'http://localhost:8090',
+        ('uploader_client', 'DATAMART_NAME'): '',
+        ('uploader_client', 'REQUEST_RETRIES'): 10,
+        ('uploader_client', 'REQUEST_TIMEOUT'): 10,
+        ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
+    })
+    
+   ```
 - Получение значений настроек из конфигурационного файла в settings.py:
 
     ```
@@ -187,7 +233,21 @@ Dynamic: license-file
     RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
     
     ```
-  
+   С версии пакета 3.6 добавляются настройки для двух новых периодических задач
+   ```
+   # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
+   RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
+   RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
+   RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
+   RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
+
+   # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
+   RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
+   RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
+   RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
+   RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
+
+   ```
     Перечень настроек в settings.py указан в таблице ниже.
     
 | Название настройки в settings                | Описание                                                                                                                          | Значение по умолчанию   |
@@ -211,7 +271,18 @@ Dynamic: license-file
 | RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 3600                    |
 | RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                 | 120                     |
     
-
+  С версии пакета 3.6 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_FAST_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута       | '*/5'                 |
+| RDM_FAST_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час          | '*'                   |
+| RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели  | '*'                   |
+| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 1800                  |
+| RDM_LONG_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута        | 0                     |
+| RDM_LONG_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час           | '*/6'                 |
+| RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели   | '*'                   |
+| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 28800                 |
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -267,7 +338,21 @@ Dynamic: license-file
     # Включить эмуляцию отправки запросов
     ENABLE_REQUEST_EMULATION = True
     ```
+- С версии 3.6 в деволтный конфиг также нужно добавить два дополнительных раздела
+   ```
+    
+    [rdm_transfer_task_fast]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 1800
 
+    [rdm_transfer_task_long]
+    MINUTE=*/15
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 21600
+   ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 
 ## Сборка и распространение

{edu_rdm_integration-3.5.10 → edu_rdm_integration-3.7.0}/README.md

@@ -34,6 +34,19 @@
 
 Стоит обратить внимание, что сущности РВД могут содержать в себе данные из нескольких моделей РВД.
 
+Очереди для периодических задач сборки и выгрузки данных
+: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответсвущие этим очередям периодические задачи
+сбора и выгрузки данных. Очередь для сущности указывается в реестре "Сущности для сбора и экспорта данных" - по умолчанию все
+сущности относятся к основной очереди.
+Итого - нужно настроить три очереди для работы.
+
+ - "Быстрая" очередь - RDM_FAST - для сущностей, по которым данные должны отдаваться каждые 5/10/15 минут по требованиям 
+витрины. Периодическая задача - TransferLatestEntitiesDataFastPeriodicTask.
+ - Основная очередь (та которая была до версии 3.6) - RDM- ля всех сущностей по умолчанию.
+Периодическая задача - TransferLatestEntitiesDataFastPeriodicTask.
+ - "Долгая" очередь - RDM_LONG - для сущностей по которым идет долгий сбор, например для расчетных сущностей. 
+Периодическая задача - TransferLatestEntitiesDataLongPeriodicTask.
+
 ## Требования к окружению
 
 Для работы требуется Python >=3.9. Так же в зависимостях есть внутренние пакеты:
@@ -85,6 +98,39 @@
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
     ```
+ С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
+   ```
+    PROJECT_DEFAULT_CONFIG.update({
+        # Настройки РВД
+        ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
+        ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
+        ('rdm_transfer_task', 'MINUTE'): '0',
+        ('rdm_transfer_task', 'HOUR'): '*/4',
+        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
+        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
+        ('rdm_transfer_task', 'ENTITIES'): '',
+        ('rdm_transfer_task_fast', 'MINUTE'): '*/5',
+        ('rdm_transfer_task_fast', 'HOUR'): '*',
+        ('rdm_transfer_task_fast', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS'): 1800,
+        ('rdm_transfer_task_long', 'MINUTE'): '0',
+        ('rdm_transfer_task_long', 'HOUR'): '*/6',
+        ('rdm_transfer_task_long', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS'): 28800,
+        ('rdm_upload_status_task', 'MINUTE'): '*/30',
+        ('rdm_upload_status_task', 'HOUR'): '*',
+        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('uploader_client', 'URL'): 'http://localhost:8090',
+        ('uploader_client', 'DATAMART_NAME'): '',
+        ('uploader_client', 'REQUEST_RETRIES'): 10,
+        ('uploader_client', 'REQUEST_TIMEOUT'): 10,
+        ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
+    })
+    
+   ```
 - Получение значений настроек из конфигурационного файла в settings.py:
 
     ```
@@ -143,7 +189,21 @@
     RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
     
     ```
-  
+   С версии пакета 3.6 добавляются настройки для двух новых периодических задач
+   ```
+   # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
+   RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
+   RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
+   RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
+   RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
+
+   # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
+   RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
+   RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
+   RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
+   RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
+
+   ```
     Перечень настроек в settings.py указан в таблице ниже.
     
 | Название настройки в settings                | Описание                                                                                                                          | Значение по умолчанию   |
@@ -167,7 +227,18 @@
 | RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 3600                    |
 | RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                 | 120                     |
     
-
+  С версии пакета 3.6 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_FAST_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута       | '*/5'                 |
+| RDM_FAST_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час          | '*'                   |
+| RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели  | '*'                   |
+| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 1800                  |
+| RDM_LONG_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута        | 0                     |
+| RDM_LONG_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час           | '*/6'                 |
+| RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели   | '*'                   |
+| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 28800                 |
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -223,7 +294,21 @@
     # Включить эмуляцию отправки запросов
     ENABLE_REQUEST_EMULATION = True
     ```
+- С версии 3.6 в деволтный конфиг также нужно добавить два дополнительных раздела
+   ```
+    
+    [rdm_transfer_task_fast]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 1800
 
+    [rdm_transfer_task_long]
+    MINUTE=*/15
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 21600
+   ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 
 ## Сборка и распространение

{edu_rdm_integration-3.5.10 → edu_rdm_integration-3.7.0}/src/edu_rdm_integration/app_settings.py

@@ -41,6 +41,19 @@ RDM_TRANSFER_TASK_HOUR = '*/4'
 RDM_TRANSFER_TASK_DAY_OF_WEEK = '*'
 RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 6
 
+# Настройка запуска периодической задачи выгрузки данных - очередь быстрого уровня
+RDM_FAST_TRANSFER_TASK_MINUTE = '*/5'
+RDM_FAST_TRANSFER_TASK_HOUR = '*'
+RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = '*'
+RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = 60 * 30
+
+# Настройка запуска периодической задачи выгрузки данных - очередь медленного уровня
+RDM_LONG_TRANSFER_TASK_MINUTE = '0'
+RDM_LONG_TRANSFER_TASK_HOUR = '*/6'
+RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = '*'
+RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 6
+
+
 # Настройка запуска периодической задачи статуса загрузки данных в витрину:
 RDM_UPLOAD_STATUS_TASK_MINUTE = '*/30'
 RDM_UPLOAD_STATUS_TASK_HOUR = '*'

edu_rdm_integration-3.7.0/src/edu_rdm_integration/base.py

@@ -0,0 +1,147 @@
+import logging
+from abc import (
+    ABC,
+    abstractmethod,
+)
+from collections import (
+    defaultdict,
+)
+from typing import (
+    Optional,
+)
+
+from django.db.models import (
+    Q,
+)
+
+from m3_db_utils.consts import (
+    DEFAULT_ORDER_NUMBER,
+)
+
+from edu_rdm_integration.consts import (
+    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
+    REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
+)
+from edu_rdm_integration.helpers import (
+    UploadStatusHelper,
+    get_collecting_managers_max_period_ended_dates,
+    get_exporting_managers_max_period_ended_dates,
+    save_command_log_link,
+)
+from edu_rdm_integration.models import (
+    ExportingDataSubStageUploaderClientLog,
+    RegionalDataMartEntityEnum,
+    TransferredEntity,
+)
+from edu_rdm_integration.storages import (
+    RegionalDataMartEntityStorage,
+)
+
+
+class BaseOperationData(ABC):
+    """Базовый класс операций с данными."""
+
+    def __init__(self, **kwargs):
+        # Идентификатор команды для передачи сигналу manager_created
+        self.command_id: Optional[int] = kwargs.get('command_id')
+
+        self._file_handler: Optional[logging.FileHandler] = None
+
+        self._add_file_handler()
+
+    @property
+    @abstractmethod
+    def _log_file_path(self) -> str:
+        """Путь до лог файла."""
+
+    def _add_file_handler(self) -> None:
+        """Добавляет обработчик логов."""
+        if self.command_id:
+            self._file_handler = logging.FileHandler(self._log_file_path)
+
+            logging.getLogger('info_logger').addHandler(self._file_handler)
+            logging.getLogger('exception_logger').addHandler(self._file_handler)
+
+    def _remove_file_handler(self) -> None:
+        """Удаляет обработчик логов."""
+        if self._file_handler:
+            logging.getLogger('info_logger').removeHandler(self._file_handler)
+            logging.getLogger('exception_logger').removeHandler(self._file_handler)
+
+            self._file_handler.close()
+
+
+class BaseTransferLatestEntitiesDataMixin:
+    """Миксин сбора и выгрузки данных."""
+
+    def __init__(self) -> None:
+        super().__init__()
+
+        self._collecting_data_managers: dict[str, type['RunnerManager']] = {}
+        self._collecting_data_manager_to_logs_period_end: dict[str, 'datetime'] = {}
+
+        self._exporting_data_managers: dict[str, type['RunnerManager']] = {}
+        self._exporting_data_manager_to_period_end: dict[str, 'datetime'] = {}
+
+        self._transferred_entities = []
+        self._entites_models_map = defaultdict(list)
+
+    def get_entity_qs(self) -> 'QuerySet[TransferredEntity]':
+        """Возвращает сущностей сбора и выгрузки."""
+        raise NotImplementedError
+
+    def _collect_transferred_entities(self) -> None:
+        """Собирает сущности РВД, по которым будет произведен сбор и экспорт данных."""
+
+        self._transferred_entities = [
+            (RegionalDataMartEntityEnum.get_model_enum_value(key=entity), export_enabled)
+            for entity, export_enabled in self.get_entity_qs().values_list('entity', 'export_enabled')
+        ]
+
+        # Собираем словарь по сущностям с моделями для сборки
+        for entity, _ in self._transferred_entities:
+            self._entites_models_map[entity.key].extend(
+                (model_enum for model_enum in (*entity.additional_model_enums, entity.main_model_enum)
+                 if model_enum.order_number != DEFAULT_ORDER_NUMBER)
+            )
+
+    def _collect_managers(self) -> None:
+        """Собирает менеджеры Функций для сбора и выгрузки данных."""
+        entity_storage = RegionalDataMartEntityStorage()
+        entity_storage.prepare()
+
+        collecting_models_data_managers_map = entity_storage.prepare_entities_manager_map(
+            tags={REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA},
+        )
+        exporting_entities_data_managers_map = entity_storage.prepare_entities_manager_map(
+            tags={REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA},
+        )
+
+        for entity_key, entity_models in self._entites_models_map.items():
+            for entity_model in entity_models:
+                collect_manager_class = collecting_models_data_managers_map.get(entity_model.key)
+                if collect_manager_class:
+                    self._collecting_data_managers[entity_model.key] = collect_manager_class
+
+            export_manager_class = exporting_entities_data_managers_map.get(entity_key)
+            if export_manager_class:
+                self._exporting_data_managers[entity_key] = export_manager_class
+
+    def _calculate_collecting_managers_logs_period_ended_at(self) -> None:
+        """Определяет дату последнего успешного этапа сбора у менеджеров Функций сбора."""
+        self._collecting_data_manager_to_logs_period_end = get_collecting_managers_max_period_ended_dates(
+            self._collecting_data_managers.values()
+        )
+
+    def _calculate_exporting_managers_ended_at(self) -> None:
+        """Определяет дату последнего успешного подэтапа экспорта у менеджеров Функций экспорта."""
+        self._exporting_data_manager_to_period_end = get_exporting_managers_max_period_ended_dates(
+            self._exporting_data_managers.values()
+        )
+
+    def prepare_collect_export_managers(self) -> None:
+        """Подготовка менджеров сбора и экспорта."""
+        self._collect_transferred_entities()
+        self._collect_managers()
+        self._calculate_collecting_managers_logs_period_ended_at()
+        self._calculate_exporting_managers_ended_at()

{edu_rdm_integration-3.5.10 → edu_rdm_integration-3.7.0}/src/edu_rdm_integration/consts.py

@@ -29,6 +29,8 @@ ACADEMIC_YEAR = {
 }
 
 TASK_QUEUE_NAME = 'RDM'
+FAST_TRANSFER_TASK_QUEUE_NAME = 'RDM_FAST'
+LONG_TRANSFER_TASK_QUEUE_NAME = 'RDM_LONG'
 
 
 # Кортеж операций для обновления данных

{edu_rdm_integration-3.5.10 → edu_rdm_integration-3.7.0}/src/edu_rdm_integration/enums.py

@@ -6,6 +6,12 @@ from m3.db import (
     BaseEnumerate,
 )
 
+from edu_rdm_integration.consts import (
+    FAST_TRANSFER_TASK_QUEUE_NAME,
+    LONG_TRANSFER_TASK_QUEUE_NAME,
+    TASK_QUEUE_NAME,
+)
+
 
 class ValueCodeEnumerate(BaseEnumerate):
     """
@@ -166,3 +172,28 @@ class CommandType(BaseEnumerate):
         AUTO: 'Автоматический',
         MANUAL: 'Ручной',
     }
+
+
+class EntityLevelQueueTypeEnum(BaseEnumerate):
+    """Тип уровня очереди сущности."""
+
+    FAST = 1
+    BASE = 2
+    LONG = 3
+
+    values = {
+        FAST: 'Быстрая',
+        BASE: 'Основная',
+        LONG: 'Долгая'
+    }
+
+    celery_queue_maps = {
+        FAST: FAST_TRANSFER_TASK_QUEUE_NAME,
+        BASE: TASK_QUEUE_NAME,
+        LONG: LONG_TRANSFER_TASK_QUEUE_NAME
+    }
+
+    @classmethod
+    def get_queue_name(cls, level: int) -> Optional[str]:
+        """Возвращает очередь."""
+        return cls.celery_queue_maps.get(level)

{edu_rdm_integration-3.5.10 → edu_rdm_integration-3.7.0}/src/edu_rdm_integration/helpers.py

@@ -58,7 +58,6 @@ from edu_rdm_integration.models import (
     ExportingDataStageStatus,
     ExportingDataSubStageStatus,
     ExportingDataSubStageUploaderClientLog,
-    UploadDataCommand,
     UploadStatusRequestLog,
 )
 from edu_rdm_integration.redis_cache import (
@@ -321,7 +320,7 @@ class Graph:
 
 
 def save_command_log_link(
-    command: Union[AbstractExportDataCommandProgress, UploadDataCommand],
+    command: AbstractExportDataCommandProgress,
     log_dir: str
 ) -> None:
     """Сохраняет ссылку на лог команды."""

edu_rdm_integration-3.7.0/src/edu_rdm_integration/migrations/0016_transferredentity_queue_level.py

@@ -0,0 +1,22 @@
+# Generated by Django 3.2.24 on 2025-04-17 12:43
+
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration', '0015_set_exporting_sub_stage_status'),
+    ]
+
+    operations = [
+        migrations.AddField(
+            model_name='transferredentity',
+            name='queue_level',
+            field=models.PositiveIntegerField(
+                choices=[(1, 'Быстрая'), (2, 'Основная'), (3, 'Долгая')], default=2, verbose_name='Уровень очереди'),
+        ),
+    ]

edu_rdm_integration-3.7.0/src/edu_rdm_integration/migrations/0017_delete_uploaddatacommand.py

@@ -0,0 +1,16 @@
+# Generated by Django 3.2.24 on 2025-05-07 19:50
+
+from django.db import migrations
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration', '0016_transferredentity_queue_level'),
+    ]
+
+    operations = [
+        migrations.DeleteModel(
+            name='UploadDataCommand',
+        ),
+    ]

{edu_rdm_integration-3.5.10 → edu_rdm_integration-3.7.0}/src/edu_rdm_integration/models.py

@@ -63,6 +63,7 @@ from m3_db_utils.models import (
 
 from edu_rdm_integration.enums import (
     CommandType,
+    EntityLevelQueueTypeEnum,
     FileUploadStatusEnum,
 )
 from edu_rdm_integration.uploader_log.managers import (
@@ -932,6 +933,11 @@ class TransferredEntity(BaseObjectModel):
         verbose_name='Включение экспорта для сущности',
         default=True,
     )
+    queue_level = PositiveIntegerField(
+        choices=EntityLevelQueueTypeEnum.get_choices(),
+        default=EntityLevelQueueTypeEnum.BASE,
+        verbose_name='Уровень очереди',
+    )
 
     class Meta:
         db_table = 'rdm_transferred_entity'
@@ -963,42 +969,3 @@ class ExportingDataSubStageEntity(BaseObjectModel):
         db_table = 'rdm_exporting_data_sub_stage_entity'
         verbose_name = 'Связь сущности и подэтапа выгрузки'
         verbose_name_plural = 'Связи сущности и подэтапа выгрузки'
-
-
-class UploadDataCommand(ReprStrPreModelMixin, BaseObjectModel):
-    """Модель, хранящая данные для формирования и отслеживания асинхронной задачи по отправке данных в витрину."""
-
-    task = ForeignKey(
-        to='async_task.RunningTask',
-        verbose_name='Асинхронная задача',
-        blank=True,
-        null=True,
-        on_delete=SET_NULL,
-    )
-    logs_link = FileField(
-        upload_to=get_data_command_progress_attachment_path,
-        max_length=255,
-        verbose_name='Ссылка на файл логов',
-    )
-    type = PositiveSmallIntegerField(  # noqa: A003
-        verbose_name='Тип команды',
-        choices=CommandType.get_choices(),
-    )
-    entity = ForeignKey(
-        to=RegionalDataMartEntityEnum,
-        verbose_name='Сущность РВД',
-        on_delete=PROTECT,
-    )
-    created = DateTimeField(
-        verbose_name='Дата создания',
-        default=timezone.now,
-    )
-    generation_id = UUIDField(
-        'Идентификатор генерации',
-        default=uuid.uuid4,
-    )
-
-    class Meta:
-        db_table = 'rdm_upload_data_command'
-        verbose_name = 'Команда отправки данных в витрину'
-        verbose_name_plural = 'Команды отправки данных в витрину'