edu-rdm-integration 3.5.10__py3-none-any.whl → 3.6.0__py3-none-any.whl

edu_rdm_integration/app_settings.py

@@ -41,6 +41,19 @@ RDM_TRANSFER_TASK_HOUR = '*/4'
 RDM_TRANSFER_TASK_DAY_OF_WEEK = '*'
 RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 6
 
+# Настройка запуска периодической задачи выгрузки данных - очередь быстрого уровня
+RDM_FAST_TRANSFER_TASK_MINUTE = '*/5'
+RDM_FAST_TRANSFER_TASK_HOUR = '*'
+RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = '*'
+RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = 60 * 30
+
+# Настройка запуска периодической задачи выгрузки данных - очередь медленного уровня
+RDM_LONG_TRANSFER_TASK_MINUTE = '0'
+RDM_LONG_TRANSFER_TASK_HOUR = '*/6'
+RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = '*'
+RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 6
+
+
 # Настройка запуска периодической задачи статуса загрузки данных в витрину:
 RDM_UPLOAD_STATUS_TASK_MINUTE = '*/30'
 RDM_UPLOAD_STATUS_TASK_HOUR = '*'

edu_rdm_integration/base.py

@@ -3,10 +3,40 @@ from abc import (
     ABC,
     abstractmethod,
 )
+from collections import (
+    defaultdict,
+)
 from typing import (
     Optional,
 )
 
+from django.db.models import (
+    Q,
+)
+
+from m3_db_utils.consts import (
+    DEFAULT_ORDER_NUMBER,
+)
+
+from edu_rdm_integration.consts import (
+    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
+    REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
+)
+from edu_rdm_integration.helpers import (
+    UploadStatusHelper,
+    get_collecting_managers_max_period_ended_dates,
+    get_exporting_managers_max_period_ended_dates,
+    save_command_log_link,
+)
+from edu_rdm_integration.models import (
+    ExportingDataSubStageUploaderClientLog,
+    RegionalDataMartEntityEnum,
+    TransferredEntity,
+)
+from edu_rdm_integration.storages import (
+    RegionalDataMartEntityStorage,
+)
+
 
 class BaseOperationData(ABC):
     """Базовый класс операций с данными."""
@@ -39,3 +69,79 @@ class BaseOperationData(ABC):
             logging.getLogger('exception_logger').removeHandler(self._file_handler)
 
             self._file_handler.close()
+
+
+class BaseTransferLatestEntitiesDataMixin:
+    """Миксин сбора и выгрузки данных."""
+
+    def __init__(self) -> None:
+        super().__init__()
+
+        self._collecting_data_managers: dict[str, type['RunnerManager']] = {}
+        self._collecting_data_manager_to_logs_period_end: dict[str, 'datetime'] = {}
+
+        self._exporting_data_managers: dict[str, type['RunnerManager']] = {}
+        self._exporting_data_manager_to_period_end: dict[str, 'datetime'] = {}
+
+        self._transferred_entities = []
+        self._entites_models_map = defaultdict(list)
+
+    def get_entity_qs(self) -> 'QuerySet[TransferredEntity]':
+        """Возвращает сущностей сбора и выгрузки."""
+        raise NotImplementedError
+
+    def _collect_transferred_entities(self) -> None:
+        """Собирает сущности РВД, по которым будет произведен сбор и экспорт данных."""
+
+        self._transferred_entities = [
+            (RegionalDataMartEntityEnum.get_model_enum_value(key=entity), export_enabled)
+            for entity, export_enabled in self.get_entity_qs().values_list('entity', 'export_enabled')
+        ]
+
+        # Собираем словарь по сущностям с моделями для сборки
+        for entity, _ in self._transferred_entities:
+            self._entites_models_map[entity.key].extend(
+                (model_enum for model_enum in (*entity.additional_model_enums, entity.main_model_enum)
+                 if model_enum.order_number != DEFAULT_ORDER_NUMBER)
+            )
+
+    def _collect_managers(self) -> None:
+        """Собирает менеджеры Функций для сбора и выгрузки данных."""
+        entity_storage = RegionalDataMartEntityStorage()
+        entity_storage.prepare()
+
+        collecting_models_data_managers_map = entity_storage.prepare_entities_manager_map(
+            tags={REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA},
+        )
+        exporting_entities_data_managers_map = entity_storage.prepare_entities_manager_map(
+            tags={REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA},
+        )
+
+        for entity_key, entity_models in self._entites_models_map.items():
+            for entity_model in entity_models:
+                collect_manager_class = collecting_models_data_managers_map.get(entity_model.key)
+                if collect_manager_class:
+                    self._collecting_data_managers[entity_model.key] = collect_manager_class
+
+            export_manager_class = exporting_entities_data_managers_map.get(entity_key)
+            if export_manager_class:
+                self._exporting_data_managers[entity_key] = export_manager_class
+
+    def _calculate_collecting_managers_logs_period_ended_at(self) -> None:
+        """Определяет дату последнего успешного этапа сбора у менеджеров Функций сбора."""
+        self._collecting_data_manager_to_logs_period_end = get_collecting_managers_max_period_ended_dates(
+            self._collecting_data_managers.values()
+        )
+
+    def _calculate_exporting_managers_ended_at(self) -> None:
+        """Определяет дату последнего успешного подэтапа экспорта у менеджеров Функций экспорта."""
+        self._exporting_data_manager_to_period_end = get_exporting_managers_max_period_ended_dates(
+            self._exporting_data_managers.values()
+        )
+
+    def prepare_collect_export_managers(self) -> None:
+        """Подготовка менджеров сбора и экспорта."""
+        self._collect_transferred_entities()
+        self._collect_managers()
+        self._calculate_collecting_managers_logs_period_ended_at()
+        self._calculate_exporting_managers_ended_at()

edu_rdm_integration/consts.py

@@ -29,6 +29,8 @@ ACADEMIC_YEAR = {
 }
 
 TASK_QUEUE_NAME = 'RDM'
+FAST_TRANSFER_TASK_QUEUE_NAME = 'RDM_FAST'
+LONG_TRANSFER_TASK_QUEUE_NAME = 'RDM_LONG'
 
 
 # Кортеж операций для обновления данных

edu_rdm_integration/enums.py

@@ -6,6 +6,12 @@ from m3.db import (
     BaseEnumerate,
 )
 
+from edu_rdm_integration.consts import (
+    FAST_TRANSFER_TASK_QUEUE_NAME,
+    LONG_TRANSFER_TASK_QUEUE_NAME,
+    TASK_QUEUE_NAME,
+)
+
 
 class ValueCodeEnumerate(BaseEnumerate):
     """
@@ -166,3 +172,28 @@ class CommandType(BaseEnumerate):
         AUTO: 'Автоматический',
         MANUAL: 'Ручной',
     }
+
+
+class EntityLevelQueueTypeEnum(BaseEnumerate):
+    """Тип уровня очереди сущности."""
+
+    FAST = 1
+    BASE = 2
+    LONG = 3
+
+    values = {
+        FAST: 'Быстрая',
+        BASE: 'Основная',
+        LONG: 'Долгая'
+    }
+
+    celery_queue_maps = {
+        FAST: FAST_TRANSFER_TASK_QUEUE_NAME,
+        BASE: TASK_QUEUE_NAME,
+        LONG: LONG_TRANSFER_TASK_QUEUE_NAME
+    }
+
+    @classmethod
+    def get_queue_name(cls, level: int) -> Optional[str]:
+        """Возвращает очередь."""
+        return cls.celery_queue_maps.get(level)

edu_rdm_integration/migrations/0016_transferredentity_queue_level.py

@@ -0,0 +1,22 @@
+# Generated by Django 3.2.24 on 2025-04-17 12:43
+
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration', '0015_set_exporting_sub_stage_status'),
+    ]
+
+    operations = [
+        migrations.AddField(
+            model_name='transferredentity',
+            name='queue_level',
+            field=models.PositiveIntegerField(
+                choices=[(1, 'Быстрая'), (2, 'Основная'), (3, 'Долгая')], default=2, verbose_name='Уровень очереди'),
+        ),
+    ]

edu_rdm_integration/models.py

@@ -63,6 +63,7 @@ from m3_db_utils.models import (
 
 from edu_rdm_integration.enums import (
     CommandType,
+    EntityLevelQueueTypeEnum,
     FileUploadStatusEnum,
 )
 from edu_rdm_integration.uploader_log.managers import (
@@ -932,6 +933,11 @@ class TransferredEntity(BaseObjectModel):
         verbose_name='Включение экспорта для сущности',
         default=True,
     )
+    queue_level = PositiveIntegerField(
+        choices=EntityLevelQueueTypeEnum.get_choices(),
+        default=EntityLevelQueueTypeEnum.BASE,
+        verbose_name='Уровень очереди',
+    )
 
     class Meta:
         db_table = 'rdm_transferred_entity'

edu_rdm_integration/registry/actions.py

@@ -21,6 +21,7 @@ from edu_rdm_integration.models import (
     TransferredEntity,
 )
 from edu_rdm_integration.registry.ui import (
+    TransferredEntityEditWindow,
     TransferredEntityListWindow,
 )
 
@@ -97,14 +98,27 @@ class TransferredEntitySaveAction(BaseAction):
         """Объявляет контекст экшна."""
         return {
             'id': {'type': 'str_list', 'default': []},
+            self.parent.id_param_name: {'type': 'int'}
         }
 
     def run(self, request, context):
         """Обеспечивает выполнение запроса."""
-        self.parent.model.objects.bulk_create([
-            self.parent.model(entity_id=key)
-            for key in context.id
-        ])
+        obj_id = getattr(context, self.parent.id_param_name)
+        if obj_id:
+            queue_level = getattr(context, 'queue_level', None)
+            if queue_level:
+                self.parent.model.objects.filter(
+                    id=obj_id
+                ).exclude(
+                    queue_level=queue_level
+                ).update(
+                    queue_level=queue_level
+                )
+        else:
+            self.parent.model.objects.bulk_create([
+                self.parent.model(entity_id=key)
+                for key in context.id
+            ])
 
         return OperationResult(success=True)
 
@@ -121,6 +135,7 @@ class TransferredEntityPack(ObjectPack):
 
     need_check_permission = True
     list_window = TransferredEntityListWindow
+    edit_window = TransferredEntityEditWindow
 
     columns = [
         {
@@ -134,6 +149,10 @@ class TransferredEntityPack(ObjectPack):
         {
             'data_index': 'no_export',
             'header': 'Отключение экспорта',
+        },
+        {
+            'data_index': 'queue_level',
+            'header': 'Уровень очереди',
         }
     ]
 

edu_rdm_integration/registry/ui.py

@@ -1,14 +1,22 @@
 from m3_ext.ui.all_components import (
     ExtButton,
+    ExtDisplayField,
 )
 from objectpack.ui import (
+    BaseEditWindow,
     BaseListWindow,
+    anchor100,
+    model_fields_to_controls,
 )
 
 from educommon.utils.ui import (
     append_template_globals,
 )
 
+from edu_rdm_integration.models import (
+    TransferredEntity,
+)
+
 
 class TransferredEntityListWindow(BaseListWindow):
     """Окно реестра сущностей для сбора и экспорта данных."""
@@ -39,3 +47,39 @@ class TransferredEntityListWindow(BaseListWindow):
             params['pack'].export_change_action.get_absolute_url()
         )
         self.pack = params['pack']
+
+
+class TransferredEntityEditWindow(BaseEditWindow):
+    """Окно редактирования сущностей."""
+
+    def _init_components(self):
+        """Инициализация компонентов."""
+        super()._init_components()
+
+        self._controls = model_fields_to_controls(
+            TransferredEntity,
+            self,
+            field_list=[
+                'queue_level',
+            ],
+        )
+        self.entity_name_field = ExtDisplayField(
+            read_only=True,
+            label='Сущность',
+            name='entity_name',
+        )
+        self._controls.insert(0, self.entity_name_field)
+
+    def _do_layout(self):
+        """Расположение компонентов."""
+        super()._do_layout()
+
+        self.form.items.extend(list(map(anchor100, self._controls)))
+
+    def set_params(self, params, *args, **kwargs):
+        """Простановка парметров."""
+        super().set_params(params, *args, **kwargs)
+
+        obj = params.get('object')
+        if obj:
+            self.entity_name_field.value = obj.entity_id

edu_rdm_integration/tasks.py

@@ -25,16 +25,15 @@ from educommon.async_task.models import (
     RunningTask,
 )
 from educommon.async_task.tasks import (
-    PeriodicAsyncTask,
     UniquePeriodicAsyncTask,
 )
 from educommon.utils.date import (
     get_today_min_datetime,
 )
-from m3_db_utils.consts import (
-    DEFAULT_ORDER_NUMBER,
-)
 
+from edu_rdm_integration.base import (
+    BaseTransferLatestEntitiesDataMixin,
+)
 from edu_rdm_integration.collect_and_export_data.models import (
     EduRdmCollectDataCommandProgress,
     EduRdmExportDataCommandProgress,
@@ -46,12 +45,13 @@ from edu_rdm_integration.collect_data.helpers import (
     set_failed_status_suspended_collecting_data_stages,
 )
 from edu_rdm_integration.consts import (
-    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
-    REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
+    FAST_TRANSFER_TASK_QUEUE_NAME,
+    LONG_TRANSFER_TASK_QUEUE_NAME,
     TASK_QUEUE_NAME,
 )
 from edu_rdm_integration.enums import (
     CommandType,
+    EntityLevelQueueTypeEnum,
     FileUploadStatusEnum,
 )
 from edu_rdm_integration.export_data.export import (
@@ -66,18 +66,12 @@ from edu_rdm_integration.export_data.queue import (
 )
 from edu_rdm_integration.helpers import (
     UploadStatusHelper,
-    get_collecting_managers_max_period_ended_dates,
-    get_exporting_managers_max_period_ended_dates,
     save_command_log_link,
 )
 from edu_rdm_integration.models import (
     ExportingDataSubStageUploaderClientLog,
-    RegionalDataMartEntityEnum,
     TransferredEntity,
 )
-from edu_rdm_integration.storages import (
-    RegionalDataMartEntityStorage,
-)
 
 
 if TYPE_CHECKING:
@@ -85,10 +79,6 @@ if TYPE_CHECKING:
         datetime,
     )
 
-    from function_tools.managers import (
-        RunnerManager,
-    )
-
 
 class RDMCheckUploadStatus(UniquePeriodicAsyncTask):
     """Периодическая задача для сбора статусов по загрузке файла в витрину."""
@@ -154,61 +144,24 @@ class CheckSuspendedExportedStagePeriodicTask(UniquePeriodicAsyncTask):
         )
 
 
-class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
-    """Периодическая задача сбора и выгрузки данных."""
-
-    queue = TASK_QUEUE_NAME
-    routing_key = TASK_QUEUE_NAME
-    description = 'Периодическая задача сбора и экспорта данных РВД'
-    lock_expire_seconds = settings.RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS
-    task_type = AsyncTaskType.UNKNOWN
-    run_every = crontab(
-        minute=settings.RDM_TRANSFER_TASK_MINUTE,
-        hour=settings.RDM_TRANSFER_TASK_HOUR,
-        day_of_week=settings.RDM_TRANSFER_TASK_DAY_OF_WEEK,
-    )
+class BaseTransferLatestEntitiesDataPeriodicTask(BaseTransferLatestEntitiesDataMixin, UniquePeriodicAsyncTask):
+    """Базовая периодическая задача сбора и выгрузки данных для переиспользования в разных очередях."""
 
     def __init__(self) -> None:
         super().__init__()
 
-        self._collecting_data_managers: dict[str, type['RunnerManager']] = {}
-        self._collecting_data_manager_to_logs_period_end: dict[str, 'datetime'] = {}
-
-        self._exporting_data_managers: dict[str, type['RunnerManager']] = {}
-        self._exporting_data_manager_to_period_end: dict[str, 'datetime'] = {}
-
-        self._transferred_entities = []
-        self._entites_models_map = defaultdict(list)
-
-    def process(self, *args, **kwargs):
-        """Выполняет задачу."""
-        super().process(*args, **kwargs)
-
-        self._collect_transferred_entities()
-        self._collect_managers()
-        self._calculate_collecting_managers_logs_period_ended_at()
-        self._calculate_exporting_managers_ended_at()
-
-        task_id = RunningTask.objects.filter(
-            pk=self.request.id,
-        ).values_list('pk', flat=True).first()
+        self._period_ended_at: Optional[datetime] = None
 
-        collected_entity_models = set()
+    def _get_period_ended_at(self):
+        """Определяет единую дату окончания периода сбора.
 
-        for entity_enum, export_enabled in sorted(
-            self._transferred_entities, key=lambda entity: entity[0].order_number
-        ):
-            entity_models = self._entites_models_map.get(entity_enum.key, ())
-            for model_enum_value in entity_models:
-                if model_enum_value.key not in collected_entity_models:
-                    self._run_collect_model_data(model_enum_value.key, task_id)
-                    collected_entity_models.add(model_enum_value.key)
+        Это нужно для исключения разного времени окончания сбора при явном запуске функции - чтобы
+        избежать ошибки экспорта при недосборе данных.
+        """
+        if not self._period_ended_at:
+            self._period_ended_at = timezone.now()
 
-            try:
-                if export_enabled:
-                    self._run_export_entity_data(entity_enum.key, task_id)
-            except Exception:
-                continue
+        return self._period_ended_at
 
     def _run_collect_model_data(self, model: str, task_id: str) -> None:
         """Запускает сбор данных модели РВД."""
@@ -229,54 +182,6 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             command.refresh_from_db(fields=['stage_id'])
             save_command_log_link(command, settings.RDM_EXPORT_LOG_DIR)
 
-    def _collect_transferred_entities(self) -> None:
-        """Собирает сущности РВД, по которым будет произведен сбор и экспорт данных."""
-        self._transferred_entities = [
-            (RegionalDataMartEntityEnum.get_model_enum_value(key=entity), export_enabled)
-            for entity, export_enabled in TransferredEntity.objects.values_list('entity', 'export_enabled')
-        ]
-
-        # Собираем словарь по сущностям с моделями для сборки
-        for entity, _ in self._transferred_entities:
-            self._entites_models_map[entity.key].extend(
-                (model_enum for model_enum in (*entity.additional_model_enums, entity.main_model_enum)
-                 if model_enum.order_number != DEFAULT_ORDER_NUMBER)
-            )
-
-    def _collect_managers(self) -> None:
-        """Собирает менеджеры Функций для сбора и выгрузки данных."""
-        entity_storage = RegionalDataMartEntityStorage()
-        entity_storage.prepare()
-
-        collecting_models_data_managers_map = entity_storage.prepare_entities_manager_map(
-            tags={REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA},
-        )
-        exporting_entities_data_managers_map = entity_storage.prepare_entities_manager_map(
-            tags={REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA},
-        )
-
-        for entity_key, entity_models in self._entites_models_map.items():
-            for entity_model in entity_models:
-                collect_manager_class = collecting_models_data_managers_map.get(entity_model.key)
-                if collect_manager_class:
-                    self._collecting_data_managers[entity_model.key] = collect_manager_class
-
-            export_manager_class = exporting_entities_data_managers_map.get(entity_key)
-            if export_manager_class:
-                self._exporting_data_managers[entity_key] = export_manager_class
-
-    def _calculate_collecting_managers_logs_period_ended_at(self) -> None:
-        """Определяет дату последнего успешного этапа сбора у менеджеров Функций сбора."""
-        self._collecting_data_manager_to_logs_period_end = get_collecting_managers_max_period_ended_dates(
-            self._collecting_data_managers.values()
-        )
-
-    def _calculate_exporting_managers_ended_at(self) -> None:
-        """Определяет дату последнего успешного подэтапа экспорта у менеджеров Функций экспорта."""
-        self._exporting_data_manager_to_period_end = get_exporting_managers_max_period_ended_dates(
-            self._exporting_data_managers.values()
-        )
-
     def _create_collect_command(self, model: str, task_id: str) -> EduRdmCollectDataCommandProgress:
         """Создает команду сбора данных моделей РВД."""
         manager = self._collecting_data_managers[model]
@@ -286,7 +191,7 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
         )
 
         period_started_at = manager_last_collected
-        period_ended_at = timezone.now()
+        period_ended_at = self._get_period_ended_at()
 
         return EduRdmCollectDataCommandProgress.objects.create(
             model_id=model,
@@ -340,6 +245,91 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             task_id=self.request.id,
         )
 
+    def process(self, *args, **kwargs):
+        """Выполняет задачу."""
+        super().process(*args, **kwargs)
+
+        self._period_ended_at = None
+        self.prepare_collect_export_managers()
+
+        task_id = RunningTask.objects.filter(
+            pk=self.request.id,
+        ).values_list('pk', flat=True).first()
+
+        collected_entity_models = set()
+
+        for entity_enum, export_enabled in sorted(
+            self._transferred_entities, key=lambda entity: entity[0].order_number
+        ):
+            entity_models = self._entites_models_map.get(entity_enum.key, ())
+            for model_enum_value in entity_models:
+                if model_enum_value.key not in collected_entity_models:
+                    collected_entity_models.add(model_enum_value.key)
+                    try:
+                        self._run_collect_model_data(model_enum_value.key, task_id)
+                    except Exception:
+                        continue
+
+            try:
+                if export_enabled:
+                    self._run_export_entity_data(entity_enum.key, task_id)
+            except Exception:
+                continue
+
+
+class TransferLatestEntitiesDataPeriodicTask(BaseTransferLatestEntitiesDataPeriodicTask):
+    """Периодическая задача сбора и выгрузки данных."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Периодическая задача сбора и экспорта данных РВД'
+    lock_expire_seconds = settings.RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS
+    task_type = AsyncTaskType.UNKNOWN
+    run_every = crontab(
+        minute=settings.RDM_TRANSFER_TASK_MINUTE,
+        hour=settings.RDM_TRANSFER_TASK_HOUR,
+        day_of_week=settings.RDM_TRANSFER_TASK_DAY_OF_WEEK,
+    )
+
+    def get_entity_qs(self) -> 'QuerySet[TransferredEntity]':
+        return TransferredEntity.objects.filter(queue_level=EntityLevelQueueTypeEnum.BASE)
+
+
+class TransferLatestEntitiesDataFastPeriodicTask(BaseTransferLatestEntitiesDataPeriodicTask):
+    """Периодическая задача сбора и выгрузки данных для быстрого уровня очереди."""
+
+    queue = FAST_TRANSFER_TASK_QUEUE_NAME
+    routing_key = FAST_TRANSFER_TASK_QUEUE_NAME
+    description = 'Периодическая задача сбора и экспорта данных РВД (быстрый уровень)'
+    lock_expire_seconds = settings.RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS
+    task_type = AsyncTaskType.UNKNOWN
+    run_every = crontab(
+        minute=settings.RDM_FAST_TRANSFER_TASK_MINUTE,
+        hour=settings.RDM_FAST_TRANSFER_TASK_HOUR,
+        day_of_week=settings.RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK,
+    )
+
+    def get_entity_qs(self) -> 'QuerySet[TransferredEntity]':
+        return TransferredEntity.objects.filter(queue_level=EntityLevelQueueTypeEnum.FAST)
+
+
+class TransferLatestEntitiesDataLongPeriodicTask(BaseTransferLatestEntitiesDataPeriodicTask):
+    """Периодическая задача сбора и выгрузки данных для долгого уровня очереди."""
+
+    queue = LONG_TRANSFER_TASK_QUEUE_NAME
+    routing_key = LONG_TRANSFER_TASK_QUEUE_NAME
+    description = 'Периодическая задача сбора и экспорта данных РВД (долгий уровень)'
+    lock_expire_seconds = settings.RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS
+    task_type = AsyncTaskType.UNKNOWN
+    run_every = crontab(
+        minute=settings.RDM_LONG_TRANSFER_TASK_MINUTE,
+        hour=settings.RDM_LONG_TRANSFER_TASK_HOUR,
+        day_of_week=settings.RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK,
+    )
+
+    def get_entity_qs(self) -> 'QuerySet[TransferredEntity]':
+        return TransferredEntity.objects.filter(queue_level=EntityLevelQueueTypeEnum.LONG)
+
 
 class UploadDataAsyncTask(UniquePeriodicAsyncTask):
     """Формирование очереди файлов и их отправка."""
@@ -383,3 +373,5 @@ celery_app.register_task(RDMCheckUploadStatus)
 celery_app.register_task(CheckSuspendedExportedStagePeriodicTask)
 celery_app.register_task(TransferLatestEntitiesDataPeriodicTask)
 celery_app.register_task(UploadDataAsyncTask)
+celery_app.register_task(TransferLatestEntitiesDataFastPeriodicTask)
+celery_app.register_task(TransferLatestEntitiesDataLongPeriodicTask)

{edu_rdm_integration-3.5.10.dist-info → edu_rdm_integration-3.6.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.5.10
+Version: 3.6.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu_rdm_integration/browse
@@ -78,6 +78,19 @@ Dynamic: license-file
 
 Стоит обратить внимание, что сущности РВД могут содержать в себе данные из нескольких моделей РВД.
 
+Очереди для периодических задач сборки и выгрузки данных
+: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответсвущие этим очередям периодические задачи
+сбора и выгрузки данных. Очередь для сущности указывается в реестре "Сущности для сбора и экспорта данных" - по умолчанию все
+сущности относятся к основной очереди.
+Итого - нужно настроить три очереди для работы.
+
+ - "Быстрая" очередь - RDM_FAST - для сущностей, по которым данные должны отдаваться каждые 5/10/15 минут по требованиям 
+витрины. Периодическая задача - TransferLatestEntitiesDataFastPeriodicTask.
+ - Основная очередь (та которая была до версии 3.6) - RDM- ля всех сущностей по умолчанию.
+Периодическая задача - TransferLatestEntitiesDataFastPeriodicTask.
+ - "Долгая" очередь - RDM_LONG - для сущностей по которым идет долгий сбор, например для расчетных сущностей. 
+Периодическая задача - TransferLatestEntitiesDataLongPeriodicTask.
+
 ## Требования к окружению
 
 Для работы требуется Python >=3.9. Так же в зависимостях есть внутренние пакеты:
@@ -129,6 +142,39 @@ Dynamic: license-file
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
     ```
+ С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
+   ```
+    PROJECT_DEFAULT_CONFIG.update({
+        # Настройки РВД
+        ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
+        ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
+        ('rdm_transfer_task', 'MINUTE'): '0',
+        ('rdm_transfer_task', 'HOUR'): '*/4',
+        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
+        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
+        ('rdm_transfer_task', 'ENTITIES'): '',
+        ('rdm_transfer_task_fast', 'MINUTE'): '*/5',
+        ('rdm_transfer_task_fast', 'HOUR'): '*',
+        ('rdm_transfer_task_fast', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS'): 1800,
+        ('rdm_transfer_task_long', 'MINUTE'): '0',
+        ('rdm_transfer_task_long', 'HOUR'): '*/6',
+        ('rdm_transfer_task_long', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS'): 28800,
+        ('rdm_upload_status_task', 'MINUTE'): '*/30',
+        ('rdm_upload_status_task', 'HOUR'): '*',
+        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('uploader_client', 'URL'): 'http://localhost:8090',
+        ('uploader_client', 'DATAMART_NAME'): '',
+        ('uploader_client', 'REQUEST_RETRIES'): 10,
+        ('uploader_client', 'REQUEST_TIMEOUT'): 10,
+        ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
+    })
+    
+   ```
 - Получение значений настроек из конфигурационного файла в settings.py:
 
     ```
@@ -187,7 +233,21 @@ Dynamic: license-file
     RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
     
     ```
-  
+   С версии пакета 3.6 добавляются настройки для двух новых периодических задач
+   ```
+   # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
+   RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
+   RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
+   RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
+   RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
+
+   # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
+   RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
+   RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
+   RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
+   RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
+
+   ```
     Перечень настроек в settings.py указан в таблице ниже.
     
 | Название настройки в settings                | Описание                                                                                                                          | Значение по умолчанию   |
@@ -211,7 +271,18 @@ Dynamic: license-file
 | RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 3600                    |
 | RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                 | 120                     |
     
-
+  С версии пакета 3.6 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_FAST_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута       | '*/5'                 |
+| RDM_FAST_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час          | '*'                   |
+| RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели  | '*'                   |
+| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 1800                  |
+| RDM_LONG_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута        | 0                     |
+| RDM_LONG_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час           | '*/6'                 |
+| RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели   | '*'                   |
+| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 28800                 |
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -267,7 +338,21 @@ Dynamic: license-file
     # Включить эмуляцию отправки запросов
     ENABLE_REQUEST_EMULATION = True
     ```
+- С версии 3.6 в деволтный конфиг также нужно добавить два дополнительных раздела
+   ```
+    
+    [rdm_transfer_task_fast]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 1800
 
+    [rdm_transfer_task_long]
+    MINUTE=*/15
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 21600
+   ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 
 ## Сборка и распространение

{edu_rdm_integration-3.5.10.dist-info → edu_rdm_integration-3.6.0.dist-info}/RECORD

@@ -1,18 +1,18 @@
 edu_rdm_integration/__init__.py,sha256=fVCvQ7QGI_iCyAeE8dMapyY8gOM617ye5GQqAVGPlZI,72
 edu_rdm_integration/app_meta.py,sha256=v5IU69yaeLbyHF0Ln6iPN_IfizbtF3rCWrz2n71m8dU,337
-edu_rdm_integration/app_settings.py,sha256=f7Obftma3sQSXZmQRkfas93VFnJi3eTGVE_JixzxAnQ,3035
+edu_rdm_integration/app_settings.py,sha256=9alLUaen3DRCD7wngNyNI2oXf98R-qW1rvKpTvLTMrQ,3684
 edu_rdm_integration/apps.py,sha256=Dl1og2yZcRyJmqrifUNIjLZ9Us2jw2mgAP1_q2fg29A,3699
-edu_rdm_integration/base.py,sha256=_G0qPTAXe6bXfgDHNiZMSsYt3sMuUhLKnHuQCWSFttU,1341
-edu_rdm_integration/consts.py,sha256=nL8o-w73KjGM4r_--Nasffmo_DJx9HsgrPHSNtq-y-g,1080
+edu_rdm_integration/base.py,sha256=1NgLZd0KZRRgUcVfufVIpDJU2coT2zksFGDaX4fWqps,5967
+edu_rdm_integration/consts.py,sha256=QnL9TqTKuJ0MrysqtqHvtCwOFbS1T7iwcfUZGjVsZTU,1166
 edu_rdm_integration/entities.py,sha256=mhVeB88A-VD5IAzZCNeI1qnkvNoZ8LPiLBdqk1yA3Jc,14541
-edu_rdm_integration/enums.py,sha256=T3Mu5D-CbKO3BSg16MPPnIPlcc_YGLYR-ThS8dzl9gg,4246
+edu_rdm_integration/enums.py,sha256=RpQIZM1iSgFbYDHfwrbT-BwgRf-N9ZZnJgx8UyRFQ2o,4978
 edu_rdm_integration/helpers.py,sha256=wr4ddI9LNsmcwdZMEUYT070YnM49ixbAQ0-tBh4gp08,14808
 edu_rdm_integration/mapping.py,sha256=1B6TsC4Os9wiM8L8BChnCNv_iWqjeWu3bdDsqKVsId0,616
-edu_rdm_integration/models.py,sha256=feAbpH1ji4MOHpYtzDfrumMYmXlz1ye-IDUFJSI7Nq0,33092
+edu_rdm_integration/models.py,sha256=pimS5MIQzRl4b9RIUUCSxsAA54zB_aoiEY0evrywpHM,33325
 edu_rdm_integration/redis_cache.py,sha256=SP_rcL5t6PTVLOnEYn_NTX0Z666VdZT4By2pyED24Z4,1537
 edu_rdm_integration/signals.py,sha256=3eRlpkDcFCF6TN80-QM8yBYLcyozzcmoPjz6r4_ApWg,73
 edu_rdm_integration/storages.py,sha256=G4Q4tIyJdEyb9ka551PADCFIm66bpsJe9VBRcvQhLMI,6745
-edu_rdm_integration/tasks.py,sha256=ie9fduL1QMR_ndFXIruY4VXdTnStqiV2vd6iNILFxQw,15540
+edu_rdm_integration/tasks.py,sha256=LyFc91ntwlYZoLN9-gYEzS_vjBnvVpF3D5N7ubtp6FM,15136
 edu_rdm_integration/typing.py,sha256=2asD8biX0l_DVqJSU4y19-zzEBJMk967PUj3UhzICzs,785
 edu_rdm_integration/utils.py,sha256=NNRfblJ9QoX07qUa2kfKG0jM3fHJ3oaDvG2zwj0As70,12120
 edu_rdm_integration/adapters/__init__.py,sha256=cU0swn4Ny5ZQz5buWRcWsT1mpWuUFJaUlHf2l7TtEBo,83
@@ -167,10 +167,11 @@ edu_rdm_integration/migrations/0012_exportingdatasubstageattachment_attachment_s
 edu_rdm_integration/migrations/0013_set_attachment_size.py,sha256=Gol8T137gdaCTSkJ2e4as5x4gfqeouZmgWgkOl7zxCQ,2048
 edu_rdm_integration/migrations/0014_uploaddatacommand.py,sha256=Hh0vKKiGgKOvY1kBAcmway4dSYUXwVArHAc9YrsjCIU,2079
 edu_rdm_integration/migrations/0015_set_exporting_sub_stage_status.py,sha256=zVe2baNq8JYzMPRmtpAwplmgKHOP3lwMKHLo_yRz0QE,790
+edu_rdm_integration/migrations/0016_transferredentity_queue_level.py,sha256=xMnDYE5_fK8Sdwq-1GwJlJZlVoz4e4yml0SDueKcbUA,587
 edu_rdm_integration/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/registry/actions.py,sha256=jNEq1RhSGtxdYOIKcTtqT1LPUfKvOIFgAQjP3q0Lv1s,5382
-edu_rdm_integration/registry/ui.py,sha256=YU7I53ipABEy2oAC3G-we8iTqNtHrYZ11tl-981EZmU,1329
+edu_rdm_integration/registry/actions.py,sha256=-CHe95jbxO9JAEaOx6nV6Avn75ynppvZRWN8YPc6c6s,6074
+edu_rdm_integration/registry/ui.py,sha256=v4GqbQUcoeHxfUPUYORuj4DfzIp49diY-F1hyL3TCPo,2592
 edu_rdm_integration/templates/ui-js/transferred-entity-list.js,sha256=IWEZ9JoTxD5-CLic5v07XHWW0iGRWk-cjeGVSzU4yKg,1117
 edu_rdm_integration/uploader_log/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/uploader_log/actions.py,sha256=2ckgI1PKgVcLYkbhtbK_bfv_6lDxpiIRSk1uPCIL-gg,6755
@@ -179,8 +180,8 @@ edu_rdm_integration/uploader_log/enums.py,sha256=rgSO3BL2rh2xpfm0Pt4waQW8fB1VMJL
 edu_rdm_integration/uploader_log/managers.py,sha256=OFdToWV8qhdfeGNpd-UWAmSEISzixmVQ6LF75EW7gzA,3248
 edu_rdm_integration/uploader_log/ui.py,sha256=YM9Buqp2wxE95Wf5gvAATBzuYzDOossK1sEmvFk07cI,2110
 edu_rdm_integration/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.5.10.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.5.10.dist-info/METADATA,sha256=ien3M8dOFq0hl4tzk6-zwJINdEpgdVZnzlaRitgTkyA,20229
-edu_rdm_integration-3.5.10.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
-edu_rdm_integration-3.5.10.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.5.10.dist-info/RECORD,,
+edu_rdm_integration-3.6.0.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.6.0.dist-info/METADATA,sha256=rV5ZHyItlhOmIl5k0jC3nfJTrv6k7Cmr_S-bXUsI480,27415
+edu_rdm_integration-3.6.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
+edu_rdm_integration-3.6.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.6.0.dist-info/RECORD,,