edu-rdm-integration 3.9.1__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/stages/export_data/models.py

@@ -0,0 +1,362 @@
+import uuid
+from datetime import (
+    datetime,
+)
+
+from django.db.models import (
+    CASCADE,
+    PROTECT,
+    SET_NULL,
+    DateTimeField,
+    FileField,
+    ForeignKey,
+    PositiveIntegerField,
+    PositiveSmallIntegerField,
+    SmallIntegerField,
+    UUIDField,
+)
+from django.utils import (
+    timezone,
+)
+from m3.db import (
+    BaseObjectModel,
+)
+
+from educommon.django.db.mixins import (
+    ReprStrPreModelMixin,
+)
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
+from function_tools.models import (
+    Entity,
+)
+from m3_db_utils.models import (
+    ModelEnumValue,
+    TitledModelEnum,
+)
+
+from edu_rdm_integration.core.enums import (
+    CommandType,
+)
+from edu_rdm_integration.core.utils import (
+    get_data_command_progress_attachment_path,
+)
+from edu_rdm_integration.rdm_entities.models import (
+    RegionalDataMartEntityEnum,
+)
+from edu_rdm_integration.stages.export_data.helpers import (
+    get_exporting_data_stage_attachment_path,
+)
+
+
+class ExportingDataStageStatus(TitledModelEnum):
+    """Статус этапа выгрузки данных."""
+
+    CREATED = ModelEnumValue(
+        title='Создан',
+    )
+
+    IN_PROGRESS = ModelEnumValue(
+        title='В процессе',
+    )
+
+    FAILED = ModelEnumValue(
+        title='Завершено с ошибками',
+    )
+
+    FINISHED = ModelEnumValue(
+        title='Завершено',
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_stage_status'
+        verbose_name = 'Модель-перечисление статусов этапа выгрузки данных'
+        verbose_name_plural = 'Модели-перечисления статусов этапов выгрузки данных'
+
+
+class ExportingDataStage(ReprStrPreModelMixin, BaseObjectModel):
+    """Этап выгрузки данных."""
+
+    manager = ForeignKey(
+        to=Entity,
+        verbose_name='Менеджер ранера Функции',
+        on_delete=PROTECT,
+        null=True,
+        blank=True,
+    )
+
+    period_started_at = DateTimeField(
+        'Левая граница периода выборки данных для выгрузки',
+        db_index=True,
+    )
+
+    period_ended_at = DateTimeField(
+        'Правая граница периода выборки данных для выгрузки',
+        db_index=True,
+    )
+
+    started_at = DateTimeField(
+        'Время начала выгрузки данных',
+        auto_now_add=True,
+    )
+
+    ended_at = DateTimeField(
+        'Время завершения выгрузки данных',
+        null=True,
+        blank=True,
+    )
+
+    status = ForeignKey(
+        to=ExportingDataStageStatus,
+        verbose_name='Статус',
+        on_delete=PROTECT,
+        default=ExportingDataStageStatus.CREATED.key,
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_stage'
+        verbose_name = 'Этап формирования данных для выгрузки'
+        verbose_name_plural = 'Этапы формирования данных для выгрузки'
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['manager_id', 'started_at', 'ended_at', 'status_id']
+
+    def save(self, *args, **kwargs):
+        """Сохранение этапа экспорта данных."""
+        if (
+            self.status_id in (ExportingDataStageStatus.FAILED.key, ExportingDataStageStatus.FINISHED.key)
+            and not self.ended_at
+        ):
+            self.ended_at = datetime.now()
+
+        super().save(*args, **kwargs)
+
+
+class ExportingDataSubStageStatus(TitledModelEnum):
+    """Модель-перечисление статусов этапа выгрузки данных."""
+
+    CREATED = ModelEnumValue(
+        title='Создан',
+    )
+
+    IN_PROGRESS = ModelEnumValue(
+        title='Запущен',
+    )
+
+    FAILED = ModelEnumValue(
+        title='Завершено с ошибками',
+    )
+
+    FINISHED = ModelEnumValue(
+        title='Завершен',
+    )
+    READY_FOR_EXPORT = ModelEnumValue(
+        title='Готов к выгрузке',
+    )
+    PROCESS_ERROR = ModelEnumValue(title='Ошибка обработки витриной')
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage_status'
+        verbose_name = 'Модель-перечисление статусов подэтапа выгрузки данных'
+        verbose_name_plural = 'Модели-перечисления статусов подэтапов выгрузки данных'
+
+
+class ExportingDataSubStage(ReprStrPreModelMixin, BaseObjectModel):
+    """Подэтап выгрузки данных."""
+
+    function = ForeignKey(
+        to=Entity,
+        verbose_name='Функция',
+        on_delete=PROTECT,
+        null=True,
+        blank=True,
+    )
+
+    stage = ForeignKey(
+        to=ExportingDataStage,
+        verbose_name='Этап выгрузки данных',
+        on_delete=CASCADE,
+    )
+
+    started_at = DateTimeField(
+        verbose_name='Время начала сбора данных',
+        auto_now_add=True,
+        db_index=True,
+    )
+
+    ended_at = DateTimeField(
+        verbose_name='Время завершения сбора данных',
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    status = ForeignKey(
+        to=ExportingDataSubStageStatus,
+        verbose_name='Статус',
+        on_delete=PROTECT,
+        default=ExportingDataSubStageStatus.CREATED.key,
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage'
+        verbose_name = 'Стадия выгрузки данных'
+        verbose_name_plural = 'Стадии выгрузки данных'
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['function_id', 'collecting_data_sub_stage_id', 'stage_id', 'started_at', 'ended_at', 'status_id']
+
+    def save(self, *args, **kwargs):
+        """Сохранение экземпляра модели."""
+        if (
+            self.status_id
+            in {
+                ExportingDataSubStageStatus.FAILED.key,
+                ExportingDataSubStageStatus.FINISHED.key,
+                ExportingDataSubStageStatus.READY_FOR_EXPORT.key,
+            }
+            and not self.ended_at
+        ):
+            self.ended_at = datetime.now()
+
+        super().save(*args, **kwargs)
+
+
+class ExportingDataSubStageAttachment(ReprStrPreModelMixin, BaseObjectModel):
+    """Сгенерированный файл для дальнейшей выгрузки в "Региональная витрина данных"."""
+
+    exporting_data_sub_stage = ForeignKey(
+        to=ExportingDataSubStage,
+        verbose_name='Подэтап выгрузки данных',
+        on_delete=CASCADE,
+    )
+
+    # TODO PYTD-22 В зависимости от принятого решения по инструменту ограничения доступа к media-файлам, нужно будет
+    #  изменить тип поля или оставить как есть
+    attachment = FileField(
+        verbose_name='Сгенерированный файл',
+        upload_to=get_exporting_data_stage_attachment_path,
+        max_length=512,
+        null=True,
+        blank=True,
+    )
+
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        auto_now_add=True,
+        null=True,
+        blank=True,
+    )
+    modified = DateTimeField(
+        verbose_name='Дата изменения',
+        auto_now=True,
+        null=True,
+        blank=True,
+    )
+    attachment_size = PositiveIntegerField(null=True, verbose_name='Размер файла (байт)')
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage_attachment'
+        verbose_name = 'Сгенерированный файл для дальнейшей выгрузки в "Региональная витрина данных"'
+        verbose_name_plural = 'Сгенерированные файлы для дальнейшей выгрузки в "Региональная витрина данных"'
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['exporting_data_sub_stage_id', 'attachment', 'operation', 'created', 'modified']
+
+
+class ExportingDataSubStageEntity(BaseObjectModel):
+    """Модель связи сущности и подэтапа выгрузки."""
+
+    entity = ForeignKey(
+        to=RegionalDataMartEntityEnum,
+        verbose_name='Сущность РВД',
+        on_delete=PROTECT,
+    )
+
+    exporting_data_sub_stage = ForeignKey(
+        to=ExportingDataSubStage,
+        verbose_name='Подэтап выгрузки данных',
+        on_delete=CASCADE,
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage_entity'
+        verbose_name = 'Связь сущности и подэтапа выгрузки'
+        verbose_name_plural = 'Связи сущности и подэтапа выгрузки'
+
+
+class AbstractExportDataCommandProgress(ReprStrPreModelMixin, BaseObjectModel):
+    """Команда экспорта данных."""
+
+    task = ...
+
+    logs_link = ...
+
+    stage = ForeignKey(
+        to='edu_rdm_integration_export_data_stage.ExportingDataStage',
+        verbose_name='Этап выгрузки данных',
+        null=True,
+        blank=True,
+        on_delete=SET_NULL,
+    )
+    entity = ForeignKey(
+        to=RegionalDataMartEntityEnum,
+        verbose_name='Сущность РВД',
+        on_delete=PROTECT,
+    )
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        default=timezone.now,
+    )
+    period_started_at = DateTimeField(
+        'Левая граница периода выборки данных для выгрузки',
+    )
+    period_ended_at = DateTimeField(
+        'Правая граница периода выборки данных для выгрузки',
+    )
+    generation_id = UUIDField(
+        'Идентификатор генерации',
+        default=uuid.uuid4,
+    )
+
+    class Meta:
+        abstract = True
+        db_table = 'rdm_exporting_data_command_progress'
+        verbose_name = 'Команда экспорта данных'
+        verbose_name_plural = 'Команды экспорта данных'
+
+
+class EduRdmExportDataCommandProgress(AbstractExportDataCommandProgress):
+    """Команда экспорта данных."""
+
+    task = ForeignKey(
+        to='async_task.RunningTask',
+        verbose_name='Асинхронная задача',
+        null=True,
+        blank=True,
+        on_delete=SET_NULL,
+    )
+    logs_link = FileField(
+        upload_to=get_data_command_progress_attachment_path,
+        max_length=255,
+        verbose_name='Файл лога',
+    )
+    type = PositiveSmallIntegerField(  # noqa: A003
+        verbose_name='Тип команды',
+        choices=CommandType.get_choices(),
+    )
+
+    class Meta(AbstractExportDataCommandProgress.Meta):
+        db_table = 'edu_rdm_exporting_data_command_progress'

edu_rdm_integration/{export_data/export.py → stages/export_data/operations.py}

@@ -1,4 +1,3 @@
-import logging
 import os
 from collections import (
     defaultdict,
@@ -12,7 +11,6 @@ from datetime import (
 from typing import (
     TYPE_CHECKING,
     Iterable,
-    Union,
 )
 
 from django.conf import (
@@ -28,6 +26,7 @@ from django.db.models.base import (
 )
 from django.db.models.functions import (
     Concat,
+    Substr,
 )
 from django.db.transaction import (
     atomic,
@@ -58,38 +57,27 @@ from m3_db_utils.models import (
     ModelEnumValue,
 )
 
-from edu_rdm_integration.base import (
-    BaseOperationData,
-)
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
 )
-from edu_rdm_integration.export_data.consts import (
-    TOTAL_ATTACHMENTS_SIZE_KEY,
+from edu_rdm_integration.core.operations import (
+    BaseOperationData,
 )
-from edu_rdm_integration.export_data.export_manager import (
-    ExportQueueSender,
-    WorkerSender,
+from edu_rdm_integration.core.signals import (
+    manager_created,
 )
-from edu_rdm_integration.export_data.queue import (
-    Queue,
+from edu_rdm_integration.core.storages import (
+    RegionalDataMartEntityStorage,
+)
+from edu_rdm_integration.rdm_entities.models import (
+    RegionalDataMartEntityEnum,
 )
-from edu_rdm_integration.helpers import (
+from edu_rdm_integration.stages.export_data.helpers import (
     get_exporting_managers_max_period_ended_dates,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.export_data.models import (
     ExportingDataStage,
     ExportingDataSubStageStatus,
-    RegionalDataMartEntityEnum,
-)
-from edu_rdm_integration.redis_cache import (
-    AbstractCache,
-)
-from edu_rdm_integration.signals import (
-    manager_created,
-)
-from edu_rdm_integration.storages import (
-    RegionalDataMartEntityStorage,
 )
 
 
@@ -131,9 +119,7 @@ class BaseExportEntitiesData(BaseOperationData):
 
     @property
     def _log_file_path(self) -> str:
-        """
-        Путь до лог файла.
-        """
+        """Путь до лог файла."""
         return os.path.join(settings.MEDIA_ROOT, settings.RDM_EXPORT_LOG_DIR, f'{self.command_id}.log')
 
     def _has_stage_created_or_in_progress(self, manager_id: str, entity: str) -> bool:
@@ -149,14 +135,10 @@ class BaseExportEntitiesData(BaseOperationData):
         return stage_created_or_in_progress
 
     def _fill_manager_entities_map(self, entity_storage: RegionalDataMartEntityStorage) -> None:
-        """
-        Заполнение словаря данных с классами менеджеров и их сущностями.
-        """
+        """Заполнение словаря данных с классами менеджеров и их сущностями."""
 
     def _find_exporting_entities_data_managers(self):
-        """
-        Поиск менеджеров Функций выгрузки данных по сущностям РВД.
-        """
+        """Поиск менеджеров Функций выгрузки данных по сущностям РВД."""
         logger.info('find exporting entities data manager..')
 
         entity_storage = RegionalDataMartEntityStorage()
@@ -179,9 +161,7 @@ class BaseExportEntitiesData(BaseOperationData):
         logger.info('finding exporting entities data manager finished.')
 
     def _export_entities_data(self, *args, **kwargs):
-        """
-        Выгрузка данных по указанным сущностям.
-        """
+        """Выгрузка данных по указанным сущностям."""
         logger.info('start exporting entities data..')
 
         kwargs['period_started_at'] = self.period_started_at
@@ -201,9 +181,7 @@ class BaseExportEntitiesData(BaseOperationData):
         logger.info('exporting entities data finished.')
 
     def _export(self, *args, **kwargs):
-        """
-        Выполнение действий команды.
-        """
+        """Выполнение действий команды."""
         logger.info(f'start exporting data of entities - {", ".join([entity.key for entity in self.entities])}..')
 
         self._find_exporting_entities_data_managers()
@@ -212,9 +190,7 @@ class BaseExportEntitiesData(BaseOperationData):
         logger.info('exporting entities data finished.')
 
     def export(self, *args, **kwargs):
-        """
-        Запускает экспорт данных.
-        """
+        """Запускает экспорт данных."""
         try:
             self._export(*args, **kwargs)
         except Exception as err:
@@ -254,19 +230,18 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
     def _set_description_to_async_task(self, exported_entities: Iterable[str]) -> None:
         """Добавляет в описание асинхронной задачи список выгруженных сущностей."""
         if exported_entities and self.task_id:
-            self.async_task.objects.filter(
-                pk=self.task_id,
-            ).update(
-                description=Concat(
-                    'description',
-                    Value(f': {", ".join(exported_entities)}')
-                ),
+            entities_str = ', '.join(exported_entities)
+
+            self.async_task.objects.filter(pk=self.task_id).update(
+                description=Substr(
+                    Concat('description', Value(f': {entities_str}')),
+                    1,
+                    self.async_task._meta.get_field('description').max_length,
+                )
             )
 
     def _fill_manager_entities_map(self, entity_storage: RegionalDataMartEntityStorage) -> None:
-        """
-        Заполнение словаря данных с классами менеджеров и их сущностями.
-        """
+        """Заполнение словаря данных с классами менеджеров и их сущностями."""
         self._manager_entities_map = entity_storage.prepare_manager_entities_map(
             tags={REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA},
         )
@@ -300,7 +275,6 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
             not_exported_model_ids = queryset.values_list('id', flat=True).iterator()
 
             with atomic():
-
                 for model_ids in make_chunks(
                     iterable=not_exported_model_ids,
                     size=settings.RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE,
@@ -308,17 +282,13 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
                     queryset.filter(id__in=model_ids).update(modified=now)
 
     def _export_entities_data(self, *args, **kwargs) -> None:
-        """
-        Запуск Функций по для экспорта данных.
-        """
+        """Запуск Функций по для экспорта данных."""
         logger.info('export entities data..')
 
         # Массив с выгружаемыми сущностями для поля "Описание" в асинхронной задаче
         exported_entities = []
 
-        managers_max_period_ended = get_exporting_managers_max_period_ended_dates(
-            self._exporting_data_managers
-        )
+        managers_max_period_ended = get_exporting_managers_max_period_ended_dates(self._exporting_data_managers)
 
         for manager_class in self._exporting_data_managers:
             manager_last_exported = managers_max_period_ended.get(manager_class.uuid)
@@ -361,135 +331,3 @@ class ExportLatestEntitiesData(BaseExportLatestEntitiesData):
     def _get_async_task(self) -> Model:
         """Возвращает модель асинхронной задачи."""
         return RunningTask
-
-
-class UploadData(BaseOperationData):
-    """Класс отправки файлов в витрину."""
-
-    def __init__(
-        self,
-        data_cache: AbstractCache,
-        queue: Queue,
-        **kwargs,
-    ):
-        super().__init__(**kwargs)
-
-        self.data_cache = data_cache
-        self.queue = queue
-
-        self._configure_agent_client()
-        self.result = {
-            'total_file_size': 0,  # Общий размер отправленных файлов
-            'queue_is_full': False,  # Признак переполнения очереди
-            'uploaded_entities': ''  # Список сущностей, попавших в выгрузку
-        }
-
-    @property
-    def _log_file_path(self) -> Union[str, bytes]:
-        """
-        Путь до лог файла.
-        """
-        return os.path.join(settings.MEDIA_ROOT, settings.RDM_UPLOAD_LOG_DIR, 'upload_entity.log')
-
-    def _add_file_handler(self) -> None:
-        """Добавляет обработчик логов."""
-
-        self._file_handler = logging.FileHandler(self._log_file_path)
-
-        logging.getLogger('info_logger').addHandler(self._file_handler)
-        logging.getLogger('exception_logger').addHandler(self._file_handler)
-
-    # TODO https://jira.bars.group/browse/EDUSCHL-22492. Вынужденная мера, т.к. при запуске команды не производится
-    #  проверка готовности конфигов приложений. Нужно переработать механизм конфигурирования клиента загрузчика.
-    def _configure_agent_client(self):
-        """
-        Конфигурирование клиента загрузчика данных в Витрину.
-        """
-        import uploader_client
-        from django.core.cache import (
-            DEFAULT_CACHE_ALIAS,
-            caches,
-        )
-        from uploader_client.contrib.rdm.interfaces.configurations import (
-            RegionalDataMartEmulationUploaderConfig,
-            RegionalDataMartUploaderConfig,
-        )
-        if settings.RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION:
-            uploader_client.set_config(
-                RegionalDataMartEmulationUploaderConfig(
-                    interface='uploader_client.contrib.rdm.interfaces.rest.OpenAPIInterfaceEmulation',
-                    url=settings.RDM_UPLOADER_CLIENT_URL,
-                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
-                    timeout=1,
-                    request_retries=1,
-                    file_status=settings.RDM_RESPONSE_FILE_STATUS
-                )
-            )
-        elif settings.RDM_UPLOADER_CLIENT_USE_PROXY_API:
-            uploader_client.set_config(
-                RegionalDataMartUploaderConfig(
-                    interface='uploader_client.contrib.rdm.interfaces.rest.ProxyAPIInterface',
-                    cache=caches[DEFAULT_CACHE_ALIAS],
-                    url=settings.RDM_UPLOADER_CLIENT_URL,
-                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
-                    timeout=settings.RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT,
-                    request_retries=settings.RDM_UPLOADER_CLIENT_REQUEST_RETRIES,
-                    organization_ogrn=settings.RDM_UPLOADER_CLIENT_ORGANIZATION_OGRN,
-                    installation_name=settings.RDM_UPLOADER_CLIENT_INSTALLATION_NAME,
-                    installation_id=settings.RDM_UPLOADER_CLIENT_INSTALLATION_ID,
-                    username=settings.RDM_UPLOADER_CLIENT_USERNAME,
-                    password=settings.RDM_UPLOADER_CLIENT_PASSWORD,
-                )
-            )
-        else:
-            uploader_client.set_config(
-                RegionalDataMartUploaderConfig(
-                    url=settings.RDM_UPLOADER_CLIENT_URL,
-                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
-                    timeout=settings.RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT,
-                    request_retries=settings.RDM_UPLOADER_CLIENT_REQUEST_RETRIES,
-                )
-            )
-
-    def update_total_queue_size_in_cache(self, received_files_size: int):
-        """Обновление размера файлов в кеш."""
-        with self.data_cache.lock(f'{TOTAL_ATTACHMENTS_SIZE_KEY}:lock', timeout=300):
-            queue_total_file_size = self.data_cache.get(TOTAL_ATTACHMENTS_SIZE_KEY) or 0
-            if queue_total_file_size:
-                queue_total_file_size -= received_files_size
-                if queue_total_file_size > 0:
-                    self.data_cache.set(
-                        TOTAL_ATTACHMENTS_SIZE_KEY,
-                        queue_total_file_size,
-                        timeout=settings.RDM_REDIS_CACHE_TIMEOUT_SECONDS
-                    )
-
-    def upload_data(self, *args, **kwargs):
-        """
-        Запускает отправку данных в витрину.
-        """
-        try:
-            exporter = ExportQueueSender(self.data_cache, self.queue, settings.RDM_UPLOAD_DATA_TASK_EXPORT_STAGES)
-            exporter.run()
-
-            self.result['queue_is_full'] = exporter.queue_is_full
-            self.result['total_file_size'] = exporter.queue_total_file_size
-
-            # Если очередь не переполнена - то отправляем данные в витрину
-            if not exporter.queue_is_full:
-                sender = WorkerSender(self.queue)
-                sender.run()
-
-                if sender.entities:
-                    self.result['uploaded_entities'] = ','.join(sender.entities)
-
-                if sender.received_file_size:
-                    self.update_total_queue_size_in_cache(sender.received_file_size)
-
-        except Exception as err:
-            logger.exception(err)
-            raise err
-        finally:
-            self._remove_file_handler()
-
-        return self.result