edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/stages/export_data/models.py

@@ -0,0 +1,362 @@
+import uuid
+from datetime import (
+    datetime,
+)
+
+from django.db.models import (
+    CASCADE,
+    PROTECT,
+    SET_NULL,
+    DateTimeField,
+    FileField,
+    ForeignKey,
+    PositiveIntegerField,
+    PositiveSmallIntegerField,
+    SmallIntegerField,
+    UUIDField,
+)
+from django.utils import (
+    timezone,
+)
+from m3.db import (
+    BaseObjectModel,
+)
+
+from educommon.django.db.mixins import (
+    ReprStrPreModelMixin,
+)
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
+from function_tools.models import (
+    Entity,
+)
+from m3_db_utils.models import (
+    ModelEnumValue,
+    TitledModelEnum,
+)
+
+from edu_rdm_integration.core.enums import (
+    CommandType,
+)
+from edu_rdm_integration.core.utils import (
+    get_data_command_progress_attachment_path,
+)
+from edu_rdm_integration.rdm_entities.models import (
+    RegionalDataMartEntityEnum,
+)
+from edu_rdm_integration.stages.export_data.helpers import (
+    get_exporting_data_stage_attachment_path,
+)
+
+
+class ExportingDataStageStatus(TitledModelEnum):
+    """Статус этапа выгрузки данных."""
+
+    CREATED = ModelEnumValue(
+        title='Создан',
+    )
+
+    IN_PROGRESS = ModelEnumValue(
+        title='В процессе',
+    )
+
+    FAILED = ModelEnumValue(
+        title='Завершено с ошибками',
+    )
+
+    FINISHED = ModelEnumValue(
+        title='Завершено',
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_stage_status'
+        verbose_name = 'Модель-перечисление статусов этапа выгрузки данных'
+        verbose_name_plural = 'Модели-перечисления статусов этапов выгрузки данных'
+
+
+class ExportingDataStage(ReprStrPreModelMixin, BaseObjectModel):
+    """Этап выгрузки данных."""
+
+    manager = ForeignKey(
+        to=Entity,
+        verbose_name='Менеджер ранера Функции',
+        on_delete=PROTECT,
+        null=True,
+        blank=True,
+    )
+
+    period_started_at = DateTimeField(
+        'Левая граница периода выборки данных для выгрузки',
+        db_index=True,
+    )
+
+    period_ended_at = DateTimeField(
+        'Правая граница периода выборки данных для выгрузки',
+        db_index=True,
+    )
+
+    started_at = DateTimeField(
+        'Время начала выгрузки данных',
+        auto_now_add=True,
+    )
+
+    ended_at = DateTimeField(
+        'Время завершения выгрузки данных',
+        null=True,
+        blank=True,
+    )
+
+    status = ForeignKey(
+        to=ExportingDataStageStatus,
+        verbose_name='Статус',
+        on_delete=PROTECT,
+        default=ExportingDataStageStatus.CREATED.key,
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_stage'
+        verbose_name = 'Этап формирования данных для выгрузки'
+        verbose_name_plural = 'Этапы формирования данных для выгрузки'
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['manager_id', 'started_at', 'ended_at', 'status_id']
+
+    def save(self, *args, **kwargs):
+        """Сохранение этапа экспорта данных."""
+        if (
+            self.status_id in (ExportingDataStageStatus.FAILED.key, ExportingDataStageStatus.FINISHED.key)
+            and not self.ended_at
+        ):
+            self.ended_at = datetime.now()
+
+        super().save(*args, **kwargs)
+
+
+class ExportingDataSubStageStatus(TitledModelEnum):
+    """Модель-перечисление статусов этапа выгрузки данных."""
+
+    CREATED = ModelEnumValue(
+        title='Создан',
+    )
+
+    IN_PROGRESS = ModelEnumValue(
+        title='Запущен',
+    )
+
+    FAILED = ModelEnumValue(
+        title='Завершено с ошибками',
+    )
+
+    FINISHED = ModelEnumValue(
+        title='Завершен',
+    )
+    READY_FOR_EXPORT = ModelEnumValue(
+        title='Готов к выгрузке',
+    )
+    PROCESS_ERROR = ModelEnumValue(title='Ошибка обработки витриной')
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage_status'
+        verbose_name = 'Модель-перечисление статусов подэтапа выгрузки данных'
+        verbose_name_plural = 'Модели-перечисления статусов подэтапов выгрузки данных'
+
+
+class ExportingDataSubStage(ReprStrPreModelMixin, BaseObjectModel):
+    """Подэтап выгрузки данных."""
+
+    function = ForeignKey(
+        to=Entity,
+        verbose_name='Функция',
+        on_delete=PROTECT,
+        null=True,
+        blank=True,
+    )
+
+    stage = ForeignKey(
+        to=ExportingDataStage,
+        verbose_name='Этап выгрузки данных',
+        on_delete=CASCADE,
+    )
+
+    started_at = DateTimeField(
+        verbose_name='Время начала сбора данных',
+        auto_now_add=True,
+        db_index=True,
+    )
+
+    ended_at = DateTimeField(
+        verbose_name='Время завершения сбора данных',
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    status = ForeignKey(
+        to=ExportingDataSubStageStatus,
+        verbose_name='Статус',
+        on_delete=PROTECT,
+        default=ExportingDataSubStageStatus.CREATED.key,
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage'
+        verbose_name = 'Стадия выгрузки данных'
+        verbose_name_plural = 'Стадии выгрузки данных'
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['function_id', 'collecting_data_sub_stage_id', 'stage_id', 'started_at', 'ended_at', 'status_id']
+
+    def save(self, *args, **kwargs):
+        """Сохранение экземпляра модели."""
+        if (
+            self.status_id
+            in {
+                ExportingDataSubStageStatus.FAILED.key,
+                ExportingDataSubStageStatus.FINISHED.key,
+                ExportingDataSubStageStatus.READY_FOR_EXPORT.key,
+            }
+            and not self.ended_at
+        ):
+            self.ended_at = datetime.now()
+
+        super().save(*args, **kwargs)
+
+
+class ExportingDataSubStageAttachment(ReprStrPreModelMixin, BaseObjectModel):
+    """Сгенерированный файл для дальнейшей выгрузки в "Региональная витрина данных"."""
+
+    exporting_data_sub_stage = ForeignKey(
+        to=ExportingDataSubStage,
+        verbose_name='Подэтап выгрузки данных',
+        on_delete=CASCADE,
+    )
+
+    # TODO PYTD-22 В зависимости от принятого решения по инструменту ограничения доступа к media-файлам, нужно будет
+    #  изменить тип поля или оставить как есть
+    attachment = FileField(
+        verbose_name='Сгенерированный файл',
+        upload_to=get_exporting_data_stage_attachment_path,
+        max_length=512,
+        null=True,
+        blank=True,
+    )
+
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        auto_now_add=True,
+        null=True,
+        blank=True,
+    )
+    modified = DateTimeField(
+        verbose_name='Дата изменения',
+        auto_now=True,
+        null=True,
+        blank=True,
+    )
+    attachment_size = PositiveIntegerField(null=True, verbose_name='Размер файла (байт)')
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage_attachment'
+        verbose_name = 'Сгенерированный файл для дальнейшей выгрузки в "Региональная витрина данных"'
+        verbose_name_plural = 'Сгенерированные файлы для дальнейшей выгрузки в "Региональная витрина данных"'
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['exporting_data_sub_stage_id', 'attachment', 'operation', 'created', 'modified']
+
+
+class ExportingDataSubStageEntity(BaseObjectModel):
+    """Модель связи сущности и подэтапа выгрузки."""
+
+    entity = ForeignKey(
+        to=RegionalDataMartEntityEnum,
+        verbose_name='Сущность РВД',
+        on_delete=PROTECT,
+    )
+
+    exporting_data_sub_stage = ForeignKey(
+        to=ExportingDataSubStage,
+        verbose_name='Подэтап выгрузки данных',
+        on_delete=CASCADE,
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage_entity'
+        verbose_name = 'Связь сущности и подэтапа выгрузки'
+        verbose_name_plural = 'Связи сущности и подэтапа выгрузки'
+
+
+class AbstractExportDataCommandProgress(ReprStrPreModelMixin, BaseObjectModel):
+    """Команда экспорта данных."""
+
+    task = ...
+
+    logs_link = ...
+
+    stage = ForeignKey(
+        to='edu_rdm_integration_export_data_stage.ExportingDataStage',
+        verbose_name='Этап выгрузки данных',
+        null=True,
+        blank=True,
+        on_delete=SET_NULL,
+    )
+    entity = ForeignKey(
+        to=RegionalDataMartEntityEnum,
+        verbose_name='Сущность РВД',
+        on_delete=PROTECT,
+    )
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        default=timezone.now,
+    )
+    period_started_at = DateTimeField(
+        'Левая граница периода выборки данных для выгрузки',
+    )
+    period_ended_at = DateTimeField(
+        'Правая граница периода выборки данных для выгрузки',
+    )
+    generation_id = UUIDField(
+        'Идентификатор генерации',
+        default=uuid.uuid4,
+    )
+
+    class Meta:
+        abstract = True
+        db_table = 'rdm_exporting_data_command_progress'
+        verbose_name = 'Команда экспорта данных'
+        verbose_name_plural = 'Команды экспорта данных'
+
+
+class EduRdmExportDataCommandProgress(AbstractExportDataCommandProgress):
+    """Команда экспорта данных."""
+
+    task = ForeignKey(
+        to='async_task.RunningTask',
+        verbose_name='Асинхронная задача',
+        null=True,
+        blank=True,
+        on_delete=SET_NULL,
+    )
+    logs_link = FileField(
+        upload_to=get_data_command_progress_attachment_path,
+        max_length=255,
+        verbose_name='Файл лога',
+    )
+    type = PositiveSmallIntegerField(  # noqa: A003
+        verbose_name='Тип команды',
+        choices=CommandType.get_choices(),
+    )
+
+    class Meta(AbstractExportDataCommandProgress.Meta):
+        db_table = 'edu_rdm_exporting_data_command_progress'

edu_rdm_integration/{export_data/export.py → stages/export_data/operations.py}

@@ -1,4 +1,3 @@
-import logging
 import os
 from collections import (
     defaultdict,
@@ -12,7 +11,6 @@ from datetime import (
 from typing import (
     TYPE_CHECKING,
     Iterable,
-    Union,
 )
 
 from django.conf import (
@@ -59,38 +57,27 @@ from m3_db_utils.models import (
     ModelEnumValue,
 )
 
-from edu_rdm_integration.base import (
-    BaseOperationData,
-)
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
 )
-from edu_rdm_integration.export_data.consts import (
-    TOTAL_ATTACHMENTS_SIZE_KEY,
+from edu_rdm_integration.core.operations import (
+    BaseOperationData,
+)
+from edu_rdm_integration.core.signals import (
+    manager_created,
 )
-from edu_rdm_integration.export_data.export_manager import (
-    ExportQueueSender,
-    WorkerSender,
+from edu_rdm_integration.core.storages import (
+    RegionalDataMartEntityStorage,
 )
-from edu_rdm_integration.export_data.queue import (
-    Queue,
+from edu_rdm_integration.rdm_entities.models import (
+    RegionalDataMartEntityEnum,
 )
-from edu_rdm_integration.helpers import (
+from edu_rdm_integration.stages.export_data.helpers import (
     get_exporting_managers_max_period_ended_dates,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.export_data.models import (
     ExportingDataStage,
     ExportingDataSubStageStatus,
-    RegionalDataMartEntityEnum,
-)
-from edu_rdm_integration.redis_cache import (
-    AbstractCache,
-)
-from edu_rdm_integration.signals import (
-    manager_created,
-)
-from edu_rdm_integration.storages import (
-    RegionalDataMartEntityStorage,
 )
 
 
@@ -249,7 +236,7 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
                 description=Substr(
                     Concat('description', Value(f': {entities_str}')),
                     1,
-                    self.async_task._meta.get_field('description').max_length
+                    self.async_task._meta.get_field('description').max_length,
                 )
             )
 
@@ -344,129 +331,3 @@ class ExportLatestEntitiesData(BaseExportLatestEntitiesData):
     def _get_async_task(self) -> Model:
         """Возвращает модель асинхронной задачи."""
         return RunningTask
-
-
-class UploadData(BaseOperationData):
-    """Класс отправки файлов в витрину."""
-
-    def __init__(
-        self,
-        data_cache: AbstractCache,
-        queue: Queue,
-        **kwargs,
-    ):
-        super().__init__(**kwargs)
-
-        self.data_cache = data_cache
-        self.queue = queue
-
-        self._configure_agent_client()
-        self.result = {
-            'total_file_size': 0,  # Общий размер отправленных файлов
-            'queue_is_full': False,  # Признак переполнения очереди
-            'uploaded_entities': '',  # Список сущностей, попавших в выгрузку
-        }
-
-    @property
-    def _log_file_path(self) -> Union[str, bytes]:
-        """Путь до лог файла."""
-        return os.path.join(settings.MEDIA_ROOT, settings.RDM_UPLOAD_LOG_DIR, 'upload_entity.log')
-
-    def _add_file_handler(self) -> None:
-        """Добавляет обработчик логов."""
-        self._file_handler = logging.FileHandler(self._log_file_path)
-
-        logging.getLogger('info_logger').addHandler(self._file_handler)
-        logging.getLogger('exception_logger').addHandler(self._file_handler)
-
-    # TODO https://jira.bars.group/browse/EDUSCHL-22492. Вынужденная мера, т.к. при запуске команды не производится
-    #  проверка готовности конфигов приложений. Нужно переработать механизм конфигурирования клиента загрузчика.
-    def _configure_agent_client(self):
-        """Конфигурирование клиента загрузчика данных в Витрину."""
-        import uploader_client
-        from django.core.cache import (
-            DEFAULT_CACHE_ALIAS,
-            caches,
-        )
-        from uploader_client.contrib.rdm.interfaces.configurations import (
-            RegionalDataMartEmulationUploaderConfig,
-            RegionalDataMartUploaderConfig,
-        )
-
-        if settings.RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION:
-            uploader_client.set_config(
-                RegionalDataMartEmulationUploaderConfig(
-                    interface='uploader_client.contrib.rdm.interfaces.rest.OpenAPIInterfaceEmulation',
-                    url=settings.RDM_UPLOADER_CLIENT_URL,
-                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
-                    timeout=1,
-                    request_retries=1,
-                    file_status=settings.RDM_RESPONSE_FILE_STATUS,
-                )
-            )
-        elif settings.RDM_UPLOADER_CLIENT_USE_PROXY_API:
-            uploader_client.set_config(
-                RegionalDataMartUploaderConfig(
-                    interface='uploader_client.contrib.rdm.interfaces.rest.ProxyAPIInterface',
-                    cache=caches[DEFAULT_CACHE_ALIAS],
-                    url=settings.RDM_UPLOADER_CLIENT_URL,
-                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
-                    timeout=settings.RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT,
-                    request_retries=settings.RDM_UPLOADER_CLIENT_REQUEST_RETRIES,
-                    organization_ogrn=settings.RDM_UPLOADER_CLIENT_ORGANIZATION_OGRN,
-                    installation_name=settings.RDM_UPLOADER_CLIENT_INSTALLATION_NAME,
-                    installation_id=settings.RDM_UPLOADER_CLIENT_INSTALLATION_ID,
-                    username=settings.RDM_UPLOADER_CLIENT_USERNAME,
-                    password=settings.RDM_UPLOADER_CLIENT_PASSWORD,
-                )
-            )
-        else:
-            uploader_client.set_config(
-                RegionalDataMartUploaderConfig(
-                    url=settings.RDM_UPLOADER_CLIENT_URL,
-                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
-                    timeout=settings.RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT,
-                    request_retries=settings.RDM_UPLOADER_CLIENT_REQUEST_RETRIES,
-                )
-            )
-
-    def update_total_queue_size_in_cache(self, received_files_size: int):
-        """Обновление размера файлов в кеш."""
-        with self.data_cache.lock(f'{TOTAL_ATTACHMENTS_SIZE_KEY}:lock', timeout=300):
-            queue_total_file_size = self.data_cache.get(TOTAL_ATTACHMENTS_SIZE_KEY) or 0
-            if queue_total_file_size:
-                queue_total_file_size -= received_files_size
-                if queue_total_file_size > 0:
-                    self.data_cache.set(
-                        TOTAL_ATTACHMENTS_SIZE_KEY,
-                        queue_total_file_size,
-                        timeout=settings.RDM_REDIS_CACHE_TIMEOUT_SECONDS,
-                    )
-
-    def upload_data(self, *args, **kwargs):
-        """Запускает отправку данных в витрину."""
-        try:
-            exporter = ExportQueueSender(self.data_cache, self.queue, settings.RDM_UPLOAD_DATA_TASK_EXPORT_STAGES)
-            exporter.run()
-
-            self.result['queue_is_full'] = exporter.queue_is_full
-            self.result['total_file_size'] = exporter.queue_total_file_size
-
-            # Если очередь не переполнена - то отправляем данные в витрину
-            if not exporter.queue_is_full:
-                sender = WorkerSender(self.queue)
-                sender.run()
-
-                if sender.entities:
-                    self.result['uploaded_entities'] = ','.join(sender.entities)
-
-                if sender.received_file_size:
-                    self.update_total_queue_size_in_cache(sender.received_file_size)
-
-        except Exception as err:
-            logger.exception(err)
-            raise err
-        finally:
-            self._remove_file_handler()
-
-        return self.result

edu_rdm_integration/{export_data → stages/export_data/registry}/actions.py

@@ -31,37 +31,37 @@ from educommon.utils.ui import (
     DatetimeFilterCreator,
 )
 
-from edu_rdm_integration.collect_and_export_data.actions import (
+from edu_rdm_integration.core.enums import (
+    CommandType,
+)
+from edu_rdm_integration.core.helpers import (
+    make_download_link,
+)
+from edu_rdm_integration.core.registry.actions import (
     BaseCommandProgressPack,
     BaseStartTaskAction,
 )
-from edu_rdm_integration.collect_and_export_data.models import (
-    EduRdmExportDataCommandProgress,
-)
-from edu_rdm_integration.enums import (
-    CommandType,
+from edu_rdm_integration.rdm_entities.models import (
+    RegionalDataMartEntityEnum,
 )
-from edu_rdm_integration.export_data.generators import (
+from edu_rdm_integration.stages.export_data.generators import (
     BaseFirstExportEntitiesDataCommandsGenerator,
 )
-from edu_rdm_integration.export_data.ui import (
-    CreateExportCommandWindow,
-    DetailExportCommandWindow,
-    ExportCommandProgressListWindow,
-)
-from edu_rdm_integration.helpers import (
-    make_download_link,
-)
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.export_data.models import (
+    EduRdmExportDataCommandProgress,
     ExportingDataStageStatus,
     ExportingDataSubStage,
     ExportingDataSubStageStatus,
-    RegionalDataMartEntityEnum,
+)
+from edu_rdm_integration.stages.export_data.registry.ui import (
+    CreateExportCommandWindow,
+    DetailExportCommandWindow,
+    ExportCommandProgressListWindow,
 )
 
 
 class BaseExportingDataProgressPack(BaseCommandProgressPack):
-    """Базоый пак команд экспорта данных сущностей РВД."""
+    """Базовый пак команд экспорта данных сущностей РВД."""
 
     model = EduRdmExportDataCommandProgress
     title = 'Экспорт данных сущностей РВД'

edu_rdm_integration/stages/export_data/registry/apps.py

@@ -0,0 +1,11 @@
+from django.apps import (
+    AppConfig,
+)
+
+
+class RDMExportDataRegistryAppConfig(AppConfig):
+    """Приложение для организации экспорта данных моделей РВД из интерфейса."""
+
+    name = 'edu_rdm_integration.stages.export_data.registry'
+    label = 'edu_rdm_integration_export_data_registry'
+    verbose_name = 'Экспорт данных моделей РВД из интерфейса'

edu_rdm_integration/{export_data → stages/export_data/registry}/ui.py

@@ -29,16 +29,14 @@ from educommon.utils.ui import (
     append_template_globals,
 )
 
-from edu_rdm_integration.collect_and_export_data.ui import (
-    CommandProgressListWindow,
+from edu_rdm_integration.core.consts import (
+    BATCH_SIZE,
 )
-from edu_rdm_integration.collect_data.ui import (
+from edu_rdm_integration.core.registry.ui import (
     BaseCreateCommandWindow,
+    CommandProgressListWindow,
 )
-from edu_rdm_integration.consts import (
-    BATCH_SIZE,
-)
-from edu_rdm_integration.models import (
+from edu_rdm_integration.rdm_entities.models import (
     RegionalDataMartEntityEnum,
 )