edu-rdm-integration 3.9.1__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/{export_data → stages/export_data/registry}/actions.py

@@ -31,37 +31,37 @@ from educommon.utils.ui import (
     DatetimeFilterCreator,
 )
 
-from edu_rdm_integration.collect_and_export_data.actions import (
+from edu_rdm_integration.core.enums import (
+    CommandType,
+)
+from edu_rdm_integration.core.helpers import (
+    make_download_link,
+)
+from edu_rdm_integration.core.registry.actions import (
     BaseCommandProgressPack,
     BaseStartTaskAction,
 )
-from edu_rdm_integration.collect_and_export_data.models import (
-    EduRdmExportDataCommandProgress,
-)
-from edu_rdm_integration.enums import (
-    CommandType,
+from edu_rdm_integration.rdm_entities.models import (
+    RegionalDataMartEntityEnum,
 )
-from edu_rdm_integration.export_data.generators import (
+from edu_rdm_integration.stages.export_data.generators import (
     BaseFirstExportEntitiesDataCommandsGenerator,
 )
-from edu_rdm_integration.export_data.ui import (
-    CreateExportCommandWindow,
-    DetailExportCommandWindow,
-    ExportCommandProgressListWindow,
-)
-from edu_rdm_integration.helpers import (
-    make_download_link,
-)
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.export_data.models import (
+    EduRdmExportDataCommandProgress,
     ExportingDataStageStatus,
     ExportingDataSubStage,
     ExportingDataSubStageStatus,
-    RegionalDataMartEntityEnum,
+)
+from edu_rdm_integration.stages.export_data.registry.ui import (
+    CreateExportCommandWindow,
+    DetailExportCommandWindow,
+    ExportCommandProgressListWindow,
 )
 
 
 class BaseExportingDataProgressPack(BaseCommandProgressPack):
-    """Базоый пак команд экспорта данных сущностей РВД."""
+    """Базовый пак команд экспорта данных сущностей РВД."""
 
     model = EduRdmExportDataCommandProgress
     title = 'Экспорт данных сущностей РВД'

edu_rdm_integration/stages/export_data/registry/apps.py

@@ -0,0 +1,11 @@
+from django.apps import (
+    AppConfig,
+)
+
+
+class RDMExportDataRegistryAppConfig(AppConfig):
+    """Приложение для организации экспорта данных моделей РВД из интерфейса."""
+
+    name = 'edu_rdm_integration.stages.export_data.registry'
+    label = 'edu_rdm_integration_export_data_registry'
+    verbose_name = 'Экспорт данных моделей РВД из интерфейса'

edu_rdm_integration/{export_data → stages/export_data/registry}/ui.py

@@ -29,16 +29,14 @@ from educommon.utils.ui import (
     append_template_globals,
 )
 
-from edu_rdm_integration.collect_and_export_data.ui import (
-    CommandProgressListWindow,
+from edu_rdm_integration.core.consts import (
+    BATCH_SIZE,
 )
-from edu_rdm_integration.collect_data.ui import (
+from edu_rdm_integration.core.registry.ui import (
     BaseCreateCommandWindow,
+    CommandProgressListWindow,
 )
-from edu_rdm_integration.consts import (
-    BATCH_SIZE,
-)
-from edu_rdm_integration.models import (
+from edu_rdm_integration.rdm_entities.models import (
     RegionalDataMartEntityEnum,
 )
 

edu_rdm_integration/{export_data → stages/export_data}/strategies.py

@@ -5,37 +5,37 @@ from typing import (
 from edu_rdm_integration.adapters.strategies import (
     WebEduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 )
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
 )
-from edu_rdm_integration.export_data.base.caches import (
+from edu_rdm_integration.stages.export_data.functions.base.caches import (
     BaseExportDataFunctionCacheStorage,
     BaseExportDataRunnerCacheStorage,
 )
-from edu_rdm_integration.export_data.base.errors import (
+from edu_rdm_integration.stages.export_data.functions.base.errors import (
     BaseExportDataError,
 )
-from edu_rdm_integration.export_data.base.functions import (
+from edu_rdm_integration.stages.export_data.functions.base.functions import (
     BaseExportDataFunction,
 )
-from edu_rdm_integration.export_data.base.helpers import (
+from edu_rdm_integration.stages.export_data.functions.base.helpers import (
     BaseExportDataFunctionHelper,
     BaseExportDataRunnerHelper,
 )
-from edu_rdm_integration.export_data.base.managers import (
+from edu_rdm_integration.stages.export_data.functions.base.managers import (
     BaseExportDataRunnerManager,
 )
-from edu_rdm_integration.export_data.base.presenters import (
+from edu_rdm_integration.stages.export_data.functions.base.presenters import (
     BaseExportDataResultPresenter,
 )
-from edu_rdm_integration.export_data.base.results import (
+from edu_rdm_integration.stages.export_data.functions.base.results import (
     BaseExportDataFunctionResult,
     BaseExportDataRunnerResult,
 )
-from edu_rdm_integration.export_data.base.runners import (
+from edu_rdm_integration.stages.export_data.functions.base.runners import (
     BaseExportDataRunner,
 )
-from edu_rdm_integration.export_data.base.validators import (
+from edu_rdm_integration.stages.export_data.functions.base.validators import (
     BaseExportDataFunctionValidator,
     BaseExportDataRunnerValidator,
 )
@@ -44,8 +44,7 @@ from edu_rdm_integration.export_data.base.validators import (
 class ExportDataFunctionImplementationStrategy(
     WebEduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 ):
-    """
-    Стратегия создания функций выгрузки данных.
+    """Стратегия создания функций выгрузки данных.
 
     Стратегия создания функции с отложенным сохранением и предустановленной очередью объектов на сохранение функций
     выгрузки данных для выгрузки в "Региональная витрина данных".
@@ -53,8 +52,7 @@ class ExportDataFunctionImplementationStrategy(
 
     @classmethod
     def _prepare_uuid(cls):
-        """
-        Получение UUID класса. Используется при регистрации сущности в базе данных.
+        """Получение UUID класса. Используется при регистрации сущности в базе данных.
 
         Если ничего не возвращает, то регистрация в БД не будет произведена.
         """
@@ -62,30 +60,22 @@ class ExportDataFunctionImplementationStrategy(
 
     @classmethod
     def _prepare_verbose_name(cls) -> str:
-        """
-        Полное наименование для дальнейшей регистрации и отображения пользователю.
-        """
+        """Полное наименование для дальнейшей регистрации и отображения пользователю."""
         return 'Стратегия создания функций выгрузки данных'
 
     @classmethod
     def _prepare_tags(cls) -> list[str]:
-        """
-        Список тегов, по которым сущность можно будет осуществлять поиск.
-        """
+        """Список тегов, по которым сущность можно будет осуществлять поиск."""
         return [REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA]
 
     @classmethod
     def _prepare_key(cls) -> str:
-        """
-        Возвращает уникальный идентификатор стратегии создания функции.
-        """
+        """Возвращает уникальный идентификатор стратегии создания функции."""
         return 'REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA'
 
     @classmethod
     def _prepare_title(cls) -> str:
-        """
-        Возвращает название стратегии создания функции.
-        """
+        """Возвращает название стратегии создания функции."""
         return (
             'Стратегия создания функции с отложенным сохранением и предустановленной очередью объектов на сохранение '
             'функций выгрузки данных в "Региональная витрина данных". Сохранение производится после удачной работы '
@@ -94,85 +84,57 @@ class ExportDataFunctionImplementationStrategy(
 
     @classmethod
     def _prepare_function_template_name(cls) -> Optional[str]:
-        """
-        Формирование названия шаблона создания функции.
-        """
+        """Формирование названия шаблона создания функции."""
         return 'function_export_data_template'
 
     def _prepare_manager_class(self):
-        """
-        Устанавливает класс менеджера.
-        """
+        """Устанавливает класс менеджера."""
         self._manager_class = BaseExportDataRunnerManager
 
     def _prepare_runner_class(self):
-        """
-        Устанавливает класс ранера.
-        """
+        """Устанавливает класс ранера."""
         self._runner_class = BaseExportDataRunner
 
     def _prepare_function_class(self):
-        """
-        Устанавливает класс Функции.
-        """
+        """Устанавливает класс Функции."""
         self._function_class = BaseExportDataFunction
 
     def _prepare_runner_helper_class(self):
-        """
-        Устанавливает класс помощника ранера.
-        """
+        """Устанавливает класс помощника ранера."""
         self._runner_helper_class = BaseExportDataRunnerHelper
 
     def _prepare_function_helper_class(self):
-        """
-        Устанавливает класс помощника функции.
-        """
+        """Устанавливает класс помощника функции."""
         self._function_helper_class = BaseExportDataFunctionHelper
 
     def _prepare_runner_validator_class(self):
-        """
-        Устанавливает класс валидатора ранера.
-        """
+        """Устанавливает класс валидатора ранера."""
         self._runner_validator_class = BaseExportDataRunnerValidator
 
     def _prepare_function_validator_class(self):
-        """
-        Устанавливает класс валидатора Функции.
-        """
+        """Устанавливает класс валидатора Функции."""
         self._function_validator_class = BaseExportDataFunctionValidator
 
     def _prepare_runner_cache_storage_class(self):
-        """
-        Устанавливает класс хранилища кешей ранера.
-        """
+        """Устанавливает класс хранилища кешей ранера."""
         self._runner_cache_storage_class = BaseExportDataRunnerCacheStorage
 
     def _prepare_function_cache_storage_class(self):
-        """
-        Устанавливает класс хранилища кешей Функции.
-        """
+        """Устанавливает класс хранилища кешей Функции."""
         self._function_cache_storage_class = BaseExportDataFunctionCacheStorage
 
     def _prepare_error_class(self):
-        """
-        Устанавливает класс ошибки.
-        """
+        """Устанавливает класс ошибки."""
         self._error_class = BaseExportDataError
 
     def _prepare_runner_result_class(self):
-        """
-        Устанавливает класс результата.
-        """
+        """Устанавливает класс результата."""
         self._runner_result_class = BaseExportDataRunnerResult
 
     def _prepare_function_result_class(self):
-        """
-        Устанавливает класс результата.
-        """
+        """Устанавливает класс результата."""
         self._function_result_class = BaseExportDataFunctionResult
 
     def _prepare_result_presenter_class(self):
-        """
-        Устанавливает класс презентера результата.
-        """
+        """Устанавливает класс презентера результата."""
         self._result_presenter_class = BaseExportDataResultPresenter

edu_rdm_integration/stages/service/apps.py

@@ -0,0 +1,19 @@
+from django.apps import (
+    AppConfig,
+)
+
+
+class RDMServiceStageAppConfig(AppConfig):
+    """Приложение для организации этапа сервисного обслуживания интеграции с РВД."""
+
+    name = 'edu_rdm_integration.stages.service'
+    label = 'edu_rdm_integration_service_stage'
+    verbose_name = 'Этап сервисного обслуживания'
+
+    def ready(self):
+        """Готовность приложения."""
+        if self.name == 'edu_rdm_integration.stages.service':
+            # ruff: noqa: F401
+            from . import (
+                tasks,
+            )

edu_rdm_integration/stages/service/tasks.py

@@ -0,0 +1,63 @@
+import celery
+from celery.schedules import (
+    crontab,
+)
+from django.conf import (
+    settings,
+)
+
+from educommon.async_task.models import (
+    AsyncTaskType,
+)
+from educommon.async_task.tasks import (
+    UniquePeriodicAsyncTask,
+)
+
+from edu_rdm_integration.core.consts import (
+    TASK_QUEUE_NAME,
+)
+from edu_rdm_integration.stages.collect_data.helpers import (
+    set_failed_status_suspended_collecting_data_stages,
+)
+from edu_rdm_integration.stages.export_data.helpers import (
+    set_failed_status_suspended_exporting_data_stages,
+)
+
+
+class CheckSuspendedExportedStagePeriodicTask(UniquePeriodicAsyncTask):
+    """Периодическая задача поиска зависших этапов/подэтапов экспорта."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Поиск зависших этапов/подэтапов экспорта в "Региональная витрина данных"'
+    lock_expire_seconds = settings.RDM_CHECK_SUSPEND_TASK_LOCK_EXPIRE_SECONDS
+    task_type = AsyncTaskType.SYSTEM
+    run_every = crontab(
+        minute=settings.RDM_CHECK_SUSPEND_TASK_MINUTE,
+        hour=settings.RDM_CHECK_SUSPEND_TASK_HOUR,
+        day_of_week=settings.RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK,
+    )
+
+    def process(self, *args, **kwargs):
+        """Выполнение задачи."""
+        super().process(*args, **kwargs)
+
+        change_status_collecting_result = set_failed_status_suspended_collecting_data_stages()
+        change_status_exporting_result = set_failed_status_suspended_exporting_data_stages()
+
+        task_result = {
+            'Прервано сборок': (
+                f'Этапов {change_status_collecting_result["change_stage_count"]}'
+                f' и подэтапов {change_status_collecting_result["change_sub_stage_count"]}'
+            ),
+            'Прервано выгрузок': (
+                f'Этапов {change_status_exporting_result["change_stage_count"]}'
+                f' и подэтапов {change_status_exporting_result["change_sub_stage_count"]}'
+            ),
+        }
+
+        self.set_progress(values=task_result)
+
+
+celery_app = celery.app.app_or_default()
+celery_app.register_task(CheckSuspendedExportedStagePeriodicTask)

edu_rdm_integration/stages/upload_data/apps.py

@@ -0,0 +1,19 @@
+from django.apps import (
+    AppConfig,
+)
+
+
+class RDMUploadDataStageAppConfig(AppConfig):
+    """Приложение для организации этапа выгрузки файлов в РВД."""
+
+    name = 'edu_rdm_integration.stages.upload_data'
+    label = 'edu_rdm_integration_upload_data_stage'
+    verbose_name = 'Этап выгрузки файлов в РВД'
+
+    def ready(self):
+        """Готовность приложения."""
+        if self.name == 'edu_rdm_integration.stages.upload_data':
+            # ruff: noqa: F401
+            from . import (
+                tasks,
+            )

edu_rdm_integration/stages/upload_data/consts.py

@@ -0,0 +1,10 @@
+from edu_rdm_integration.stages.upload_data.models import (
+    DataMartRequestStatus,
+)
+
+
+FAILED_STATUSES = {
+    DataMartRequestStatus.FAILED_PROCESSING,
+    DataMartRequestStatus.REQUEST_ID_NOT_FOUND,
+    DataMartRequestStatus.FLC_ERROR,
+}

edu_rdm_integration/{export_data → stages/upload_data}/dataclasses.py

@@ -5,6 +5,7 @@ from typing import (
 
 class UploadFile(NamedTuple):
     """Структура файла подэтапа для очереди отправки."""
+
     attachment_id: int
     attachment_name: str
     attachment_size: int

edu_rdm_integration/stages/upload_data/enums.py

@@ -0,0 +1,17 @@
+from m3.db import (
+    BaseEnumerate,
+)
+
+
+class FileUploadStatusEnum(BaseEnumerate):
+    """Действие по отслеживаемым данным."""
+
+    IN_PROGRESS = 1
+    FINISHED = 2
+    ERROR = 3
+
+    values = {
+        IN_PROGRESS: 'В процессе загрузки в витрину',
+        FINISHED: 'Загрузка в витрину закончена',
+        ERROR: 'Ошибка загрузки в витрину',
+    }