edu-rdm-integration 3.9.1__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/collect_and_export_data/utils.py

@@ -1,224 +0,0 @@
-from abc import (
-    ABC,
-    abstractmethod,
-)
-from typing import (
-    Dict,
-    Iterable,
-    Optional,
-)
-
-from django.db.models import (
-    QuerySet,
-)
-
-from educommon.async_task.exceptions import (
-    TaskUniqueException,
-)
-from educommon.async_task.models import (
-    AsyncTaskType,
-)
-from educommon.async_task.tasks import (
-    AsyncTask,
-)
-
-from edu_rdm_integration.collect_and_export_data.models import (
-    EduRdmCollectDataCommandProgress,
-    EduRdmExportDataCommandProgress,
-)
-from edu_rdm_integration.collect_data.collect import (
-    BaseCollectModelsDataByGeneratingLogs,
-)
-from edu_rdm_integration.consts import (
-    TASK_QUEUE_NAME,
-)
-from edu_rdm_integration.enums import (
-    EntityLevelQueueTypeEnum,
-)
-from edu_rdm_integration.export_data.export import (
-    ExportEntitiesData,
-)
-from edu_rdm_integration.helpers import (
-    save_command_log_link,
-)
-
-
-class CollectCommandMixin:
-    """Класс-примесь для запуска команды сборки моделей."""
-
-    queue = TASK_QUEUE_NAME
-    routing_key = TASK_QUEUE_NAME
-    description = 'Сбор данных моделей РВД'
-    task_type = AsyncTaskType.SYSTEM
-
-    def get_collect_command(self, command_id: int) -> EduRdmCollectDataCommandProgress:
-        """Возвращает экземпляр модели команды запуска."""
-        command = EduRdmCollectDataCommandProgress.objects.get(id=command_id)
-
-        return command
-
-    def get_collect_models_class(self):
-        """Возвращает класс для сбора данных."""
-        return BaseCollectModelsDataByGeneratingLogs
-
-    def run_collect_command(self, command) -> None:
-        """Запуск команды сбора."""
-        collect_models_data_class = self.get_collect_models_class()
-        collect_models_data_class(
-            models=(command.model_id,),
-            logs_period_started_at=command.logs_period_started_at,
-            logs_period_ended_at=command.logs_period_ended_at,
-            command_id=command.id,
-            institute_ids=tuple(command.institute_ids or ()),
-        ).collect()
-
-    def save_collect_command_logs(self, command_id: int, log_dir: str):
-        """Сохранение ссылки на файл логов в команде."""
-        try:
-            command = self.get_collect_command(command_id)
-        except EduRdmCollectDataCommandProgress.DoesNotExist:
-            command = None
-
-        if command:
-            save_command_log_link(command, log_dir)
-
-
-class ExportCommandMixin:
-    """Класс-примесь для запуска команды выгрузки сущностей."""
-
-    queue = TASK_QUEUE_NAME
-    routing_key = TASK_QUEUE_NAME
-    description = 'Экспорт данных сущностей РВД'
-    task_type = AsyncTaskType.SYSTEM
-
-    def get_export_command(self, command_id: int) -> EduRdmExportDataCommandProgress:
-        """Возвращает экземпляр модели команды запуска."""
-        command = EduRdmExportDataCommandProgress.objects.get(id=command_id)
-
-        return command
-
-    def run_export_command(self, command: EduRdmExportDataCommandProgress) -> None:
-        """Запуск команды выгрузки."""
-        ExportEntitiesData(
-            entities=(command.entity_id,),
-            period_started_at=command.period_started_at,
-            period_ended_at=command.period_ended_at,
-            command_id=command.id,
-        ).export()
-
-    def save_export_command_logs(self, command_id: int, log_dir: str):
-        """Сохранение ссылки на файл логов в команде."""
-        try:
-            command = self.get_export_command(command_id)
-        except EduRdmExportDataCommandProgress.DoesNotExist:
-            command = None
-
-        if command:
-            save_command_log_link(command, log_dir)
-
-
-class BaseTaskProgressUpdater(ABC):
-    """Базовый класс, который обновляет данные в таблицах, хранящих команды сбора/экспорта."""
-
-    @property
-    @abstractmethod
-    def update_model(self):
-        """
-        Основная модель для обновления.
-
-        Необходимо задать в дочернем классе.
-        """
-
-    @property
-    @abstractmethod
-    def async_model(self):
-        """
-        Модель асинхронных задач.
-
-        Необходимо задать в дочернем классе.
-        """
-
-    def set_async_task(self, commands_to_update: Dict[EduRdmCollectDataCommandProgress, str]) -> None:
-        """Устанавливает ссылку на асинхронную задачу."""
-        for command, task_uuid in commands_to_update.items():
-            command.task_id = task_uuid
-
-        self.update_model.objects.bulk_update(
-            commands_to_update,
-            ['task_id'],
-        )
-
-    def set_stage(self, command_id: int, stage_id: int) -> None:
-        """Устанавливает ссылку на stage."""
-        self.update_model.objects.filter(
-            id=command_id,
-        ).update(
-            stage_id=stage_id,
-        )
-
-
-class BaseTaskStarter(ABC):
-    """Запускает асинхронные задачи."""
-
-    updater: BaseTaskProgressUpdater = None
-    async_task: AsyncTask = None
-    model_only_fields: Iterable[str] = ()
-
-    def run(self, command_ids: Iterable[int], queue_level: Optional[int] = None) -> str:
-        """Создает задачи и ставит их в очередь."""
-        commands_to_update = {}
-        skipped_commands_count = 0
-        commands = self._get_commands(command_ids)
-        queue_name = None
-
-        if queue_level:
-            queue_name = EntityLevelQueueTypeEnum.get_queue_name(level=queue_level)
-
-        if not queue_name:
-            queue_name = TASK_QUEUE_NAME
-
-        for command in commands:
-            if command.task_id:
-                # Повторный запуск команды не допускается
-                skipped_commands_count += 1
-                continue
-
-            try:
-                async_result = self.async_task().apply_async(  # noqa pylint: disable=not-callable
-                    args=None,
-                    queue=queue_name,
-                    routing_key=queue_name,
-                    kwargs={
-                        'command_id': command.id,
-                    },
-                    lock_data={
-                        'lock_params': {
-                            'command_id': f'{self.updater.update_model.__name__}_{command.id}',
-                        },
-                    },
-                )
-            except TaskUniqueException:
-                skipped_commands_count += 1
-                continue
-            else:
-                commands_to_update[command] = async_result.task_id
-
-        if commands_to_update:
-            self.updater().set_async_task(commands_to_update)  # noqa pylint: disable=not-callable
-
-        message = f'Поставлено задач в очередь: {len(commands_to_update)} из {len(commands)}.'
-        if skipped_commands_count:
-            message += (
-                f' Кол-во задач, которые были запущены ранее: {skipped_commands_count}. '
-                'Однажды запущенные задачи не могут быть запущены снова!'
-            )
-
-        return message
-
-    def _get_commands(self, command_ids: Iterable[int]) -> 'QuerySet':
-        """Возвращает Queryset команд для создания задач."""
-        return self.updater.update_model.objects.filter(
-            id__in=command_ids,
-        ).only(
-            *self.model_only_fields,
-        )

edu_rdm_integration/collect_data/base/helpers.py

@@ -1,26 +0,0 @@
-from edu_rdm_integration.adapters.helpers import (
-    WebEduFunctionHelper,
-    WebEduRunnerHelper,
-)
-from edu_rdm_integration.consts import (
-    ALL_OPERATIONS,
-    UPDATED_OPERATIONS,
-)
-
-
-class BaseCollectingDataRunnerHelper(WebEduRunnerHelper):
-    """
-    Базовый класс помощников ранеров функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-
-class BaseCollectingDataFunctionHelper(WebEduFunctionHelper):
-    """
-    Базовый класс помощников функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-    def get_filtered_operations(self, with_deleted: bool = False) -> tuple[int]:
-        """
-        Возвращает кортеж отфильтрованных операций.
-        """
-        return ALL_OPERATIONS if with_deleted else UPDATED_OPERATIONS

edu_rdm_integration/collect_data/calculated/base/errors.py

@@ -1,9 +0,0 @@
-from edu_rdm_integration.adapters.errors import (
-    WebEduError,
-)
-
-
-class BaseCollectingCalculatedExportedDataError(WebEduError):
-    """
-    Базовая ошибка функций сбора расчетных данных для интеграции с "Региональная витрина данных".
-    """

edu_rdm_integration/collect_data/calculated/base/helpers.py

@@ -1,32 +0,0 @@
-from edu_rdm_integration.collect_data.base.helpers import (
-    BaseCollectingDataFunctionHelper,
-    BaseCollectingDataRunnerHelper,
-)
-from edu_rdm_integration.collect_data.calculated.base.caches import (
-    BaseCollectingCalculatedExportedDataFunctionCacheStorage,
-    BaseCollectingCalculatedExportedDataRunnerCacheStorage,
-)
-
-
-class BaseCollectingCalculatedExportedDataRunnerHelper(BaseCollectingDataRunnerHelper):
-    """
-    Базовый класс помощников ранеров функций сбора расчетных данных для интеграции с "Региональная витрина данных".
-    """
-
-    def _prepare_cache_class(self) -> type[BaseCollectingCalculatedExportedDataRunnerCacheStorage]:
-        """
-        Возвращает класс кеша помощника ранера.
-        """
-        return BaseCollectingCalculatedExportedDataRunnerCacheStorage
-
-
-class BaseCollectingCalculatedExportedDataFunctionHelper(BaseCollectingDataFunctionHelper):
-    """
-    Базовый класс помощников функций сбора расчетных данных для интеграции с "Региональная витрина данных".
-    """
-
-    def _prepare_cache_class(self) -> type[BaseCollectingCalculatedExportedDataFunctionCacheStorage]:
-        """
-        Возвращает класс кеша помощника функции.
-        """
-        return BaseCollectingCalculatedExportedDataFunctionCacheStorage

edu_rdm_integration/collect_data/calculated/base/managers.py

@@ -1,23 +0,0 @@
-from abc import (
-    ABCMeta,
-)
-
-from edu_rdm_integration.collect_data.base.managers import (
-    BaseCollectingDataRunnerManager,
-)
-from edu_rdm_integration.collect_data.calculated.base.runners import (
-    BaseCollectingCalculatedExportedDataRunner,
-)
-
-
-class BaseCollectingCalculatedExportedDataRunnerManager(BaseCollectingDataRunnerManager, metaclass=ABCMeta):
-    """
-    Менеджер ранеров функций сбора расчетных данных для интеграции с "Региональная витрина данных".
-    """
-
-    @classmethod
-    def _prepare_runner_class(cls) -> type[BaseCollectingCalculatedExportedDataRunner]:
-        """
-        Возвращает класс ранера.
-        """
-        return BaseCollectingCalculatedExportedDataRunner

edu_rdm_integration/collect_data/calculated/base/results.py

@@ -1,16 +0,0 @@
-from edu_rdm_integration.adapters.results import (
-    WebEduFunctionResult,
-    WebEduRunnerResult,
-)
-
-
-class BaseCollectingCalculatedExportedDataRunnerResult(WebEduRunnerResult):
-    """
-    Базовый класс результатов работы ранеров функций сбора расчетных данных для "Региональной витрины данных".
-    """
-
-
-class BaseCollectingCalculatedExportedDataFunctionResult(WebEduFunctionResult):
-    """
-    Базовый класс результатов работы функций сбора расчетных данных для интеграции с "Региональная витрина данных".
-    """

edu_rdm_integration/collect_data/calculated/base/runners.py

@@ -1,36 +0,0 @@
-from edu_rdm_integration.collect_data.base.runners import (
-    BaseCollectingDataRunner,
-)
-from edu_rdm_integration.collect_data.calculated.base.helpers import (
-    BaseCollectingCalculatedExportedDataRunnerHelper,
-)
-from edu_rdm_integration.collect_data.calculated.base.results import (
-    BaseCollectingCalculatedExportedDataRunnerResult,
-)
-from edu_rdm_integration.collect_data.calculated.base.validators import (
-    BaseCollectingCalculatedExportedDataRunnerValidator,
-)
-
-
-class BaseCollectingCalculatedExportedDataRunner(BaseCollectingDataRunner):
-    """
-    Базовый класс ранеров функций сбора расчетных данных для интеграции с "Региональная витрина данных".
-    """
-
-    def _prepare_helper_class(self) -> type[BaseCollectingCalculatedExportedDataRunnerHelper]:
-        """
-        Возвращает класс помощника ранера функции.
-        """
-        return BaseCollectingCalculatedExportedDataRunnerHelper
-
-    def _prepare_validator_class(self) -> type[BaseCollectingCalculatedExportedDataRunnerValidator]:
-        """
-        Возвращает класс валидатора ранера функции.
-        """
-        return BaseCollectingCalculatedExportedDataRunnerValidator
-
-    def _prepare_result_class(self) -> type[BaseCollectingCalculatedExportedDataRunnerResult]:
-        """
-        Возвращает класс результата ранера функции.
-        """
-        return BaseCollectingCalculatedExportedDataRunnerResult

edu_rdm_integration/collect_data/calculated/base/validators.py

@@ -1,28 +0,0 @@
-from edu_rdm_integration.adapters.validators import (
-    WebEduFunctionValidator,
-    WebEduRunnerValidator,
-)
-
-
-class BaseCollectingCalculatedExportedDataRunnerValidator(WebEduRunnerValidator):
-    """
-    Базовый класс валидаторов ранеров функций сбора расчетных данных для интеграции с "Региональная витрина данных".
-    """
-
-    def validate(self, runnable):
-        """
-        Расширение метода валидации.
-        """
-        super().validate(runnable=runnable)
-
-
-class BaseCollectingCalculatedExportedDataFunctionValidator(WebEduFunctionValidator):
-    """
-    Базовый класс валидаторов функций сбора расчетных данных для интеграции с "Региональная витрина данных".
-    """
-
-    def validate(self, runnable):
-        """
-        Расширение метода валидации.
-        """
-        super().validate(runnable=runnable)

edu_rdm_integration/collect_data/helpers.py

@@ -1,92 +0,0 @@
-from datetime import (
-    date,
-    datetime,
-    time,
-    timedelta,
-)
-
-from django.conf import (
-    settings,
-)
-from django.db.models import (
-    OuterRef,
-    Subquery,
-    Value,
-)
-from django.db.models.functions import (
-    Coalesce,
-)
-from django.db.transaction import (
-    atomic,
-)
-
-from educommon import (
-    logger,
-)
-
-from edu_rdm_integration.models import (
-    CollectingDataStageStatus,
-    CollectingDataSubStageStatus,
-    CollectingExportedDataStage,
-    CollectingExportedDataSubStage,
-)
-
-
-@atomic
-def set_failed_status_suspended_collecting_data_stages() -> dict[str, int]:
-    """Установить статус 'Завершено с ошибками' для зависших этапов и подэтапов сбора.
-
-    Сборка считается зависшей в случае если за определенное в параметре RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT время,
-    отсутствуют изменения в связанных подэтапах. Параметр RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT определяется
-    в настройках приложения.
-    """
-    changed_status_result = {
-        'change_stage_count': 0,
-        'change_sub_stage_count': 0,
-    }
-
-    current_datetime = datetime.now()
-    suspended_time_at = current_datetime - timedelta(minutes=settings.RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT)
-
-    suspended_stage_ids = set(
-        CollectingExportedDataStage.objects.annotate(
-            last_sub_stage_started_at=Coalesce(
-                Subquery(
-                    CollectingExportedDataSubStage.objects.filter(
-                        stage_id=OuterRef('pk')
-                    ).values('started_at').order_by('-started_at')[:1]
-                ),
-                Value(datetime.combine(date.min, time.min))
-            )
-        ).filter(
-            last_sub_stage_started_at__lt=suspended_time_at,
-            status__in=(
-                CollectingDataStageStatus.CREATED.key,
-                CollectingDataStageStatus.IN_PROGRESS.key,
-            ),
-        ).values_list('pk', flat=True)
-    )
-
-    if suspended_stage_ids:
-        logger.info(f'find suspended CollectingExportedDataStage: {", ".join(map(str, suspended_stage_ids))}..')
-
-        change_stage_count = CollectingExportedDataStage.objects.filter(
-            pk__in=suspended_stage_ids,
-        ).update(
-            status=CollectingDataStageStatus.FAILED.key,
-            ended_at=current_datetime,
-        )
-
-        change_sub_stage_count = CollectingExportedDataSubStage.objects.filter(
-            stage_id__in=suspended_stage_ids,
-        ).update(
-            status=CollectingDataSubStageStatus.FAILED.key,
-            ended_at=current_datetime,
-        )
-
-        changed_status_result.update({
-            'change_stage_count': change_stage_count,
-            'change_sub_stage_count': change_sub_stage_count,
-        })
-
-    return changed_status_result

edu_rdm_integration/collect_data/non_calculated/base/errors.py

@@ -1,9 +0,0 @@
-from edu_rdm_integration.adapters.errors import (
-    WebEduError,
-)
-
-
-class BaseCollectingExportedDataError(WebEduError):
-    """
-    Базовая ошибка функций сбора данных для интеграции с "Региональная витрина данных".
-    """

edu_rdm_integration/collect_data/non_calculated/base/helpers.py

@@ -1,32 +0,0 @@
-from edu_rdm_integration.collect_data.base.helpers import (
-    BaseCollectingDataFunctionHelper,
-    BaseCollectingDataRunnerHelper,
-)
-from edu_rdm_integration.collect_data.non_calculated.base.caches import (
-    BaseCollectingExportedDataFunctionCacheStorage,
-    BaseCollectingExportedDataRunnerCacheStorage,
-)
-
-
-class BaseCollectingExportedDataRunnerHelper(BaseCollectingDataRunnerHelper):
-    """
-    Базовый класс помощников ранеров функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-    def _prepare_cache_class(self) -> type[BaseCollectingExportedDataRunnerCacheStorage]:
-        """
-        Возвращает класс кеша помощника ранера.
-        """
-        return BaseCollectingExportedDataRunnerCacheStorage
-
-
-class BaseCollectingExportedDataFunctionHelper(BaseCollectingDataFunctionHelper):
-    """
-    Базовый класс помощников функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-    def _prepare_cache_class(self) -> type[BaseCollectingExportedDataFunctionCacheStorage]:
-        """
-        Возвращает класс кеша помощника функции.
-        """
-        return BaseCollectingExportedDataFunctionCacheStorage

edu_rdm_integration/collect_data/non_calculated/base/managers.py

@@ -1,23 +0,0 @@
-from abc import (
-    ABCMeta,
-)
-
-from edu_rdm_integration.collect_data.base.managers import (
-    BaseCollectingDataRunnerManager,
-)
-from edu_rdm_integration.collect_data.non_calculated.base.runners import (
-    BaseCollectingExportedDataRunner,
-)
-
-
-class BaseCollectingExportedDataRunnerManager(BaseCollectingDataRunnerManager, metaclass=ABCMeta):
-    """
-    Менеджер ранеров функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-    @classmethod
-    def _prepare_runner_class(cls) -> type[BaseCollectingExportedDataRunner]:
-        """
-        Возвращает класс ранера.
-        """
-        return BaseCollectingExportedDataRunner

edu_rdm_integration/collect_data/non_calculated/base/results.py

@@ -1,16 +0,0 @@
-from edu_rdm_integration.adapters.results import (
-    WebEduFunctionResult,
-    WebEduRunnerResult,
-)
-
-
-class BaseCollectingExportedDataRunnerResult(WebEduRunnerResult):
-    """
-    Базовый класс результатов работы ранеров функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-
-class BaseCollectingExportedDataFunctionResult(WebEduFunctionResult):
-    """
-    Базовый класс результатов работы функций сбора данных для интеграции с "Региональная витрина данных".
-    """

edu_rdm_integration/collect_data/non_calculated/base/runners.py

@@ -1,36 +0,0 @@
-from edu_rdm_integration.collect_data.base.runners import (
-    BaseCollectingDataRunner,
-)
-from edu_rdm_integration.collect_data.non_calculated.base.helpers import (
-    BaseCollectingExportedDataRunnerHelper,
-)
-from edu_rdm_integration.collect_data.non_calculated.base.results import (
-    BaseCollectingExportedDataRunnerResult,
-)
-from edu_rdm_integration.collect_data.non_calculated.base.validators import (
-    BaseCollectingExportedDataRunnerValidator,
-)
-
-
-class BaseCollectingExportedDataRunner(BaseCollectingDataRunner):
-    """
-    Базовый класс ранеров функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-    def _prepare_helper_class(self) -> type[BaseCollectingExportedDataRunnerHelper]:
-        """
-        Возвращает класс помощника ранера функции.
-        """
-        return BaseCollectingExportedDataRunnerHelper
-
-    def _prepare_validator_class(self) -> type[BaseCollectingExportedDataRunnerValidator]:
-        """
-        Возвращает класс валидатора ранера функции.
-        """
-        return BaseCollectingExportedDataRunnerValidator
-
-    def _prepare_result_class(self) -> type[BaseCollectingExportedDataRunnerResult]:
-        """
-        Возвращает класс результата ранера функции.
-        """
-        return BaseCollectingExportedDataRunnerResult

edu_rdm_integration/collect_data/non_calculated/base/validators.py

@@ -1,28 +0,0 @@
-from edu_rdm_integration.adapters.validators import (
-    WebEduFunctionValidator,
-    WebEduRunnerValidator,
-)
-
-
-class BaseCollectingExportedDataRunnerValidator(WebEduRunnerValidator):
-    """
-    Базовый класс валидаторов ранеров функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-    def validate(self, runnable):
-        """
-        Выполнение валидации.
-        """
-        super().validate(runnable=runnable)
-
-
-class BaseCollectingExportedDataFunctionValidator(WebEduFunctionValidator):
-    """
-    Базовый класс валидаторов функций сбора данных для интеграции с "Региональная витрина данных".
-    """
-
-    def validate(self, runnable):
-        """
-        Выполнение валидации.
-        """
-        super().validate(runnable=runnable)