edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/{collect_data → stages/collect_data/functions}/non_calculated/strategies.py

@@ -5,55 +5,53 @@ from typing import (
 from edu_rdm_integration.adapters.strategies import (
     WebEduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.caches import (
+from edu_rdm_integration.core.consts import (
+    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
+)
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.caches import (
     BaseCollectingExportedDataFunctionCacheStorage,
     BaseCollectingExportedDataRunnerCacheStorage,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.errors import (
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.errors import (
     BaseCollectingExportedDataError,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.functions import (
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.functions import (
     BaseCollectingExportedDataFunction,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.helpers import (
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.helpers import (
     BaseCollectingExportedDataFunctionHelper,
     BaseCollectingExportedDataRunnerHelper,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.managers import (
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.managers import (
     BaseCollectingExportedDataRunnerManager,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.presenters import (
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.presenters import (
     BaseCollectingExportedDataResultPresenter,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.results import (
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.results import (
     BaseCollectingExportedDataFunctionResult,
     BaseCollectingExportedDataRunnerResult,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.runners import (
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.runners import (
     BaseCollectingExportedDataRunner,
 )
-from edu_rdm_integration.collect_data.non_calculated.base.validators import (
+from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.validators import (
     BaseCollectingExportedDataFunctionValidator,
     BaseCollectingExportedDataRunnerValidator,
 )
-from edu_rdm_integration.consts import (
-    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
-)
 
 
 class CollectingExportedDataFunctionImplementationStrategy(
     WebEduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 ):
-    """
-    Стратегия создания функции с отложенным сохранением и предустановленной очередью объектов на сохранение.
+    """Стратегия создания функции с отложенным сохранением и предустановленной очередью объектов на сохранение.
 
     Используется для функций сбора данных для выгрузки в "Региональная витрина данных".
     """
 
     @classmethod
     def _prepare_uuid(cls):
-        """
-        Получение UUID класса. Используется при регистрации сущности в базе данных.
+        """Получение UUID класса. Используется при регистрации сущности в базе данных.
 
         Если ничего не возвращает, то регистрация в БД не будет произведена.
         """
@@ -61,9 +59,7 @@ class CollectingExportedDataFunctionImplementationStrategy(
 
     @classmethod
     def _prepare_verbose_name(cls) -> str:
-        """
-        Полное наименование для дальнейшей регистрации и отображения пользователю.
-        """
+        """Полное наименование для дальнейшей регистрации и отображения пользователю."""
         return (
             'Стратегия создания функции с отложенным сохранением и предустановленной очередью объектов на сохранение '
             'функций сбора данных для выгрузки в "Региональная витрина данных"'
@@ -71,23 +67,17 @@ class CollectingExportedDataFunctionImplementationStrategy(
 
     @classmethod
     def _prepare_tags(cls) -> list[str]:
-        """
-        Список тегов, по которым сущность можно будет осуществлять поиск.
-        """
+        """Список тегов, по которым сущность можно будет осуществлять поиск."""
         return [REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA]
 
     @classmethod
     def _prepare_key(cls) -> str:
-        """
-        Возвращает уникальный идентификатор стратегии создания функции.
-        """
+        """Возвращает уникальный идентификатор стратегии создания функции."""
         return 'REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA'
 
     @classmethod
     def _prepare_title(cls) -> str:
-        """
-        Возвращает название стратегии создания функции.
-        """
+        """Возвращает название стратегии создания функции."""
         return (
             'Стратегия создания функции с отложенным сохранением и предустановленной очередью объектов на сохранение '
             'функций сбора данных для выгрузки в "Региональная витрина данных". Сохранение производится после удачной '
@@ -96,85 +86,57 @@ class CollectingExportedDataFunctionImplementationStrategy(
 
     @classmethod
     def _prepare_function_template_name(cls) -> Optional[str]:
-        """
-        Формирование названия шаблона создания функции.
-        """
+        """Формирование названия шаблона создания функции."""
         return 'function_collect_data_template'
 
     def _prepare_manager_class(self):
-        """
-        Устанавливает класс менеджера.
-        """
+        """Устанавливает класс менеджера."""
         self._manager_class = BaseCollectingExportedDataRunnerManager
 
     def _prepare_runner_class(self):
-        """
-        Устанавливает класс ранера.
-        """
+        """Устанавливает класс ранера."""
         self._runner_class = BaseCollectingExportedDataRunner
 
     def _prepare_function_class(self):
-        """
-        Устанавливает класс Функции.
-        """
+        """Устанавливает класс Функции."""
         self._function_class = BaseCollectingExportedDataFunction
 
     def _prepare_runner_helper_class(self):
-        """
-        Устанавливает класс помощника ранера.
-        """
+        """Устанавливает класс помощника ранера."""
         self._runner_helper_class = BaseCollectingExportedDataRunnerHelper
 
     def _prepare_function_helper_class(self):
-        """
-        Устанавливает класс помощника функции.
-        """
+        """Устанавливает класс помощника функции."""
         self._function_helper_class = BaseCollectingExportedDataFunctionHelper
 
     def _prepare_runner_validator_class(self):
-        """
-        Устанавливает класс валидатора ранера.
-        """
+        """Устанавливает класс валидатора ранера."""
         self._runner_validator_class = BaseCollectingExportedDataRunnerValidator
 
     def _prepare_function_validator_class(self):
-        """
-        Устанавливает класс валидатора Функции.
-        """
+        """Устанавливает класс валидатора Функции."""
         self._function_validator_class = BaseCollectingExportedDataFunctionValidator
 
     def _prepare_runner_cache_storage_class(self):
-        """
-        Устанавливает класс хранилища кешей ранера.
-        """
+        """Устанавливает класс хранилища кешей ранера."""
         self._runner_cache_storage_class = BaseCollectingExportedDataRunnerCacheStorage
 
     def _prepare_function_cache_storage_class(self):
-        """
-        Устанавливает класс хранилища кешей Функции.
-        """
+        """Устанавливает класс хранилища кешей Функции."""
         self._function_cache_storage_class = BaseCollectingExportedDataFunctionCacheStorage
 
     def _prepare_error_class(self):
-        """
-        Устанавливает класс ошибки.
-        """
+        """Устанавливает класс ошибки."""
         self._error_class = BaseCollectingExportedDataError
 
     def _prepare_runner_result_class(self):
-        """
-        Устанавливает класс результата.
-        """
+        """Устанавливает класс результата."""
         self._runner_result_class = BaseCollectingExportedDataRunnerResult
 
     def _prepare_function_result_class(self):
-        """
-        Устанавливает класс результата.
-        """
+        """Устанавливает класс результата."""
         self._function_result_class = BaseCollectingExportedDataFunctionResult
 
     def _prepare_result_presenter_class(self):
-        """
-        Устанавливает класс презентера результата.
-        """
+        """Устанавливает класс презентера результата."""
         self._result_presenter_class = BaseCollectingExportedDataResultPresenter

edu_rdm_integration/{collect_data → stages/collect_data}/generators.py

@@ -29,18 +29,16 @@ from m3_db_utils.models import (
     ModelEnumValue,
 )
 
-from edu_rdm_integration import (
-    consts,
-)
-from edu_rdm_integration.collect_data.const import (
-    ALL_UNITS_IN_COMMAND,
-)
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
+    BATCH_SIZE,
     DATE_FORMAT,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.rdm_models.models import (
     RegionalDataMartModelEnum,
 )
+from edu_rdm_integration.stages.collect_data.consts import (
+    ALL_UNITS_IN_COMMAND,
+)
 
 
 if TYPE_CHECKING:
@@ -50,8 +48,7 @@ if TYPE_CHECKING:
 
 
 class BaseEduLogGenerator:
-    """
-    Базовый класс генератора логов для указанной модели РВД за определенный период времени.
+    """Базовый класс генератора логов для указанной модели РВД за определенный период времени.
 
     Для каждой модели РВД есть модели в продукте, создание экземпляров которых, сигнализирует о необходимости сбора
     и выгрузки данных в РВД. Модели можно найти в
@@ -69,8 +66,7 @@ class BaseEduLogGenerator:
         logs_period_ended_at: datetime = datetime.combine(date.today(), time.max),
         institute_ids: Optional[tuple[int, ...]] = (),
     ) -> list['AuditLog']:
-        """
-        Возвращает список сгенерированных экземпляров модели AuditLog.
+        """Возвращает список сгенерированных экземпляров модели AuditLog.
 
         Формирование логов производится для указанной модели РВД за указанный период времени.
 
@@ -102,7 +98,7 @@ class BaseFirstCollectModelsDataCommandsGenerator:
         split_by_quantity: Optional[int],
         logs_period_started_at=datetime.combine(date.today(), time.min),
         logs_period_ended_at=datetime.combine(date.today(), time.min),
-        batch_size=consts.BATCH_SIZE,
+        batch_size=BATCH_SIZE,
     ):
         """Инициализация."""
         # Если модели не указаны, берется значение по умолчанию - все модели:
@@ -251,7 +247,6 @@ class FirstCollectModelsDataCommandsGenerator(BaseFirstCollectModelsDataCommands
         Returns:
             Cписок данных для формирования команд.
         """
-
         result_commands: List[dict] = []
         institute_ids_chunks: Tuple[Optional[Iterable]] = (None,)
 

edu_rdm_integration/stages/collect_data/helpers.py

@@ -0,0 +1,154 @@
+from datetime import (
+    date,
+    datetime,
+    time,
+    timedelta,
+)
+from typing import (
+    TYPE_CHECKING,
+    Any,
+    Iterable,
+)
+
+from django.conf import (
+    settings,
+)
+from django.db.models import (
+    CharField,
+    OuterRef,
+    Subquery,
+    Value,
+)
+from django.db.models.functions import (
+    Cast,
+    Coalesce,
+    Least,
+)
+from django.db.transaction import (
+    atomic,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.stages.collect_data.models import (
+    CollectingDataStageStatus,
+    CollectingDataSubStageStatus,
+    CollectingExportedDataStage,
+    CollectingExportedDataSubStage,
+)
+
+
+if TYPE_CHECKING:
+    from edu_rdm_integration.rdm_models.models import (
+        BaseEntityModel,
+    )
+    from edu_rdm_integration.stages.collect_data.functions.non_calculated.base.managers import (
+        BaseCollectingExportedDataRunnerManager,
+    )
+
+
+@atomic
+def set_failed_status_suspended_collecting_data_stages() -> dict[str, int]:
+    """Установить статус 'Завершено с ошибками' для зависших этапов и подэтапов сбора.
+
+    Сборка считается зависшей в случае если за определенное в параметре RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT время,
+    отсутствуют изменения в связанных подэтапах. Параметр RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT определяется
+    в настройках приложения.
+    """
+    changed_status_result = {
+        'change_stage_count': 0,
+        'change_sub_stage_count': 0,
+    }
+
+    current_datetime = datetime.now()
+    suspended_time_at = current_datetime - timedelta(minutes=settings.RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT)
+
+    suspended_stage_ids = set(
+        CollectingExportedDataStage.objects.annotate(
+            last_sub_stage_started_at=Coalesce(
+                Subquery(
+                    CollectingExportedDataSubStage.objects.filter(stage_id=OuterRef('pk'))
+                    .values('started_at')
+                    .order_by('-started_at')[:1]
+                ),
+                Value(datetime.combine(date.min, time.min)),
+            )
+        )
+        .filter(
+            last_sub_stage_started_at__lt=suspended_time_at,
+            status__in=(
+                CollectingDataStageStatus.CREATED.key,
+                CollectingDataStageStatus.IN_PROGRESS.key,
+            ),
+        )
+        .values_list('pk', flat=True)
+    )
+
+    if suspended_stage_ids:
+        logger.info(f'find suspended CollectingExportedDataStage: {", ".join(map(str, suspended_stage_ids))}..')
+
+        change_stage_count = CollectingExportedDataStage.objects.filter(
+            pk__in=suspended_stage_ids,
+        ).update(
+            status=CollectingDataStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        change_sub_stage_count = CollectingExportedDataSubStage.objects.filter(
+            stage_id__in=suspended_stage_ids,
+        ).update(
+            status=CollectingDataSubStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        changed_status_result.update(
+            {
+                'change_stage_count': change_stage_count,
+                'change_sub_stage_count': change_sub_stage_count,
+            }
+        )
+
+    return changed_status_result
+
+
+def get_collecting_managers_max_period_ended_dates(
+    collecting_managers: Iterable['BaseCollectingExportedDataRunnerManager'],
+) -> dict[str, 'datetime']:
+    """Возвращает дату и время завершения последнего успешного этапа сбора для менеджеров Функций сбора."""
+    managers_last_period_ended = (
+        CollectingExportedDataStage.objects.filter(
+            manager_id__in=[manager.uuid for manager in collecting_managers],
+            id=Subquery(
+                CollectingExportedDataStage.objects.filter(
+                    manager_id=OuterRef('manager_id'),
+                    status_id=CollectingDataStageStatus.FINISHED.key,
+                )
+                .order_by('-id')
+                .values('id')[:1]
+            ),
+        )
+        .annotate(
+            str_manager_id=Cast('manager_id', output_field=CharField()),
+            last_period_ended_at=Least('logs_period_ended_at', 'started_at'),
+        )
+        .values_list(
+            'str_manager_id',
+            'last_period_ended_at',
+        )
+    )
+
+    return {manager_id: last_period_ended_at for manager_id, last_period_ended_at in managers_last_period_ended}
+
+
+def update_fields(entity: 'BaseEntityModel', field_values: dict[str, Any], mapping: dict[str, str]) -> None:
+    """Обновление значений полей сущности по измененным полям модели.
+
+    :param entity: Выгружаемая сущность
+    :param field_values: Словарь с измененными данными модели
+    :param mapping: Словарь маппинга полей модели к полям сущности
+    """
+    for model_field, entity_field in mapping.items():
+        if model_field in field_values:
+            setattr(entity, entity_field, field_values[model_field])

edu_rdm_integration/stages/collect_data/management/base.py

@@ -0,0 +1,100 @@
+from datetime import (
+    date,
+    datetime,
+    time,
+)
+
+from django.core.management import (
+    BaseCommand,
+    CommandParser,
+)
+
+from edu_rdm_integration.core.consts import (
+    DATETIME_FORMAT,
+)
+from edu_rdm_integration.rdm_models.models import (
+    RegionalDataMartModelEnum,
+)
+from edu_rdm_integration.stages.collect_data.operations import (
+    BaseCollectModelsData,
+)
+
+
+class BaseCollectModelDataCommand(BaseCommand):
+    """Базовая команда для выполнения сбора данных моделей РВД."""
+
+    def add_arguments(self, parser: 'CommandParser'):
+        """Добавление параметров."""
+        models = ', '.join(
+            [f'{key} - {value.title}' for key, value in RegionalDataMartModelEnum.get_enum_data().items()]
+        )
+        models_help_text = (
+            f'Значением параметра является перечисление моделей РВД, для которых должен быть произведен сбор данных. '
+            f'Перечисление моделей:\n{models}. Если модели не указываются, то сбор данных производится для всех '
+            f'моделей. Модели перечисляются через запятую без пробелов.'
+        )
+        parser.add_argument(
+            '--models',
+            action='store',
+            dest='models',
+            type=lambda e: e.split(','),
+            help=models_help_text,
+        )
+
+        parser.add_argument(
+            '--logs_period_started_at',
+            action='store',
+            dest='logs_period_started_at',
+            type=lambda started_at: datetime.strptime(started_at, DATETIME_FORMAT),
+            default=datetime.combine(date.today(), time.min),
+            help=(
+                'Дата и время начала периода обрабатываемых логов. Значение предоставляется в формате '
+                '"дд.мм.гггг чч:мм:сс". По умолчанию, сегодняшний день, время 00:00:00.'
+            ),
+        )
+
+        parser.add_argument(
+            '--logs_period_ended_at',
+            action='store',
+            dest='logs_period_ended_at',
+            type=lambda ended_at: datetime.strptime(ended_at, DATETIME_FORMAT),
+            default=datetime.combine(date.today(), time.max),
+            help=(
+                'Дата и время конца периода обрабатываемых логов. Значение предоставляется в формате '
+                '"дд.мм.гггг чч:мм:сс". По умолчанию, сегодняшний день, время 23:59:59.'
+            ),
+        )
+
+    def _prepare_collect_models_data_class(self, *args, **kwargs) -> BaseCollectModelsData:
+        """Возвращает объект класса сбора данных моделей РВД."""
+        raise NotImplementedError
+
+    def handle(self, *args, **kwargs):
+        """Выполнение действий команды."""
+        collect_models_data = self._prepare_collect_models_data_class(*args, **kwargs)
+        collect_models_data.collect()
+
+
+class BaseCollectModelsDataByGeneratingLogsCommand(BaseCollectModelDataCommand):
+    """Команда сбора данных моделей РВД на основе существующих в БД данных моделей ЭШ.
+
+    Можно регулировать, для каких моделей должен быть произведен сбор данных, и период, за который должны
+    быть собраны логи. Логи формируются в процессе выполнения команды при помощи генератора логов LogGenerator для
+    указанной модели.
+    """
+
+    # flake8: noqa: A003
+    help = 'Команда сбора данных моделей РВД на основе существующих в БД данных моделей продукта'
+
+    def add_arguments(self, parser: 'CommandParser'):
+        """Добавление параметров."""
+        super().add_arguments(parser=parser)
+
+        parser.add_argument(
+            '--institute_ids',
+            action='store',
+            dest='institute_ids',
+            type=lambda v: tuple(map(int, v.split(','))),
+            default=(),
+            help='Идентификаторы учебных заведений, для которых производится выгрузка.',
+        )

edu_rdm_integration/{management → stages/collect_data/management}/commands/collect_latest_models_data.py

@@ -1,16 +1,14 @@
-from edu_rdm_integration.collect_data.collect import (
+from edu_rdm_integration.stages.collect_data.management.base import (
+    BaseCollectModelDataCommand,
+)
+from edu_rdm_integration.stages.collect_data.operations import (
     BaseCollectLatestModelsData,
     BaseCollectModelsData,
 )
-from edu_rdm_integration.management.general import (
-    BaseCollectModelDataCommand,
-)
 
 
 class Command(BaseCollectModelDataCommand):
-    """
-    Команда для сбора на основе логов за период с последней сборки до указанной даты.
-    """
+    """Команда для сбора на основе логов за период с последней сборки до указанной даты."""
 
     def _prepare_collect_models_data_class(self, *args, **kwargs) -> BaseCollectModelsData:
         return BaseCollectLatestModelsData(

edu_rdm_integration/{management → stages/collect_data/management}/commands/collect_models_data.py

@@ -1,16 +1,14 @@
-from edu_rdm_integration.collect_data.collect import (
+from edu_rdm_integration.stages.collect_data.management.base import (
+    BaseCollectModelDataCommand,
+)
+from edu_rdm_integration.stages.collect_data.operations import (
     BaseCollectModelsData,
     CollectModelsData,
 )
-from edu_rdm_integration.management.general import (
-    BaseCollectModelDataCommand,
-)
 
 
 class Command(BaseCollectModelDataCommand):
-    """
-    Команда для сбора данных моделей РВД за указанных период по существующим логам.
-    """
+    """Команда для сбора данных моделей РВД за указанных период по существующим логам."""
 
     # flake8: noqa: A003
     help = 'Команда для сбора данных моделей РВД за указанных период по существующим логам.'