edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/{export_data → stages/export_data/functions}/base/helpers.py

@@ -21,33 +21,27 @@ from edu_rdm_integration.adapters.helpers import (
     WebEduFunctionHelper,
     WebEduRunnerHelper,
 )
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     DATE_FORMAT,
     EXPORT_DATETIME_FORMAT,
     HASH_ALGORITHM,
 )
-from edu_rdm_integration.export_data.base.caches import (
+from edu_rdm_integration.stages.export_data.functions.base.caches import (
     BaseExportDataFunctionCacheStorage,
     BaseExportDataRunnerCacheStorage,
 )
 
 
 class BaseExportDataRunnerHelper(WebEduRunnerHelper):
-    """
-    Базовый класс помощников ранеров функций выгрузки данных для интеграции с "Региональная витрина данных".
-    """
+    """Базовый класс помощников ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     def _prepare_cache_class(self) -> type[BaseExportDataRunnerCacheStorage]:
-        """
-        Возвращает класс кеша помощника ранера.
-        """
+        """Возвращает класс кеша помощника ранера."""
         return BaseExportDataRunnerCacheStorage
 
 
 class BaseExportDataFunctionHelper(WebEduFunctionHelper):
-    """
-    Базовый класс помощников функций выгрузки данных для интеграции с "Региональная витрина данных".
-    """
+    """Базовый класс помощников функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     cryptographer = HashData(hash_algorithm=HASH_ALGORITHM)
 
@@ -88,9 +82,7 @@ class BaseExportDataFunctionHelper(WebEduFunctionHelper):
         hashable_fields: set[str],
         ignore_prefix_fields: set[str],
     ) -> list[str]:
-        """
-        Формирование списка строковых значений полей.
-        """
+        """Формирование списка строковых значений полей."""
         field_values = []
         key_fields = primary_key_fields.union(foreign_key_fields)
         add_prefix_fields = key_fields.difference(ignore_prefix_fields)
@@ -124,7 +116,5 @@ class BaseExportDataFunctionHelper(WebEduFunctionHelper):
         return field_values
 
     def _prepare_cache_class(self) -> type[BaseExportDataFunctionCacheStorage]:
-        """
-        Возвращает класс кеша помощника функции.
-        """
+        """Возвращает класс кеша помощника функции."""
         return BaseExportDataFunctionCacheStorage

edu_rdm_integration/{export_data → stages/export_data/functions}/base/managers.py

@@ -20,26 +20,26 @@ from m3_db_utils.models import (
 from edu_rdm_integration.adapters.managers import (
     WebEduRunnerManager,
 )
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     LOGS_DELIMITER,
 )
-from edu_rdm_integration.export_data.base.runners import (
-    BaseExportDataRunner,
+from edu_rdm_integration.core.storages import (
+    RegionalDataMartEntityStorage,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.collect_data.models import (
     CollectingDataStageStatus,
+)
+from edu_rdm_integration.stages.export_data.functions.base.runners import (
+    BaseExportDataRunner,
+)
+from edu_rdm_integration.stages.export_data.models import (
     ExportingDataStage,
     ExportingDataStageStatus,
 )
-from edu_rdm_integration.storages import (
-    RegionalDataMartEntityStorage,
-)
 
 
 class BaseExportDataRunnerManager(WebEduRunnerManager, metaclass=ABCMeta):
-    """
-    Менеджер ранеров функций выгрузки данных для интеграции с "Региональная витрина данных".
-    """
+    """Менеджер ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     forced_run = True
 
@@ -66,15 +66,11 @@ class BaseExportDataRunnerManager(WebEduRunnerManager, metaclass=ABCMeta):
 
     @classmethod
     def _prepare_runner_class(cls) -> type[BaseExportDataRunner]:
-        """
-        Возвращает класс ранера.
-        """
+        """Возвращает класс ранера."""
         return BaseExportDataRunner
 
     def _find_exporting_data_stage(self):
-        """
-        Поиск последнего подэтапа выгрузки данных сущности РВД.
-        """
+        """Поиск последнего подэтапа выгрузки данных сущности РВД."""
         entity_storage = RegionalDataMartEntityStorage()
         entity_storage.prepare()
 
@@ -94,9 +90,7 @@ class BaseExportDataRunnerManager(WebEduRunnerManager, metaclass=ABCMeta):
         return exporting_data_stage
 
     def _prepare_period(self, *args, **kwargs) -> tuple[datetime, datetime]:
-        """
-        Формирование периода сбора данных моделей РВД.
-        """
+        """Формирование периода сбора данных моделей РВД."""
         period_started_at = kwargs.get('period_started_at')
         period_ended_at = kwargs.get('period_ended_at')
 
@@ -114,8 +108,7 @@ class BaseExportDataRunnerManager(WebEduRunnerManager, metaclass=ABCMeta):
         return period_started_at, period_ended_at
 
     def _prepare_model_ids_map(self) -> dict[ModelEnumValue, Iterator[int]]:
-        """
-        Осуществляется поиск записей моделей добавленных или обновленных за указанный период времени.
+        """Осуществляется поиск записей моделей добавленных или обновленных за указанный период времени.
 
         Т.к. моделей влияющих на сущность может быть множество, то в методе формируется словарь, содержащий в качестве
         ключа название модели, значение - итератор идентификаторов записей.
@@ -123,8 +116,7 @@ class BaseExportDataRunnerManager(WebEduRunnerManager, metaclass=ABCMeta):
         return {}
 
     def _create_runner(self, *args, **kwargs):
-        """
-        Производится расширение для осуществления поиска идентификаторов записей моделей РВД для дальнейшей выгрузки.
+        """Производится расширение для осуществления поиска идентификаторов записей моделей РВД для дальнейшей выгрузки.
 
         model_ids_map пробрасывается в ранер для дальнейшей обработки записей для формирования чанков.
         is_force_fill_cache указывается для отказа от заполнения кешей запускаемых объектов при их создании.
@@ -145,15 +137,14 @@ class BaseExportDataRunnerManager(WebEduRunnerManager, metaclass=ABCMeta):
         logger.info(f'{LOGS_DELIMITER}change status {repr(self._stage)}')
 
     def _start_runner(self, *args, **kwargs):
-        """
-        Ранер необходимо запустить с отложенным заполнением кешей, чтобы заполнение произошло перед запуском объекта.
+        """Ранер необходимо запустить с отложенным заполнением кешей.
+
+        Это позволит произвести заполнение перед запуском объекта.
         """
         super()._start_runner(*args, is_force_fill_cache=False, **kwargs)
 
     def _after_start_runner(self, *args, **kwargs):
-        """
-        Точка расширения поведения менеджера ранера после запуска ранера.
-        """
+        """Точка расширения поведения менеджера ранера после запуска ранера."""
         if self._runner.result.has_not_errors:
             self._stage.status_id = ExportingDataStageStatus.FINISHED.key
         else:

edu_rdm_integration/stages/export_data/functions/base/presenters.py

@@ -0,0 +1,11 @@
+from abc import (
+    ABCMeta,
+)
+
+from edu_rdm_integration.adapters.presenters import (
+    WebEduResultPresenter,
+)
+
+
+class BaseExportDataResultPresenter(WebEduResultPresenter, metaclass=ABCMeta):
+    """Презентер результата работы функций выгрузки данных для интеграции с "Региональная витрина данных"."""

edu_rdm_integration/{export_data → stages/export_data/functions}/base/requests.py

@@ -18,9 +18,7 @@ from uploader_client.interfaces import (
 
 @dataclass
 class RegionalDataMartEntityRequest(OpenAPIRequest):
-    """
-    Запрос на отправку данных сущности.
-    """
+    """Запрос на отправку данных сущности."""
 
     datamart_name: str
     table_name: str
@@ -32,52 +30,35 @@ class RegionalDataMartEntityRequest(OpenAPIRequest):
     data: Any = None
 
     def get_method(self):
-        """
-        Получение метода запроса.
-        """
+        """Получение метода запроса."""
         return self.method
 
     def get_url(self):
-        """
-        Получение сформированного URL.
-        """
+        """Получение сформированного URL."""
         return f'/v2/datamarts/{self.datamart_name}/tables/{self.table_name}/{self.operation}'
 
     def get_headers(self) -> dict:
-        """
-        Возвращает заголовки запроса.
-        """
+        """Возвращает заголовки запроса."""
         return self.headers
 
     def get_files(self):
-        """
-        Возвращает файлы для отправки.
-        """
-        files = [
-            (file_name, file_.open('rb'))
-            for file_name, file_ in self.files
-        ]
+        """Возвращает файлы для отправки."""
+        files = [(file_name, file_.open('rb')) for file_name, file_ in self.files]
 
         return files
 
     def get_data(self):
-        """
-        Возвращает содержимое запроса.
-        """
+        """Возвращает содержимое запроса."""
         return self.data
 
     def get_timeout(self):
-        """
-        Возвращает время ожидания ответа.
-        """
+        """Возвращает время ожидания ответа."""
         return settings.RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT
 
 
 @dataclass
 class RegionalDataMartStatusRequest(OpenAPIRequest):
-    """
-    Запрос для получения статуса загрузки данных в РВД.
-    """
+    """Запрос для получения статуса загрузки данных в РВД."""
 
     request_id: str
     method: str
@@ -85,25 +66,17 @@ class RegionalDataMartStatusRequest(OpenAPIRequest):
     parameters: dict = Field(default_factory=dict)
 
     def get_method(self):
-        """
-        Получение метода запроса.
-        """
+        """Получение метода запроса."""
         return self.method
 
     def get_url(self):
-        """
-        Получение сформированного URL.
-        """
+        """Получение сформированного URL."""
         return f'/v2/requests/{self.request_id}/status'
 
     def get_headers(self) -> dict:
-        """
-        Возвращает заголовки запроса.
-        """
+        """Возвращает заголовки запроса."""
         return self.headers
 
     def get_timeout(self):
-        """
-        Возвращает время ожидания ответа.
-        """
+        """Возвращает время ожидания ответа."""
         return settings.RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT

edu_rdm_integration/stages/export_data/functions/base/results.py

@@ -0,0 +1,12 @@
+from edu_rdm_integration.adapters.results import (
+    WebEduFunctionResult,
+    WebEduRunnerResult,
+)
+
+
+class BaseExportDataRunnerResult(WebEduRunnerResult):
+    """Базовый класс результата работы ранера функций выгрузки данных для интеграции с РВД."""
+
+
+class BaseExportDataFunctionResult(WebEduFunctionResult):
+    """Базовый класс результата функции выгрузки данных для интеграции с РВД."""

edu_rdm_integration/{export_data → stages/export_data/functions}/base/runners.py

@@ -1,44 +1,34 @@
 from edu_rdm_integration.adapters.runners import (
     WebEduRunner,
 )
-from edu_rdm_integration.export_data.base.helpers import (
+from edu_rdm_integration.stages.export_data.functions.base.helpers import (
     BaseExportDataRunnerHelper,
 )
-from edu_rdm_integration.export_data.base.results import (
+from edu_rdm_integration.stages.export_data.functions.base.results import (
     BaseExportDataRunnerResult,
 )
-from edu_rdm_integration.export_data.base.validators import (
+from edu_rdm_integration.stages.export_data.functions.base.validators import (
     BaseExportDataRunnerValidator,
 )
 
 
 class BaseExportDataRunner(WebEduRunner):
-    """
-    Базовый класс ранеров функций выгрузки данных для интеграции с "Региональная витрина данных".
-    """
+    """Базовый класс ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     def _prepare_helper_class(self) -> type[BaseExportDataRunnerHelper]:
-        """
-        Возвращает класс помощника ранера функции.
-        """
+        """Возвращает класс помощника ранера функции."""
         return BaseExportDataRunnerHelper
 
     def _prepare_validator_class(self) -> type[BaseExportDataRunnerValidator]:
-        """
-        Возвращает класс валидатора ранера функции.
-        """
+        """Возвращает класс валидатора ранера функции."""
         return BaseExportDataRunnerValidator
 
     def _prepare_result_class(self) -> type[BaseExportDataRunnerResult]:
-        """
-        Возвращает класс результата ранера функции.
-        """
+        """Возвращает класс результата ранера функции."""
         return BaseExportDataRunnerResult
 
     def _prepare_model_ids_chunks(self, *args, model_ids_map=None, **kwargs):
-        """
-        Формирование чанков идентификаторов записей моделей для дальнейшей работы в рамках функций.
-        """
+        """Формирование чанков идентификаторов записей моделей для дальнейшей работы в рамках функций."""
         # model_ids_chunks = make_chunks(
         #     iterable=model_ids,
         #     size=settings.RDM_EXPORT_CHUNK_SIZE,
@@ -47,9 +37,7 @@ class BaseExportDataRunner(WebEduRunner):
         return ()
 
     def _get_runnable_objects(self, *args, **kwargs):
-        """
-        Возвращает генератор запускаемых объектов.
-        """
+        """Возвращает генератор запускаемых объектов."""
         model_ids_chunks = self._prepare_model_ids_chunks(*args, **kwargs)
 
         for chunk_index, model_ids_chunk in enumerate(model_ids_chunks, start=1):

edu_rdm_integration/stages/export_data/functions/base/validators.py

@@ -0,0 +1,20 @@
+from edu_rdm_integration.adapters.validators import (
+    WebEduFunctionValidator,
+    WebEduRunnerValidator,
+)
+
+
+class BaseExportDataRunnerValidator(WebEduRunnerValidator):
+    """Базовый класс валидаторов ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
+
+    def validate(self, runnable):
+        """Выполнение валидации."""
+        super().validate(runnable=runnable)
+
+
+class BaseExportDataFunctionValidator(WebEduFunctionValidator):
+    """Базовый класс валидаторов функций выгрузки данных для интеграции с "Региональная витрина данных"."""
+
+    def validate(self, runnable):
+        """Выполнение валидации."""
+        super().validate(runnable=runnable)

edu_rdm_integration/{export_data → stages/export_data}/generators.py

@@ -16,10 +16,11 @@ from m3_db_utils.models import (
     ModelEnumValue,
 )
 
-from edu_rdm_integration import (
-    consts,
+from edu_rdm_integration.core.consts import (
+    BATCH_SIZE,
+    DATE_FORMAT,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.rdm_entities.models import (
     RegionalDataMartEntityEnum,
 )
 
@@ -32,7 +33,7 @@ class BaseFirstExportEntitiesDataCommandsGenerator:
         entities: Iterable[str],
         period_started_at=datetime.combine(date.today(), time.min),
         period_ended_at=datetime.combine(date.today(), time.min),
-        batch_size=consts.BATCH_SIZE,
+        batch_size=BATCH_SIZE,
         **kwargs,
     ):
         """Инициализация."""
@@ -87,8 +88,8 @@ class BaseFirstExportEntitiesDataCommandsGenerator:
         for entity in self.entities:
             ordered_rows_queries_sql = self.ordered_rows_query.format(
                 table_name=entity.main_model_enum.model._meta.db_table,
-                period_started_at=self.period_started_at.strftime(consts.DATE_FORMAT),
-                period_ended_at=self.period_ended_at.strftime(consts.DATE_FORMAT),
+                period_started_at=self.period_started_at.strftime(DATE_FORMAT),
+                period_ended_at=self.period_ended_at.strftime(DATE_FORMAT),
             )
 
             temp_get_logs_periods_sql = self.get_logs_periods_sql.format(

edu_rdm_integration/stages/export_data/helpers.py

@@ -0,0 +1,203 @@
+import os
+from datetime import (
+    date,
+    datetime,
+    time,
+    timedelta,
+)
+from typing import (
+    TYPE_CHECKING,
+    Iterable,
+    Union,
+)
+
+from django.conf import (
+    settings,
+)
+from django.db.models import (
+    CharField,
+    OuterRef,
+    Subquery,
+    Value,
+)
+from django.db.models.functions import (
+    Cast,
+    Coalesce,
+    Least,
+)
+from django.db.transaction import (
+    atomic,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.apps import (
+    EduRDMIntegrationConfig,
+)
+
+
+if TYPE_CHECKING:
+    from typing import (
+        NamedTuple,
+    )
+
+    from django.db.models import (
+        Model,
+    )
+
+    from edu_rdm_integration.rdm_models.models import (
+        BaseEntityModel,
+    )
+    from edu_rdm_integration.stages.export_data.functions.base.managers import (
+        BaseExportDataRunnerManager,
+    )
+
+
+@atomic
+def set_failed_status_suspended_exporting_data_stages() -> dict[str, int]:
+    """Установить статус 'Завершено с ошибками' для зависших этапов и подэтапов экспорта.
+
+    Экспорт считается зависшим в случае если за определенное в параметре RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT время,
+    отсутствуют изменения в связанных подэтапах. Параметр RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT определяется
+    в настройках приложения.
+    """
+    from edu_rdm_integration.stages.export_data.models import (
+        ExportingDataStage,
+        ExportingDataStageStatus,
+        ExportingDataSubStage,
+        ExportingDataSubStageStatus,
+    )
+
+    changed_status_result = {
+        'change_stage_count': 0,
+        'change_sub_stage_count': 0,
+    }
+
+    current_datetime = datetime.now()
+    suspended_time_at = current_datetime - timedelta(minutes=settings.RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT)
+
+    suspended_stage_ids = set(
+        ExportingDataStage.objects.annotate(
+            last_sub_stage_started_at=Coalesce(
+                Subquery(
+                    ExportingDataSubStage.objects.filter(stage_id=OuterRef('pk'))
+                    .values('started_at')
+                    .order_by('-started_at')[:1]
+                ),
+                Value(datetime.combine(date.min, time.min)),
+            )
+        )
+        .filter(
+            last_sub_stage_started_at__lt=suspended_time_at,
+            status__in=(
+                ExportingDataStageStatus.CREATED.key,
+                ExportingDataStageStatus.IN_PROGRESS.key,
+            ),
+        )
+        .values_list('pk', flat=True)
+    )
+
+    if suspended_stage_ids:
+        logger.info(f'find suspended ExportingDataStage: {", ".join(map(str, suspended_stage_ids))}..')
+
+        change_stage_count = ExportingDataStage.objects.filter(
+            pk__in=suspended_stage_ids,
+        ).update(
+            status=ExportingDataStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        change_sub_stage_count = ExportingDataSubStage.objects.filter(
+            stage_id__in=suspended_stage_ids,
+        ).update(
+            status=ExportingDataSubStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        changed_status_result.update(
+            {
+                'change_stage_count': change_stage_count,
+                'change_sub_stage_count': change_sub_stage_count,
+            }
+        )
+
+    return changed_status_result
+
+
+def get_exporting_managers_max_period_ended_dates(
+    exporting_managers: Iterable['BaseExportDataRunnerManager'],
+) -> dict[str, 'datetime']:
+    """Возвращает дату и время последнего успешного этапа экспорта для менеджеров Функций экспорта."""
+    from edu_rdm_integration.stages.export_data.models import (
+        ExportingDataStage,
+        ExportingDataStageStatus,
+    )
+
+    managers_last_period_ended = (
+        ExportingDataStage.objects.filter(
+            manager_id__in=[manager.uuid for manager in exporting_managers],
+            id=Subquery(
+                ExportingDataStage.objects.filter(
+                    manager_id=OuterRef('manager_id'),
+                    status_id=ExportingDataStageStatus.FINISHED.key,
+                )
+                .order_by('-id')
+                .values('id')[:1]
+            ),
+        )
+        .annotate(
+            str_manager_id=Cast('manager_id', output_field=CharField()),
+            last_period_ended_at=Least('period_ended_at', 'started_at'),
+        )
+        .values_list(
+            'str_manager_id',
+            'last_period_ended_at',
+        )
+    )
+
+    return {manager_id: last_period_ended_at for manager_id, last_period_ended_at in managers_last_period_ended}
+
+
+def get_exporting_data_stage_attachment_path(instance, filename):
+    """Возвращает путь до файла-вложения в этап выгрузки данных сущности.
+
+    Args:
+        instance: объект ExportingDataStage
+        filename: имя загружаемого файла
+
+    Returns:
+        Строковое представление пути
+    """
+    datetime_now = datetime.now()
+
+    return os.path.join(
+        settings.UPLOADS,
+        EduRDMIntegrationConfig.label,
+        datetime_now.strftime('%Y/%m/%d'),
+        instance.exporting_data_sub_stage.__class__.__name__.lower(),
+        str(instance.exporting_data_sub_stage_id),
+        str(instance.operation),
+        filename,
+    )
+
+
+def set_entity_field_by_model_object(
+    entity: 'BaseEntityModel', model_object: Union['Model', 'NamedTuple'], mapping: dict[str, str]
+) -> None:
+    """Обновление значений полей сущности по измененным полям модели.
+
+    Args:
+        entity: Выгружаемая сущность;
+        model_object: Объект модели с измененными полями;
+        mapping: Словарь маппинга полей модели к полям сущности
+    """
+    for model_field, entity_field in mapping.items():
+        if hasattr(model_object, model_field):
+            setattr(entity, entity_field, getattr(model_object, model_field))
+
+
+def get_isoformat_timezone():
+    """Возвращает временную зонну в ISO представлении."""
+    return datetime.now().astimezone().isoformat()[-6:]