edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.1__py3-none-any.whl

edu_rdm_integration/{collect_data/collect.py → stages/collect_data/operations.py}

@@ -33,25 +33,27 @@ from m3_db_utils.models import (
     ModelEnumValue,
 )
 
-from edu_rdm_integration.base import (
+from edu_rdm_integration.core.consts import (
+    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
+)
+from edu_rdm_integration.core.operations import (
     BaseOperationData,
 )
-from edu_rdm_integration.consts import (
-    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
+from edu_rdm_integration.core.signals import (
+    manager_created,
 )
-from edu_rdm_integration.helpers import (
-    get_collecting_managers_max_period_ended_dates,
+from edu_rdm_integration.core.storages import (
+    RegionalDataMartEntityStorage,
 )
-from edu_rdm_integration.models import (
-    CollectingDataStageStatus,
-    CollectingExportedDataStage,
+from edu_rdm_integration.rdm_models.models import (
     RegionalDataMartModelEnum,
 )
-from edu_rdm_integration.signals import (
-    manager_created,
+from edu_rdm_integration.stages.collect_data.helpers import (
+    get_collecting_managers_max_period_ended_dates,
 )
-from edu_rdm_integration.storages import (
-    RegionalDataMartEntityStorage,
+from edu_rdm_integration.stages.collect_data.models import (
+    CollectingDataStageStatus,
+    CollectingExportedDataStage,
 )
 
 
@@ -60,7 +62,7 @@ if TYPE_CHECKING:
         AuditLog,
     )
 
-    from edu_rdm_integration.collect_data.generators import (
+    from edu_rdm_integration.stages.collect_data.generators import (
         BaseEduLogGenerator,
     )
 
@@ -79,9 +81,7 @@ class BaseCollectModelsData(BaseOperationData):
 
         # Если модели не указаны, берется значение по умолчанию - все модели:
         models = models if models else RegionalDataMartModelEnum.get_enum_data().keys()
-        self.models: list[ModelEnumValue] = [
-            RegionalDataMartModelEnum.get_model_enum_value(model) for model in models
-        ]
+        self.models: list[ModelEnumValue] = [RegionalDataMartModelEnum.get_model_enum_value(model) for model in models]
 
         self.logs_period_started_at = logs_period_started_at
         self.logs_period_ended_at = logs_period_ended_at
@@ -94,9 +94,7 @@ class BaseCollectModelsData(BaseOperationData):
 
     @property
     def _log_file_path(self) -> str:
-        """
-        Путь до лог файла.
-        """
+        """Путь до лог файла."""
         return os.path.join(settings.MEDIA_ROOT, settings.RDM_COLLECT_LOG_DIR, f'{self.command_id}.log')
 
     def _has_stage_created_or_in_progress(self, manager_id: str, model: str) -> bool:
@@ -107,9 +105,7 @@ class BaseCollectModelsData(BaseOperationData):
         return False
 
     def _find_collecting_models_data_managers(self):
-        """
-        Поиск менеджеров Функций, которые должны быть запущены для сбора данных моделей РВД.
-        """
+        """Поиск менеджеров Функций, которые должны быть запущены для сбора данных моделей РВД."""
         logger.info('collecting models data managers..')
 
         entity_storage = RegionalDataMartEntityStorage()
@@ -130,9 +126,7 @@ class BaseCollectModelsData(BaseOperationData):
         logger.info('collecting models data managers finished')
 
     def _collect_models_data(self, *args, logs: Optional[dict[str, list['AuditLog']]] = None, **kwargs):
-        """
-        Запуск Функций по формированию данных моделей РВД из логов.
-        """
+        """Запуск Функций по формированию данных моделей РВД из логов."""
         logger.info('collect models data..')
 
         kwargs['logs_period_started_at'] = self.logs_period_started_at
@@ -153,9 +147,7 @@ class BaseCollectModelsData(BaseOperationData):
         logger.info('collecting models data finished.')
 
     def _collect(self):
-        """
-        Собирает данные моделей РВД.
-        """
+        """Собирает данные моделей РВД."""
         logger.info(f'start collecting data of models - {", ".join([model.key for model in self.models])}..')
 
         self._find_collecting_models_data_managers()
@@ -164,9 +156,7 @@ class BaseCollectModelsData(BaseOperationData):
         logger.info('collecting data of models is finished.')
 
     def collect(self):
-        """
-        Запускает сбор данных.
-        """
+        """Запускает сбор данных."""
         try:
             self._collect()
         except Exception as err:
@@ -224,9 +214,7 @@ class BaseCollectModelsDataByGeneratingLogs(BaseCollectModelsData):
         return [(temp_logs, self.logs_period_started_at, self.logs_period_ended_at)]
 
     def _collect(self):
-        """
-        Собирает данные моделей РВД.
-        """
+        """Собирает данные моделей РВД."""
         logger.info(f'start collecting data of models - {", ".join([model.key for model in self.models])}..')
         self._find_collecting_models_data_managers()
 
@@ -242,11 +230,9 @@ class BaseCollectModelsDataByGeneratingLogs(BaseCollectModelsData):
 
 
 class BaseCollectLatestModelsData(BaseCollectModelsData):
-    """
-    Сбор данных моделей РВД на основе логов за период с последней сборки до указанной даты.
-    """
+    """Сбор данных моделей РВД на основе логов за период с последней сборки до указанной даты."""
 
-    def __init__(self, *args,  use_times_limit: bool = False, **kwargs):
+    def __init__(self, *args, use_times_limit: bool = False, **kwargs):
         super().__init__(*args, **kwargs)
 
         # Если этот параметр не указан - то высчитываем временные рамки по менеджеру, не учитывая переданные
@@ -266,9 +252,7 @@ class BaseCollectLatestModelsData(BaseCollectModelsData):
         return stage_created_or_in_progress
 
     def _collect_models_data(self, *args, logs: Optional[dict[str, list['AuditLog']]] = None, **kwargs) -> None:
-        """
-        Запуск Функций по формированию данных из логов для дальнейшей выгрузки.
-        """
+        """Запуск Функций по формированию данных из логов для дальнейшей выгрузки."""
         logger.info('collect models data..')
 
         managers_last_period_ended_at = get_collecting_managers_max_period_ended_dates(
@@ -279,8 +263,11 @@ class BaseCollectLatestModelsData(BaseCollectModelsData):
             model_logs = logs.get(model_key) if logs else None
             manager_last_period_ended_at = managers_last_period_ended_at.get(manager_class.uuid)
 
-            kwargs['logs_period_started_at'] = self.logs_period_started_at if self.use_times_limit else (
-                    manager_last_period_ended_at or get_today_min_datetime())
+            kwargs['logs_period_started_at'] = (
+                self.logs_period_started_at
+                if self.use_times_limit
+                else (manager_last_period_ended_at or get_today_min_datetime())
+            )
             kwargs['logs_period_ended_at'] = self.logs_period_ended_at if self.use_times_limit else timezone.now()
 
             manager = manager_class(*args, logs=model_logs, **kwargs)

edu_rdm_integration/{collect_data → stages/collect_data/registry}/actions.py

@@ -30,31 +30,31 @@ from educommon.utils.ui import (
     DatetimeFilterCreator,
 )
 
-from edu_rdm_integration.collect_and_export_data.actions import (
+from edu_rdm_integration.core.enums import (
+    CommandType,
+)
+from edu_rdm_integration.core.helpers import (
+    make_download_link,
+)
+from edu_rdm_integration.core.registry.actions import (
     BaseCommandProgressPack,
     BaseStartTaskAction,
 )
-from edu_rdm_integration.collect_and_export_data.models import (
-    EduRdmCollectDataCommandProgress,
+from edu_rdm_integration.rdm_models.models import (
+    RegionalDataMartModelEnum,
 )
-from edu_rdm_integration.collect_data.generators import (
+from edu_rdm_integration.stages.collect_data.generators import (
     FirstCollectModelsDataCommandsGenerator,
 )
-from edu_rdm_integration.collect_data.ui import (
-    CreateCollectCommandWindow,
-    DetailCollectCommandWindow,
-)
-from edu_rdm_integration.enums import (
-    CommandType,
-)
-from edu_rdm_integration.helpers import (
-    make_download_link,
-)
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.collect_data.models import (
     CollectingDataStageStatus,
     CollectingDataSubStageStatus,
     CollectingExportedDataSubStage,
-    RegionalDataMartModelEnum,
+    EduRdmCollectDataCommandProgress,
+)
+from edu_rdm_integration.stages.collect_data.registry.ui import (
+    CreateCollectCommandWindow,
+    DetailCollectCommandWindow,
 )
 
 
@@ -173,7 +173,6 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
 
     def get_list_window_params(self, params, request, context):
         """Получает параметры окна списка."""
-
         params = super().get_list_window_params(params, request, context)
 
         params['start_task_url'] = self.start_task_action.get_absolute_url()
@@ -183,7 +182,6 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
 
     def declare_context(self, action):
         """Объявление контекста."""
-
         context = super().declare_context(action)
 
         if action is self.save_action:
@@ -231,8 +229,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
 
     @atomic
     def save_row(self, obj, create_new, request, context, *args, **kwargs):
-        """
-        Сохраняет объект.
+        """Сохраняет объект.
 
         Переопределено, т.к. на основе полученных параметров от клиента,
         необходимо сформировать команды на сбор и их сохранить в модели.

edu_rdm_integration/stages/collect_data/registry/apps.py

@@ -0,0 +1,11 @@
+from django.apps import (
+    AppConfig,
+)
+
+
+class RDMCollectDataRegistryAppConfig(AppConfig):
+    """Приложение для организации сбора данных моделей РВД из интерфейса."""
+
+    name = 'edu_rdm_integration.stages.collect_data.registry'
+    label = 'edu_rdm_integration_collect_data_registry'
+    verbose_name = 'Сбор данных моделей РВД из интерфейса'

edu_rdm_integration/{collect_data → stages/collect_data/registry}/ui.py

@@ -14,9 +14,6 @@ from m3_ext.ui.fields.simple import (
 from m3_ext.ui.misc import (
     ExtDataStore,
 )
-from objectpack.ui import (
-    allow_blank,
-)
 
 from educommon.objectpack.ui import (
     BaseEditWindow,
@@ -25,18 +22,18 @@ from educommon.utils.date import (
     DatesSplitter,
 )
 
-from edu_rdm_integration.collect_and_export_data.ui import (
-    BaseCreateCommandWindow,
-)
-from edu_rdm_integration.collect_data.const import (
-    ALL_UNITS_IN_COMMAND,
-)
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     BATCH_SIZE,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.core.registry.ui import (
+    BaseCreateCommandWindow,
+)
+from edu_rdm_integration.rdm_models.models import (
     RegionalDataMartModelEnum,
 )
+from edu_rdm_integration.stages.collect_data.consts import (
+    ALL_UNITS_IN_COMMAND,
+)
 
 
 class CreateCollectCommandWindow(BaseCreateCommandWindow):
@@ -44,7 +41,6 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
 
     def _init_components(self):
         """Инициализация компонентов."""
-
         super()._init_components()
 
         model = ExtComboBox(
@@ -163,7 +159,6 @@ class DetailCollectCommandWindow(BaseEditWindow):
 
     def set_params(self, params: Dict[str, Any]) -> None:
         """Устанавливает параметры окна."""
-
         super().set_params(params)
 
         self.height = 'auto'
@@ -171,7 +166,6 @@ class DetailCollectCommandWindow(BaseEditWindow):
 
     def _init_components(self) -> None:
         """Инициализирует компоненты окна."""
-
         super()._init_components()
 
         self.model_field = ExtStringField(
@@ -227,7 +221,6 @@ class DetailCollectCommandWindow(BaseEditWindow):
 
     def _do_layout(self) -> None:
         """Располагает компоненты окна."""
-
         super()._do_layout()
 
         self.form.items.extend(

edu_rdm_integration/{collect_data → stages/collect_data}/tests.py

@@ -38,10 +38,10 @@ from function_tools.models import (
     EntityType,
 )
 
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.collect_data.models import (
     CollectingExportedDataStage,
     CollectingExportedDataSubStage,
 )

edu_rdm_integration/stages/export_data/apps.py

@@ -0,0 +1,11 @@
+from django.apps import (
+    AppConfig,
+)
+
+
+class RDMExportDataStageAppConfig(AppConfig):
+    """Приложение для организации этапа выгрузки собранных данных в файлы."""
+
+    name = 'edu_rdm_integration.stages.export_data'
+    label = 'edu_rdm_integration_export_data_stage'
+    verbose_name = 'Этап выгрузки данных в файлы'

edu_rdm_integration/{function_templates → stages/export_data/function_templates}/function_export_data_template/functions.py-tpl

@@ -3,10 +3,10 @@ from typing import (
     Optional,
 )
 
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.rdm_entities.models import (
     RegionalDataMartEntityEnum,
 )
 

edu_rdm_integration/{function_templates → stages/export_data/function_templates}/function_export_data_template/managers.py-tpl

@@ -4,10 +4,10 @@ from typing import (
     Optional,
 )
 
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.rdm_models.models import (
     RegionalDataMartModelEnum,
 )
 

edu_rdm_integration/{function_templates → stages/export_data/function_templates}/function_export_data_template/runners.py-tpl

@@ -13,10 +13,10 @@ from function_tools.general import (
     RunnableObject,
 )
 
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.rdm_models.models import (
     RegionalDataMartModelEnum,
 )
 

edu_rdm_integration/{export_data → stages/export_data/functions}/base/caches.py

@@ -9,19 +9,14 @@ from edu_rdm_integration.adapters.caches import (
 
 
 class BaseExportDataRunnerCacheStorage(WebEduRunnerCacheStorage):
-    """
-    Базовый кеш помощников ранеров функций выгрузки данных для интеграции с "Региональная витрина данных".
-    """
+    """Базовый кеш помощников ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
 
 class BaseExportDataFunctionCacheStorage(WebEduFunctionCacheStorage):
-    """
-    Базовый кеш помощников функций выгрузки данных для интеграции с "Региональная витрина данных".
-    """
+    """Базовый кеш помощников функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     def _prepare_entity_instances(self, model_ids, *args, **kwargs) -> list[BaseEntity]:
-        """
-        Формирование списка объектов сущностей для дальнейшей выгрузки.
+        """Формирование списка объектов сущностей для дальнейшей выгрузки.
 
         Необходимо переопределить логику формирования объектов у потомков.
         """

edu_rdm_integration/stages/export_data/functions/base/errors.py

@@ -0,0 +1,7 @@
+from edu_rdm_integration.adapters.errors import (
+    WebEduError,
+)
+
+
+class BaseExportDataError(WebEduError):
+    """Базовая ошибка функций выгрузки данных для интеграции с "Региональная витрина данных"."""

edu_rdm_integration/{export_data → stages/export_data/functions}/base/functions.py

@@ -28,31 +28,31 @@ from educommon.integration_entities.mixins import (
 from edu_rdm_integration.adapters.functions import (
     WebEduLazySavingPredefinedQueueGlobalHelperFunction,
 )
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     LOGS_DELIMITER,
 )
-from edu_rdm_integration.export_data.base.helpers import (
+from edu_rdm_integration.stages.export_data.consts import (
+    DELIMITER,
+)
+from edu_rdm_integration.stages.export_data.functions.base.helpers import (
     BaseExportDataFunctionHelper,
 )
-from edu_rdm_integration.export_data.base.results import (
+from edu_rdm_integration.stages.export_data.functions.base.results import (
     BaseExportDataFunctionResult,
 )
-from edu_rdm_integration.export_data.base.validators import (
+from edu_rdm_integration.stages.export_data.functions.base.validators import (
     BaseExportDataFunctionValidator,
 )
-from edu_rdm_integration.export_data.consts import (
-    DELIMITER,
+from edu_rdm_integration.stages.export_data.helpers import (
+    get_exporting_data_stage_attachment_path,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.export_data.models import (
     ExportingDataStage,
     ExportingDataSubStage,
     ExportingDataSubStageAttachment,
     ExportingDataSubStageEntity,
     ExportingDataSubStageStatus,
 )
-from edu_rdm_integration.utils import (
-    get_exporting_data_stage_attachment_path,
-)
 
 
 class BaseExportDataFunction(
@@ -60,9 +60,7 @@ class BaseExportDataFunction(
     WebEduLazySavingPredefinedQueueGlobalHelperFunction,
     metaclass=ABCMeta,
 ):
-    """
-    Базовый класс функций выгрузки данных для интеграции с "Региональная витрина данных".
-    """
+    """Базовый класс функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     def __init__(self, *args, stage: ExportingDataStage, model_ids: list[Union[int, str]], **kwargs):
         super().__init__(*args, entities=self.entities, model_ids=model_ids, **kwargs)
@@ -72,8 +70,7 @@ class BaseExportDataFunction(
             function_id=self.uuid,
         )
         ExportingDataSubStageEntity.objects.create(
-            exporting_data_sub_stage=self._sub_stage,
-            entity_id=self.first_entity.key
+            exporting_data_sub_stage=self._sub_stage, entity_id=self.first_entity.key
         )
         # Проставление подэтапа выгрузки
         self.entities[0].main_model_enum.model.objects.filter(pk__in=model_ids).update(
@@ -95,36 +92,26 @@ class BaseExportDataFunction(
         self.has_data = False
 
     def _prepare_helper_class(self) -> type[BaseExportDataFunctionHelper]:
-        """
-        Возвращает класс помощника функции.
-        """
+        """Возвращает класс помощника функции."""
         return BaseExportDataFunctionHelper
 
     def _prepare_validator_class(self) -> type[BaseExportDataFunctionValidator]:
-        """
-        Возвращает класс валидатора функции.
-        """
+        """Возвращает класс валидатора функции."""
         return BaseExportDataFunctionValidator
 
     def _prepare_result_class(self) -> type[BaseExportDataFunctionResult]:
-        """
-        Возвращает класс результата функции.
-        """
+        """Возвращает класс результата функции."""
         return BaseExportDataFunctionResult
 
     def _before_prepare(self, *args, **kwargs):
-        """
-        Выполнение действий функций системы.
-        """
+        """Выполнение действий функций системы."""
         self._sub_stage.status_id = ExportingDataSubStageStatus.IN_PROGRESS.key
         self._sub_stage.save()
 
         logger.info(f'{LOGS_DELIMITER * 3}change status {repr(self._sub_stage)}')
 
     def _prepare_record(self, entity_instance) -> list[str]:
-        """
-        Формирование списка строковых значений полей.
-        """
+        """Формирование списка строковых значений полей."""
         ordered_fields = self.first_entity.entity.get_ordered_fields()
         primary_key_fields = set(self.first_entity.entity.get_primary_key_fields())
         foreign_key_fields = set(self.first_entity.entity.get_foreign_key_fields())
@@ -145,9 +132,7 @@ class BaseExportDataFunction(
         return field_values
 
     def _prepare_data(self):
-        """
-        Преобразование собранных данных в удобный для выгрузки вид.
-        """
+        """Преобразование собранных данных в удобный для выгрузки вид."""
         logger.info(f'{LOGS_DELIMITER * 3}{self.__class__.__name__} prepare data..')
 
         for entity_instance in self.helper.cache.entity_instances:
@@ -169,29 +154,18 @@ class BaseExportDataFunction(
                 )
 
     def _prepare_files(self):
-        """
-        Формирование файлов для дальнейшей выгрузки.
-        """
+        """Формирование файлов для дальнейшей выгрузки."""
         logger.info(f'{LOGS_DELIMITER * 3}{self.__class__.__name__} prepare files..')
         has_record = False
 
         for operation in EntityLogOperation.values.keys():
-
             records = self._data[operation]
             if records:
-                title_record = (
-                    f'{DELIMITER}'.join([
-                        field.lower()
-                        for field in self.first_entity.entity.get_ordered_fields()
-                    ])
+                title_record = f'{DELIMITER}'.join(
+                    [field.lower() for field in self.first_entity.entity.get_ordered_fields()]
                 )
 
-                joined_records = (
-                    '\n'.join([
-                        title_record,
-                        *[f'{DELIMITER}'.join(record) for record in records]]
-                    )
-                )
+                joined_records = '\n'.join([title_record, *[f'{DELIMITER}'.join(record) for record in records]])
 
                 sub_stage_attachment = ExportingDataSubStageAttachment(
                     exporting_data_sub_stage=self._sub_stage,
@@ -212,9 +186,7 @@ class BaseExportDataFunction(
         self.has_data = has_record
 
     def _prepare(self, *args, **kwargs):
-        """
-        Выполнение действий функции.
-        """
+        """Выполнение действий функции."""
         if self.result.has_not_errors:
             if self.helper.cache.entity_instances:
                 self._prepare_data()
@@ -223,9 +195,7 @@ class BaseExportDataFunction(
                 logger.info(f'{LOGS_DELIMITER * 3} no data for preparing.')
 
     def before_run(self, *args, **kwargs):
-        """
-        Действия перед запуском.
-        """
+        """Действия перед запуском."""
         super().before_run(*args, **kwargs)
 
         logger.info(
@@ -233,19 +203,18 @@ class BaseExportDataFunction(
                 delimiter=LOGS_DELIMITER * 2,
                 force_run='force ' if kwargs.get('is_force_run', False) else '',
                 runner_name=self.__class__.__name__,
-                log_chunks=f' with logs chunk {self._chunk_index}' if self._chunk_index else ''
+                log_chunks=f' with logs chunk {self._chunk_index}' if self._chunk_index else '',
             )
         )
 
     def run(self, *args, **kwargs):
-        """
-        Выполнение действий функции с дальнейшим сохранением объектов в базу при отсутствии ошибок.
-        """
+        """Выполнение действий функции с дальнейшим сохранением объектов в базу при отсутствии ошибок."""
         super().run(*args, **kwargs)
 
         if self.result.has_not_errors:
             self._sub_stage.status_id = (
-                ExportingDataSubStageStatus.FINISHED.key if not self.has_data
+                ExportingDataSubStageStatus.FINISHED.key
+                if not self.has_data
                 else ExportingDataSubStageStatus.READY_FOR_EXPORT.key
             )
         else: