edu-rdm-integration 3.11.2__py3-none-any.whl → 3.13.0__py3-none-any.whl

edu_rdm_integration/stages/export_data/functions/base/errors.py

@@ -1,7 +1,7 @@
-from edu_rdm_integration.adapters.errors import (
-    WebEduError,
+from edu_function_tools.errors import (
+    EduError,
 )
 
 
-class BaseExportDataError(WebEduError):
+class BaseExportDataError(EduError):
     """Базовая ошибка функций выгрузки данных для интеграции с "Региональная витрина данных"."""

edu_rdm_integration/stages/export_data/functions/base/functions.py

@@ -25,8 +25,8 @@ from educommon.integration_entities.mixins import (
     EntitiesMixin,
 )
 
-from edu_rdm_integration.adapters.functions import (
-    WebEduLazySavingPredefinedQueueGlobalHelperFunction,
+from edu_function_tools.functions import (
+    EduLazySavingPredefinedQueueGlobalHelperFunction,
 )
 from edu_rdm_integration.core.consts import (
     LOGS_DELIMITER,
@@ -57,7 +57,7 @@ from edu_rdm_integration.stages.export_data.models import (
 
 class BaseExportDataFunction(
     EntitiesMixin,
-    WebEduLazySavingPredefinedQueueGlobalHelperFunction,
+    EduLazySavingPredefinedQueueGlobalHelperFunction,
     metaclass=ABCMeta,
 ):
     """Базовый класс функций выгрузки данных для интеграции с "Региональная витрина данных"."""
@@ -72,11 +72,6 @@ class BaseExportDataFunction(
         RDMExportingDataSubStageEntity.objects.create(
             exporting_data_sub_stage=self._sub_stage, entity_id=self.first_entity.key
         )
-        # Проставление подэтапа выгрузки
-        self.entities[0].main_model_enum.model.objects.filter(pk__in=model_ids).update(
-            exporting_sub_stage=self._sub_stage,
-        )
-
         self._chunk_index = kwargs.get('chunk_index')
 
         logger.info(f'{LOGS_DELIMITER * 3}{repr(self._sub_stage)} created.')
@@ -90,6 +85,13 @@ class BaseExportDataFunction(
         }
 
         self.has_data = False
+        # Id записей моделей РВД, которые в итоге попали в файл
+        self.exported_to_file_model_ids = set()
+
+    @property
+    def _models_unique_id(self) -> str:
+        """Возвращает название уникального идентификатора записи модели рвд."""
+        return 'id'
 
     def _prepare_helper_class(self) -> type[BaseExportDataFunctionHelper]:
         """Возвращает класс помощника функции."""
@@ -141,8 +143,9 @@ class BaseExportDataFunction(
                     entity_instance=entity_instance,
                 )
             )
-
-            entity_instance.exporting_sub_stage = self._sub_stage
+            entity_instance_id = getattr(entity_instance, self._models_unique_id, None)
+            if entity_instance_id:
+                self.exported_to_file_model_ids.add(entity_instance_id)
 
         for operation in EntityLogOperation.values.keys():
             entities = self._data.get(operation)
@@ -217,9 +220,20 @@ class BaseExportDataFunction(
                 if not self.has_data
                 else RDMExportingDataSubStageStatus.READY_FOR_EXPORT.key
             )
+            # Проставление подэтапа выгрузки
+            if self.exported_to_file_model_ids:
+                self.entities[0].main_model_enum.model.objects.filter(pk__in=self.exported_to_file_model_ids).update(
+                    exporting_sub_stage=self._sub_stage,
+                )
+
         else:
             self._sub_stage.status_id = RDMExportingDataSubStageStatus.FAILED.key
 
         self._sub_stage.save()
 
         logger.info(f'{LOGS_DELIMITER * 3}change status {repr(self._sub_stage)}')
+
+    def get_function_data(self):
+        """Возвращает словарь с данными сущностей подготовленных к выгрузке."""
+        return self._data
+

edu_rdm_integration/stages/export_data/functions/base/helpers.py

@@ -17,9 +17,9 @@ from educommon.utils.crypto import (
     HashData,
 )
 
-from edu_rdm_integration.adapters.helpers import (
-    WebEduFunctionHelper,
-    WebEduRunnerHelper,
+from edu_function_tools.helpers import (
+    EduFunctionHelper,
+    EduRunnerHelper,
 )
 from edu_rdm_integration.core.consts import (
     DATE_FORMAT,
@@ -32,7 +32,7 @@ from edu_rdm_integration.stages.export_data.functions.base.caches import (
 )
 
 
-class BaseExportDataRunnerHelper(WebEduRunnerHelper):
+class BaseExportDataRunnerHelper(EduRunnerHelper):
     """Базовый класс помощников ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     def _prepare_cache_class(self) -> type[BaseExportDataRunnerCacheStorage]:
@@ -40,7 +40,7 @@ class BaseExportDataRunnerHelper(WebEduRunnerHelper):
         return BaseExportDataRunnerCacheStorage
 
 
-class BaseExportDataFunctionHelper(WebEduFunctionHelper):
+class BaseExportDataFunctionHelper(EduFunctionHelper):
     """Базовый класс помощников функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     cryptographer = HashData(hash_algorithm=HASH_ALGORITHM)

edu_rdm_integration/stages/export_data/functions/base/managers.py

@@ -17,8 +17,8 @@ from m3_db_utils.models import (
     ModelEnumValue,
 )
 
-from edu_rdm_integration.adapters.managers import (
-    WebEduRunnerManager,
+from edu_function_tools.managers import (
+    EduRunnerManager,
 )
 from edu_rdm_integration.core.consts import (
     LOGS_DELIMITER,
@@ -38,7 +38,7 @@ from edu_rdm_integration.stages.export_data.models import (
 )
 
 
-class BaseExportDataRunnerManager(WebEduRunnerManager, metaclass=ABCMeta):
+class BaseExportDataRunnerManager(EduRunnerManager, metaclass=ABCMeta):
     """Менеджер ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     forced_run = True

edu_rdm_integration/stages/export_data/functions/base/presenters.py

@@ -2,10 +2,10 @@ from abc import (
     ABCMeta,
 )
 
-from edu_rdm_integration.adapters.presenters import (
-    WebEduResultPresenter,
+from edu_function_tools.presenters import (
+    EduResultPresenter,
 )
 
 
-class BaseExportDataResultPresenter(WebEduResultPresenter, metaclass=ABCMeta):
+class BaseExportDataResultPresenter(EduResultPresenter, metaclass=ABCMeta):
     """Презентер результата работы функций выгрузки данных для интеграции с "Региональная витрина данных"."""

edu_rdm_integration/stages/export_data/functions/base/results.py

@@ -1,12 +1,12 @@
-from edu_rdm_integration.adapters.results import (
-    WebEduFunctionResult,
-    WebEduRunnerResult,
+from edu_function_tools.results import (
+    EduFunctionResult,
+    EduRunnerResult,
 )
 
 
-class BaseExportDataRunnerResult(WebEduRunnerResult):
+class BaseExportDataRunnerResult(EduRunnerResult):
     """Базовый класс результата работы ранера функций выгрузки данных для интеграции с РВД."""
 
 
-class BaseExportDataFunctionResult(WebEduFunctionResult):
+class BaseExportDataFunctionResult(EduFunctionResult):
     """Базовый класс результата функции выгрузки данных для интеграции с РВД."""

edu_rdm_integration/stages/export_data/functions/base/runners.py

@@ -1,5 +1,5 @@
-from edu_rdm_integration.adapters.runners import (
-    WebEduRunner,
+from edu_function_tools.runners import (
+    EduRunner,
 )
 from edu_rdm_integration.stages.export_data.functions.base.helpers import (
     BaseExportDataRunnerHelper,
@@ -12,7 +12,7 @@ from edu_rdm_integration.stages.export_data.functions.base.validators import (
 )
 
 
-class BaseExportDataRunner(WebEduRunner):
+class BaseExportDataRunner(EduRunner):
     """Базовый класс ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     def _prepare_helper_class(self) -> type[BaseExportDataRunnerHelper]:

edu_rdm_integration/stages/export_data/functions/base/tests.py

@@ -1 +1,162 @@
 # Реализуйте свои unit-тесты здесь
+import datetime
+import shutil
+from typing import (
+    TYPE_CHECKING,
+)
+
+from django.conf import (
+    settings,
+)
+from django.test import (
+    TestCase,
+    override_settings,
+)
+from django.utils import (
+    timezone,
+)
+
+from edu_function_tools.models import (
+    EduEntity,
+    EduEntityType,
+)
+
+from edu_rdm_integration.core.consts import (
+    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
+    REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
+)
+from edu_rdm_integration.stages.collect_data.models import (
+    CollectingExportedDataStage,
+    CollectingExportedDataSubStage,
+)
+from edu_rdm_integration.stages.export_data.functions.base.consts import (
+    TEST_DIR,
+)
+from edu_rdm_integration.stages.export_data.models import (
+    ExportingDataStage,
+    ExportingDataSubStage,
+)
+
+
+if TYPE_CHECKING:
+    from edu_function_tools.managers import (
+        EduRunnerManager,
+    )
+
+    from edu_rdm_integration.stages.export_data.functions.base.functions import (
+        BaseExportDataFunction,
+    )
+
+
+class BaseExportTestCase(TestCase):
+    """Базовый тест экспорта сущности РВД."""
+
+    databases = (settings.DEFAULT_DB_ALIAS, settings.SERVICE_DB_ALIAS)
+
+    def setUp(self) -> None:
+        """Подготавливает фикстуры."""
+        self.now = timezone.now()
+
+        self.export_period_started_at = datetime.datetime.combine(self.now, datetime.time.min)
+        self.export_period_ended_at = datetime.datetime.combine(self.now, datetime.time.max)
+
+    def create_sub_stage(self, *class_names: str) -> CollectingExportedDataSubStage:
+        """Создает подэтап сбора данных."""
+        function_tools_entities = dict(
+            EduEntity.objects.filter(
+                type__in=(EduEntityType.MANAGER.key, EduEntityType.FUNCTION.key),
+                tags__contains=[REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA],
+                class_name__in=class_names,
+            ).values_list('type', 'uuid'),
+        )
+        stage = CollectingExportedDataStage.objects.create(
+            manager_id=function_tools_entities[EduEntityType.MANAGER.key],
+        )
+
+        return CollectingExportedDataSubStage.objects.create(
+            function_id=function_tools_entities[EduEntityType.FUNCTION.key],
+            stage=stage,
+        )
+
+    @classmethod
+    def tearDownClass(cls) -> None:
+        try:
+            shutil.rmtree(TEST_DIR)
+        except OSError:
+            pass
+
+        super().tearDownClass()
+
+
+class BaseExportManagerTestCase(BaseExportTestCase):
+    """Базовый тест менеджера экспорта сущности РВД."""
+
+    @property
+    def manager(self) -> type['EduRunnerManager']:
+        """Менеджер раннера Функции экспорта'."""
+        raise NotImplementedError
+
+    @override_settings(MEDIA_ROOT=(TEST_DIR + '/media'))
+    def run_exporting_manager(self) -> None:
+        """Запускает менеджер экспорта."""
+        runner_manager = self.manager(
+            period_started_at=self.export_period_started_at,
+            period_ended_at=self.export_period_ended_at,
+        )
+        runner_manager.run()
+
+    def get_exporting_stage_sub_stage(self, *class_names) -> tuple[ExportingDataStage, ExportingDataSubStage]:
+        """Возвращает этап и подэтап экспорта."""
+        function_tools_entities = dict(
+            EduEntity.objects.filter(
+                type__in=(EduEntityType.MANAGER.key, EduEntityType.FUNCTION.key),
+                tags__contains=[REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA],
+                class_name__in=class_names,
+            ).values_list('type', 'uuid'),
+        )
+        exported_data_stage = ExportingDataStage.objects.filter(
+            manager_id=function_tools_entities[EduEntityType.MANAGER.key],
+            period_started_at=self.export_period_started_at,
+            period_ended_at=self.export_period_ended_at,
+        ).first()
+        exported_data_substage = ExportingDataSubStage.objects.filter(
+            function_id=function_tools_entities[EduEntityType.FUNCTION.key],
+            stage=exported_data_stage
+        ).first()
+
+        return exported_data_stage, exported_data_substage
+
+
+class BaseExportFunctionTestCase(BaseExportTestCase):
+    """Базовый тест менеджера экспорта сущности РВД."""
+
+    @property
+    def export_function(self) -> type['BaseExportDataFunction']:
+        """Функция экспорта."""
+        raise NotImplementedError
+
+    def create_exporting_stage(self, *class_names: str) -> ExportingDataStage:
+        """Создает этап экспорта данных."""
+        function_tools_entities = dict(
+            EduEntity.objects.filter(
+                type__in=(EduEntityType.MANAGER.key, EduEntityType.FUNCTION.key),
+                tags__contains=[REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA],
+                class_name__in=class_names,
+            ).values_list('type', 'uuid'),
+        )
+        return ExportingDataStage.objects.create(
+            manager_id=function_tools_entities[EduEntityType.MANAGER.key],
+            period_started_at=self.export_period_started_at,
+            period_ended_at=self.export_period_ended_at,
+        )
+
+    @override_settings(MEDIA_ROOT=(TEST_DIR + '/media'))
+    def run_exporting_function(self, exporting_stage: ExportingDataStage, model_ids: list[int]) -> dict:
+        """Запускает функцию экспорта."""
+        exporting_function = self.export_function(
+            stage=exporting_stage,
+            model_ids=model_ids
+        )
+        exporting_function.run()
+
+        return exporting_function.get_function_data()

edu_rdm_integration/stages/export_data/functions/base/validators.py

@@ -1,10 +1,10 @@
-from edu_rdm_integration.adapters.validators import (
-    WebEduFunctionValidator,
-    WebEduRunnerValidator,
+from edu_function_tools.validators import (
+    EduFunctionValidator,
+    EduRunnerValidator,
 )
 
 
-class BaseExportDataRunnerValidator(WebEduRunnerValidator):
+class BaseExportDataRunnerValidator(EduRunnerValidator):
     """Базовый класс валидаторов ранеров функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     def validate(self, runnable):
@@ -12,7 +12,7 @@ class BaseExportDataRunnerValidator(WebEduRunnerValidator):
         super().validate(runnable=runnable)
 
 
-class BaseExportDataFunctionValidator(WebEduFunctionValidator):
+class BaseExportDataFunctionValidator(EduFunctionValidator):
     """Базовый класс валидаторов функций выгрузки данных для интеграции с "Региональная витрина данных"."""
 
     def validate(self, runnable):

edu_rdm_integration/stages/export_data/models.py

@@ -28,8 +28,8 @@ from educommon.django.db.mixins import (
 from educommon.integration_entities.enums import (
     EntityLogOperation,
 )
-from function_tools.models import (
-    Entity,
+from edu_function_tools.models import (
+    EduEntity,
 )
 from m3_db_utils.models import (
     ModelEnumValue,
@@ -79,7 +79,7 @@ class RDMExportingDataStage(ReprStrPreModelMixin, BaseObjectModel):
     """Этап выгрузки данных."""
 
     manager = ForeignKey(
-        to=Entity,
+        to=EduEntity,
         verbose_name='Менеджер ранера Функции',
         on_delete=PROTECT,
         null=True,
@@ -168,7 +168,7 @@ class RDMExportingDataSubStage(ReprStrPreModelMixin, BaseObjectModel):
     """Подэтап выгрузки данных."""
 
     function = ForeignKey(
-        to=Entity,
+        to=EduEntity,
         verbose_name='Функция',
         on_delete=PROTECT,
         null=True,

edu_rdm_integration/stages/export_data/operations.py

@@ -82,8 +82,8 @@ from edu_rdm_integration.stages.export_data.models import (
 
 
 if TYPE_CHECKING:
-    from function_tools.managers import (
-        RunnerManager,
+    from edu_function_tools.managers import (
+        EduRunnerManager,
     )
 
 
@@ -107,7 +107,7 @@ class BaseExportEntitiesData(BaseOperationData):
         self.period_ended_at = period_ended_at
 
         # Классы менеджеров Функций, которые должны быть запущены для выгрузки данных
-        self._exporting_data_managers: set[type['RunnerManager']] = set()
+        self._exporting_data_managers: set[type['EduRunnerManager']] = set()
 
         # Результаты работы Функций выгрузки данных
         self._exporting_data_results = []
@@ -211,7 +211,7 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
     ):
         super().__init__(entities, period_started_at, period_ended_at, **kwargs)
 
-        self._exporting_data_managers: set[type['RunnerManager']] = OrderedSet()
+        self._exporting_data_managers: set[type['EduRunnerManager']] = OrderedSet()
 
         # Словарь данных с классами менеджеров и их сущностями
         self._manager_entities_map: dict[type[object], list[str]] = defaultdict(set)

edu_rdm_integration/stages/export_data/strategies.py

@@ -2,8 +2,8 @@ from typing import (
     Optional,
 )
 
-from edu_rdm_integration.adapters.strategies import (
-    WebEduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
+from edu_function_tools.strategies import (
+    EduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 )
 from edu_rdm_integration.core.consts import (
     REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
@@ -42,7 +42,7 @@ from edu_rdm_integration.stages.export_data.functions.base.validators import (
 
 
 class ExportDataFunctionImplementationStrategy(
-    WebEduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
+    EduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy,
 ):
     """Стратегия создания функций выгрузки данных.
 

{edu_rdm_integration-3.11.2.dist-info → edu_rdm_integration-3.13.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.11.2
+Version: 3.13.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -25,8 +25,8 @@ Requires-Dist: transliterate<2
 Requires-Dist: Django<5.0,>=3.1
 Requires-Dist: celery<5.3,>=4.4.7
 Requires-Dist: asyncpg==0.23.0
-Requires-Dist: educommon<4,>=3.11.0
-Requires-Dist: function-tools<1,>=0.9.0
+Requires-Dist: educommon<4,>=3.21.0
+Requires-Dist: edu-function-tools<1,>=0.1.0
 Requires-Dist: m3-db-utils<1,>=0.3.10
 Requires-Dist: m3-django-compat<2,>=1.10.2
 Requires-Dist: uploader-client<1,>=0.2.3