edu-rdm-integration 3.11.1__tar.gz → 3.12.0__tar.gz

{edu_rdm_integration-3.11.1 → edu_rdm_integration-3.12.0}/CHANGELOG.md

@@ -28,6 +28,34 @@
 
 ### Удалено
 
+## [3.12.0] - 2025-07-07
+
+Доработка механизма экспорта данных в РВД. Признак успешного экспорта проставляется только тем записям,
+которые действительно попадают в файл экспорта. Скорректирована базовая функция экспорта BaseExportDataFunction и
+добавлены базовые классы для тестов экспорта.
+
+Для корректной работы, необходимо скорректировать сущности РВД (дата-классы, унаследованные от BaseEntity) - 
+убрать поле id - сейчас оно является обязательным. Соответственно на стороне продуктов нужно доработать кеши экспорта - 
+обязательно должно выгружаться поле id. 
+Для корректного проставления экспорта для составных моделей или моделей, у которых id для витрины формируется 
+динамически  - необходимо переопределить свойство  _models_unique_id - поле по которому будут фильтроваться записи на
+проставление подэтапа
+
+### Изменено
+
+- [EDUSCHL-23347](https://jira.bars.group/browse/EDUSCHL-23347)
+  MINOR Доработка механизма экспорта данных в РВД - изменена логика проставления экспорта в BaseExportDataFunction
+
+
+## [3.11.2] - 2025-07-08
+
+Изменения в зависимостях между миграциями для составления корректной истории.
+
+### Изменено
+
+- [EDUDEVOPS-88](https://jira.bars.group/browse/EDUDEVOPS-88)
+  PATCH Изменения в зависимостях между миграциями для составления корректной истории.
+
 
 ## [3.11.1] - 2025-07-04
 

{edu_rdm_integration-3.11.1 → edu_rdm_integration-3.12.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.11.1
+Version: 3.12.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -25,7 +25,7 @@ Requires-Dist: transliterate<2
 Requires-Dist: Django<5.0,>=3.1
 Requires-Dist: celery<5.3,>=4.4.7
 Requires-Dist: asyncpg==0.23.0
-Requires-Dist: educommon<4,>=3.11.0
+Requires-Dist: educommon<4,>=3.21.0
 Requires-Dist: function-tools<1,>=0.9.0
 Requires-Dist: m3-db-utils<1,>=0.3.10
 Requires-Dist: m3-django-compat<2,>=1.10.2

{edu_rdm_integration-3.11.1 → edu_rdm_integration-3.12.0}/pyproject.toml

@@ -22,7 +22,7 @@ dependencies = [
     'Django>=3.1,<5.0',
     'celery>=4.4.7,<5.3',
     'asyncpg==0.23.0',
-    'educommon>=3.11.0,<4',
+    'educommon>=3.21.0,<4',
     'function-tools>=0.9.0,<1',
     'm3-db-utils>=0.3.10,<1',
     'm3-django-compat>=1.10.2,<2',

edu_rdm_integration-3.12.0/src/edu_rdm_integration/migrations/0002_init_data_uploadstatus.py

@@ -0,0 +1,12 @@
+# flake8: noqa
+from django.db import (
+    migrations,
+)
+
+
+class Migration(migrations.Migration):
+    dependencies = [
+        ('edu_rdm_integration', '0001_initial'),
+    ]
+
+    operations = []

{edu_rdm_integration-3.11.1 → edu_rdm_integration-3.12.0}/src/edu_rdm_integration/stages/export_data/functions/base/consts.py

@@ -18,3 +18,6 @@ OPERATIONS_URLS_MAP = {
     EntityLogOperation.UPDATE: 'upload',
     EntityLogOperation.DELETE: 'delete',
 }
+
+
+TEST_DIR = 'test_data'

{edu_rdm_integration-3.11.1 → edu_rdm_integration-3.12.0}/src/edu_rdm_integration/stages/export_data/functions/base/functions.py

@@ -72,11 +72,6 @@ class BaseExportDataFunction(
         RDMExportingDataSubStageEntity.objects.create(
             exporting_data_sub_stage=self._sub_stage, entity_id=self.first_entity.key
         )
-        # Проставление подэтапа выгрузки
-        self.entities[0].main_model_enum.model.objects.filter(pk__in=model_ids).update(
-            exporting_sub_stage=self._sub_stage,
-        )
-
         self._chunk_index = kwargs.get('chunk_index')
 
         logger.info(f'{LOGS_DELIMITER * 3}{repr(self._sub_stage)} created.')
@@ -90,6 +85,13 @@ class BaseExportDataFunction(
         }
 
         self.has_data = False
+        # Id записей моделей РВД, которые в итоге попали в файл
+        self.exported_to_file_model_ids = set()
+
+    @property
+    def _models_unique_id(self) -> str:
+        """Возвращает название уникального идентификатора записи модели рвд."""
+        return 'id'
 
     def _prepare_helper_class(self) -> type[BaseExportDataFunctionHelper]:
         """Возвращает класс помощника функции."""
@@ -141,8 +143,9 @@ class BaseExportDataFunction(
                     entity_instance=entity_instance,
                 )
             )
-
-            entity_instance.exporting_sub_stage = self._sub_stage
+            entity_instance_id = getattr(entity_instance, self._models_unique_id, None)
+            if entity_instance_id:
+                self.exported_to_file_model_ids.add(entity_instance_id)
 
         for operation in EntityLogOperation.values.keys():
             entities = self._data.get(operation)
@@ -217,9 +220,20 @@ class BaseExportDataFunction(
                 if not self.has_data
                 else RDMExportingDataSubStageStatus.READY_FOR_EXPORT.key
             )
+            # Проставление подэтапа выгрузки
+            if self.exported_to_file_model_ids:
+                self.entities[0].main_model_enum.model.objects.filter(pk__in=self.exported_to_file_model_ids).update(
+                    exporting_sub_stage=self._sub_stage,
+                )
+
         else:
             self._sub_stage.status_id = RDMExportingDataSubStageStatus.FAILED.key
 
         self._sub_stage.save()
 
         logger.info(f'{LOGS_DELIMITER * 3}change status {repr(self._sub_stage)}')
+
+    def get_function_data(self):
+        """Возвращает словарь с данными сущностей подготовленных к выгрузке."""
+        return self._data
+

edu_rdm_integration-3.12.0/src/edu_rdm_integration/stages/export_data/functions/base/tests.py

@@ -0,0 +1,162 @@
+# Реализуйте свои unit-тесты здесь
+import datetime
+import shutil
+from typing import (
+    TYPE_CHECKING,
+)
+
+from django.conf import (
+    settings,
+)
+from django.test import (
+    TestCase,
+    override_settings,
+)
+from django.utils import (
+    timezone,
+)
+
+from function_tools.models import (
+    Entity,
+    EntityType,
+)
+
+from edu_rdm_integration.core.consts import (
+    REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
+    REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA,
+)
+from edu_rdm_integration.stages.collect_data.models import (
+    CollectingExportedDataStage,
+    CollectingExportedDataSubStage,
+)
+from edu_rdm_integration.stages.export_data.functions.base.consts import (
+    TEST_DIR,
+)
+from edu_rdm_integration.stages.export_data.models import (
+    ExportingDataStage,
+    ExportingDataSubStage,
+)
+
+
+if TYPE_CHECKING:
+    from function_tools.managers import (
+        RunnerManager,
+    )
+
+    from edu_rdm_integration.stages.export_data.functions.base.functions import (
+        BaseExportDataFunction,
+    )
+
+
+class BaseExportTestCase(TestCase):
+    """Базовый тест экспорта сущности РВД."""
+
+    databases = (settings.DEFAULT_DB_ALIAS, settings.SERVICE_DB_ALIAS)
+
+    def setUp(self) -> None:
+        """Подготавливает фикстуры."""
+        self.now = timezone.now()
+
+        self.export_period_started_at = datetime.datetime.combine(self.now, datetime.time.min)
+        self.export_period_ended_at = datetime.datetime.combine(self.now, datetime.time.max)
+
+    def create_sub_stage(self, *class_names: str) -> CollectingExportedDataSubStage:
+        """Создает подэтап сбора данных."""
+        function_tools_entities = dict(
+            Entity.objects.filter(
+                type__in=(EntityType.MANAGER.key, EntityType.FUNCTION.key),
+                tags__contains=[REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA],
+                class_name__in=class_names,
+            ).values_list('type', 'uuid'),
+        )
+        stage = CollectingExportedDataStage.objects.create(
+            manager_id=function_tools_entities[EntityType.MANAGER.key],
+        )
+
+        return CollectingExportedDataSubStage.objects.create(
+            function_id=function_tools_entities[EntityType.FUNCTION.key],
+            stage=stage,
+        )
+
+    @classmethod
+    def tearDownClass(cls) -> None:
+        try:
+            shutil.rmtree(TEST_DIR)
+        except OSError:
+            pass
+
+        super().tearDownClass()
+
+
+class BaseExportManagerTestCase(BaseExportTestCase):
+    """Базовый тест менеджера экспорта сущности РВД."""
+
+    @property
+    def manager(self) -> type['RunnerManager']:
+        """Менеджер раннера Функции экспорта'."""
+        raise NotImplementedError
+
+    @override_settings(MEDIA_ROOT=(TEST_DIR + '/media'))
+    def run_exporting_manager(self) -> None:
+        """Запускает менеджер экспорта."""
+        runner_manager = self.manager(
+            period_started_at=self.export_period_started_at,
+            period_ended_at=self.export_period_ended_at,
+        )
+        runner_manager.run()
+
+    def get_exporting_stage_sub_stage(self, *class_names) -> tuple[ExportingDataStage, ExportingDataSubStage]:
+        """Возвращает этап и подэтап экспорта."""
+        function_tools_entities = dict(
+            Entity.objects.filter(
+                type__in=(EntityType.MANAGER.key, EntityType.FUNCTION.key),
+                tags__contains=[REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA],
+                class_name__in=class_names,
+            ).values_list('type', 'uuid'),
+        )
+        exported_data_stage = ExportingDataStage.objects.filter(
+            manager_id=function_tools_entities[EntityType.MANAGER.key],
+            period_started_at=self.export_period_started_at,
+            period_ended_at=self.export_period_ended_at,
+        ).first()
+        exported_data_substage = ExportingDataSubStage.objects.filter(
+            function_id=function_tools_entities[EntityType.FUNCTION.key],
+            stage=exported_data_stage
+        ).first()
+
+        return exported_data_stage, exported_data_substage
+
+
+class BaseExportFunctionTestCase(BaseExportTestCase):
+    """Базовый тест менеджера экспорта сущности РВД."""
+
+    @property
+    def export_function(self) -> type['BaseExportDataFunction']:
+        """Функция экспорта."""
+        raise NotImplementedError
+
+    def create_exporting_stage(self, *class_names: str) -> ExportingDataStage:
+        """Создает этап экспорта данных."""
+        function_tools_entities = dict(
+            Entity.objects.filter(
+                type__in=(EntityType.MANAGER.key, EntityType.FUNCTION.key),
+                tags__contains=[REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA],
+                class_name__in=class_names,
+            ).values_list('type', 'uuid'),
+        )
+        return ExportingDataStage.objects.create(
+            manager_id=function_tools_entities[EntityType.MANAGER.key],
+            period_started_at=self.export_period_started_at,
+            period_ended_at=self.export_period_ended_at,
+        )
+
+    @override_settings(MEDIA_ROOT=(TEST_DIR + '/media'))
+    def run_exporting_function(self, exporting_stage: ExportingDataStage, model_ids: list[int]) -> dict:
+        """Запускает функцию экспорта."""
+        exporting_function = self.export_function(
+            stage=exporting_stage,
+            model_ids=model_ids
+        )
+        exporting_function.run()
+
+        return exporting_function.get_function_data()

{edu_rdm_integration-3.11.1 → edu_rdm_integration-3.12.0}/src/edu_rdm_integration/stages/export_data/migrations/0002_auto_20250704_0810.py

@@ -10,7 +10,6 @@ class Migration(migrations.Migration):
         ('function_tools', '0005_auto_20220724_0050'),
         ('edu_rdm_integration_upload_data_stage', '0001_initial'),
         ('async_task', '0003_alter_runningtask_options'),
-        ('regional_data_mart_integration', '0163_auto_20250704_0725'),
         ('edu_rdm_integration_entities', '0002_rename_regionaldatamartentityenum_rdmentityenum'),
         ('edu_rdm_integration_export_data_stage', '0001_initial'),
     ]

{edu_rdm_integration-3.11.1 → edu_rdm_integration-3.12.0}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.11.1
+Version: 3.12.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -25,7 +25,7 @@ Requires-Dist: transliterate<2
 Requires-Dist: Django<5.0,>=3.1
 Requires-Dist: celery<5.3,>=4.4.7
 Requires-Dist: asyncpg==0.23.0
-Requires-Dist: educommon<4,>=3.11.0
+Requires-Dist: educommon<4,>=3.21.0
 Requires-Dist: function-tools<1,>=0.9.0
 Requires-Dist: m3-db-utils<1,>=0.3.10
 Requires-Dist: m3-django-compat<2,>=1.10.2

{edu_rdm_integration-3.11.1 → edu_rdm_integration-3.12.0}/src/edu_rdm_integration.egg-info/requires.txt

@@ -2,7 +2,7 @@ transliterate<2
 Django<5.0,>=3.1
 celery<5.3,>=4.4.7
 asyncpg==0.23.0
-educommon<4,>=3.11.0
+educommon<4,>=3.21.0
 function-tools<1,>=0.9.0
 m3-db-utils<1,>=0.3.10
 m3-django-compat<2,>=1.10.2

edu_rdm_integration-3.11.1/src/edu_rdm_integration/migrations/0002_init_data_uploadstatus.py

@@ -1,22 +0,0 @@
-# flake8: noqa
-from django.db import (
-    migrations,
-)
-
-
-def load_initial_data(apps, schema_editor):
-    # Вместо модели UploadStatus создана модель-перечисление DataMartRequestStatus (см. миграцию 0004)
-    pass
-
-
-def delete_all_data(apps, schema_editor):
-    """Удаление всех данных из модели UploadStatus при откате миграции."""
-    apps.get_model('regional_data_mart_integration', 'UploadStatus').objects.all().delete()
-
-
-class Migration(migrations.Migration):
-    dependencies = [
-        ('edu_rdm_integration', '0001_initial'),
-    ]
-
-    operations = [migrations.RunPython(load_initial_data, reverse_code=delete_all_data)]

edu_rdm_integration-3.11.1/src/edu_rdm_integration/stages/export_data/functions/base/tests.py

@@ -1 +0,0 @@
-# Реализуйте свои unit-тесты здесь