edu-rdm-integration 3.2.7__tar.gz → 3.2.9__tar.gz

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.2.9}/CHANGELOG.md

@@ -28,6 +28,21 @@
 
 ### Удалено
 
+## 3.2.9 - 2024-08-28
+Добавлена фильтрация по дате выгрузки при обновлении данных на экспорт в BaseExportLatestEntitiesData
+### Изменено
+- [EDUSCHL-22335](https://jira.bars.group/browse/EDUSCHL-22335)
+   PATCH Добавлена фильтрация по дате выгрузки при обновлении данных на экспорт в BaseExportLatestEntitiesData
+
+
+## 3.2.8 - 2024-08-02
+Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+
 ## 3.2.7 - 2024-07-31
 Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
 
@@ -35,6 +50,7 @@
 - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
   PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
 
+
 ## 3.2.6 - 2024-07-23
 Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
 Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
@@ -52,6 +68,7 @@
 - [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
   PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
 
+
 ## 3.2.4 - 2024-07-16
 Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
 

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.2.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.2.7
+Version: 3.2.9
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -301,6 +301,21 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+## 3.2.9 - 2024-08-28
+Добавлена фильтрация по дате выгрузки при обновлении данных на экспорт в BaseExportLatestEntitiesData
+### Изменено
+- [EDUSCHL-22335](https://jira.bars.group/browse/EDUSCHL-22335)
+   PATCH Добавлена фильтрация по дате выгрузки при обновлении данных на экспорт в BaseExportLatestEntitiesData
+
+
+## 3.2.8 - 2024-08-02
+Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+
 ## 3.2.7 - 2024-07-31
 Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
 
@@ -308,6 +323,7 @@ Requires-Dist: uploader-client<1,>=0.2.1
 - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
   PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
 
+
 ## 3.2.6 - 2024-07-23
 Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
 Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
@@ -325,6 +341,7 @@ Requires-Dist: uploader-client<1,>=0.2.1
 - [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
   PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
 
+
 ## 3.2.4 - 2024-07-16
 Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
 

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.2.9}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '3.2.7'
+VERSION = '3.2.9'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.2.9}/src/edu_rdm_integration/export_data/export.py

@@ -342,13 +342,15 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
             # Связь лога подэтапа выгрузки с логом загрузки данных (ExportingDataSubStageUploaderClientLog)
             # имеет статус FileUploadStatusEnum.ERROR:
             model.objects.filter(
+                exporting_sub_stage__ended_at__gt=now - timedelta(days=365),
+                exporting_sub_stage__exportingdatasubstageuploaderclientlog__created__lt=last_finished_export_data,
                 exporting_sub_stage__exportingdatasubstageuploaderclientlog__file_upload_status=(
                     FileUploadStatusEnum.ERROR),
             ),
         )
 
         for queryset in querysets_to_update:
-            not_exported_model_ids = queryset.values_list('id', flat=True)
+            not_exported_model_ids = queryset.values_list('id', flat=True).iterator()
 
             with atomic():
 

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.2.9}/src/edu_rdm_integration/tasks.py

@@ -1,3 +1,6 @@
+from collections import (
+    defaultdict,
+)
 from typing import (
     TYPE_CHECKING,
     Dict,
@@ -208,6 +211,7 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
         self._exporting_data_manager_to_period_end: Dict[str, 'datetime'] = {}
 
         self._transferred_entities = []
+        self._entites_models_map = defaultdict(list)
 
     def process(self, *args, **kwargs):
         """Выполняет задачу."""
@@ -222,15 +226,20 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             pk=self.request.id,
         ).values_list('pk', flat=True).first()
 
-        for entity_data in self._transferred_entities:
-            for model_enum_value in entity_data['collected_models']:
-                self._run_collect_model_data(model_enum_value.key, task_id)
+        collected_entity_models = set()
+
+        for entity_enum, export_enabled in sorted(
+            self._transferred_entities, key=lambda entity: entity[0].order_number
+        ):
+            entity_models = self._entites_models_map.get(entity_enum.key, ())
+            for model_enum_value in entity_models:
+                if model_enum_value.key not in collected_entity_models:
+                    self._run_collect_model_data(model_enum_value.key, task_id)
+                    collected_entity_models.add(model_enum_value.key)
 
-            # Перехватывем ошибку экспорта для того, чтобы не останавливать сборку и экспорт остальных сущностей
             try:
-                entity_enum_value = entity_data['exported_entity']
-                if entity_enum_value:
-                    self._run_export_entity_data(entity_enum_value.key, task_id)
+                if export_enabled:
+                    self._run_export_entity_data(entity_enum.key, task_id)
             except Exception:
                 continue
 
@@ -255,24 +264,17 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
 
     def _collect_transferred_entities(self) -> None:
         """Собирает сущности РВД, по которым будет произведен сбор и экспорт данных."""
-        entities = [
+        self._transferred_entities = [
             (RegionalDataMartEntityEnum.get_model_enum_value(key=entity), export_enabled)
             for entity, export_enabled in TransferredEntity.objects.values_list('entity', 'export_enabled')
         ]
-        collected_entity_models = set()
-        # Собираем словарь по сущностям с учетом порядка выгрузки
-        for entity_enum, export_enabled in sorted(
-                entities, key=lambda entity: entity[0].order_number):
-            model_enums = [
-                model_enum for model_enum in (entity_enum.main_model_enum, *entity_enum.additional_model_enums)
-                if (model_enum not in collected_entity_models and model_enum.order_number != DEFAULT_ORDER_NUMBER)
-            ]
-            entity_data = {
-                'collected_models': model_enums,
-                'exported_entity': entity_enum if export_enabled else None,
-            }
-            self._transferred_entities.append(entity_data)
-            collected_entity_models.update(model_enums)
+
+        # Собираем словарь по сущностям с моделями для сборки
+        for entity, _ in self._transferred_entities:
+            self._entites_models_map[entity.key].extend(
+                (model_enum for model_enum in (entity.main_model_enum, *entity.additional_model_enums)
+                 if model_enum.order_number != DEFAULT_ORDER_NUMBER)
+            )
 
     def _collect_managers(self) -> None:
         """Собирает менеджеры Функций для сбора и выгрузки данных."""
@@ -286,17 +288,16 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             tags={REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA},
         )
 
-        for transferred_entity in self._transferred_entities:
-            for model in transferred_entity['collected_models']:
-                collect_manager_class = collecting_models_data_managers_map.get(model.key)
+        for entity_key, entity_models in self._entites_models_map.items():
+            for entity_model in entity_models:
+                collect_manager_class = collecting_models_data_managers_map.get(entity_model.key)
                 if collect_manager_class:
-                    self._collecting_data_managers[model.key] = collect_manager_class
+                    self._collecting_data_managers[entity_model.key] = collect_manager_class
+
+            export_manager_class = exporting_entities_data_managers_map.get(entity_key)
+            if export_manager_class:
+                self._exporting_data_managers[entity_key] = export_manager_class
 
-            entity = transferred_entity['exported_entity']
-            if entity:
-                export_manager_class = exporting_entities_data_managers_map.get(entity.key)
-                if export_manager_class:
-                    self._exporting_data_managers[entity.key] = export_manager_class
 
     def _calculate_collecting_managers_logs_period_ended_at(self) -> None:
         """Определяет дату последнего успешного этапа сбора у менеджеров Функций сбора."""

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.2.9}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.2.7
+Version: 3.2.9
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -301,6 +301,21 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+## 3.2.9 - 2024-08-28
+Добавлена фильтрация по дате выгрузки при обновлении данных на экспорт в BaseExportLatestEntitiesData
+### Изменено
+- [EDUSCHL-22335](https://jira.bars.group/browse/EDUSCHL-22335)
+   PATCH Добавлена фильтрация по дате выгрузки при обновлении данных на экспорт в BaseExportLatestEntitiesData
+
+
+## 3.2.8 - 2024-08-02
+Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+
 ## 3.2.7 - 2024-07-31
 Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
 
@@ -308,6 +323,7 @@ Requires-Dist: uploader-client<1,>=0.2.1
 - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
   PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
 
+
 ## 3.2.6 - 2024-07-23
 Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
 Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
@@ -325,6 +341,7 @@ Requires-Dist: uploader-client<1,>=0.2.1
 - [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
   PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
 
+
 ## 3.2.4 - 2024-07-16
 Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.