edu-rdm-integration 3.2.7__py3-none-any.whl → 3.2.8__py3-none-any.whl

edu_rdm_integration/tasks.py

@@ -1,3 +1,6 @@
+from collections import (
+    defaultdict,
+)
 from typing import (
     TYPE_CHECKING,
     Dict,
@@ -208,6 +211,7 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
         self._exporting_data_manager_to_period_end: Dict[str, 'datetime'] = {}
 
         self._transferred_entities = []
+        self._entites_models_map = defaultdict(list)
 
     def process(self, *args, **kwargs):
         """Выполняет задачу."""
@@ -222,15 +226,20 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             pk=self.request.id,
         ).values_list('pk', flat=True).first()
 
-        for entity_data in self._transferred_entities:
-            for model_enum_value in entity_data['collected_models']:
-                self._run_collect_model_data(model_enum_value.key, task_id)
+        collected_entity_models = set()
+
+        for entity_enum, export_enabled in sorted(
+            self._transferred_entities, key=lambda entity: entity[0].order_number
+        ):
+            entity_models = self._entites_models_map.get(entity_enum.key, ())
+            for model_enum_value in entity_models:
+                if model_enum_value.key not in collected_entity_models:
+                    self._run_collect_model_data(model_enum_value.key, task_id)
+                    collected_entity_models.add(model_enum_value.key)
 
-            # Перехватывем ошибку экспорта для того, чтобы не останавливать сборку и экспорт остальных сущностей
             try:
-                entity_enum_value = entity_data['exported_entity']
-                if entity_enum_value:
-                    self._run_export_entity_data(entity_enum_value.key, task_id)
+                if export_enabled:
+                    self._run_export_entity_data(entity_enum.key, task_id)
             except Exception:
                 continue
 
@@ -255,24 +264,17 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
 
     def _collect_transferred_entities(self) -> None:
         """Собирает сущности РВД, по которым будет произведен сбор и экспорт данных."""
-        entities = [
+        self._transferred_entities = [
             (RegionalDataMartEntityEnum.get_model_enum_value(key=entity), export_enabled)
             for entity, export_enabled in TransferredEntity.objects.values_list('entity', 'export_enabled')
         ]
-        collected_entity_models = set()
-        # Собираем словарь по сущностям с учетом порядка выгрузки
-        for entity_enum, export_enabled in sorted(
-                entities, key=lambda entity: entity[0].order_number):
-            model_enums = [
-                model_enum for model_enum in (entity_enum.main_model_enum, *entity_enum.additional_model_enums)
-                if (model_enum not in collected_entity_models and model_enum.order_number != DEFAULT_ORDER_NUMBER)
-            ]
-            entity_data = {
-                'collected_models': model_enums,
-                'exported_entity': entity_enum if export_enabled else None,
-            }
-            self._transferred_entities.append(entity_data)
-            collected_entity_models.update(model_enums)
+
+        # Собираем словарь по сущностям с моделями для сборки
+        for entity, _ in self._transferred_entities:
+            self._entites_models_map[entity.key].extend(
+                (model_enum for model_enum in (entity.main_model_enum, *entity.additional_model_enums)
+                 if model_enum.order_number != DEFAULT_ORDER_NUMBER)
+            )
 
     def _collect_managers(self) -> None:
         """Собирает менеджеры Функций для сбора и выгрузки данных."""
@@ -286,17 +288,16 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             tags={REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA},
         )
 
-        for transferred_entity in self._transferred_entities:
-            for model in transferred_entity['collected_models']:
-                collect_manager_class = collecting_models_data_managers_map.get(model.key)
+        for entity_key, entity_models in self._entites_models_map.items():
+            for entity_model in entity_models:
+                collect_manager_class = collecting_models_data_managers_map.get(entity_model.key)
                 if collect_manager_class:
-                    self._collecting_data_managers[model.key] = collect_manager_class
+                    self._collecting_data_managers[entity_model.key] = collect_manager_class
+
+            export_manager_class = exporting_entities_data_managers_map.get(entity_key)
+            if export_manager_class:
+                self._exporting_data_managers[entity_key] = export_manager_class
 
-            entity = transferred_entity['exported_entity']
-            if entity:
-                export_manager_class = exporting_entities_data_managers_map.get(entity.key)
-                if export_manager_class:
-                    self._exporting_data_managers[entity.key] = export_manager_class
 
     def _calculate_collecting_managers_logs_period_ended_at(self) -> None:
         """Определяет дату последнего успешного этапа сбора у менеджеров Функций сбора."""

{edu_rdm_integration-3.2.7.dist-info → edu_rdm_integration-3.2.8.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.2.7
+Version: 3.2.8
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -301,6 +301,14 @@ Requires-Dist: uploader-client <1,>=0.2.1
 
 ### Удалено
 
+## 3.2.8 - 2024-08-02
+Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+
 ## 3.2.7 - 2024-07-31
 Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
 
@@ -308,6 +316,7 @@ Requires-Dist: uploader-client <1,>=0.2.1
 - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
   PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
 
+
 ## 3.2.6 - 2024-07-23
 Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
 Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
@@ -325,6 +334,7 @@ Requires-Dist: uploader-client <1,>=0.2.1
 - [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
   PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
 
+
 ## 3.2.4 - 2024-07-16
 Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
 

{edu_rdm_integration-3.2.7.dist-info → edu_rdm_integration-3.2.8.dist-info}/RECORD

@@ -11,7 +11,7 @@ edu_rdm_integration/mapping.py,sha256=bwa2fJCbV4YjQcAgRrgT3hgM6dJhr_uBtQgx3L3F2C
 edu_rdm_integration/models.py,sha256=Q6BxMUlKmqLBwoJFB0aefD9uE4F3D2fncFqTEKBsOSA,29612
 edu_rdm_integration/signals.py,sha256=3eRlpkDcFCF6TN80-QM8yBYLcyozzcmoPjz6r4_ApWg,73
 edu_rdm_integration/storages.py,sha256=o5WqUG7SnkeuMt-z8spUi-IraivST-7KHzfY-M3v7FA,6807
-edu_rdm_integration/tasks.py,sha256=fK4aRyYHexkgEzEd7_r0522EM8vYqh0KKzkmhRjcqmc,15505
+edu_rdm_integration/tasks.py,sha256=sWIwzWs1ZjxQUpfbnX5Poi7TwJh8Q0E-c0MkZYCgSwg,15176
 edu_rdm_integration/utils.py,sha256=-my8q9fude6Nc9r_qUDww-8QaU2tcv-xOexewYqOPJw,10369
 edu_rdm_integration/adapters/__init__.py,sha256=cU0swn4Ny5ZQz5buWRcWsT1mpWuUFJaUlHf2l7TtEBo,83
 edu_rdm_integration/adapters/apps.py,sha256=TyJTkSPs2qAHJ11fqbwLGk3Ea7ujtqWwbxqmvYNQxG8,363
@@ -166,9 +166,9 @@ edu_rdm_integration/uploader_log/enums.py,sha256=rgSO3BL2rh2xpfm0Pt4waQW8fB1VMJL
 edu_rdm_integration/uploader_log/managers.py,sha256=y5wTSMzF9hpOpIU_A7nIafL_LBU3QEie6LAYWoB-pBQ,3203
 edu_rdm_integration/uploader_log/ui.py,sha256=YM9Buqp2wxE95Wf5gvAATBzuYzDOossK1sEmvFk07cI,2110
 edu_rdm_integration/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.2.7.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.2.7.dist-info/METADATA,sha256=g7Cff01IboSXv0-TVs9LvL_ZYnzGHYhVDy5iVivshSM,67821
-edu_rdm_integration-3.2.7.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
-edu_rdm_integration-3.2.7.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
-edu_rdm_integration-3.2.7.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.2.7.dist-info/RECORD,,
+edu_rdm_integration-3.2.8.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.2.8.dist-info/METADATA,sha256=Ts7QmTHgVR_PzXvUkyWyU6RDHdc-CDl-V8svZCKpHM4,68279
+edu_rdm_integration-3.2.8.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
+edu_rdm_integration-3.2.8.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
+edu_rdm_integration-3.2.8.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.2.8.dist-info/RECORD,,