edu-rdm-integration 3.2.2__tar.gz → 3.2.3__tar.gz

{edu-rdm-integration-3.2.2 → edu-rdm-integration-3.2.3}/CHANGELOG.md

@@ -28,6 +28,16 @@
 
 ### Удалено
 
+
+## 3.2.3 - 2024-06-06
+Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+
+### Изменено
+- [EDUSCHL-21804](https://jira.bars.group/browse/EDUSCHL-21804)
+  PATCH Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+  Дата и время окончания предыдущего сбора/экспорта могла быть не корректно определена.
+
+
 ## 3.2.2 - 2024-05-21
 Изменения в переодической задаче TransferLatestEntitiesDataPeriodicTask,
 Изменено определение даты последнего успешного этапа сбора у менеджеров Функций сбора и экспорта.

{edu-rdm-integration-3.2.2 → edu-rdm-integration-3.2.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.2.2
+Version: 3.2.3
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -301,6 +301,16 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+
+## 3.2.3 - 2024-06-06
+Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+
+### Изменено
+- [EDUSCHL-21804](https://jira.bars.group/browse/EDUSCHL-21804)
+  PATCH Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+  Дата и время окончания предыдущего сбора/экспорта могла быть не корректно определена.
+
+
 ## 3.2.2 - 2024-05-21
 Изменения в переодической задаче TransferLatestEntitiesDataPeriodicTask,
 Изменено определение даты последнего успешного этапа сбора у менеджеров Функций сбора и экспорта.

{edu-rdm-integration-3.2.2 → edu-rdm-integration-3.2.3}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '3.2.2'
+VERSION = '3.2.3'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-3.2.2 → edu-rdm-integration-3.2.3}/src/edu_rdm_integration/collect_data/collect.py

@@ -318,23 +318,17 @@ class BaseCollectLatestModelsData(BaseCollectModelsData):
         """
         logger.info('collect models data..')
 
-        managers_max_period_ended_dates = get_collecting_managers_max_period_ended_dates(
+        managers_last_period_ended_at = get_collecting_managers_max_period_ended_dates(
             self._collecting_data_managers.values()
         )
 
         for model_key, manager_class in self._collecting_data_managers.items():
             model_logs = logs.get(model_key) if logs else None
-            manager_max_dates = managers_max_period_ended_dates.get(manager_class.uuid, {})
+            manager_last_period_ended_at = managers_last_period_ended_at.get(manager_class.uuid)
 
-            kwargs['logs_period_started_at'] = (
-                manager_max_dates.get('max_period_ended_at')
-                or get_today_min_datetime()
-            )
+            kwargs['logs_period_started_at'] = manager_last_period_ended_at or get_today_min_datetime()
             kwargs['logs_period_ended_at'] = timezone.now()
 
-            if kwargs['logs_period_started_at'] > kwargs['logs_period_ended_at']:
-                kwargs['logs_period_started_at'] = manager_max_dates['max_started_at']
-
             manager = manager_class(*args, logs=model_logs, **kwargs)
 
             if self.command_id:

{edu-rdm-integration-3.2.2 → edu-rdm-integration-3.2.3}/src/edu_rdm_integration/export_data/export.py

@@ -367,19 +367,16 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
         # Массив с выгружаемыми сущностями для поля "Описание" в асинхронной задаче
         exported_entities = []
 
-        managers_max_period_ended_dates = get_exporting_managers_max_period_ended_dates(
+        managers_max_period_ended = get_exporting_managers_max_period_ended_dates(
             self._exporting_data_managers
         )
 
         for manager_class in self._exporting_data_managers:
-            manager_max_dates = managers_max_period_ended_dates.get(manager_class.uuid, {})
+            manager_last_exported = managers_max_period_ended.get(manager_class.uuid)
 
-            kwargs['period_started_at'] = manager_max_dates.get('max_period_ended_at') or timezone.now()
+            kwargs['period_started_at'] = manager_last_exported or timezone.now()
             kwargs['period_ended_at'] = get_today_max_datetime()
 
-            if kwargs['period_started_at'] > kwargs['period_ended_at']:
-                kwargs['period_started_at'] = manager_max_dates['max_started_at']
-
             # Обновить поля modified у модели сущности:
             self._update_model_modified_field(
                 manager_id=manager_class.uuid,

{edu-rdm-integration-3.2.2 → edu-rdm-integration-3.2.3}/src/edu_rdm_integration/helpers.py

@@ -25,11 +25,13 @@ from django.db import (
 )
 from django.db.models import (
     CharField,
-    Max,
+    OuterRef,
     QuerySet,
+    Subquery,
 )
 from django.db.models.functions import (
     Cast,
+    Least,
 )
 
 from educommon import (
@@ -304,51 +306,49 @@ def save_command_log_link(
 
 def get_collecting_managers_max_period_ended_dates(
     collecting_managers: Iterable['BaseCollectingExportedDataRunnerManager'],
-) -> Dict[str, Dict[str, 'datetime']]:
-    """Возвращает даты и времени последнего успешного этапа сбора для менеджеров Функций сбора."""
-    managers_max_period_ended_dates = CollectingExportedDataStage.objects.filter(
+) -> Dict[str, 'datetime']:
+    """Возвращает дату и время завершения последнего успешного этапа сбора для менеджеров Функций сбора."""
+    managers_last_period_ended = CollectingExportedDataStage.objects.filter(
         status_id=CollectingDataStageStatus.FINISHED.key,
         manager_id__in=[manager.uuid for manager in collecting_managers],
-    ).values(
-        'manager_id',
+        id=Subquery(
+            CollectingExportedDataStage.objects.filter(
+                manager_id=OuterRef('manager_id')
+            ).order_by('-id').values('id')[:1]
+        ),
     ).annotate(
         str_manager_id=Cast('manager_id', output_field=CharField()),
-        max_period_ended_at=Max('logs_period_ended_at'),
-        max_started_at=Max('started_at'),
+        last_period_ended_at=Least('logs_period_ended_at', 'started_at'),
     ).values_list(
-        'str_manager_id', 'max_period_ended_at', 'max_started_at',
+        'str_manager_id', 'last_period_ended_at',
     )
 
     return {
-        manager_id: {
-            'max_period_ended_at': max_period_ended_at,
-            'max_started_at': max_started_at,
-        }
-        for manager_id, max_period_ended_at, max_started_at in managers_max_period_ended_dates
+        manager_id: last_period_ended_at
+        for manager_id, last_period_ended_at in managers_last_period_ended
     }
 
 
 def get_exporting_managers_max_period_ended_dates(
     exporting_managers: Iterable['BaseExportDataRunnerManager'],
-) -> Dict[str, Dict[str, 'datetime']]:
-    """Возвращает даты и времени последнего успешного этапа экспорта для менеджеров Функций экспорта."""
-    managers_max_period_ended_dates = ExportingDataStage.objects.filter(
+) -> Dict[str, 'datetime']:
+    """Возвращает дату и время последнего успешного этапа экспорта для менеджеров Функций экспорта."""
+    managers_last_period_ended = ExportingDataStage.objects.filter(
         status_id=ExportingDataStageStatus.FINISHED.key,
         manager_id__in=[manager.uuid for manager in exporting_managers],
-    ).values(
-        'manager_id',
+        id=Subquery(
+            ExportingDataStage.objects.filter(
+                manager_id=OuterRef('manager_id')
+            ).order_by('-id').values('id')[:1]
+        ),
     ).annotate(
         str_manager_id=Cast('manager_id', output_field=CharField()),
-        max_period_ended_at=Max('period_ended_at'),
-        max_started_at=Max('started_at'),
+        last_period_ended_at=Least('period_ended_at', 'started_at'),
     ).values_list(
-        'str_manager_id', 'max_period_ended_at', 'max_started_at',
+        'str_manager_id', 'last_period_ended_at',
     )
 
     return {
-        manager_id: {
-            'max_period_ended_at': max_period_ended_at,
-            'max_started_at': max_started_at,
-        }
-        for manager_id, max_period_ended_at, max_started_at in managers_max_period_ended_dates
+        manager_id: last_period_ended_at
+        for manager_id, last_period_ended_at in managers_last_period_ended
     }

{edu-rdm-integration-3.2.2 → edu-rdm-integration-3.2.3}/src/edu_rdm_integration/tasks.py

@@ -310,12 +310,9 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             or get_today_min_datetime()
         )
 
-        period_started_at = manager_last_collected['max_period_ended_at']
+        period_started_at = manager_last_collected
         period_ended_at = timezone.now()
 
-        if period_started_at >= period_ended_at:
-            period_started_at = manager_last_collected['max_started_at']
-
         return EduRdmCollectDataCommandProgress.objects.create(
             model_id=model,
             logs_period_started_at=period_started_at,
@@ -330,12 +327,9 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
         manager_last_exported = self._exporting_data_manager_to_period_end.get(manager.uuid)
 
         if manager_last_exported:
-            period_started_at = manager_last_exported['max_period_ended_at']
+            period_started_at = manager_last_exported
             period_ended_at = timezone.now()
 
-            if period_started_at >= period_ended_at:
-                period_started_at = manager_last_exported['max_started_at']
-
             return EduRdmExportDataCommandProgress.objects.create(
                 entity_id=entity,
                 period_started_at=period_started_at,

{edu-rdm-integration-3.2.2 → edu-rdm-integration-3.2.3}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.2.2
+Version: 3.2.3
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -301,6 +301,16 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+
+## 3.2.3 - 2024-06-06
+Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+
+### Изменено
+- [EDUSCHL-21804](https://jira.bars.group/browse/EDUSCHL-21804)
+  PATCH Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+  Дата и время окончания предыдущего сбора/экспорта могла быть не корректно определена.
+
+
 ## 3.2.2 - 2024-05-21
 Изменения в переодической задаче TransferLatestEntitiesDataPeriodicTask,
 Изменено определение даты последнего успешного этапа сбора у менеджеров Функций сбора и экспорта.