edu-rdm-integration 0.5.9__tar.gz → 0.6.0__tar.gz

{edu-rdm-integration-0.5.9 → edu-rdm-integration-0.6.0}/CHANGELOG.md

@@ -29,6 +29,28 @@
 ### Удалено
 
 
+## [0.6.0] - 2023-09-29
+
+Добавлена функция set_failed_status_suspended_exporting_data_stages для определения и перевода зависших этапов/подэтапов экспорта в статус (FAILED).
+Добавлена функция set_failed_status_suspended_collecting_data_stages для определения и перевода зависших этапов/подэтапов сбора в статус (FAILED).
+
+### Добавлено
+
+- [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
+  MINOR Добавлена функция ```set_failed_status_suspended_exporting_data_stages```.
+
+- [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
+  MINOR Добавлена функция ```set_failed_status_suspended_collecting_data_stages```.
+
+## [0.5.9] - 2023-09-25
+
+Повышена версия wheel
+
+### Изменено
+
+- [EDUCLLG-7939](https://jira.bars.group/browse/EDUCLLG-7939)
+  PATCH - Повышена версия wheel
+
 ## [0.5.8] - 2023-09-13
 
 Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей 

{edu-rdm-integration-0.5.9 → edu-rdm-integration-0.6.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.5.9
+Version: 0.6.0
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -21,7 +21,7 @@ License-File: LICENSE
 Requires-Dist: packaging<24,>=21.3
 Requires-Dist: pip<24,>=20.1.1
 Requires-Dist: setuptools<69,>=47.3.1
-Requires-Dist: wheel<0.41,>=0.37.1
+Requires-Dist: wheel<0.42,>=0.37.1
 Requires-Dist: transliterate<2
 Requires-Dist: educommon<4,>=3.0.0
 Requires-Dist: function-tools<1,>=0.5.0
@@ -96,6 +96,12 @@ Requires-Dist: uploader-client<1,>=0.1.12
     RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
     RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
     RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = conf.get('rdm_upload_status_task', 'DAY_OF_WEEK')
+  
+    # Настройка запуска периодической задачи поиска зависших этапов экспорта:
+    RDM_CHECK_SUSPEND_TASK_MINUTE = conf.get('rdm_check_suspend_task', 'MINUTE')
+    RDM_CHECK_SUSPEND_TASK_HOUR = conf.get('rdm_check_suspend_task', 'HOUR')
+    RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK = conf.get('rdm_check_suspend_task', 'DAY_OF_WEEK')
+    RDM_CHECK_SUSPEND_TASK_TIMEDELTA = conf.get_int('rdm_check_suspend_task', 'TIMEDELTA')
     
     # Загрузка данных в Региональную витрину данных (РВД)
     # Адрес витрины (schema://host:port)
@@ -142,6 +148,14 @@ MINUTE=*/2
 HOUR=*
 DAY_OF_WEEK=*
 
+# Настройка запуска периодической задачи поиска зависших этапов экспорта
+[rdm_check_suspend_task]
+MINUTE=*/10
+HOUR=*
+DAY_OF_WEEK=*
+# Дельта для определения зависшего подэтапа, мин
+STAGE_TIMEOUT=120
+
 [uploader_client]
 # Адрес витрины
 URL = http://localhost:8090
@@ -176,6 +190,7 @@ ENABLE_REQUEST_EMULATION = True
 | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                   | '*/30'                  |
 | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                      | '*'                     |
 | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                              | '*'                     |
+| RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                  | 120                     |
 
 
 ## Сборка и распространение
@@ -220,6 +235,28 @@ ENABLE_REQUEST_EMULATION = True
 ### Удалено
 
 
+## [0.6.0] - 2023-09-29
+
+Добавлена функция set_failed_status_suspended_exporting_data_stages для определения и перевода зависших этапов/подэтапов экспорта в статус (FAILED).
+Добавлена функция set_failed_status_suspended_collecting_data_stages для определения и перевода зависших этапов/подэтапов сбора в статус (FAILED).
+
+### Добавлено
+
+- [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
+  MINOR Добавлена функция ```set_failed_status_suspended_exporting_data_stages```.
+
+- [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
+  MINOR Добавлена функция ```set_failed_status_suspended_collecting_data_stages```.
+
+## [0.5.9] - 2023-09-25
+
+Повышена версия wheel
+
+### Изменено
+
+- [EDUCLLG-7939](https://jira.bars.group/browse/EDUCLLG-7939)
+  PATCH - Повышена версия wheel
+
 ## [0.5.8] - 2023-09-13
 
 Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей 

{edu-rdm-integration-0.5.9 → edu-rdm-integration-0.6.0}/README.md

@@ -66,6 +66,12 @@
     RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
     RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
     RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = conf.get('rdm_upload_status_task', 'DAY_OF_WEEK')
+  
+    # Настройка запуска периодической задачи поиска зависших этапов экспорта:
+    RDM_CHECK_SUSPEND_TASK_MINUTE = conf.get('rdm_check_suspend_task', 'MINUTE')
+    RDM_CHECK_SUSPEND_TASK_HOUR = conf.get('rdm_check_suspend_task', 'HOUR')
+    RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK = conf.get('rdm_check_suspend_task', 'DAY_OF_WEEK')
+    RDM_CHECK_SUSPEND_TASK_TIMEDELTA = conf.get_int('rdm_check_suspend_task', 'TIMEDELTA')
     
     # Загрузка данных в Региональную витрину данных (РВД)
     # Адрес витрины (schema://host:port)
@@ -112,6 +118,14 @@ MINUTE=*/2
 HOUR=*
 DAY_OF_WEEK=*
 
+# Настройка запуска периодической задачи поиска зависших этапов экспорта
+[rdm_check_suspend_task]
+MINUTE=*/10
+HOUR=*
+DAY_OF_WEEK=*
+# Дельта для определения зависшего подэтапа, мин
+STAGE_TIMEOUT=120
+
 [uploader_client]
 # Адрес витрины
 URL = http://localhost:8090
@@ -146,6 +160,7 @@ ENABLE_REQUEST_EMULATION = True
 | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                   | '*/30'                  |
 | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                      | '*'                     |
 | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                              | '*'                     |
+| RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                  | 120                     |
 
 
 ## Сборка и распространение

{edu-rdm-integration-0.5.9 → edu-rdm-integration-0.6.0}/requirements/dependencies/system_packages.txt

@@ -1,4 +1,4 @@
 packaging>=21.3,<24
 pip>=20.1.1,<24
 setuptools>=47.3.1,<69
-wheel>=0.37.1,<0.41
+wheel>=0.37.1,<0.42

{edu-rdm-integration-0.5.9 → edu-rdm-integration-0.6.0}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '0.5.9'
+VERSION = '0.6.0'
 
 current_dir_path = Path().resolve()
 

edu-rdm-integration-0.6.0/src/edu_rdm_integration/collect_data/helpers.py

@@ -0,0 +1,96 @@
+from datetime import (
+    date,
+    datetime,
+    time,
+    timedelta,
+)
+from typing import (
+    Dict,
+    Optional,
+)
+
+from django.conf import (
+    settings,
+)
+from django.db.models import (
+    OuterRef,
+    Subquery,
+    Value,
+)
+from django.db.models.functions import (
+    Coalesce,
+)
+from django.db.transaction import (
+    atomic,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.models import (
+    CollectingDataStageStatus,
+    CollectingExportedDataStage,
+    CollectingDataSubStageStatus,
+    CollectingExportedDataSubStage,
+)
+
+
+@atomic
+def set_failed_status_suspended_collecting_data_stages() -> Dict[str, int]:
+    """Установить статус 'Завершено с ошибками' для зависших этапов и подэтапов сбора.
+
+    Сборка считается зависшей в случае если за определенное в параметре RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT время,
+    отсутствуют изменения в связанных подэтапах. Параметр RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT определяется
+    в настройках приложения.
+    """
+    changed_status_result = {
+        'change_stage_count': 0,
+        'change_sub_stage_count': 0,
+    }
+
+    current_datetime = datetime.now()
+    suspended_time_at = current_datetime - timedelta(minutes=settings.RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT)
+
+    suspended_stage_ids = set(
+        CollectingExportedDataStage.objects.annotate(
+            last_sub_stage_started_at=Coalesce(
+                Subquery(
+                    CollectingExportedDataSubStage.objects.filter(
+                        stage_id=OuterRef('pk')
+                    ).values('started_at').order_by('-started_at')[:1]
+                ),
+                Value(datetime.combine(date.min, time.min))
+            )
+        ).filter(
+            last_sub_stage_started_at__lt=suspended_time_at,
+            status__in=(
+                CollectingDataStageStatus.CREATED.key,
+                CollectingDataStageStatus.IN_PROGRESS.key,
+            ),
+        ).values_list('pk', flat=True)
+    )
+
+    if suspended_stage_ids:
+        logger.info(f'find suspended CollectingExportedDataStage: {", ".join(map(str, suspended_stage_ids))}..')
+
+        change_stage_count = CollectingExportedDataStage.objects.filter(
+            pk__in=suspended_stage_ids,
+        ).update(
+            status=CollectingDataStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        change_sub_stage_count = CollectingExportedDataSubStage.objects.filter(
+            stage_id__in=suspended_stage_ids,
+        ).update(
+            status=CollectingDataSubStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        changed_status_result.update({
+            'change_stage_count': change_stage_count,
+            'change_sub_stage_count': change_sub_stage_count,
+        })
+
+    return changed_status_result

edu-rdm-integration-0.6.0/src/edu_rdm_integration/export_data/helpers.py

@@ -0,0 +1,95 @@
+from datetime import (
+    date,
+    datetime,
+    time,
+    timedelta,
+)
+from typing import (
+    Dict,
+)
+
+from django.conf import (
+    settings,
+)
+from django.db.models import (
+    OuterRef,
+    Subquery,
+    Value,
+)
+from django.db.models.functions import (
+    Coalesce,
+)
+from django.db.transaction import (
+    atomic,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.models import (
+    ExportingDataStage,
+    ExportingDataStageStatus,
+    ExportingDataSubStage,
+    ExportingDataSubStageStatus,
+)
+
+
+@atomic
+def set_failed_status_suspended_exporting_data_stages() -> Dict[str, int]:
+    """Установить статус 'Завершено с ошибками' для зависших этапов и подэтапов экспорта.
+
+    Экспорт считается зависшим в случае если за определенное в параметре RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT время,
+    отсутствуют изменения в связанных подэтапах. Параметр RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT определяется
+    в настройках приложения.
+    """
+    changed_status_result = {
+        'change_stage_count': 0,
+        'change_sub_stage_count': 0,
+    }
+
+    current_datetime = datetime.now()
+    suspended_time_at = current_datetime - timedelta(minutes=settings.RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT)
+
+    suspended_stage_ids = set(
+        ExportingDataStage.objects.annotate(
+            last_sub_stage_started_at=Coalesce(
+                Subquery(
+                    ExportingDataSubStage.objects.filter(
+                        stage_id=OuterRef('pk')
+                    ).values('started_at').order_by('-started_at')[:1]
+                ),
+                Value(datetime.combine(date.min, time.min))
+            )
+        ).filter(
+            last_sub_stage_started_at__lt=suspended_time_at,
+            status__in=(
+                ExportingDataStageStatus.CREATED.key,
+                ExportingDataStageStatus.IN_PROGRESS.key,
+            ),
+        ).values_list('pk', flat=True)
+    )
+
+    if suspended_stage_ids:
+        logger.info(f'find suspended ExportingDataStage: {", ".join(map(str, suspended_stage_ids))}..')
+
+        change_stage_count = ExportingDataStage.objects.filter(
+            pk__in=suspended_stage_ids,
+        ).update(
+            status=ExportingDataStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        change_sub_stage_count = ExportingDataSubStage.objects.filter(
+            stage_id__in=suspended_stage_ids,
+        ).update(
+            status=ExportingDataSubStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        changed_status_result.update({
+            'change_stage_count': change_stage_count,
+            'change_sub_stage_count': change_sub_stage_count,
+        })
+
+    return changed_status_result

{edu-rdm-integration-0.5.9 → edu-rdm-integration-0.6.0}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.5.9
+Version: 0.6.0
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -21,7 +21,7 @@ License-File: LICENSE
 Requires-Dist: packaging<24,>=21.3
 Requires-Dist: pip<24,>=20.1.1
 Requires-Dist: setuptools<69,>=47.3.1
-Requires-Dist: wheel<0.41,>=0.37.1
+Requires-Dist: wheel<0.42,>=0.37.1
 Requires-Dist: transliterate<2
 Requires-Dist: educommon<4,>=3.0.0
 Requires-Dist: function-tools<1,>=0.5.0
@@ -96,6 +96,12 @@ Requires-Dist: uploader-client<1,>=0.1.12
     RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
     RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
     RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = conf.get('rdm_upload_status_task', 'DAY_OF_WEEK')
+  
+    # Настройка запуска периодической задачи поиска зависших этапов экспорта:
+    RDM_CHECK_SUSPEND_TASK_MINUTE = conf.get('rdm_check_suspend_task', 'MINUTE')
+    RDM_CHECK_SUSPEND_TASK_HOUR = conf.get('rdm_check_suspend_task', 'HOUR')
+    RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK = conf.get('rdm_check_suspend_task', 'DAY_OF_WEEK')
+    RDM_CHECK_SUSPEND_TASK_TIMEDELTA = conf.get_int('rdm_check_suspend_task', 'TIMEDELTA')
     
     # Загрузка данных в Региональную витрину данных (РВД)
     # Адрес витрины (schema://host:port)
@@ -142,6 +148,14 @@ MINUTE=*/2
 HOUR=*
 DAY_OF_WEEK=*
 
+# Настройка запуска периодической задачи поиска зависших этапов экспорта
+[rdm_check_suspend_task]
+MINUTE=*/10
+HOUR=*
+DAY_OF_WEEK=*
+# Дельта для определения зависшего подэтапа, мин
+STAGE_TIMEOUT=120
+
 [uploader_client]
 # Адрес витрины
 URL = http://localhost:8090
@@ -176,6 +190,7 @@ ENABLE_REQUEST_EMULATION = True
 | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                   | '*/30'                  |
 | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                      | '*'                     |
 | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                              | '*'                     |
+| RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                  | 120                     |
 
 
 ## Сборка и распространение
@@ -220,6 +235,28 @@ ENABLE_REQUEST_EMULATION = True
 ### Удалено
 
 
+## [0.6.0] - 2023-09-29
+
+Добавлена функция set_failed_status_suspended_exporting_data_stages для определения и перевода зависших этапов/подэтапов экспорта в статус (FAILED).
+Добавлена функция set_failed_status_suspended_collecting_data_stages для определения и перевода зависших этапов/подэтапов сбора в статус (FAILED).
+
+### Добавлено
+
+- [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
+  MINOR Добавлена функция ```set_failed_status_suspended_exporting_data_stages```.
+
+- [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
+  MINOR Добавлена функция ```set_failed_status_suspended_collecting_data_stages```.
+
+## [0.5.9] - 2023-09-25
+
+Повышена версия wheel
+
+### Изменено
+
+- [EDUCLLG-7939](https://jira.bars.group/browse/EDUCLLG-7939)
+  PATCH - Повышена версия wheel
+
 ## [0.5.8] - 2023-09-13
 
 Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей 

{edu-rdm-integration-0.5.9 → edu-rdm-integration-0.6.0}/src/edu_rdm_integration.egg-info/SOURCES.txt

@@ -54,6 +54,7 @@ src/edu_rdm_integration/adapters/validators.py
 src/edu_rdm_integration/collect_data/__init__.py
 src/edu_rdm_integration/collect_data/collect.py
 src/edu_rdm_integration/collect_data/generators.py
+src/edu_rdm_integration/collect_data/helpers.py
 src/edu_rdm_integration/collect_data/base/__init__.py
 src/edu_rdm_integration/collect_data/base/caches.py
 src/edu_rdm_integration/collect_data/base/functions.py
@@ -96,6 +97,7 @@ src/edu_rdm_integration/export_data/__init__.py
 src/edu_rdm_integration/export_data/consts.py
 src/edu_rdm_integration/export_data/export.py
 src/edu_rdm_integration/export_data/generators.py
+src/edu_rdm_integration/export_data/helpers.py
 src/edu_rdm_integration/export_data/strategies.py
 src/edu_rdm_integration/export_data/base/__init__.py
 src/edu_rdm_integration/export_data/base/caches.py

{edu-rdm-integration-0.5.9 → edu-rdm-integration-0.6.0}/src/edu_rdm_integration.egg-info/requires.txt

@@ -1,7 +1,7 @@
 packaging<24,>=21.3
 pip<24,>=20.1.1
 setuptools<69,>=47.3.1
-wheel<0.41,>=0.37.1
+wheel<0.42,>=0.37.1
 transliterate<2
 educommon<4,>=3.0.0
 function-tools<1,>=0.5.0