edu-rdm-integration 0.5.9__py3-none-any.whl → 0.6.0__py3-none-any.whl

edu_rdm_integration/collect_data/helpers.py

@@ -0,0 +1,96 @@
+from datetime import (
+    date,
+    datetime,
+    time,
+    timedelta,
+)
+from typing import (
+    Dict,
+    Optional,
+)
+
+from django.conf import (
+    settings,
+)
+from django.db.models import (
+    OuterRef,
+    Subquery,
+    Value,
+)
+from django.db.models.functions import (
+    Coalesce,
+)
+from django.db.transaction import (
+    atomic,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.models import (
+    CollectingDataStageStatus,
+    CollectingExportedDataStage,
+    CollectingDataSubStageStatus,
+    CollectingExportedDataSubStage,
+)
+
+
+@atomic
+def set_failed_status_suspended_collecting_data_stages() -> Dict[str, int]:
+    """Установить статус 'Завершено с ошибками' для зависших этапов и подэтапов сбора.
+
+    Сборка считается зависшей в случае если за определенное в параметре RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT время,
+    отсутствуют изменения в связанных подэтапах. Параметр RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT определяется
+    в настройках приложения.
+    """
+    changed_status_result = {
+        'change_stage_count': 0,
+        'change_sub_stage_count': 0,
+    }
+
+    current_datetime = datetime.now()
+    suspended_time_at = current_datetime - timedelta(minutes=settings.RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT)
+
+    suspended_stage_ids = set(
+        CollectingExportedDataStage.objects.annotate(
+            last_sub_stage_started_at=Coalesce(
+                Subquery(
+                    CollectingExportedDataSubStage.objects.filter(
+                        stage_id=OuterRef('pk')
+                    ).values('started_at').order_by('-started_at')[:1]
+                ),
+                Value(datetime.combine(date.min, time.min))
+            )
+        ).filter(
+            last_sub_stage_started_at__lt=suspended_time_at,
+            status__in=(
+                CollectingDataStageStatus.CREATED.key,
+                CollectingDataStageStatus.IN_PROGRESS.key,
+            ),
+        ).values_list('pk', flat=True)
+    )
+
+    if suspended_stage_ids:
+        logger.info(f'find suspended CollectingExportedDataStage: {", ".join(map(str, suspended_stage_ids))}..')
+
+        change_stage_count = CollectingExportedDataStage.objects.filter(
+            pk__in=suspended_stage_ids,
+        ).update(
+            status=CollectingDataStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        change_sub_stage_count = CollectingExportedDataSubStage.objects.filter(
+            stage_id__in=suspended_stage_ids,
+        ).update(
+            status=CollectingDataSubStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        changed_status_result.update({
+            'change_stage_count': change_stage_count,
+            'change_sub_stage_count': change_sub_stage_count,
+        })
+
+    return changed_status_result

edu_rdm_integration/export_data/helpers.py

@@ -0,0 +1,95 @@
+from datetime import (
+    date,
+    datetime,
+    time,
+    timedelta,
+)
+from typing import (
+    Dict,
+)
+
+from django.conf import (
+    settings,
+)
+from django.db.models import (
+    OuterRef,
+    Subquery,
+    Value,
+)
+from django.db.models.functions import (
+    Coalesce,
+)
+from django.db.transaction import (
+    atomic,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.models import (
+    ExportingDataStage,
+    ExportingDataStageStatus,
+    ExportingDataSubStage,
+    ExportingDataSubStageStatus,
+)
+
+
+@atomic
+def set_failed_status_suspended_exporting_data_stages() -> Dict[str, int]:
+    """Установить статус 'Завершено с ошибками' для зависших этапов и подэтапов экспорта.
+
+    Экспорт считается зависшим в случае если за определенное в параметре RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT время,
+    отсутствуют изменения в связанных подэтапах. Параметр RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT определяется
+    в настройках приложения.
+    """
+    changed_status_result = {
+        'change_stage_count': 0,
+        'change_sub_stage_count': 0,
+    }
+
+    current_datetime = datetime.now()
+    suspended_time_at = current_datetime - timedelta(minutes=settings.RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT)
+
+    suspended_stage_ids = set(
+        ExportingDataStage.objects.annotate(
+            last_sub_stage_started_at=Coalesce(
+                Subquery(
+                    ExportingDataSubStage.objects.filter(
+                        stage_id=OuterRef('pk')
+                    ).values('started_at').order_by('-started_at')[:1]
+                ),
+                Value(datetime.combine(date.min, time.min))
+            )
+        ).filter(
+            last_sub_stage_started_at__lt=suspended_time_at,
+            status__in=(
+                ExportingDataStageStatus.CREATED.key,
+                ExportingDataStageStatus.IN_PROGRESS.key,
+            ),
+        ).values_list('pk', flat=True)
+    )
+
+    if suspended_stage_ids:
+        logger.info(f'find suspended ExportingDataStage: {", ".join(map(str, suspended_stage_ids))}..')
+
+        change_stage_count = ExportingDataStage.objects.filter(
+            pk__in=suspended_stage_ids,
+        ).update(
+            status=ExportingDataStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        change_sub_stage_count = ExportingDataSubStage.objects.filter(
+            stage_id__in=suspended_stage_ids,
+        ).update(
+            status=ExportingDataSubStageStatus.FAILED.key,
+            ended_at=current_datetime,
+        )
+
+        changed_status_result.update({
+            'change_stage_count': change_stage_count,
+            'change_sub_stage_count': change_sub_stage_count,
+        })
+
+    return changed_status_result

{edu_rdm_integration-0.5.9.dist-info → edu_rdm_integration-0.6.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.5.9
+Version: 0.6.0
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -21,7 +21,7 @@ License-File: LICENSE
 Requires-Dist: packaging <24,>=21.3
 Requires-Dist: pip <24,>=20.1.1
 Requires-Dist: setuptools <69,>=47.3.1
-Requires-Dist: wheel <0.41,>=0.37.1
+Requires-Dist: wheel <0.42,>=0.37.1
 Requires-Dist: transliterate <2
 Requires-Dist: educommon <4,>=3.0.0
 Requires-Dist: function-tools <1,>=0.5.0
@@ -96,6 +96,12 @@ Requires-Dist: uploader-client <1,>=0.1.12
     RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
     RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
     RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = conf.get('rdm_upload_status_task', 'DAY_OF_WEEK')
+  
+    # Настройка запуска периодической задачи поиска зависших этапов экспорта:
+    RDM_CHECK_SUSPEND_TASK_MINUTE = conf.get('rdm_check_suspend_task', 'MINUTE')
+    RDM_CHECK_SUSPEND_TASK_HOUR = conf.get('rdm_check_suspend_task', 'HOUR')
+    RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK = conf.get('rdm_check_suspend_task', 'DAY_OF_WEEK')
+    RDM_CHECK_SUSPEND_TASK_TIMEDELTA = conf.get_int('rdm_check_suspend_task', 'TIMEDELTA')
     
     # Загрузка данных в Региональную витрину данных (РВД)
     # Адрес витрины (schema://host:port)
@@ -142,6 +148,14 @@ MINUTE=*/2
 HOUR=*
 DAY_OF_WEEK=*
 
+# Настройка запуска периодической задачи поиска зависших этапов экспорта
+[rdm_check_suspend_task]
+MINUTE=*/10
+HOUR=*
+DAY_OF_WEEK=*
+# Дельта для определения зависшего подэтапа, мин
+STAGE_TIMEOUT=120
+
 [uploader_client]
 # Адрес витрины
 URL = http://localhost:8090
@@ -176,6 +190,7 @@ ENABLE_REQUEST_EMULATION = True
 | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                   | '*/30'                  |
 | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                      | '*'                     |
 | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                              | '*'                     |
+| RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                  | 120                     |
 
 
 ## Сборка и распространение
@@ -220,6 +235,28 @@ ENABLE_REQUEST_EMULATION = True
 ### Удалено
 
 
+## [0.6.0] - 2023-09-29
+
+Добавлена функция set_failed_status_suspended_exporting_data_stages для определения и перевода зависших этапов/подэтапов экспорта в статус (FAILED).
+Добавлена функция set_failed_status_suspended_collecting_data_stages для определения и перевода зависших этапов/подэтапов сбора в статус (FAILED).
+
+### Добавлено
+
+- [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
+  MINOR Добавлена функция ```set_failed_status_suspended_exporting_data_stages```.
+
+- [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
+  MINOR Добавлена функция ```set_failed_status_suspended_collecting_data_stages```.
+
+## [0.5.9] - 2023-09-25
+
+Повышена версия wheel
+
+### Изменено
+
+- [EDUCLLG-7939](https://jira.bars.group/browse/EDUCLLG-7939)
+  PATCH - Повышена версия wheel
+
 ## [0.5.8] - 2023-09-13
 
 Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей 

{edu_rdm_integration-0.5.9.dist-info → edu_rdm_integration-0.6.0.dist-info}/RECORD

@@ -29,6 +29,7 @@ edu_rdm_integration/adapters/validators.py,sha256=LJWnCY8PtXDOj-fm3fBWjQYsHsSLfy
 edu_rdm_integration/collect_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/collect_data/collect.py,sha256=3sicEiX9v_EQtd5vFOyclSV-kYNV7FNxx09DdyIWIAk,12843
 edu_rdm_integration/collect_data/generators.py,sha256=wnwxP4ljVFlLJ-TvRmIlaQuY7tWAsQKV4LX4D0zt3Hw,8685
+edu_rdm_integration/collect_data/helpers.py,sha256=EftJ8R-tn1r7Y_P6tGZmqxJ9-g89m12p9kA8NYmwwbQ,3009
 edu_rdm_integration/collect_data/base/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/collect_data/base/caches.py,sha256=3BaJxYBk9fi0aiAVzym-Jz8aNP1eSOqh4Y8OVw1HnSg,763
 edu_rdm_integration/collect_data/base/functions.py,sha256=HT23EyiD-H50p4NLx2_LtioktTHHFVLRmAgWdbuHErw,2379
@@ -71,6 +72,7 @@ edu_rdm_integration/export_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm
 edu_rdm_integration/export_data/consts.py,sha256=Z6Uho8oViMc0t1tyQFZfrPFBwPx6KnhUf_iZ0qgob8o,16
 edu_rdm_integration/export_data/export.py,sha256=jqJYXg-Vm_IwkOxposZKk5QY8d4aBhNmGJOw4PRFJjk,14935
 edu_rdm_integration/export_data/generators.py,sha256=huonSRK5arfBzU09BnLAHC7AsSFYU0sCz5utCtejdJk,3950
+edu_rdm_integration/export_data/helpers.py,sha256=hU346RmQ17Ra2etFvxXI7JQlLyp_0KxH1jm-eeCqejc,2933
 edu_rdm_integration/export_data/strategies.py,sha256=NcI2VsDfAmm9k-Nul6LZkSxruCmo7B-XH7wzgW6-vfE,6718
 edu_rdm_integration/export_data/base/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/export_data/base/caches.py,sha256=dj8LGB7TMtX3cSfp-1UB3dnzcTGMt8aLtOn0YdNPsyQ,1541
@@ -95,9 +97,9 @@ edu_rdm_integration/management/commands/export_entities_data.py,sha256=Mas1zwsH-
 edu_rdm_integration/migrations/0001_initial.py,sha256=toNuYoHZePe5wJ6AKEW9oPOdt2OefmxDEDDJGYQIrFk,18719
 edu_rdm_integration/migrations/0002_init_data_uploadstatus.py,sha256=kht966YNuDbC3qTGrcWswJPsVuAtNO59Ck15G2eS2bU,944
 edu_rdm_integration/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration-0.5.9.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-0.5.9.dist-info/METADATA,sha256=D0bz__XbRyjnwwiGW-yMQr1jeZmPCy8b58PTzpWZ5Lg,27152
-edu_rdm_integration-0.5.9.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
-edu_rdm_integration-0.5.9.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
-edu_rdm_integration-0.5.9.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-0.5.9.dist-info/RECORD,,
+edu_rdm_integration-0.6.0.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-0.6.0.dist-info/METADATA,sha256=3wZjBeDfR8DboAdXdckQL-l1zhYx5Py_MCohueQfKgM,29208
+edu_rdm_integration-0.6.0.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
+edu_rdm_integration-0.6.0.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
+edu_rdm_integration-0.6.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-0.6.0.dist-info/RECORD,,