edu-rdm-integration 3.0.4__py3-none-any.whl → 3.2.0__py3-none-any.whl

edu_rdm_integration/app_settings.py

@@ -36,9 +36,11 @@ RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = True
 RDM_TRANSFER_TASK_MINUTE = '0'
 RDM_TRANSFER_TASK_HOUR = '*/4'
 RDM_TRANSFER_TASK_DAY_OF_WEEK = '*'
+RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 6
 RDM_TRANSFER_TASK_TIMEDELTA = 3600
 
 # Настройка запуска периодической задачи статуса загрузки данных в витрину:
 RDM_UPLOAD_STATUS_TASK_MINUTE = '*/30'
 RDM_UPLOAD_STATUS_TASK_HOUR = '*'
 RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = '*'
+RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 2

edu_rdm_integration/tasks.py

@@ -9,6 +9,9 @@ from typing import (
 )
 
 import celery
+from celery.exceptions import (
+    Ignore,
+)
 from celery.schedules import (
     crontab,
 )
@@ -26,6 +29,9 @@ from django.utils import (
     timezone,
 )
 
+from educommon.async_task.locker import (
+    TaskLocker,
+)
 from educommon.async_task.models import (
     AsyncTaskType,
     RunningTask,
@@ -93,12 +99,46 @@ if TYPE_CHECKING:
     )
 
 
-class RDMCheckUploadStatus(PeriodicAsyncTask):
+class PeriodicTaskLocker(TaskLocker):
+    """Класс отвечающий за блокировку задач.
+
+    Переопределён для возможности игнорирования повторного запуска для уже
+    запущенных периодических задач.
+    """
+
+    def raise_if_locked(self, message: Optional[str] = None):
+        """Если блокировано, то вызывает исключение."""
+        if self.is_locked():
+            self.debug(f'Add failed. Task {self.task_name} currently locked ({self.params})')
+
+            raise Ignore()
+
+
+class UniquePeriodicAsyncTask(PeriodicAsyncTask):
+    """Уникальные периодические задачи."""
+
+    abstract = True
+    lock_expire_seconds = 60 * 60
+
+    locker_class = PeriodicTaskLocker
+
+    @property
+    def locker_config(self) -> dict:
+        """Настройки для механизма блокировок. """
+        return {
+            'lock_params': {'task_name': self.name},
+            'lock_message': f'Task [{self.__name__}] is running',
+            'lock_expire': self.lock_expire_seconds,
+        }
+
+
+class RDMCheckUploadStatus(UniquePeriodicAsyncTask):
     """Периодическая задача для сбора статусов по загрузке файла в витрину."""
 
     queue = TASK_QUEUE_NAME
     routing_key = TASK_QUEUE_NAME
     description = 'Сбор статусов загрузки данных в витрину "Региональная витрина данных"'
+    lock_expire_seconds = settings.RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS
     task_type = AsyncTaskType.UNKNOWN
     run_every = crontab(
         minute=settings.RDM_UPLOAD_STATUS_TASK_MINUTE,
@@ -119,12 +159,13 @@ class RDMCheckUploadStatus(PeriodicAsyncTask):
         UploadStatusHelper(in_progress_uploads).run()
 
 
-class CheckSuspendedExportedStagePeriodicTask(PeriodicAsyncTask):
+class CheckSuspendedExportedStagePeriodicTask(UniquePeriodicAsyncTask):
     """Периодическая задача поиска зависших этапов/подэтапов экспорта."""
 
     queue = TASK_QUEUE_NAME
     routing_key = TASK_QUEUE_NAME
     description = 'Поиск зависших этапов/подэтапов экспорта в "Региональная витрина данных"'
+    lock_expire_seconds = settings.RDM_CHECK_SUSPEND_TASK_LOCK_EXPIRE_SECONDS
     task_type = AsyncTaskType.SYSTEM
     run_every = crontab(
         minute=settings.RDM_CHECK_SUSPEND_TASK_MINUTE,
@@ -155,12 +196,13 @@ class CheckSuspendedExportedStagePeriodicTask(PeriodicAsyncTask):
         )
 
 
-class TransferLatestEntitiesDataPeriodicTask(PeriodicAsyncTask):
+class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
     """Периодическая задача сбора и выгрузки данных."""
 
     queue = TASK_QUEUE_NAME
     routing_key = TASK_QUEUE_NAME
     description = 'Периодическая задача сбора и экспорта данных РВД'
+    lock_expire_seconds = settings.RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS
     task_type = AsyncTaskType.UNKNOWN
     run_every = crontab(
         minute=settings.RDM_TRANSFER_TASK_MINUTE,

{edu_rdm_integration-3.0.4.dist-info → edu_rdm_integration-3.2.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.0.4
+Version: 3.2.0
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -22,8 +22,8 @@ Classifier: Framework :: Django :: 3.1
 Description-Content-Type: text/markdown
 License-File: LICENSE
 Requires-Dist: packaging <24,>=21.3
-Requires-Dist: pip <24,>=20.1.1
-Requires-Dist: setuptools <69,>=47.3.1
+Requires-Dist: pip <24,>=23.2.1
+Requires-Dist: setuptools <70,>=47.3.1
 Requires-Dist: wheel <0.42,>=0.37.1
 Requires-Dist: transliterate <2
 Requires-Dist: Django <3.2,>=2.2
@@ -106,12 +106,14 @@ Requires-Dist: uploader-client <1,>=0.2.1
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_transfer_task', 'MINUTE'): '0',
         ('rdm_transfer_task', 'HOUR'): '*/4',
-        ('rdm_transfer_task', 'TRANSFER_TASK_DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
         ('rdm_transfer_task', 'TIMEDELTA'): 3600,
         ('rdm_transfer_task', 'ENTITIES'): '',
         ('rdm_upload_status_task', 'MINUTE'): '*/30',
         ('rdm_upload_status_task', 'HOUR'): '*',
         ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
         ('uploader_client', 'URL'): 'http://localhost:8090',
         ('uploader_client', 'DATAMART_NAME'): '',
         ('uploader_client', 'REQUEST_RETRIES'): 10,
@@ -145,17 +147,20 @@ Requires-Dist: uploader-client <1,>=0.2.1
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
     RDM_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task', 'HOUR')
     RDM_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task', 'DAY_OF_WEEK')
+    RDM_TRANSFER_TASK_EXPIRE_SECOND = conf.get('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS')
     RDM_TRANSFER_TASK_TIMEDELTA = conf.get_int('rdm_transfer_task', 'TIMEDELTA')
 
     # Настройка запуска периодической задачи статуса загрузки данных в витрину:
     RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
     RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
     RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = conf.get('rdm_upload_status_task', 'DAY_OF_WEEK')
+    RDM_UPLOAD_STATUS_TASK_EXPIRE_SECOND = conf.get('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS')
   
     # Настройка запуска периодической задачи поиска зависших этапов экспорта:
     RDM_CHECK_SUSPEND_TASK_MINUTE = conf.get('rdm_check_suspend_task', 'MINUTE')
     RDM_CHECK_SUSPEND_TASK_HOUR = conf.get('rdm_check_suspend_task', 'HOUR')
     RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK = conf.get('rdm_check_suspend_task', 'DAY_OF_WEEK')
+    RDM_CHECK_SUSPEND_TASK_EXPIRE_SECOND = conf.get('rdm_check_suspend_task', 'LOCK_EXPIRE_SECONDS')
     RDM_CHECK_SUSPEND_TASK_TIMEDELTA = conf.get_int('rdm_check_suspend_task', 'TIMEDELTA')
     
     # Загрузка данных в Региональную витрину данных (РВД)
@@ -192,10 +197,12 @@ Requires-Dist: uploader-client <1,>=0.2.1
     | RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                     | '0'                     |
     | RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                        | '*/4'                   |
     | RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                                | '*'                     |
+    | RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секунадх)                                                              | 21600                   |
     | RDM_TRANSFER_TASK_TIMEDELTA                  | Дельта между предыдущим и следующим запуском периодической задачи в секундах                                                       | 3600                    |
     | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                   | '*/30'                  |
     | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                      | '*'                     |
     | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                              | '*'                     |
+    | RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секунадх)                                                              | 3600                    |
     | RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                  | 120                     |
     
 
@@ -220,6 +227,7 @@ Requires-Dist: uploader-client <1,>=0.2.1
     MINUTE=*/2
     HOUR=*
     DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS=21600
     # Дельта между прошлым и текущим запуском, сек
     TIMEDELTA=120
     # Сущности, по которым должен производиться сбор и выгрузка данных. Перечисляются через запятую без пробелов.
@@ -230,12 +238,14 @@ Requires-Dist: uploader-client <1,>=0.2.1
     MINUTE=*/2
     HOUR=*
     DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS=7200
   
     # Настройка запуска периодической задачи поиска зависших этапов экспорта
     [rdm_check_suspend_task]
     MINUTE=*/10
     HOUR=*
     DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS=7200
     # Дельта для определения зависшего подэтапа, мин
     STAGE_TIMEOUT=120
     
@@ -294,6 +304,26 @@ Requires-Dist: uploader-client <1,>=0.2.1
 ### Удалено
 
 
+## 3.2.0 - 2024-05-02
+Периодические задачи RDMCheckUploadStatus, CheckSuspendedExportedStagePeriodicTask, 
+TransferLatestEntitiesDataPeriodicTask сделаны уникальными.
+
+### Изменено
+- [EDUSCHL-21891](https://jira.bars.group/browse/EDUSCHL-21891)
+  MINOR Периодические задачи RDMCheckUploadStatus, CheckSuspendedExportedStagePeriodicTask, 
+  TransferLatestEntitiesDataPeriodicTask сделаны уникальными. Во время действия блокировки не будет возможности 
+  поставить новую подобную задачу.
+
+
+## 3.1.0 - 2024-04-23
+Добавлена поддержка setuptools 69.*.
+Поднята минимальная версия пакета pip 23.2.1
+
+### Изменено
+- [EDUSCHL-21761](https://jira.bars.group/browse/EDUSCHL-21761)
+  MINOR Добавлена поддержка setuptools 69.*. Поднять минимальную версию pip до 23.2.1.
+
+
 ## 3.0.4 - 2024-04-17
 Возвращено проставление подэтапа выгрузки всем записям модели.
 

{edu_rdm_integration-3.0.4.dist-info → edu_rdm_integration-3.2.0.dist-info}/RECORD

@@ -1,6 +1,6 @@
 edu_rdm_integration/__init__.py,sha256=fVCvQ7QGI_iCyAeE8dMapyY8gOM617ye5GQqAVGPlZI,72
 edu_rdm_integration/app_meta.py,sha256=v5IU69yaeLbyHF0Ln6iPN_IfizbtF3rCWrz2n71m8dU,337
-edu_rdm_integration/app_settings.py,sha256=PK-hjkGIwbSqgKdJKoTdryk6nt-OOGLIKSzPYXCzmYE,2056
+edu_rdm_integration/app_settings.py,sha256=rsXBw40Air-fUamS2ZmtSZMAs9mSCoDa50z5WlBONo0,2165
 edu_rdm_integration/apps.py,sha256=5OgNdmuqe26fbu4wYb69haQJe-XFO_rDbnU1vPqJU-U,3571
 edu_rdm_integration/base.py,sha256=_G0qPTAXe6bXfgDHNiZMSsYt3sMuUhLKnHuQCWSFttU,1341
 edu_rdm_integration/consts.py,sha256=FFwcMHNsfjP_s9LfkccLAHjJMEMp7ppPmrRlJcgV88k,1104
@@ -11,7 +11,7 @@ edu_rdm_integration/mapping.py,sha256=bwa2fJCbV4YjQcAgRrgT3hgM6dJhr_uBtQgx3L3F2C
 edu_rdm_integration/models.py,sha256=Wg8NYj4C6Xqw-15AsQGU0TWNzUjdwBW_YZDzmPqx3GY,29327
 edu_rdm_integration/signals.py,sha256=3eRlpkDcFCF6TN80-QM8yBYLcyozzcmoPjz6r4_ApWg,73
 edu_rdm_integration/storages.py,sha256=o5WqUG7SnkeuMt-z8spUi-IraivST-7KHzfY-M3v7FA,6807
-edu_rdm_integration/tasks.py,sha256=8bQZbhVDuK3RYc8lSbWyW1xDyVgIZQCrcsTo8pUeIeE,13716
+edu_rdm_integration/tasks.py,sha256=blG952xd84DspIQZepF6Vdsz6i7O5pKxN3CGOlDwB2g,15253
 edu_rdm_integration/utils.py,sha256=-my8q9fude6Nc9r_qUDww-8QaU2tcv-xOexewYqOPJw,10369
 edu_rdm_integration/adapters/__init__.py,sha256=cU0swn4Ny5ZQz5buWRcWsT1mpWuUFJaUlHf2l7TtEBo,83
 edu_rdm_integration/adapters/apps.py,sha256=TyJTkSPs2qAHJ11fqbwLGk3Ea7ujtqWwbxqmvYNQxG8,363
@@ -162,9 +162,9 @@ edu_rdm_integration/uploader_log/apps.py,sha256=tYJj4-sDlq8fLOSvw18L_yys7SILpTKW
 edu_rdm_integration/uploader_log/enums.py,sha256=rgSO3BL2rh2xpfm0Pt4waQW8fB1VMJLdsGmr3SXwH_U,266
 edu_rdm_integration/uploader_log/managers.py,sha256=y5wTSMzF9hpOpIU_A7nIafL_LBU3QEie6LAYWoB-pBQ,3203
 edu_rdm_integration/uploader_log/ui.py,sha256=YM9Buqp2wxE95Wf5gvAATBzuYzDOossK1sEmvFk07cI,2110
-edu_rdm_integration-3.0.4.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.0.4.dist-info/METADATA,sha256=8F3k2HKClhtfNsMWRafChSjc14nvRmfrI-ASQkrXtIk,61241
-edu_rdm_integration-3.0.4.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
-edu_rdm_integration-3.0.4.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
-edu_rdm_integration-3.0.4.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.0.4.dist-info/RECORD,,
+edu_rdm_integration-3.2.0.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.2.0.dist-info/METADATA,sha256=H5B9TuvSmXOEUFSIguHL7MzfkLyhlskeZkJHpgWOKG0,63284
+edu_rdm_integration-3.2.0.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
+edu_rdm_integration-3.2.0.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
+edu_rdm_integration-3.2.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.2.0.dist-info/RECORD,,