edu-rdm-integration 3.4.0__tar.gz → 3.4.3__tar.gz

{edu-rdm-integration-3.4.0 → edu-rdm-integration-3.4.3}/CHANGELOG.md

@@ -29,6 +29,31 @@
 ### Удалено
 
 
+## 3.4.3 - 2024-10-17
+Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
+## Исправлено
+- [EDUSCHL-22651](https://jira.bars.group/browse/EDUSCHL-22651)
+  Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
+## 3.4.2 - 2024-10-15
+Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+## Добавлено
+- [EDUSCHL-22166](https://jira.bars.group/browse/EDUSCHL-22166)
+  Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+
+## 3.4.1 - 2024-09-26
+Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+## Добавлено
+- [EDUKNDG-14518](https://jira.bars.group/browse/EDUKNDG-14518)
+  Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+
 ## 3.4.0 - 2024-09-25
 В базовый класс тестирования функций сбора добавлена поддержка формата PhoneNumber для формирования
 экземпляра модели AuditLog.
@@ -44,6 +69,12 @@
    PATCH Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
 
 
+## 3.3.8 - 2024-10-14
+Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
+- [EDUSCHL-22519]https://jira.bars.group/browse/EDUSCHL-22519
+  PATCH Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
+
+
 ## 3.3.7 - 2024-09-06
 Добавлены команда (UploadEntitiesData) и модель (UploadDataCommand) для логирования и запуска выгрузки данных в витрину
 - [EDUSCHL-22042](https://jira.bars.group/browse/EDUSCHL-22042)

{edu-rdm-integration-3.4.0 → edu-rdm-integration-3.4.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.4.0
+Version: 3.4.3
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -302,6 +302,31 @@ Requires-Dist: uploader-client<1,>=0.2.1
 ### Удалено
 
 
+## 3.4.3 - 2024-10-17
+Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
+## Исправлено
+- [EDUSCHL-22651](https://jira.bars.group/browse/EDUSCHL-22651)
+  Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
+## 3.4.2 - 2024-10-15
+Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+## Добавлено
+- [EDUSCHL-22166](https://jira.bars.group/browse/EDUSCHL-22166)
+  Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+
+## 3.4.1 - 2024-09-26
+Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+## Добавлено
+- [EDUKNDG-14518](https://jira.bars.group/browse/EDUKNDG-14518)
+  Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+
 ## 3.4.0 - 2024-09-25
 В базовый класс тестирования функций сбора добавлена поддержка формата PhoneNumber для формирования
 экземпляра модели AuditLog.
@@ -317,6 +342,12 @@ Requires-Dist: uploader-client<1,>=0.2.1
    PATCH Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
 
 
+## 3.3.8 - 2024-10-14
+Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
+- [EDUSCHL-22519]https://jira.bars.group/browse/EDUSCHL-22519
+  PATCH Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
+
+
 ## 3.3.7 - 2024-09-06
 Добавлены команда (UploadEntitiesData) и модель (UploadDataCommand) для логирования и запуска выгрузки данных в витрину
 - [EDUSCHL-22042](https://jira.bars.group/browse/EDUSCHL-22042)

{edu-rdm-integration-3.4.0 → edu-rdm-integration-3.4.3}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '3.4.0'
+VERSION = '3.4.3'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-3.4.0 → edu-rdm-integration-3.4.3}/src/edu_rdm_integration/app_settings.py

@@ -48,3 +48,9 @@ RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 2
 RDM_UPLOAD_QUEUE_MAX_SIZE = 500_000_000
 # Таймаут для сохранения параметров в общем кеш
 RDM_REDIS_CACHE_TIMEOUT_SECONDS = 60 * 60 * 2
+
+# Настройка запуска периодической задачи отправки csv-файлов в витрину:
+RDM_UPLOAD_DATA_TASK_MINUTE = '0'
+RDM_UPLOAD_DATA_TASK_HOUR = '*/2'
+RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK = '*'
+RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 2

edu-rdm-integration-3.4.3/src/edu_rdm_integration/migrations/0013_set_attachment_size.py

@@ -0,0 +1,57 @@
+# Generated by Django 3.1.14 on 2024-08-19 14:56
+
+from django.db import (
+    migrations,
+)
+
+from edu_rdm_integration.enums import (
+    FileUploadStatusEnum,
+)
+from educommon.utils.seqtools import (
+    make_chunks,
+)
+
+
+# Значение размера файла по умолчанию (если файл не найден)
+ATTACHMENT_SIZES = 10_485_760
+CHUNK_SIZE = 500
+
+
+def set_attachment_size(apps, schema_editor):
+    """Установка размера файла по умолчанию."""
+    ExportingDataSubStageAttachment = apps.get_model(
+        'edu_rdm_integration', 'ExportingDataSubStageAttachment'
+    )  # noqa: N806
+    ExportingDataSubStageUploaderClientLog = apps.get_model(
+        'edu_rdm_integration', 'ExportingDataSubStageUploaderClientLog'
+    )  # noqa: N806
+
+    attachment_ids = ExportingDataSubStageUploaderClientLog.objects.filter(
+        file_upload_status=FileUploadStatusEnum.IN_PROGRESS
+    ).values_list('attachment_id', flat=True).iterator()
+
+    sub_stage_with_deleted_attachments = []
+    for chunked_attachment_ids in make_chunks(attachment_ids, CHUNK_SIZE):
+        for sub_stage_attachment in ExportingDataSubStageAttachment.objects.filter(
+            attachment_size__isnull=True,
+            id__in=chunked_attachment_ids,
+        ):
+            if sub_stage_attachment.attachment.field.storage.exists(sub_stage_attachment.attachment.name):
+                sub_stage_attachment.attachment_size = sub_stage_attachment.attachment.size
+            else:
+                sub_stage_attachment.attachment_size = ATTACHMENT_SIZES
+            sub_stage_with_deleted_attachments.append(sub_stage_attachment)
+
+        ExportingDataSubStageAttachment.objects.bulk_update(sub_stage_with_deleted_attachments, ['attachment_size'])
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration', '0012_exportingdatasubstageattachment_attachment_size'),
+    ]
+
+    operations = [
+        migrations.RunPython(set_attachment_size, reverse_code=migrations.RunPython.noop)
+    ]
+

{edu-rdm-integration-3.4.0 → edu-rdm-integration-3.4.3}/src/edu_rdm_integration/tasks.py

@@ -344,18 +344,18 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
         )
 
 
-class UploadDataAsyncTask(PeriodicAsyncTask):
+class UploadDataAsyncTask(UniquePeriodicAsyncTask):
     """Формирование очереди файлов и их отправка."""
 
     queue = TASK_QUEUE_NAME
     routing_key = TASK_QUEUE_NAME
     description = 'Отправка данных в витрину "Региональная витрина данных"'
-    lock_expire_seconds = settings.RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS
+    lock_expire_seconds = settings.RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS
     task_type = AsyncTaskType.SYSTEM
     run_every = crontab(
-        minute=settings.RDM_UPLOAD_STATUS_TASK_MINUTE,
-        hour=settings.RDM_UPLOAD_STATUS_TASK_HOUR,
-        day_of_week=settings.RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK,
+        minute=settings.RDM_UPLOAD_DATA_TASK_MINUTE,
+        hour=settings.RDM_UPLOAD_DATA_TASK_HOUR,
+        day_of_week=settings.RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK,
     )
 
     def process(self, *args, **kwargs):

{edu-rdm-integration-3.4.0 → edu-rdm-integration-3.4.3}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.4.0
+Version: 3.4.3
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -302,6 +302,31 @@ Requires-Dist: uploader-client<1,>=0.2.1
 ### Удалено
 
 
+## 3.4.3 - 2024-10-17
+Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
+## Исправлено
+- [EDUSCHL-22651](https://jira.bars.group/browse/EDUSCHL-22651)
+  Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
+## 3.4.2 - 2024-10-15
+Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+## Добавлено
+- [EDUSCHL-22166](https://jira.bars.group/browse/EDUSCHL-22166)
+  Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+
+## 3.4.1 - 2024-09-26
+Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+## Добавлено
+- [EDUKNDG-14518](https://jira.bars.group/browse/EDUKNDG-14518)
+  Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+
 ## 3.4.0 - 2024-09-25
 В базовый класс тестирования функций сбора добавлена поддержка формата PhoneNumber для формирования
 экземпляра модели AuditLog.
@@ -317,6 +342,12 @@ Requires-Dist: uploader-client<1,>=0.2.1
    PATCH Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
 
 
+## 3.3.8 - 2024-10-14
+Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
+- [EDUSCHL-22519]https://jira.bars.group/browse/EDUSCHL-22519
+  PATCH Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
+
+
 ## 3.3.7 - 2024-09-06
 Добавлены команда (UploadEntitiesData) и модель (UploadDataCommand) для логирования и запуска выгрузки данных в витрину
 - [EDUSCHL-22042](https://jira.bars.group/browse/EDUSCHL-22042)

edu-rdm-integration-3.4.0/src/edu_rdm_integration/migrations/0013_set_attachment_size.py

@@ -1,48 +0,0 @@
-# Generated by Django 3.1.14 on 2024-08-19 14:56
-
-from django.db import (
-    migrations,
-)
-
-from edu_rdm_integration.enums import (
-    FileUploadStatusEnum,
-)
-
-
-# Значение размера файла по умолчанию (если файл не найден)
-ATTACHMENT_SIZES = 10_485_760
-
-
-def set_attachment_size(apps, schema_editor):
-    """Установка размера файла по умолчанию."""
-    ExportingDataSubStageAttachment = apps.get_model('edu_rdm_integration', 'ExportingDataSubStageAttachment')  # noqa: N806
-    ExportingDataSubStageUploaderClientLog = apps.get_model('edu_rdm_integration', 'ExportingDataSubStageUploaderClientLog')  # noqa: N806
-
-    attachment_ids = ExportingDataSubStageUploaderClientLog.objects.filter(
-        file_upload_status=FileUploadStatusEnum.IN_PROGRESS
-    ).values_list('attachment_id', flat=True)
-
-    sub_stage_with_deleted_attachments = []
-    for sub_stage_attachment in ExportingDataSubStageAttachment.objects.filter(
-        attachment_size__isnull=True,
-        id__in=attachment_ids
-    ):
-        if sub_stage_attachment.attachment.field.storage.exists(sub_stage_attachment.attachment.name):
-            sub_stage_attachment.attachment_size = sub_stage_attachment.attachment.size
-        else:
-            sub_stage_attachment.attachment_size = ATTACHMENT_SIZES
-        sub_stage_with_deleted_attachments.append(sub_stage_attachment)
-
-    ExportingDataSubStageAttachment.objects.bulk_update(sub_stage_with_deleted_attachments, ['attachment_size'])
-
-
-class Migration(migrations.Migration):
-
-    dependencies = [
-        ('edu_rdm_integration', '0012_exportingdatasubstageattachment_attachment_size'),
-    ]
-
-    operations = [
-        migrations.RunPython(set_attachment_size, reverse_code=migrations.RunPython.noop)
-    ]
-