edu-rdm-integration 3.22.4__tar.gz → 3.22.8__tar.gz

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/CHANGELOG.md

@@ -29,6 +29,66 @@
 ### Удалено
 
 
+## [3.22.8] - 2025-10-30
+
+В функцию `update_foreign_key_constraint` добавлена проверка существования таблиц перед выполнением операций с внешними ключами.
+Удален излишний функционал.
+
+### Добавлено
+
+- [EDUKNDG-15822](https://jira.bars.group/browse/EDUKNDG-15822)
+  PATCH В функцию `update_foreign_key_constraint` добавлена проверка существования таблиц перед выполнением операций с внешними ключами.
+
+### Удалено
+
+- [EDUKNDG-15822](https://jira.bars.group/browse/EDUKNDG-15822)
+  PATCH Удален излишний функционал.
+
+
+## [3.22.7] - 2025-10-28
+
+Убрано ограничение максимальной даты начала и конца сбора данных, для экспорта ограничение установлено в значение 'Завтра'.   
+Добавлены значения по умолчанию для времени при выборе даты в календаре, для начала (00:00:00) - для конца (23:59:59)
+
+### Добавлено
+
+- [EDUKNDG-15822](https://jira.bars.group/browse/EDUKNDG-15822)
+  PATCH Добавлены значения по умолчанию для времени при выборе даты в календаре, для начала (00:00:00) - для конца (23:59:59).
+
+### Исправлено
+
+- [EDUKNDG-15822](https://jira.bars.group/browse/EDUKNDG-15822)
+  PATCH Исправлены валидаторы полей периода сбора и экспорта данных.
+
+
+## [3.22.6] - 2025-10-21
+
+Для оптимизации работы были добавлены manage-команды 
+- для запуска отправки файлов в витрину custom_upload_files
+- для проверки статусов в витрину custom_check_upload_status 
+
+Было добавлено новое значение IN_EXPORT в RDMExportingDataSubStageStatus
+Был добавлен новый вид очереди отправки на базе словаря RdmDictBasedSubStageAttachmentQueue, для того, чтобы исключить
+нагрузку на БД Redis.
+
+### Исправлено
+
+- [EDUSCHL-24340](https://jira.bars.group/browse/EDUSCHL-24340)
+  PATCH Добавлены изменения сделанные в рамках версии пакета 3.20.3.
+
+
+## [3.22.5] - 2025-10-17
+
+Выполнено переупорядочивание миграций приложения `edu_rdm_integration_export_data_stage` 
+для корректного применения изменений внешнего ключа.
+
+### Исправлено
+
+- [EDUDEVOPS-98](https://jira.bars.group/browse/EDUDEVOPS-98)
+  PATCH Произведена корректировка порядка миграций в приложении `edu_rdm_integration_export_data_stage`
+    для корректных изменений внешнего ключа.
+
+
 ## [3.22.4] - 2025-10-15
 
 Исправлена миграция обновления поведения внешних ключей в БД с логикой моделей, для приложения:
@@ -135,6 +195,22 @@ BaseRDMModel -> BaseAdditionalRDMModel.
   ```
 
 
+## [3.21.3] - 2025-10-21
+
+Для оптимизации работы были добавлены manage-команды 
+- для запуска отправки файлов в витрину custom_upload_files
+- для проверки статусов в витрину custom_check_upload_status 
+
+Было добавлено новое значение IN_EXPORT в RDMExportingDataSubStageStatus
+Был добавлен новый вид очереди отправки на базе словаря RdmDictBasedSubStageAttachmentQueue, для того, чтобы исключить
+нагрузку на БД Redis.
+
+### Исправлено
+
+- [EDUSCHL-24340](https://jira.bars.group/browse/EDUSCHL-24340)
+  PATCH Добавлены изменения сделанные в рамках версии пакета 3.20.3.
+
+
 ## [3.21.2] - 2025-10-14
 
 Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
@@ -171,6 +247,22 @@ BaseRDMModel -> BaseAdditionalRDMModel.
   MINOR Переименование m3-django-compat в m3-django-compatibility.
 
 
+## [3.20.3] - 2025-10-21
+
+Для оптимизации работы были добавлены manage-команды 
+- для запуска отправки файлов в витрину custom_upload_files
+- для проверки статусов в витрину custom_check_upload_status 
+
+Было добавлено новое значение IN_EXPORT в RDMExportingDataSubStageStatus
+Был добавлен новый вид очереди отправки на базе словаря RdmDictBasedSubStageAttachmentQueue, для того, чтобы исключить
+нагрузку на БД Redis
+
+### Исправлено
+
+- [EDUSCHL-24340](https://jira.bars.group/browse/EDUSCHL-24340)
+  PATCH Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
+
 ## [3.20.2] - 2025-10-14
 
 Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
@@ -179,7 +271,7 @@ BaseRDMModel -> BaseAdditionalRDMModel.
 
 - [EDUSCHL-24360](https://jira.bars.group/browse/EDUSCHL-24360)
   PATCH Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
-
+ 
 
 ## [3.20.1] - 2025-10-12
 

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.22.4
+Version: 3.22.8
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/core/consts.py

@@ -39,3 +39,6 @@ ACADEMIC_YEAR = {
 TASK_QUEUE_NAME = 'RDM'
 FAST_TRANSFER_TASK_QUEUE_NAME = 'RDM_FAST'
 LONG_TRANSFER_TASK_QUEUE_NAME = 'RDM_LONG'
+
+# Лаг по времени между сбором и экспортом при работе с репликам (в секундах)
+PAUSE_TIME = 15

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/pipelines/transfer/tasks.py

@@ -1,3 +1,4 @@
+import time
 from datetime import (
     datetime,
 )
@@ -37,6 +38,7 @@ from educommon.utils.date import (
 from edu_rdm_integration.core.consts import (
     FAST_TRANSFER_TASK_QUEUE_NAME,
     LONG_TRANSFER_TASK_QUEUE_NAME,
+    PAUSE_TIME,
     TASK_QUEUE_NAME,
 )
 from edu_rdm_integration.core.enums import (
@@ -206,6 +208,9 @@ class BaseTransferLatestEntitiesDataPeriodicTask(BaseTransferLatestEntitiesDataM
 
                         continue
 
+            # Лаг времени для достаки данных в реплику
+            time.sleep(PAUSE_TIME)
+
             try:
                 if export_enabled:
                     self._run_export_entity_data(entity_enum.key, task_id)

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js

@@ -1,7 +1,9 @@
 {% load educommon %}
 {% include "ui-js/validators.js" %}
+{% include "ui-js/collect-and-export-validators.js" %}
 
-var win = Ext.getCmp('{{ component.client_id }}');
+var logsPeriodStartField = Ext.getCmp('logs_period_started_at');
+var logsPeriodEndField = Ext.getCmp('logs_period_ended_at');
 
 Ext.onReady(function() {
     // Инициализация валидаторов
@@ -41,24 +43,11 @@ function initializeValidators() {
         });
     }
 
-    // Устанавливаем текущую дату и время как максимальное значение
-    // и выполняем валидацию каждую секунду
-    var validationInterval = setInterval(function() {
-        var now = new Date();
-
-        logsPeriodStartField.setMaxValue(now);
-        logsPeriodEndField.setMaxValue(now);
-
-        logsPeriodStartField.validate();
-        logsPeriodEndField.validate();
-    }, 1000);
-
-    win.on('destroy', function() {
-        clearInterval(validationInterval);
-    });
-
-    logsPeriodStartField.validator = logsPeriodsValidator;
-    logsPeriodEndField.validator = logsPeriodsValidator;
+    // Устанавливаем время по умолчанию в календаре и доп валидатор
+    setupPeriodFields(
+        logsPeriodStartField,
+        logsPeriodEndField,
+    );
 }
 
 function initializeBatchSizeSplitByLogic() {

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/validators.js

@@ -47,20 +47,5 @@ var instituteCountValidator = function() {
     }
     
     this.clearInvalid();
-    return true;
-};
-
-var logsPeriodStartField = Ext.getCmp('logs_period_started_at');
-var logsPeriodEndField = Ext.getCmp('logs_period_ended_at');
-
-var logsPeriodsValidator = function () {
-    if (
-        logsPeriodStartField.getValue() &&
-        logsPeriodEndField.getValue() &&
-        logsPeriodStartField.getValue() > logsPeriodEndField.getValue()
-    ) {
-        return 'Дата конца периода не может быть меньше даты начала периода'
-    };
-
     return true;
 };

edu_rdm_integration-3.22.4/src/edu_rdm_integration/stages/export_data/migrations/0004_alter_rdmexportingdatasubstageattachment_exporting_data_sub_stage.py → edu_rdm_integration-3.22.8/src/edu_rdm_integration/stages/export_data/migrations/0003_alter_rdmexportingdatasubstageattachment_exporting_data_sub_stage.py

@@ -1,4 +1,4 @@
-# Generated by Django 3.2.24 on 2025-10-14 10:33
+# Generated by Django 3.2.24 on 2025-10-17 14:11
 
 import django.db.models.deletion
 from django.db import (
@@ -10,7 +10,7 @@ from django.db import (
 class Migration(migrations.Migration):
 
     dependencies = [
-        ('edu_rdm_integration_export_data_stage', '0003_fix_fk_constraints'),
+        ('edu_rdm_integration_export_data_stage', '0002_auto_20250704_0810'),
     ]
 
     operations = [

edu_rdm_integration-3.22.4/src/edu_rdm_integration/stages/export_data/migrations/0003_fix_fk_constraints.py → edu_rdm_integration-3.22.8/src/edu_rdm_integration/stages/export_data/migrations/0004_fix_fk_constraints.py

@@ -1,4 +1,4 @@
-# Generated by Django 3.2.24 on 2025-10-08 14:44
+# Generated by Django 3.2.24 on 2025-10-17 14:15
 
 from django.db import (
     migrations,
@@ -68,9 +68,9 @@ def apply_fk_updates(apps, schema_editor):
 class Migration(migrations.Migration):
 
     dependencies = [
-        ('edu_rdm_integration_export_data_stage', '0002_auto_20250704_0810'),
+        ('edu_rdm_integration_export_data_stage', '0003_alter_rdmexportingdatasubstageattachment_exporting_data_sub_stage'),
     ]
 
     operations = [
         migrations.RunPython(apply_fk_updates, reverse_code=migrations.RunPython.noop),
-    ]
+    ]

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/export_data/models.py

@@ -168,6 +168,10 @@ class RDMExportingDataSubStageStatus(TitledModelEnum):
     )
     PROCESS_ERROR = ModelEnumValue(title='Ошибка обработки витриной')
 
+    IN_EXPORT =  ModelEnumValue(
+        title='Экспортируется',
+    )
+
     class Meta:
         db_table = 'rdm_exporting_data_sub_stage_status'
         verbose_name = 'Модель-перечисление статусов подэтапа выгрузки данных'

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/export_data/registry/actions.py

@@ -228,7 +228,8 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             ready_sub_stages=Subquery(
                 RDMExportingDataSubStage.objects.filter(
                     stage_id=OuterRef('stage_id'),
-                    status=RDMExportingDataSubStageStatus.READY_FOR_EXPORT.key,
+                    status__in=(RDMExportingDataSubStageStatus.READY_FOR_EXPORT.key,
+                                RDMExportingDataSubStageStatus.IN_EXPORT.key)
                 )
                 .annotate(
                     ready_count=Func(F('id'), function='Count', output_field=IntegerField()),

edu_rdm_integration-3.22.8/src/edu_rdm_integration/stages/export_data/registry/templates/ui-js/create-export-command-win.js

@@ -0,0 +1,25 @@
+{% include "ui-js/collect-and-export-validators.js" %}
+
+var periodStartField = Ext.getCmp('period_started_at');
+var periodEndField = Ext.getCmp('period_ended_at');
+
+Ext.onReady(function() {
+    // Инициализация валидаторов
+    initializeValidators();
+});
+
+function initializeValidators() {
+    // Установка максимальной даты (завтра 23:59:59)
+    const maxDate = new Date();
+    maxDate.setDate(maxDate.getDate() + 1);
+    maxDate.setHours(23, 59, 59);
+
+    periodStartField.setMaxValue(maxDate);
+    periodEndField.setMaxValue(maxDate);
+
+    // Устанавливаем время по умолчанию в календаре и доп валидатор
+    setupPeriodFields(
+        periodStartField,
+        periodEndField,
+    );
+}

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/service/service_outdated_data/cleaners/collect_data.py

@@ -21,15 +21,10 @@ from educommon.utils.seqtools import (
     make_chunks,
 )
 
-from web_edu.plugins.regional_data_mart_integration.models import (
-    LessonClass,
-)
-
 from .base import (
     BaseServiceOutdatedDataCleaner,
 )
 from .consts import (
-    OLD_RDM_MODEL,
     UNION_CHUNK_SIZE,
 )
 
@@ -49,14 +44,12 @@ class CollectingDataSubStageCleaner(BaseServiceOutdatedDataCleaner):
     def _get_valid_substage_ids_subquery(self) -> Optional[Subquery]:
         """Подзапрос, возвращающий все допустимые collecting_sub_stage_id из моделей, описанных в RDMModelEnum."""
         model_enum_values = RDMModelEnum.get_model_enum_values()
-        all_model = [model_enum.model for model_enum in model_enum_values] + OLD_RDM_MODEL
+        all_model = [model_enum.model for model_enum in model_enum_values]
         chunk_queries = []
 
         for enum_values_chunk in make_chunks(all_model, UNION_CHUNK_SIZE, is_list=True):
             qs_list = []
             for model_cls in enum_values_chunk:
-                if model_cls in [LessonClass]:
-                    continue
                 try:
                     model_cls._meta.get_field('collecting_sub_stage_id')
                 except FieldDoesNotExist:

edu_rdm_integration-3.22.8/src/edu_rdm_integration/stages/service/service_outdated_data/cleaners/consts.py

@@ -0,0 +1 @@
+UNION_CHUNK_SIZE = 5

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/service/service_outdated_data/cleaners/export_data.py

@@ -28,7 +28,6 @@ from .base import (
     ServiceFileCleaner,
 )
 from .consts import (
-    OLD_RDM_MODEL,
     UNION_CHUNK_SIZE,
 )
 
@@ -47,7 +46,7 @@ class ExportingDataSubStageCleaner(BaseServiceOutdatedDataCleaner):
     def _get_valid_substage_ids_subquery(self) -> Optional[Subquery]:
         """Подзапрос, возвращающий все допустимые exporting_sub_stage_id из моделей, описанных в RDMModelEnum."""
         model_enum_values = RDMModelEnum.get_model_enum_values()
-        all_model = [model_enum.model for model_enum in model_enum_values] + OLD_RDM_MODEL
+        all_model = [model_enum.model for model_enum in model_enum_values]
         chunk_queries = []
 
         for enum_values_chunk in make_chunks(all_model, UNION_CHUNK_SIZE, is_list=True):

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/upload_data/enums.py

@@ -9,9 +9,11 @@ class FileUploadStatusEnum(BaseEnumerate):
     IN_PROGRESS = 1
     FINISHED = 2
     ERROR = 3
+    IN_CHECK = 4
 
     values = {
         IN_PROGRESS: 'В процессе загрузки в витрину',
         FINISHED: 'Загрузка в витрину закончена',
         ERROR: 'Ошибка загрузки в витрину',
+        IN_CHECK: 'На проверке'
     }

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/upload_data/export_managers.py

@@ -106,11 +106,13 @@ class ExportQueueSender:
 
     def get_sub_stages_attachments_to_export(self):
         """Выборка готовых к экспорту подэтапов."""
-        sub_stage_ids = (
+        sub_stage_ids = set(
             RDMExportingDataSubStage.objects.filter(self._make_stage_filter())
             .order_by('started_at')
             .values_list('id', flat=True)[: self.limit]
         )
+        RDMExportingDataSubStage.objects.filter(id__in=sub_stage_ids).update(
+            status=RDMExportingDataSubStageStatus.IN_EXPORT.key)
 
         return (
             RDMExportingDataSubStage.objects.filter(id__in=sub_stage_ids)

edu_rdm_integration-3.22.8/src/edu_rdm_integration/stages/upload_data/management/commands/custom_check_upload_status.py

@@ -0,0 +1,59 @@
+from time import (
+    sleep,
+)
+from typing import (
+    TYPE_CHECKING,
+    Any,
+)
+
+from django.core.cache import (
+    cache,
+)
+from django.core.management.base import (
+    BaseCommand,
+)
+
+from edu_rdm_integration.core.consts import (
+    BATCH_SIZE,
+)
+from edu_rdm_integration.stages.upload_data.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.stages.upload_data.helpers import (
+    UploadStatusHelper,
+)
+from edu_rdm_integration.stages.upload_data.models import (
+    RDMExportingDataSubStageUploaderClientLog,
+)
+
+
+class Command(BaseCommand):
+    """Команда для отправки данных в витрину параллельно-последовательно. В рамках скрипта последовательно,
+    параллельно количетвом запусков команды."""
+
+    help = 'Команда для отправки данных в витрину параллельно-последовательно'  # noqa: A003
+
+
+    def handle(self, *args: tuple[Any], **kwargs: dict[str, Any]) -> None:
+        """Обработчик команды."""
+        while True:
+            self.stdout.write(f'Начало проверки статуса загрузки данных в витрину..')
+
+            # Получаем незавершенные загрузки данных в витрину
+            in_progress_uploads = RDMExportingDataSubStageUploaderClientLog.objects.filter(
+                file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+                is_emulation=False,
+            ).select_related('attachment')[:BATCH_SIZE]
+
+            for upload in in_progress_uploads:
+                upload.file_upload_status = FileUploadStatusEnum.IN_CHECK
+
+            RDMExportingDataSubStageUploaderClientLog.objects.bulk_update(in_progress_uploads, fields=['file_upload_status'])
+
+            self.stdout.write(f'Обновление статуса загрузки данных в витрину на {FileUploadStatusEnum.IN_CHECK}..')
+
+            UploadStatusHelper(in_progress_uploads, cache).run()
+
+            sleep(10)
+
+            self.stdout.write(f'Окончание проверки статуса загрузки данных в витрину.\n\n')

edu_rdm_integration-3.22.8/src/edu_rdm_integration/stages/upload_data/management/commands/custom_upload_files.py

@@ -0,0 +1,45 @@
+from time import sleep
+from typing import (
+    Any,
+)
+
+from django.core.management.base import (
+    BaseCommand,
+)
+
+from django.core.cache import (
+    cache,
+)
+
+from edu_rdm_integration.stages.upload_data.operations import (
+    UploadData,
+)
+from edu_rdm_integration.stages.upload_data.queues import (
+    RdmDictBasedSubStageAttachmentQueue
+)
+
+
+class Command(BaseCommand):
+    """Команда для отправки данных в витрину параллельно-последовательно. В рамках скрипта последовательно,
+    параллельно количетвом запусков команды."""
+
+    help = 'Команда для отправки данных в витрину параллельно-последовательно'  # noqa: A003
+
+
+    def handle(self, *args: tuple[Any], **kwargs: dict[str, Any]) -> None:
+        """Обработчик команды."""
+        while True:
+            self.stdout.write(f'Начало отправки данных в витрину')
+
+            queue = RdmDictBasedSubStageAttachmentQueue()
+            upload_data = UploadData(
+                data_cache=cache,
+                queue=queue,
+            )
+
+            upload_result = upload_data.upload_data()
+
+            sleep(40)
+
+            self.stdout.write(f'Общий объем отправленных файлов {upload_result["total_file_size"]}')
+            self.stdout.write(f'Сущности, отправленные в витрину {upload_result["uploaded_entities"]}')

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/upload_data/queues.py

@@ -1,8 +1,12 @@
 import json
+import uuid
 from abc import (
     ABC,
     abstractmethod,
 )
+from collections import (
+    defaultdict,
+)
 from typing import (
     Any,
     Union,
@@ -66,8 +70,6 @@ class RdmRedisSubStageAttachmentQueue(Queue):
     (Sorted Set in Redis)
     - Информация по файлам стандартно по ключу - ключом выступает sub_stage_id
     """
-
-    queue_key = 'rdm:export_sub_stage_ids_queue'
     prefix = 'rdm:'
 
     def __init__(self, *args, **kwargs):
@@ -81,6 +83,9 @@ class RdmRedisSubStageAttachmentQueue(Queue):
             password=settings.RDM_REDIS_PASSWORD,
         )
 
+        self.queue_key = f'rdm:export_sub_stage_ids_queue:{str(uuid.uuid4())[:4]}'
+
+
     def _make_key(self, key: Union[int, str]) -> str:
         """Формирование ключа."""
         return f'{self.prefix}{key}'
@@ -169,3 +174,46 @@ class RdmRedisSubStageAttachmentQueue(Queue):
         db = kwargs['db']
 
         return f'Redis {version} on {host}:{port}/{db}'
+
+
+class RdmDictBasedSubStageAttachmentQueue(Queue):
+    """Очередь файлов и подэтапов на основе словаря.
+
+    Данные хранятся следующим образом:
+    - Словарь вида (id подэтапа, сущность): список с данными по файлам.
+    Данные по файлу в именнованном кортеже UpladFile
+    {
+       (sub_stage_id,entity): [UploadFile1, UploadFile2],
+    }
+    """
+
+    def __init__(self, *args, **kwargs):
+        """Инициализация объекта очереди Queue."""
+        super().__init__(*args, **kwargs)
+
+        self.data = defaultdict(list)
+
+    @property
+    def count(self) -> int:
+        """Возвращает количество подэтапов в очереди."""
+        return len(self.data)
+
+    def enqueue(self, stage_id, entity_name: str, attachmets: list[UploadFile]) -> None:
+        """Помещение в очередь.
+
+        Подэтап попадает в упорядоченную очередь."""
+
+        self.data[(stage_id, entity_name)].extend(attachmets)
+
+    def dequeue(self) -> dict[tuple[Any, Any], list[UploadFile]]:
+        """Возвращает все данные из очереди."""
+        return self.data
+
+    def delete_from_queue(self, sub_stage_id: int, entity_name: str) -> None:
+        """Удаление элемента из очереди."""
+        self.data.get((sub_stage_id, entity_name))
+
+    def clear(self) -> None:
+        """Очистить очередь."""
+        self.data.clear()
+

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/upload_data/tasks.py

@@ -32,7 +32,7 @@ from edu_rdm_integration.stages.upload_data.operations import (
     UploadData,
 )
 from edu_rdm_integration.stages.upload_data.queues import (
-    RdmRedisSubStageAttachmentQueue,
+    RdmDictBasedSubStageAttachmentQueue
 )
 
 
@@ -81,7 +81,7 @@ class UploadDataAsyncTask(UniquePeriodicAsyncTask):
         """Выполнение."""
         super().process(*args, **kwargs)
 
-        queue = RdmRedisSubStageAttachmentQueue()
+        queue = RdmDictBasedSubStageAttachmentQueue()
         upload_data = UploadData(
             data_cache=cache,
             queue=queue,

{edu_rdm_integration-3.22.4 → edu_rdm_integration-3.22.8}/src/edu_rdm_integration/stages/utils.py

@@ -24,6 +24,18 @@ def update_foreign_key_constraint(
         on_delete (str): Поведение при удалении связанной записи.
     """
     with connection.cursor() as cursor:
+        # Проверяем существование таблиц
+        cursor.execute("""
+            SELECT EXISTS (
+                SELECT FROM information_schema.tables WHERE table_name = %s AND table_schema = 'public'
+            ) AND EXISTS (
+                SELECT FROM information_schema.tables WHERE table_name = %s AND table_schema = 'public'
+            );
+        """, [table_name, target_table])
+
+        if not cursor.fetchone()[0]:
+            return
+
         # Найти имя constraint'а
         cursor.execute(f"""
             SELECT conname

edu_rdm_integration-3.22.8/src/edu_rdm_integration/templates/ui-js/collect-and-export-validators.js

@@ -0,0 +1,54 @@
+function logsPeriodsValidator(startField, endField) {
+    if (
+        startField.getValue() &&
+        endField.getValue() &&
+        startField.getValue() > endField.getValue()
+    ) {
+        return 'Дата конца периода не может быть меньше даты начала периода';
+    }
+    return true;
+}
+
+function setupPeriodFields(startField, endField) {
+    // Функция валидации обоих полей
+    function validatePeriodFields() {
+        startField.validate();
+        endField.validate();
+    }
+
+    // Установка времени начала по умолчанию 00:00:00
+    function setDefaultStartTime() {
+        if (!startField.getValue()) {
+            const defaultDateTime = new Date();
+            defaultDateTime.setHours(0, 0, 0);
+            startField.setValue(defaultDateTime);
+        }
+    }
+
+    // Установка времени конца по умолчанию 23:59:59
+    function setDefaultEndTime() {
+        if (!endField.getValue()) {
+            const defaultDateTime = new Date();
+            defaultDateTime.setHours(23, 59, 59);
+            endField.setValue(defaultDateTime);
+        }
+    }
+
+    // Настройка обработчиков для поля начала периода
+    startField.menu.on('beforeshow', setDefaultStartTime);
+    startField.on('change', validatePeriodFields);
+    startField.on('select', validatePeriodFields);
+
+    // Настройка обработчиков для поля конца периода
+    endField.menu.on('beforeshow', setDefaultEndTime);
+    endField.on('change', validatePeriodFields);
+    endField.on('select', validatePeriodFields);
+
+    // Установка валидаторов
+    startField.validator = function() {
+        return logsPeriodsValidator(startField, endField);
+    };
+    endField.validator = function() {
+        return logsPeriodsValidator(startField, endField);
+    };
+}