edu-rdm-integration 3.21.0__py3-none-any.whl → 3.23.0__py3-none-any.whl

edu_rdm_integration/stages/service/service_outdated_data/managers.py

@@ -0,0 +1,80 @@
+from typing import (
+    Optional,
+)
+
+from edu_rdm_integration.stages.service.service_outdated_data.cleaners.collect_data import (
+    CollectingDataCommandProgressCleaner,
+    CollectingDataStageCleaner,
+    CollectingDataSubStageCleaner,
+)
+from edu_rdm_integration.stages.service.service_outdated_data.cleaners.export_data import (
+    ExportingDataCommandProgressCleaner,
+    ExportingDataStageCleaner,
+    ExportingDataSubStageAttachmentCleaner,
+    ExportingDataSubStageCleaner,
+    ExportingDataSubStageEntityCleaner,
+)
+from edu_rdm_integration.stages.service.service_outdated_data.cleaners.upload_data import (
+    EntryCleaner,
+    ExportingDataSubStageUploaderClientLogCleaner,
+    UploadStatusRequestLogCleaner,
+)
+from educommon import (
+    logger,
+)
+
+
+
+class ServiceOutdatedDataCleanerManager:
+    """Управляет очисткой устаревших сервисных данных по разным этапам."""
+
+    STAGES_MAPPING = {
+        'collect': [
+            CollectingDataSubStageCleaner,
+            CollectingDataStageCleaner,
+            CollectingDataCommandProgressCleaner,
+        ],
+        'export': [
+            ExportingDataSubStageCleaner,
+            ExportingDataStageCleaner,
+            ExportingDataSubStageAttachmentCleaner,
+            ExportingDataSubStageEntityCleaner,
+            ExportingDataCommandProgressCleaner,
+        ],
+        'upload': [
+            ExportingDataSubStageUploaderClientLogCleaner,
+            UploadStatusRequestLogCleaner,
+            EntryCleaner,
+        ],
+    }
+
+    def __init__(
+        self,
+        *args,
+        stages: Optional[list[str]]= None,
+        safe: bool = False,
+        log_sql: bool = False,
+        **kwargs
+    ):
+        """Инициализация менеджера."""
+        self._stages = stages
+        self._safe = safe
+        self._log_sql = log_sql
+
+        super().__init__(*args, **kwargs)
+
+    def _process_stage(self, stage: str):
+        """Запускает все зарегистрированные уборщики для указанного этапа."""
+        cleaners = self.STAGES_MAPPING.get(stage, [])
+        if not cleaners:
+            logger.info(f'Для этапа "{stage}" нет зарегистрированных уборщиков.')
+            return
+
+        for cleaner_cls in cleaners:
+            cleaner_cls(safe=self._safe, log_sql=self._log_sql).run()
+
+    def run(self):
+        """Запускает очистку устаревших данных сервисных моделей РВД."""
+        stages_to_process = self._stages or self.STAGES_MAPPING.keys()
+        for stage in stages_to_process:
+            self._process_stage(stage)

edu_rdm_integration/stages/upload_data/enums.py

@@ -9,9 +9,11 @@ class FileUploadStatusEnum(BaseEnumerate):
     IN_PROGRESS = 1
     FINISHED = 2
     ERROR = 3
+    IN_CHECK = 4
 
     values = {
         IN_PROGRESS: 'В процессе загрузки в витрину',
         FINISHED: 'Загрузка в витрину закончена',
         ERROR: 'Ошибка загрузки в витрину',
+        IN_CHECK: 'На проверке'
     }

edu_rdm_integration/stages/upload_data/export_managers.py

@@ -106,11 +106,13 @@ class ExportQueueSender:
 
     def get_sub_stages_attachments_to_export(self):
         """Выборка готовых к экспорту подэтапов."""
-        sub_stage_ids = (
+        sub_stage_ids = set(
             RDMExportingDataSubStage.objects.filter(self._make_stage_filter())
             .order_by('started_at')
             .values_list('id', flat=True)[: self.limit]
         )
+        RDMExportingDataSubStage.objects.filter(id__in=sub_stage_ids).update(
+            status=RDMExportingDataSubStageStatus.IN_EXPORT.key)
 
         return (
             RDMExportingDataSubStage.objects.filter(id__in=sub_stage_ids)

edu_rdm_integration/stages/upload_data/management/commands/custom_check_upload_status.py

@@ -0,0 +1,59 @@
+from time import (
+    sleep,
+)
+from typing import (
+    TYPE_CHECKING,
+    Any,
+)
+
+from django.core.cache import (
+    cache,
+)
+from django.core.management.base import (
+    BaseCommand,
+)
+
+from edu_rdm_integration.core.consts import (
+    BATCH_SIZE,
+)
+from edu_rdm_integration.stages.upload_data.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.stages.upload_data.helpers import (
+    UploadStatusHelper,
+)
+from edu_rdm_integration.stages.upload_data.models import (
+    RDMExportingDataSubStageUploaderClientLog,
+)
+
+
+class Command(BaseCommand):
+    """Команда для отправки данных в витрину параллельно-последовательно. В рамках скрипта последовательно,
+    параллельно количетвом запусков команды."""
+
+    help = 'Команда для отправки данных в витрину параллельно-последовательно'  # noqa: A003
+
+
+    def handle(self, *args: tuple[Any], **kwargs: dict[str, Any]) -> None:
+        """Обработчик команды."""
+        while True:
+            self.stdout.write(f'Начало проверки статуса загрузки данных в витрину..')
+
+            # Получаем незавершенные загрузки данных в витрину
+            in_progress_uploads = RDMExportingDataSubStageUploaderClientLog.objects.filter(
+                file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+                is_emulation=False,
+            ).select_related('attachment')[:BATCH_SIZE]
+
+            for upload in in_progress_uploads:
+                upload.file_upload_status = FileUploadStatusEnum.IN_CHECK
+
+            RDMExportingDataSubStageUploaderClientLog.objects.bulk_update(in_progress_uploads, fields=['file_upload_status'])
+
+            self.stdout.write(f'Обновление статуса загрузки данных в витрину на {FileUploadStatusEnum.IN_CHECK}..')
+
+            UploadStatusHelper(in_progress_uploads, cache).run()
+
+            sleep(10)
+
+            self.stdout.write(f'Окончание проверки статуса загрузки данных в витрину.\n\n')

edu_rdm_integration/stages/upload_data/management/commands/custom_upload_files.py

@@ -0,0 +1,45 @@
+from time import sleep
+from typing import (
+    Any,
+)
+
+from django.core.management.base import (
+    BaseCommand,
+)
+
+from django.core.cache import (
+    cache,
+)
+
+from edu_rdm_integration.stages.upload_data.operations import (
+    UploadData,
+)
+from edu_rdm_integration.stages.upload_data.queues import (
+    RdmDictBasedSubStageAttachmentQueue
+)
+
+
+class Command(BaseCommand):
+    """Команда для отправки данных в витрину параллельно-последовательно. В рамках скрипта последовательно,
+    параллельно количетвом запусков команды."""
+
+    help = 'Команда для отправки данных в витрину параллельно-последовательно'  # noqa: A003
+
+
+    def handle(self, *args: tuple[Any], **kwargs: dict[str, Any]) -> None:
+        """Обработчик команды."""
+        while True:
+            self.stdout.write(f'Начало отправки данных в витрину')
+
+            queue = RdmDictBasedSubStageAttachmentQueue()
+            upload_data = UploadData(
+                data_cache=cache,
+                queue=queue,
+            )
+
+            upload_result = upload_data.upload_data()
+
+            sleep(40)
+
+            self.stdout.write(f'Общий объем отправленных файлов {upload_result["total_file_size"]}')
+            self.stdout.write(f'Сущности, отправленные в витрину {upload_result["uploaded_entities"]}')

edu_rdm_integration/stages/upload_data/migrations/0003_auto_20251006_1417.py

@@ -0,0 +1,28 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:17
+
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('uploader_client', '0001_initial'),
+        ('edu_rdm_integration_upload_data_stage', '0002_auto_20250704_0810'),
+    ]
+
+    operations = [
+        migrations.AlterField(
+            model_name='rdmexportingdatasubstageuploaderclientlog',
+            name='entry',
+            field=models.ForeignKey(null=True, on_delete=django.db.models.deletion.SET_NULL, related_name='uploader_client_log', to='uploader_client.entry', verbose_name='Лог запроса и ответа'),
+        ),
+        migrations.AlterField(
+            model_name='rdmuploadstatusrequestlog',
+            name='entry',
+            field=models.ForeignKey(null=True, on_delete=django.db.models.deletion.SET_NULL, related_name='upload_status_request_log', to='uploader_client.entry', verbose_name='Cвязь запроса статуса с запросом в витрину'),
+        ),
+    ]

edu_rdm_integration/stages/upload_data/migrations/0004_fix_fk_constraints.py

@@ -0,0 +1,79 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:43
+
+from django.db import (
+    migrations,
+)
+
+from edu_rdm_integration.stages.utils import (
+    update_foreign_key_constraint,
+)
+
+
+def apply_fk_updates(apps, schema_editor):
+    """
+    Применяет обновления внешних ключей для конкретных моделей.
+
+    Здесь задаются таблицы и поведение при удалении записей,
+    чтобы синхронизировать фактическое состояние БД с логикой моделей.
+    """
+    Entry = apps.get_model('uploader_client', 'Entry')
+    RDMExportingDataSubStage = apps.get_model('edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStage')
+    RDMExportingDataSubStageAttachment = apps.get_model(
+        'edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStageAttachment'
+    )
+    RDMExportingDataSubStageUploaderClientLog = apps.get_model(
+        'edu_rdm_integration_upload_data_stage', 'RDMExportingDataSubStageUploaderClientLog'
+    )
+    # Модель: RDMExportingDataSubStageUploaderClientLog
+    # Поле sub_stage_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageUploaderClientLog._meta.db_table,
+        field_name="sub_stage_id",
+        target_table=RDMExportingDataSubStage._meta.db_table,
+        on_delete="CASCADE",
+    )
+    # Модель: RDMExportingDataSubStageUploaderClientLog
+    # Поле attachment_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageUploaderClientLog._meta.db_table,
+        field_name="attachment_id",
+        target_table=RDMExportingDataSubStageAttachment._meta.db_table,
+        on_delete="CASCADE",
+    )
+    # Модель: RDMExportingDataSubStageUploaderClientLog
+    # Поле entry_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageUploaderClientLog._meta.db_table,
+        field_name="entry_id",
+        target_table=Entry._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+    RDMUploadStatusRequestLog = apps.get_model('edu_rdm_integration_upload_data_stage', 'RDMUploadStatusRequestLog')
+    # Модель: RDMUploadStatusRequestLog
+    # Поле upload_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMUploadStatusRequestLog._meta.db_table,
+        field_name="upload_id",
+        target_table=RDMExportingDataSubStageUploaderClientLog._meta.db_table,
+        on_delete="CASCADE",
+    )
+    # Модель: RDMUploadStatusRequestLog
+    # Поле entry_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMUploadStatusRequestLog._meta.db_table,
+        field_name="entry_id",
+        target_table=Entry._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_upload_data_stage', '0003_auto_20251006_1417'),
+    ]
+
+    operations = [
+        migrations.RunPython(apply_fk_updates, reverse_code=migrations.RunPython.noop),
+    ]

edu_rdm_integration/stages/upload_data/models.py

@@ -1,6 +1,7 @@
 from django.db.models import (
     CASCADE,
     PROTECT,
+    SET_NULL,
     BooleanField,
     CharField,
     DateTimeField,
@@ -91,7 +92,8 @@ class RDMExportingDataSubStageUploaderClientLog(ReprStrPreModelMixin, BaseObject
     entry = ForeignKey(
         to=Entry,
         verbose_name='Лог запроса и ответа',
-        on_delete=CASCADE,
+        on_delete=SET_NULL,
+        null=True,
         related_name='uploader_client_log',
     )
 
@@ -158,7 +160,8 @@ class RDMUploadStatusRequestLog(ReprStrPreModelMixin, BaseObjectModel):
     entry = ForeignKey(
         verbose_name='Cвязь запроса статуса с запросом в витрину',
         to=Entry,
-        on_delete=CASCADE,
+        null=True,
+        on_delete=SET_NULL,
         related_name='upload_status_request_log',
     )
     request_status = ForeignKey(

edu_rdm_integration/stages/upload_data/queues.py

@@ -1,8 +1,12 @@
 import json
+import uuid
 from abc import (
     ABC,
     abstractmethod,
 )
+from collections import (
+    defaultdict,
+)
 from typing import (
     Any,
     Union,
@@ -66,8 +70,6 @@ class RdmRedisSubStageAttachmentQueue(Queue):
     (Sorted Set in Redis)
     - Информация по файлам стандартно по ключу - ключом выступает sub_stage_id
     """
-
-    queue_key = 'rdm:export_sub_stage_ids_queue'
     prefix = 'rdm:'
 
     def __init__(self, *args, **kwargs):
@@ -81,6 +83,9 @@ class RdmRedisSubStageAttachmentQueue(Queue):
             password=settings.RDM_REDIS_PASSWORD,
         )
 
+        self.queue_key = f'rdm:export_sub_stage_ids_queue:{str(uuid.uuid4())[:4]}'
+
+
     def _make_key(self, key: Union[int, str]) -> str:
         """Формирование ключа."""
         return f'{self.prefix}{key}'
@@ -169,3 +174,46 @@ class RdmRedisSubStageAttachmentQueue(Queue):
         db = kwargs['db']
 
         return f'Redis {version} on {host}:{port}/{db}'
+
+
+class RdmDictBasedSubStageAttachmentQueue(Queue):
+    """Очередь файлов и подэтапов на основе словаря.
+
+    Данные хранятся следующим образом:
+    - Словарь вида (id подэтапа, сущность): список с данными по файлам.
+    Данные по файлу в именнованном кортеже UpladFile
+    {
+       (sub_stage_id,entity): [UploadFile1, UploadFile2],
+    }
+    """
+
+    def __init__(self, *args, **kwargs):
+        """Инициализация объекта очереди Queue."""
+        super().__init__(*args, **kwargs)
+
+        self.data = defaultdict(list)
+
+    @property
+    def count(self) -> int:
+        """Возвращает количество подэтапов в очереди."""
+        return len(self.data)
+
+    def enqueue(self, stage_id, entity_name: str, attachmets: list[UploadFile]) -> None:
+        """Помещение в очередь.
+
+        Подэтап попадает в упорядоченную очередь."""
+
+        self.data[(stage_id, entity_name)].extend(attachmets)
+
+    def dequeue(self) -> dict[tuple[Any, Any], list[UploadFile]]:
+        """Возвращает все данные из очереди."""
+        return self.data
+
+    def delete_from_queue(self, sub_stage_id: int, entity_name: str) -> None:
+        """Удаление элемента из очереди."""
+        self.data.get((sub_stage_id, entity_name))
+
+    def clear(self) -> None:
+        """Очистить очередь."""
+        self.data.clear()
+

edu_rdm_integration/stages/upload_data/tasks.py

@@ -32,7 +32,7 @@ from edu_rdm_integration.stages.upload_data.operations import (
     UploadData,
 )
 from edu_rdm_integration.stages.upload_data.queues import (
-    RdmRedisSubStageAttachmentQueue,
+    RdmDictBasedSubStageAttachmentQueue
 )
 
 
@@ -81,7 +81,7 @@ class UploadDataAsyncTask(UniquePeriodicAsyncTask):
         """Выполнение."""
         super().process(*args, **kwargs)
 
-        queue = RdmRedisSubStageAttachmentQueue()
+        queue = RdmDictBasedSubStageAttachmentQueue()
         upload_data = UploadData(
             data_cache=cache,
             queue=queue,

edu_rdm_integration/stages/utils.py

@@ -0,0 +1,61 @@
+from django.db import (
+    connection,
+)
+
+
+def update_foreign_key_constraint(
+    table_name: str,
+    field_name: str,
+    target_table: str,
+    on_delete: str,
+):
+    """
+    Обновляет внешний ключ (FOREIGN KEY) в PostgreSQL.
+
+    Выполняет:
+      1. Поиск существующего constraint'а по таблице и целевой модели.
+      2. Удаление найденного constraint'а.
+      3. Создание нового constraint'а с заданным ON DELETE.
+
+    Args:
+        table_name (str): Имя таблицы, содержащей внешний ключ.
+        field_name (str): Имя поля внешнего ключа.
+        target_table (str): Таблица, на которую указывает внешний ключ.
+        on_delete (str): Поведение при удалении связанной записи.
+    """
+    with connection.cursor() as cursor:
+        # Проверяем существование таблиц
+        cursor.execute("""
+            SELECT EXISTS (
+                SELECT FROM information_schema.tables WHERE table_name = %s AND table_schema = 'public'
+            ) AND EXISTS (
+                SELECT FROM information_schema.tables WHERE table_name = %s AND table_schema = 'public'
+            );
+        """, [table_name, target_table])
+
+        if not cursor.fetchone()[0]:
+            return
+
+        # Найти имя constraint'а
+        cursor.execute(f"""
+            SELECT conname
+            FROM pg_constraint
+            WHERE conrelid = '{table_name}'::regclass
+              AND confrelid = '{target_table}'::regclass
+              AND contype = 'f'
+        """)
+        row = cursor.fetchone()
+        if not row:
+            return
+
+        constraint_name = row[0]
+
+        # Удалить старый constraint, Добавить новый constraint с нужным ON DELETE
+        cursor.execute(f'''
+            ALTER TABLE "{table_name}"
+            DROP CONSTRAINT IF EXISTS "{constraint_name}",
+            ADD CONSTRAINT "{constraint_name}"
+            FOREIGN KEY ("{field_name}")
+            REFERENCES "{target_table}"(id)
+            ON DELETE {on_delete};
+        ''')

edu_rdm_integration/templates/ui-js/collect-and-export-validators.js

@@ -0,0 +1,54 @@
+function logsPeriodsValidator(startField, endField) {
+    if (
+        startField.getValue() &&
+        endField.getValue() &&
+        startField.getValue() > endField.getValue()
+    ) {
+        return 'Дата конца периода не может быть меньше даты начала периода';
+    }
+    return true;
+}
+
+function setupPeriodFields(startField, endField) {
+    // Функция валидации обоих полей
+    function validatePeriodFields() {
+        startField.validate();
+        endField.validate();
+    }
+
+    // Установка времени начала по умолчанию 00:00:00
+    function setDefaultStartTime() {
+        if (!startField.getValue()) {
+            const defaultDateTime = new Date();
+            defaultDateTime.setHours(0, 0, 0);
+            startField.setValue(defaultDateTime);
+        }
+    }
+
+    // Установка времени конца по умолчанию 23:59:59
+    function setDefaultEndTime() {
+        if (!endField.getValue()) {
+            const defaultDateTime = new Date();
+            defaultDateTime.setHours(23, 59, 59);
+            endField.setValue(defaultDateTime);
+        }
+    }
+
+    // Настройка обработчиков для поля начала периода
+    startField.menu.on('beforeshow', setDefaultStartTime);
+    startField.on('change', validatePeriodFields);
+    startField.on('select', validatePeriodFields);
+
+    // Настройка обработчиков для поля конца периода
+    endField.menu.on('beforeshow', setDefaultEndTime);
+    endField.on('change', validatePeriodFields);
+    endField.on('select', validatePeriodFields);
+
+    // Установка валидаторов
+    startField.validator = function() {
+        return logsPeriodsValidator(startField, endField);
+    };
+    endField.validator = function() {
+        return logsPeriodsValidator(startField, endField);
+    };
+}