edu-rdm-integration 3.22.1__py3-none-any.whl → 3.23.0__py3-none-any.whl

edu_rdm_integration/stages/service/service_outdated_data/cleaners/collect_data.py

@@ -21,15 +21,10 @@ from educommon.utils.seqtools import (
     make_chunks,
 )
 
-from web_edu.plugins.regional_data_mart_integration.models import (
-    LessonClass,
-)
-
 from .base import (
     BaseServiceOutdatedDataCleaner,
 )
 from .consts import (
-    OLD_RDM_MODEL,
     UNION_CHUNK_SIZE,
 )
 
@@ -49,14 +44,12 @@ class CollectingDataSubStageCleaner(BaseServiceOutdatedDataCleaner):
     def _get_valid_substage_ids_subquery(self) -> Optional[Subquery]:
         """Подзапрос, возвращающий все допустимые collecting_sub_stage_id из моделей, описанных в RDMModelEnum."""
         model_enum_values = RDMModelEnum.get_model_enum_values()
-        all_model = [model_enum.model for model_enum in model_enum_values] + OLD_RDM_MODEL
+        all_model = [model_enum.model for model_enum in model_enum_values]
         chunk_queries = []
 
         for enum_values_chunk in make_chunks(all_model, UNION_CHUNK_SIZE, is_list=True):
             qs_list = []
             for model_cls in enum_values_chunk:
-                if model_cls in [LessonClass]:
-                    continue
                 try:
                     model_cls._meta.get_field('collecting_sub_stage_id')
                 except FieldDoesNotExist:

edu_rdm_integration/stages/service/service_outdated_data/cleaners/consts.py

@@ -1,12 +1 @@
-from web_edu.plugins.regional_data_mart_integration.models.homework import Homework
-from web_edu.plugins.regional_data_mart_integration.models.homework_material import HomeworkMaterial
-from web_edu.plugins.regional_data_mart_integration.models.homework_student import HomeworkStudent
-
-
 UNION_CHUNK_SIZE = 5
-
-OLD_RDM_MODEL = [
-    HomeworkStudent,
-    HomeworkMaterial,
-    Homework,
-]

edu_rdm_integration/stages/service/service_outdated_data/cleaners/export_data.py

@@ -25,9 +25,9 @@ from educommon.utils.seqtools import (
 
 from .base import (
     BaseServiceOutdatedDataCleaner,
+    ServiceFileCleaner,
 )
 from .consts import (
-    OLD_RDM_MODEL,
     UNION_CHUNK_SIZE,
 )
 
@@ -46,7 +46,7 @@ class ExportingDataSubStageCleaner(BaseServiceOutdatedDataCleaner):
     def _get_valid_substage_ids_subquery(self) -> Optional[Subquery]:
         """Подзапрос, возвращающий все допустимые exporting_sub_stage_id из моделей, описанных в RDMModelEnum."""
         model_enum_values = RDMModelEnum.get_model_enum_values()
-        all_model = [model_enum.model for model_enum in model_enum_values] + OLD_RDM_MODEL
+        all_model = [model_enum.model for model_enum in model_enum_values]
         chunk_queries = []
 
         for enum_values_chunk in make_chunks(all_model, UNION_CHUNK_SIZE, is_list=True):
@@ -102,15 +102,35 @@ class ExportingDataStageCleaner(BaseServiceOutdatedDataCleaner):
         return self.get_orphan_reference_condition(sub_stage_table, 'stage_id')
 
 
-class ExportingDataSubStageAttachmentCleaner(BaseServiceOutdatedDataCleaner):
+class ExportingDataSubStageAttachmentCleaner(ServiceFileCleaner, BaseServiceOutdatedDataCleaner):
     """Очистка вложений подэтапов выгрузки данных."""
 
     model = RDMExportingDataSubStageAttachment
 
+    REMOVE_OUTDATED_DATA_SQL = """
+        WITH deleted_rows AS (
+            DELETE FROM {table_name}
+            WHERE id IN (
+                WITH tbl AS (
+                    SELECT *
+                    FROM {table_name}
+                    WHERE id >= {first_id}
+                        AND id <= {last_id}
+                )
+                SELECT tbl.id
+                FROM tbl
+                WHERE {conditions}
+            )
+            RETURNING attachment AS file_path
+        )
+        SELECT file_path FROM deleted_rows;
+    """
+
     def get_merged_conditions(self) -> str:
         """Формирует условие удаления для устаревших данных."""
         sub_stage_table = ExportingDataSubStageCleaner.get_table_name()
         conditions = [
+            'exporting_data_sub_stage_id IS NULL',
             f'({self.get_status_condition(sub_stage_table, "id", "FINISHED", 7, "exporting_data_sub_stage_id")})',
             f'({self.get_status_condition(sub_stage_table, "id", "FAILED",30, "exporting_data_sub_stage_id")})',
             f'({self.get_orphan_reference_condition(sub_stage_table, "id", "exporting_data_sub_stage_id")})',

edu_rdm_integration/stages/upload_data/enums.py

@@ -9,9 +9,11 @@ class FileUploadStatusEnum(BaseEnumerate):
     IN_PROGRESS = 1
     FINISHED = 2
     ERROR = 3
+    IN_CHECK = 4
 
     values = {
         IN_PROGRESS: 'В процессе загрузки в витрину',
         FINISHED: 'Загрузка в витрину закончена',
         ERROR: 'Ошибка загрузки в витрину',
+        IN_CHECK: 'На проверке'
     }

edu_rdm_integration/stages/upload_data/export_managers.py

@@ -106,11 +106,13 @@ class ExportQueueSender:
 
     def get_sub_stages_attachments_to_export(self):
         """Выборка готовых к экспорту подэтапов."""
-        sub_stage_ids = (
+        sub_stage_ids = set(
             RDMExportingDataSubStage.objects.filter(self._make_stage_filter())
             .order_by('started_at')
             .values_list('id', flat=True)[: self.limit]
         )
+        RDMExportingDataSubStage.objects.filter(id__in=sub_stage_ids).update(
+            status=RDMExportingDataSubStageStatus.IN_EXPORT.key)
 
         return (
             RDMExportingDataSubStage.objects.filter(id__in=sub_stage_ids)

edu_rdm_integration/stages/upload_data/management/commands/custom_check_upload_status.py

@@ -0,0 +1,59 @@
+from time import (
+    sleep,
+)
+from typing import (
+    TYPE_CHECKING,
+    Any,
+)
+
+from django.core.cache import (
+    cache,
+)
+from django.core.management.base import (
+    BaseCommand,
+)
+
+from edu_rdm_integration.core.consts import (
+    BATCH_SIZE,
+)
+from edu_rdm_integration.stages.upload_data.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.stages.upload_data.helpers import (
+    UploadStatusHelper,
+)
+from edu_rdm_integration.stages.upload_data.models import (
+    RDMExportingDataSubStageUploaderClientLog,
+)
+
+
+class Command(BaseCommand):
+    """Команда для отправки данных в витрину параллельно-последовательно. В рамках скрипта последовательно,
+    параллельно количетвом запусков команды."""
+
+    help = 'Команда для отправки данных в витрину параллельно-последовательно'  # noqa: A003
+
+
+    def handle(self, *args: tuple[Any], **kwargs: dict[str, Any]) -> None:
+        """Обработчик команды."""
+        while True:
+            self.stdout.write(f'Начало проверки статуса загрузки данных в витрину..')
+
+            # Получаем незавершенные загрузки данных в витрину
+            in_progress_uploads = RDMExportingDataSubStageUploaderClientLog.objects.filter(
+                file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+                is_emulation=False,
+            ).select_related('attachment')[:BATCH_SIZE]
+
+            for upload in in_progress_uploads:
+                upload.file_upload_status = FileUploadStatusEnum.IN_CHECK
+
+            RDMExportingDataSubStageUploaderClientLog.objects.bulk_update(in_progress_uploads, fields=['file_upload_status'])
+
+            self.stdout.write(f'Обновление статуса загрузки данных в витрину на {FileUploadStatusEnum.IN_CHECK}..')
+
+            UploadStatusHelper(in_progress_uploads, cache).run()
+
+            sleep(10)
+
+            self.stdout.write(f'Окончание проверки статуса загрузки данных в витрину.\n\n')

edu_rdm_integration/stages/upload_data/management/commands/custom_upload_files.py

@@ -0,0 +1,45 @@
+from time import sleep
+from typing import (
+    Any,
+)
+
+from django.core.management.base import (
+    BaseCommand,
+)
+
+from django.core.cache import (
+    cache,
+)
+
+from edu_rdm_integration.stages.upload_data.operations import (
+    UploadData,
+)
+from edu_rdm_integration.stages.upload_data.queues import (
+    RdmDictBasedSubStageAttachmentQueue
+)
+
+
+class Command(BaseCommand):
+    """Команда для отправки данных в витрину параллельно-последовательно. В рамках скрипта последовательно,
+    параллельно количетвом запусков команды."""
+
+    help = 'Команда для отправки данных в витрину параллельно-последовательно'  # noqa: A003
+
+
+    def handle(self, *args: tuple[Any], **kwargs: dict[str, Any]) -> None:
+        """Обработчик команды."""
+        while True:
+            self.stdout.write(f'Начало отправки данных в витрину')
+
+            queue = RdmDictBasedSubStageAttachmentQueue()
+            upload_data = UploadData(
+                data_cache=cache,
+                queue=queue,
+            )
+
+            upload_result = upload_data.upload_data()
+
+            sleep(40)
+
+            self.stdout.write(f'Общий объем отправленных файлов {upload_result["total_file_size"]}')
+            self.stdout.write(f'Сущности, отправленные в витрину {upload_result["uploaded_entities"]}')

edu_rdm_integration/stages/upload_data/migrations/0004_fix_fk_constraints.py

@@ -16,7 +16,7 @@ def apply_fk_updates(apps, schema_editor):
     Здесь задаются таблицы и поведение при удалении записей,
     чтобы синхронизировать фактическое состояние БД с логикой моделей.
     """
-    Entry = apps.get_model('smev_agent_client', 'Entry')
+    Entry = apps.get_model('uploader_client', 'Entry')
     RDMExportingDataSubStage = apps.get_model('edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStage')
     RDMExportingDataSubStageAttachment = apps.get_model(
         'edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStageAttachment'

edu_rdm_integration/stages/upload_data/queues.py

@@ -1,8 +1,12 @@
 import json
+import uuid
 from abc import (
     ABC,
     abstractmethod,
 )
+from collections import (
+    defaultdict,
+)
 from typing import (
     Any,
     Union,
@@ -66,8 +70,6 @@ class RdmRedisSubStageAttachmentQueue(Queue):
     (Sorted Set in Redis)
     - Информация по файлам стандартно по ключу - ключом выступает sub_stage_id
     """
-
-    queue_key = 'rdm:export_sub_stage_ids_queue'
     prefix = 'rdm:'
 
     def __init__(self, *args, **kwargs):
@@ -81,6 +83,9 @@ class RdmRedisSubStageAttachmentQueue(Queue):
             password=settings.RDM_REDIS_PASSWORD,
         )
 
+        self.queue_key = f'rdm:export_sub_stage_ids_queue:{str(uuid.uuid4())[:4]}'
+
+
     def _make_key(self, key: Union[int, str]) -> str:
         """Формирование ключа."""
         return f'{self.prefix}{key}'
@@ -169,3 +174,46 @@ class RdmRedisSubStageAttachmentQueue(Queue):
         db = kwargs['db']
 
         return f'Redis {version} on {host}:{port}/{db}'
+
+
+class RdmDictBasedSubStageAttachmentQueue(Queue):
+    """Очередь файлов и подэтапов на основе словаря.
+
+    Данные хранятся следующим образом:
+    - Словарь вида (id подэтапа, сущность): список с данными по файлам.
+    Данные по файлу в именнованном кортеже UpladFile
+    {
+       (sub_stage_id,entity): [UploadFile1, UploadFile2],
+    }
+    """
+
+    def __init__(self, *args, **kwargs):
+        """Инициализация объекта очереди Queue."""
+        super().__init__(*args, **kwargs)
+
+        self.data = defaultdict(list)
+
+    @property
+    def count(self) -> int:
+        """Возвращает количество подэтапов в очереди."""
+        return len(self.data)
+
+    def enqueue(self, stage_id, entity_name: str, attachmets: list[UploadFile]) -> None:
+        """Помещение в очередь.
+
+        Подэтап попадает в упорядоченную очередь."""
+
+        self.data[(stage_id, entity_name)].extend(attachmets)
+
+    def dequeue(self) -> dict[tuple[Any, Any], list[UploadFile]]:
+        """Возвращает все данные из очереди."""
+        return self.data
+
+    def delete_from_queue(self, sub_stage_id: int, entity_name: str) -> None:
+        """Удаление элемента из очереди."""
+        self.data.get((sub_stage_id, entity_name))
+
+    def clear(self) -> None:
+        """Очистить очередь."""
+        self.data.clear()
+

edu_rdm_integration/stages/upload_data/tasks.py

@@ -32,7 +32,7 @@ from edu_rdm_integration.stages.upload_data.operations import (
     UploadData,
 )
 from edu_rdm_integration.stages.upload_data.queues import (
-    RdmRedisSubStageAttachmentQueue,
+    RdmDictBasedSubStageAttachmentQueue
 )
 
 
@@ -81,7 +81,7 @@ class UploadDataAsyncTask(UniquePeriodicAsyncTask):
         """Выполнение."""
         super().process(*args, **kwargs)
 
-        queue = RdmRedisSubStageAttachmentQueue()
+        queue = RdmDictBasedSubStageAttachmentQueue()
         upload_data = UploadData(
             data_cache=cache,
             queue=queue,

edu_rdm_integration/stages/utils.py

@@ -24,6 +24,18 @@ def update_foreign_key_constraint(
         on_delete (str): Поведение при удалении связанной записи.
     """
     with connection.cursor() as cursor:
+        # Проверяем существование таблиц
+        cursor.execute("""
+            SELECT EXISTS (
+                SELECT FROM information_schema.tables WHERE table_name = %s AND table_schema = 'public'
+            ) AND EXISTS (
+                SELECT FROM information_schema.tables WHERE table_name = %s AND table_schema = 'public'
+            );
+        """, [table_name, target_table])
+
+        if not cursor.fetchone()[0]:
+            return
+
         # Найти имя constraint'а
         cursor.execute(f"""
             SELECT conname

edu_rdm_integration/templates/ui-js/collect-and-export-validators.js

@@ -0,0 +1,54 @@
+function logsPeriodsValidator(startField, endField) {
+    if (
+        startField.getValue() &&
+        endField.getValue() &&
+        startField.getValue() > endField.getValue()
+    ) {
+        return 'Дата конца периода не может быть меньше даты начала периода';
+    }
+    return true;
+}
+
+function setupPeriodFields(startField, endField) {
+    // Функция валидации обоих полей
+    function validatePeriodFields() {
+        startField.validate();
+        endField.validate();
+    }
+
+    // Установка времени начала по умолчанию 00:00:00
+    function setDefaultStartTime() {
+        if (!startField.getValue()) {
+            const defaultDateTime = new Date();
+            defaultDateTime.setHours(0, 0, 0);
+            startField.setValue(defaultDateTime);
+        }
+    }
+
+    // Установка времени конца по умолчанию 23:59:59
+    function setDefaultEndTime() {
+        if (!endField.getValue()) {
+            const defaultDateTime = new Date();
+            defaultDateTime.setHours(23, 59, 59);
+            endField.setValue(defaultDateTime);
+        }
+    }
+
+    // Настройка обработчиков для поля начала периода
+    startField.menu.on('beforeshow', setDefaultStartTime);
+    startField.on('change', validatePeriodFields);
+    startField.on('select', validatePeriodFields);
+
+    // Настройка обработчиков для поля конца периода
+    endField.menu.on('beforeshow', setDefaultEndTime);
+    endField.on('change', validatePeriodFields);
+    endField.on('select', validatePeriodFields);
+
+    // Установка валидаторов
+    startField.validator = function() {
+        return logsPeriodsValidator(startField, endField);
+    };
+    endField.validator = function() {
+        return logsPeriodsValidator(startField, endField);
+    };
+}