edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/stages/upload_data/migrations/0001_initial.py

@@ -0,0 +1,161 @@
+# Generated by Django 3.2.24 on 2025-06-28 14:21
+
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+import educommon.django.db.mixins
+import m3_db_utils.mixins
+
+
+class Migration(migrations.Migration):
+    initial = True
+
+    dependencies = [
+        ('edu_rdm_integration_export_data_stage', '0001_initial'),
+        ('uploader_client', '0001_initial'),
+    ]
+
+    operations = [
+        migrations.SeparateDatabaseAndState(
+            state_operations=[
+                migrations.CreateModel(
+                    name='DataMartRequestStatus',
+                    fields=[
+                        ('title', models.TextField(verbose_name='расшифровка значения')),
+                        ('value', models.IntegerField(verbose_name='значение')),
+                        (
+                            'key',
+                            models.CharField(
+                                db_index=True, max_length=512, primary_key=True, serialize=False, verbose_name='ключ'
+                            ),
+                        ),
+                        ('order_number', models.PositiveIntegerField(default=100000, verbose_name='Порядковый номер')),
+                    ],
+                    options={
+                        'verbose_name': 'Статус загрузки данных в Витрину',
+                        'verbose_name_plural': 'Статусы загрузки данных в Витрину',
+                        'db_table': 'rdm_request_status',
+                    },
+                    bases=(m3_db_utils.mixins.BaseValueMixin, models.Model),
+                ),
+                migrations.CreateModel(
+                    name='ExportingDataSubStageUploaderClientLog',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'request_id',
+                            models.CharField(
+                                blank=True, db_index=True, max_length=100, verbose_name='Id запроса загрузки в витрину'
+                            ),
+                        ),
+                        ('is_emulation', models.BooleanField(default=False, verbose_name='Включен режим эмуляции')),
+                        (
+                            'file_upload_status',
+                            models.SmallIntegerField(
+                                blank=True,
+                                choices=[
+                                    (1, 'В процессе загрузки в витрину'),
+                                    (2, 'Загрузка в витрину закончена'),
+                                    (3, 'Ошибка загрузки в витрину'),
+                                ],
+                                null=True,
+                                verbose_name='Общий статус загрузки файла в витрину',
+                            ),
+                        ),
+                        (
+                            'created',
+                            models.DateTimeField(
+                                auto_now_add=True, db_index=True, null=True, verbose_name='Дата создания'
+                            ),
+                        ),
+                        (
+                            'modified',
+                            models.DateTimeField(
+                                auto_now=True, db_index=True, null=True, verbose_name='Дата изменения'
+                            ),
+                        ),
+                        (
+                            'attachment',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_export_data_stage.exportingdatasubstageattachment',
+                                verbose_name='Прикрепленный файл',
+                            ),
+                        ),
+                        (
+                            'entry',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                related_name='uploader_client_log',
+                                to='uploader_client.entry',
+                                verbose_name='Лог запроса и ответа',
+                            ),
+                        ),
+                        (
+                            'sub_stage',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_export_data_stage.exportingdatasubstage',
+                                verbose_name='Подэтап выгрузки данных',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Лог запроса подэтапа выгрузки данных',
+                        'verbose_name_plural': 'Лог запроса подэтапа выгрузки данных',
+                        'db_table': 'rdm_exporting_data_sub_stage_uploader_client_log',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+                migrations.CreateModel(
+                    name='UploadStatusRequestLog',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'entry',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                related_name='upload_status_request_log',
+                                to='uploader_client.entry',
+                                verbose_name='Cвязь запроса статуса с запросом в витрину',
+                            ),
+                        ),
+                        (
+                            'request_status',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='edu_rdm_integration_upload_data_stage.datamartrequeststatus',
+                                verbose_name='Статус запроса в витрине',
+                            ),
+                        ),
+                        (
+                            'upload',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_upload_data_stage.exportingdatasubstageuploaderclientlog',
+                                verbose_name='Cвязь запроса статуса с загрузкой файла в витрину',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Лог запроса подэтапа выгрузки данных',
+                        'verbose_name_plural': 'Логи запроса подэтапа выгрузки данных',
+                        'db_table': 'rdm_upload_status_request_log',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+            ],
+            database_operations=[],
+        ),
+    ]

edu_rdm_integration/stages/upload_data/models.py

@@ -0,0 +1,175 @@
+from django.db.models import (
+    CASCADE,
+    PROTECT,
+    BooleanField,
+    CharField,
+    DateTimeField,
+    ForeignKey,
+    SmallIntegerField,
+)
+from m3.db import (
+    BaseObjectModel,
+)
+from uploader_client.models import (
+    Entry,
+)
+
+from educommon.django.db.mixins import (
+    ReprStrPreModelMixin,
+)
+from m3_db_utils.models import (
+    ModelEnumValue,
+    TitledIntegerModelEnum,
+)
+
+from edu_rdm_integration.stages.export_data.models import (
+    ExportingDataSubStage,
+    ExportingDataSubStageAttachment,
+)
+from edu_rdm_integration.stages.upload_data.enums import (
+    FileUploadStatusEnum,
+)
+
+
+class DataMartRequestStatus(TitledIntegerModelEnum):
+    """Модель-перечисление статусов загрузки данных в Витрину."""
+
+    UPLOAD_TO_BUFFER = ModelEnumValue(
+        value=-1,
+        title='Загрузка данных в буффер',
+    )
+
+    BUFFERED = ModelEnumValue(
+        value=0,
+        title='Запрос буфферизирован',
+    )
+
+    WAIT_FOR_OPEN_DELTA = ModelEnumValue(
+        value=1,
+        title='Ожидает открытия дельты',
+    )
+
+    IN_PROCESSING = ModelEnumValue(
+        value=2,
+        title='В обработке',
+    )
+
+    SUCCESSFULLY_PROCESSED = ModelEnumValue(
+        value=3,
+        title='Успешно обработан',
+    )
+
+    FAILED_PROCESSING = ModelEnumValue(
+        value=4,
+        title='Ошибка обработки запроса',
+    )
+
+    REQUEST_ID_NOT_FOUND = ModelEnumValue(
+        value=5,
+        title='Идентификатор запроса не обнаружен',
+    )
+
+    FORMAT_LOGICAL_CONTROL = ModelEnumValue(
+        value=6,
+        title='Форматно-логический контроль',
+    )
+
+    FLC_ERROR = ModelEnumValue(
+        value=7,
+        title='Ошибки ФЛК',
+    )
+
+    class Meta:
+        db_table = 'rdm_request_status'
+        verbose_name = 'Статус загрузки данных в Витрину'
+        verbose_name_plural = 'Статусы загрузки данных в Витрину'
+
+
+class ExportingDataSubStageUploaderClientLog(ReprStrPreModelMixin, BaseObjectModel):
+    """Связь лога Загрузчика данных с подэтапом выгрузки данных."""
+
+    entry = ForeignKey(
+        to=Entry,
+        verbose_name='Лог запроса и ответа',
+        on_delete=CASCADE,
+        related_name='uploader_client_log',
+    )
+
+    sub_stage = ForeignKey(
+        to=ExportingDataSubStage,
+        verbose_name='Подэтап выгрузки данных',
+        on_delete=CASCADE,
+    )
+
+    attachment = ForeignKey(
+        to=ExportingDataSubStageAttachment,
+        verbose_name='Прикрепленный файл',
+        on_delete=CASCADE,
+    )
+
+    request_id = CharField(
+        verbose_name='Id запроса загрузки в витрину',
+        max_length=100,
+        blank=True,
+        db_index=True,
+    )
+
+    is_emulation = BooleanField(
+        verbose_name='Включен режим эмуляции',
+        default=False,
+    )
+
+    file_upload_status = SmallIntegerField(
+        verbose_name='Общий статус загрузки файла в витрину',
+        choices=FileUploadStatusEnum.get_choices(),
+        null=True,
+        blank=True,
+    )
+
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        auto_now_add=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+    modified = DateTimeField(
+        verbose_name='Дата изменения',
+        auto_now=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage_uploader_client_log'
+        verbose_name = 'Лог запроса подэтапа выгрузки данных'
+        verbose_name_plural = 'Лог запроса подэтапа выгрузки данных'
+
+
+class UploadStatusRequestLog(ReprStrPreModelMixin, BaseObjectModel):
+    """Модель связывающая статусы, загрузку файла в витрину и http-запрос к витрине."""
+
+    upload = ForeignKey(
+        verbose_name='Cвязь запроса статуса с загрузкой файла в витрину',
+        to=ExportingDataSubStageUploaderClientLog,
+        on_delete=CASCADE,
+    )
+    entry = ForeignKey(
+        verbose_name='Cвязь запроса статуса с запросом в витрину',
+        to=Entry,
+        on_delete=CASCADE,
+        related_name='upload_status_request_log',
+    )
+    request_status = ForeignKey(
+        verbose_name='Статус запроса в витрине',
+        to=DataMartRequestStatus,
+        on_delete=PROTECT,
+        null=True,
+        blank=True,
+    )
+
+    class Meta:
+        db_table = 'rdm_upload_status_request_log'
+        verbose_name = 'Лог запроса подэтапа выгрузки данных'
+        verbose_name_plural = 'Логи запроса подэтапа выгрузки данных'

edu_rdm_integration/stages/upload_data/operations.py

@@ -0,0 +1,156 @@
+import logging
+import os
+from typing import (
+    Union,
+)
+
+from django.conf import (
+    settings,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.core.operations import (
+    BaseOperationData,
+)
+from edu_rdm_integration.core.redis_cache import (
+    AbstractCache,
+)
+from edu_rdm_integration.stages.export_data.consts import (
+    TOTAL_ATTACHMENTS_SIZE_KEY,
+)
+from edu_rdm_integration.stages.upload_data.export_managers import (
+    ExportQueueSender,
+    WorkerSender,
+)
+from edu_rdm_integration.stages.upload_data.queues import (
+    Queue,
+)
+
+
+class UploadData(BaseOperationData):
+    """Класс отправки файлов в витрину."""
+
+    def __init__(
+        self,
+        data_cache: AbstractCache,
+        queue: Queue,
+        **kwargs,
+    ):
+        super().__init__(**kwargs)
+
+        self.data_cache = data_cache
+        self.queue = queue
+
+        self._configure_agent_client()
+        self.result = {
+            'total_file_size': 0,  # Общий размер отправленных файлов
+            'queue_is_full': False,  # Признак переполнения очереди
+            'uploaded_entities': '',  # Список сущностей, попавших в выгрузку
+        }
+
+    @property
+    def _log_file_path(self) -> Union[str, bytes]:
+        """Путь до лог файла."""
+        return os.path.join(settings.MEDIA_ROOT, settings.RDM_UPLOAD_LOG_DIR, 'upload_entity.log')
+
+    def _add_file_handler(self) -> None:
+        """Добавляет обработчик логов."""
+        self._file_handler = logging.FileHandler(self._log_file_path)
+
+        logging.getLogger('info_logger').addHandler(self._file_handler)
+        logging.getLogger('exception_logger').addHandler(self._file_handler)
+
+    # TODO https://jira.bars.group/browse/EDUSCHL-22492. Вынужденная мера, т.к. при запуске команды не производится
+    #  проверка готовности конфигов приложений. Нужно переработать механизм конфигурирования клиента загрузчика.
+    def _configure_agent_client(self):
+        """Конфигурирование клиента загрузчика данных в Витрину."""
+        import uploader_client
+        from django.core.cache import (
+            DEFAULT_CACHE_ALIAS,
+            caches,
+        )
+        from uploader_client.contrib.rdm.interfaces.configurations import (
+            RegionalDataMartEmulationUploaderConfig,
+            RegionalDataMartUploaderConfig,
+        )
+
+        if settings.RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION:
+            uploader_client.set_config(
+                RegionalDataMartEmulationUploaderConfig(
+                    interface='uploader_client.contrib.rdm.interfaces.rest.OpenAPIInterfaceEmulation',
+                    url=settings.RDM_UPLOADER_CLIENT_URL,
+                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
+                    timeout=1,
+                    request_retries=1,
+                    file_status=settings.RDM_RESPONSE_FILE_STATUS,
+                )
+            )
+        elif settings.RDM_UPLOADER_CLIENT_USE_PROXY_API:
+            uploader_client.set_config(
+                RegionalDataMartUploaderConfig(
+                    interface='uploader_client.contrib.rdm.interfaces.rest.ProxyAPIInterface',
+                    cache=caches[DEFAULT_CACHE_ALIAS],
+                    url=settings.RDM_UPLOADER_CLIENT_URL,
+                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
+                    timeout=settings.RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT,
+                    request_retries=settings.RDM_UPLOADER_CLIENT_REQUEST_RETRIES,
+                    organization_ogrn=settings.RDM_UPLOADER_CLIENT_ORGANIZATION_OGRN,
+                    installation_name=settings.RDM_UPLOADER_CLIENT_INSTALLATION_NAME,
+                    installation_id=settings.RDM_UPLOADER_CLIENT_INSTALLATION_ID,
+                    username=settings.RDM_UPLOADER_CLIENT_USERNAME,
+                    password=settings.RDM_UPLOADER_CLIENT_PASSWORD,
+                )
+            )
+        else:
+            uploader_client.set_config(
+                RegionalDataMartUploaderConfig(
+                    url=settings.RDM_UPLOADER_CLIENT_URL,
+                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
+                    timeout=settings.RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT,
+                    request_retries=settings.RDM_UPLOADER_CLIENT_REQUEST_RETRIES,
+                )
+            )
+
+    def update_total_queue_size_in_cache(self, received_files_size: int):
+        """Обновление размера файлов в кеш."""
+        with self.data_cache.lock(f'{TOTAL_ATTACHMENTS_SIZE_KEY}:lock', timeout=300):
+            queue_total_file_size = self.data_cache.get(TOTAL_ATTACHMENTS_SIZE_KEY) or 0
+            if queue_total_file_size:
+                queue_total_file_size -= received_files_size
+                if queue_total_file_size > 0:
+                    self.data_cache.set(
+                        TOTAL_ATTACHMENTS_SIZE_KEY,
+                        queue_total_file_size,
+                        timeout=settings.RDM_REDIS_CACHE_TIMEOUT_SECONDS,
+                    )
+
+    def upload_data(self, *args, **kwargs):
+        """Запускает отправку данных в витрину."""
+        try:
+            exporter = ExportQueueSender(self.data_cache, self.queue, settings.RDM_UPLOAD_DATA_TASK_EXPORT_STAGES)
+            exporter.run()
+
+            self.result['queue_is_full'] = exporter.queue_is_full
+            self.result['total_file_size'] = exporter.queue_total_file_size
+
+            # Если очередь не переполнена - то отправляем данные в витрину
+            if not exporter.queue_is_full:
+                sender = WorkerSender(self.queue)
+                sender.run()
+
+                if sender.entities:
+                    self.result['uploaded_entities'] = ','.join(sender.entities)
+
+                if sender.received_file_size:
+                    self.update_total_queue_size_in_cache(sender.received_file_size)
+
+        except Exception as err:
+            logger.exception(err)
+            raise err
+        finally:
+            self._remove_file_handler()
+
+        return self.result

edu_rdm_integration/{export_data/queue.py → stages/upload_data/queues.py}

@@ -15,20 +15,21 @@ from redis import (
     Redis,
 )
 
-from edu_rdm_integration.export_data.consts import (
+from edu_rdm_integration.core.helpers import (
+    as_text,
+    get_redis_version,
+)
+from edu_rdm_integration.stages.export_data.consts import (
     REDIS_QUEUE_KEY_DELIMITER,
 )
-from edu_rdm_integration.export_data.dataclasses import (
+from edu_rdm_integration.stages.upload_data.dataclasses import (
     UploadFile,
 )
-from edu_rdm_integration.redis_cache import (
-    as_text,
-    get_redis_version,
-)
 
 
 class Queue(ABC):
     """Интерфейс очереди."""
+
     queue_key: str = ''
 
     @property
@@ -65,6 +66,7 @@ class RdmRedisSubStageAttachmentQueue(Queue):
     (Sorted Set in Redis)
     - Информация по файлам стандартно по ключу - ключом выступает sub_stage_id
     """
+
     queue_key = 'rdm:export_sub_stage_ids_queue'
     prefix = 'rdm:'
 
@@ -76,7 +78,7 @@ class RdmRedisSubStageAttachmentQueue(Queue):
             host=settings.RDM_REDIS_HOST,
             port=settings.RDM_REDIS_PORT,
             db=settings.RDM_REDIS_DB,
-            password=settings.RDM_REDIS_PASSWORD
+            password=settings.RDM_REDIS_PASSWORD,
         )
 
     def _make_key(self, key: Union[int, str]) -> str:
@@ -143,7 +145,7 @@ class RdmRedisSubStageAttachmentQueue(Queue):
             while true do
                 local stage = redis.call("zpopmin", q)
                 local stage_id = stage[2]
-                
+
                 if stage_id == nil then
                     break
                 end

edu_rdm_integration/stages/upload_data/tasks.py

@@ -0,0 +1,103 @@
+import celery
+from celery.schedules import (
+    crontab,
+)
+from django.conf import (
+    settings,
+)
+from django.core.cache import (
+    cache,
+)
+
+from educommon.async_task.models import (
+    AsyncTaskType,
+)
+from educommon.async_task.tasks import (
+    UniquePeriodicAsyncTask,
+)
+
+from edu_rdm_integration.core.consts import (
+    TASK_QUEUE_NAME,
+)
+from edu_rdm_integration.stages.upload_data.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.stages.upload_data.helpers import (
+    UploadStatusHelper,
+)
+from edu_rdm_integration.stages.upload_data.models import (
+    ExportingDataSubStageUploaderClientLog,
+)
+from edu_rdm_integration.stages.upload_data.operations import (
+    UploadData,
+)
+from edu_rdm_integration.stages.upload_data.queues import (
+    RdmRedisSubStageAttachmentQueue,
+)
+
+
+class RDMCheckUploadStatus(UniquePeriodicAsyncTask):
+    """Периодическая задача для сбора статусов по загрузке файла в витрину."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Сбор статусов загрузки данных в витрину "Региональная витрина данных"'
+    lock_expire_seconds = settings.RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS
+    task_type = AsyncTaskType.UNKNOWN
+    run_every = crontab(
+        minute=settings.RDM_UPLOAD_STATUS_TASK_MINUTE,
+        hour=settings.RDM_UPLOAD_STATUS_TASK_HOUR,
+        day_of_week=settings.RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK,
+    )
+
+    def process(self, *args, **kwargs):
+        """Выполнение."""
+        super().process(*args, **kwargs)
+
+        # Получаем незавершенные загрузки данных в витрину
+        in_progress_uploads = ExportingDataSubStageUploaderClientLog.objects.filter(
+            file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+            is_emulation=False,
+        ).select_related('attachment')
+
+        UploadStatusHelper(in_progress_uploads, cache).run()
+
+
+class UploadDataAsyncTask(UniquePeriodicAsyncTask):
+    """Формирование очереди файлов и их отправка."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Отправка данных в витрину "Региональная витрина данных"'
+    lock_expire_seconds = settings.RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS
+    task_type = AsyncTaskType.SYSTEM
+    run_every = crontab(
+        minute=settings.RDM_UPLOAD_DATA_TASK_MINUTE,
+        hour=settings.RDM_UPLOAD_DATA_TASK_HOUR,
+        day_of_week=settings.RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK,
+    )
+
+    def process(self, *args, **kwargs):
+        """Выполнение."""
+        super().process(*args, **kwargs)
+
+        queue = RdmRedisSubStageAttachmentQueue()
+        upload_data = UploadData(
+            data_cache=cache,
+            queue=queue,
+        )
+
+        upload_result = upload_data.upload_data()
+
+        task_result = {
+            'Общий объем отправленных файлов': f'{upload_result["total_file_size"]}',
+            'Очередь отправки переполнена': 'Да' if upload_result['queue_is_full'] else 'Нет',
+            'Сущности, отправленные в витрину': upload_result['uploaded_entities'],
+        }
+
+        self.set_progress(values=task_result)
+
+
+celery_app = celery.app.app_or_default()
+celery_app.register_task(RDMCheckUploadStatus)
+celery_app.register_task(UploadDataAsyncTask)