edu-rdm-integration 3.9.1__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/{management → stages/upload_data/management}/commands/async_fix_attachment_size.py

@@ -1,5 +1,4 @@
-"""
-Команда для проставления расчетов файла . По умолчанию собирается за месяц. Обновление работает асинхронно.
+"""Команда для проставления расчетов файла . По умолчанию собирается за месяц. Обновление работает асинхронно.
 
 Выполнение:
 django-admin async_fix_attachment_size --chunk_size=50 --count_store_size --connection_pool_size=5
@@ -15,7 +14,6 @@ django-admin async_fix_attachment_size --chunk_size=50 --count_store_size --conn
 --async_workers_count количество одновременных асинхронных воркеров-исполнителей по умолчанию 20
 """
 
-
 import asyncio
 from datetime import (
     date,
@@ -39,12 +37,12 @@ from educommon.utils.seqtools import (
     make_chunks,
 )
 
-from edu_rdm_integration.enums import (
-    FileUploadStatusEnum,
-)
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.export_data.models import (
     ExportingDataSubStageAttachment,
 )
+from edu_rdm_integration.stages.upload_data.enums import (
+    FileUploadStatusEnum,
+)
 
 
 DEFAULT_QUERYSET_CHUNK_SIZE = 500
@@ -61,7 +59,7 @@ class Command(BaseCommand):
         'Команда для проставления размера по умолчанию (в байтах) для отправленных файлов.'
     )
 
-    def __init__(self,  *args, **kwargs):
+    def __init__(self, *args, **kwargs):
         super().__init__(*args, **kwargs)
 
         self.result = {
@@ -76,25 +74,21 @@ class Command(BaseCommand):
             '--chunk_size',
             type=int,
             default=DEFAULT_QUERYSET_CHUNK_SIZE,
-            help='Кол-во единовременно изменяемых элементов в запросе'
+            help='Кол-во единовременно изменяемых элементов в запросе',
+        )
+        (
+            parser.add_argument(
+                '--count_store_size', action='store_true', default=False, help='Рассчитать размер файлов'
+            ),
         )
         parser.add_argument(
-            '--count_store_size',
-            action='store_true',
-            default=False,
-            help='Рассчитать размер файлов'
-        ),
-        parser.add_argument(
-            '--connection_pool_size',
-            type=int,
-            default=DEFAULT_POOL_SIZE,
-            help='Кол-во одновременных коннектов к базе'
+            '--connection_pool_size', type=int, default=DEFAULT_POOL_SIZE, help='Кол-во одновременных коннектов к базе'
         )
         parser.add_argument(
             '--async_workers_count',
             type=int,
             default=DEFAULT_ASYNC_WORKERS_COUNT,
-            help='Кол-во одновременных асинхронных воркеров-исполнителей'
+            help='Кол-во одновременных асинхронных воркеров-исполнителей',
         )
         parser.add_argument(
             '--date_begin',
@@ -108,11 +102,7 @@ class Command(BaseCommand):
         )
 
     def get_attachments_fix_query(
-        self,
-        chunk_size: int,
-        date_begin: date,
-        date_end: date,
-        count_store_size: bool
+        self, chunk_size: int, date_begin: date, date_end: date, count_store_size: bool
     ) -> list[tuple[int, int]]:
         """Формирование id файлов, которым надо обновить размер."""
         logger.info('Определение файлов, которым надо обновить размер.')
@@ -128,25 +118,22 @@ class Command(BaseCommand):
         for chunk in make_chunks(attachment_query.iterator(), chunk_size):
             if count_store_size:
                 update_attachments.append(
-                   [
-                       (
-                           attachment.id, attachment.attachment.size
-                           if attachment.attachment.field.storage.exists(attachment.attachment.name)
-                           else DEFAULT_FILE_SIZE
-                       )
-                       for attachment in chunk
-                   ]
+                    [
+                        (
+                            attachment.id,
+                            attachment.attachment.size
+                            if attachment.attachment.field.storage.exists(attachment.attachment.name)
+                            else DEFAULT_FILE_SIZE,
+                        )
+                        for attachment in chunk
+                    ]
                 )
             else:
                 update_attachments.append([(attachment.id, DEFAULT_FILE_SIZE) for attachment in chunk])
 
         return update_attachments
 
-    async def execute_update_sql(
-        self,
-        pool: asyncpg.Pool,
-        data: list[tuple[int, int]]
-    ) -> None:
+    async def execute_update_sql(self, pool: asyncpg.Pool, data: list[tuple[int, int]]) -> None:
         """Метод для исполнения сгенерированного UPDATE sql запроса."""
         self.result['initial_count_rows_to_fix'] += len(data)
         logger.info('Обновление размера файлов')
@@ -157,18 +144,14 @@ class Command(BaseCommand):
                     UPDATE rdm_exporting_data_sub_stage_attachment
                     set attachment_size = $2
                     where id = $1;
-                    """, data,
+                    """,
+                    data,
                 )
                 self.result['fixed_rows_count'] += len(data)
             except Exception as ex:
                 self.result['errors'].append(str(ex))
 
-    async def fix_attachment_size(
-        self,
-        fix_queries: list,
-        pool_size: int = None,
-        workers_count: int = None
-    ) -> None:
+    async def fix_attachment_size(self, fix_queries: list, pool_size: int = None, workers_count: int = None) -> None:
         """Асинхронное обновление размера файлов."""
         pool = await asyncpg.create_pool(
             max_size=pool_size,
@@ -177,7 +160,7 @@ class Command(BaseCommand):
             port=DB_SETTINGS['PORT'],
             user=DB_SETTINGS['USER'],
             password=DB_SETTINGS['PASSWORD'],
-            database=DB_SETTINGS['NAME']
+            database=DB_SETTINGS['NAME'],
         )
         if len(fix_queries) > workers_count:
             for chunk in make_chunks(fix_queries, workers_count):
@@ -192,9 +175,9 @@ class Command(BaseCommand):
         connection_pool_size: int,
         chunk_size: int,
         date_begin: date,
-        date_end:date,
+        date_end: date,
         async_workers_count: int,
-        count_store_size: bool
+        count_store_size: bool,
     ):
         """Обновление размеров файла."""
         fix_queries = self.get_attachments_fix_query(chunk_size, date_begin, date_end, count_store_size)
@@ -228,12 +211,7 @@ class Command(BaseCommand):
         logger.info('Обновление размеров файла\n')
 
         self.update_attachment_size(
-            connection_pool_size,
-            chunk_size,
-            date_begin,
-            date_end,
-            async_workers_count,
-            count_store_size
+            connection_pool_size, chunk_size, date_begin, date_end, async_workers_count, count_store_size
         )
 
         delta = datetime.now() - time_start

edu_rdm_integration/{management → stages/upload_data/management}/commands/check_upload_status.py

@@ -1,5 +1,4 @@
-"""
-Команда для проверки состояния отправленных в витрину данных.
+"""Команда для проверки состояния отправленных в витрину данных.
 
 Необязательные параметры:
 --period_started_at - дата и время начала периода загрузки данных в витрину
@@ -9,6 +8,7 @@
 Пример использования:
 python manage.py check_upload_status --period_started_at="01.11.2023 10:00:00" --thread_count=4
 """
+
 from datetime import (
     date,
     datetime,
@@ -18,6 +18,7 @@ from typing import (
     TYPE_CHECKING,
     Any,
 )
+
 from django.core.cache import (
     cache,
 )
@@ -25,16 +26,16 @@ from django.core.management.base import (
     BaseCommand,
 )
 
-from edu_rdm_integration.consts import (
+from edu_rdm_integration.core.consts import (
     DATETIME_FORMAT,
 )
-from edu_rdm_integration.enums import (
+from edu_rdm_integration.stages.upload_data.enums import (
     FileUploadStatusEnum,
 )
-from edu_rdm_integration.helpers import (
+from edu_rdm_integration.stages.upload_data.helpers import (
     UploadStatusHelper,
 )
-from edu_rdm_integration.models import (
+from edu_rdm_integration.stages.upload_data.models import (
     ExportingDataSubStageUploaderClientLog,
 )
 

edu_rdm_integration/{management → stages/upload_data/management}/commands/datamart_status.py

@@ -1,13 +1,13 @@
-from edu_rdm_integration.export_data.base.requests import (
+from edu_rdm_integration.stages.export_data.functions.base.requests import (
     RegionalDataMartStatusRequest,
 )
-from edu_rdm_integration.management.general import (
+from edu_rdm_integration.stages.upload_data.management.base import (
     BaseDatamartClientCommand,
 )
 
 
+# ruff: noqa: D101
 class Command(BaseDatamartClientCommand):
-
     help = 'Команда для получения статуса загрузки файла в РВД с использованием uploader-client.'  # noqa A003
 
     def add_arguments(self, parser):

edu_rdm_integration/{management → stages/upload_data/management}/commands/datamart_upload.py

@@ -2,17 +2,17 @@ from pathlib import (
     Path,
 )
 
-from edu_rdm_integration.export_data.base.requests import (
+from edu_rdm_integration.stages.export_data.functions.base.requests import (
     RegionalDataMartEntityRequest,
 )
-from edu_rdm_integration.management.general import (
+from edu_rdm_integration.stages.upload_data.management.base import (
     BaseDatamartClientCommand,
 )
 
 
+# ruff: noqa: D101
 class Command(BaseDatamartClientCommand):
-
-    help = 'Команда для загрузки csv-файла в РВД с использованием uploader-client.'  # noqa A003
+    help = 'Команда для загрузки csv-файла в РВД с использованием uploader-client.'
 
     def add_arguments(self, parser):
         """Добавление параметров."""

edu_rdm_integration/stages/upload_data/migrations/0001_initial.py

@@ -0,0 +1,161 @@
+# Generated by Django 3.2.24 on 2025-06-28 14:21
+
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+import educommon.django.db.mixins
+import m3_db_utils.mixins
+
+
+class Migration(migrations.Migration):
+    initial = True
+
+    dependencies = [
+        ('edu_rdm_integration_export_data_stage', '0001_initial'),
+        ('uploader_client', '0001_initial'),
+    ]
+
+    operations = [
+        migrations.SeparateDatabaseAndState(
+            state_operations=[
+                migrations.CreateModel(
+                    name='DataMartRequestStatus',
+                    fields=[
+                        ('title', models.TextField(verbose_name='расшифровка значения')),
+                        ('value', models.IntegerField(verbose_name='значение')),
+                        (
+                            'key',
+                            models.CharField(
+                                db_index=True, max_length=512, primary_key=True, serialize=False, verbose_name='ключ'
+                            ),
+                        ),
+                        ('order_number', models.PositiveIntegerField(default=100000, verbose_name='Порядковый номер')),
+                    ],
+                    options={
+                        'verbose_name': 'Статус загрузки данных в Витрину',
+                        'verbose_name_plural': 'Статусы загрузки данных в Витрину',
+                        'db_table': 'rdm_request_status',
+                    },
+                    bases=(m3_db_utils.mixins.BaseValueMixin, models.Model),
+                ),
+                migrations.CreateModel(
+                    name='ExportingDataSubStageUploaderClientLog',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'request_id',
+                            models.CharField(
+                                blank=True, db_index=True, max_length=100, verbose_name='Id запроса загрузки в витрину'
+                            ),
+                        ),
+                        ('is_emulation', models.BooleanField(default=False, verbose_name='Включен режим эмуляции')),
+                        (
+                            'file_upload_status',
+                            models.SmallIntegerField(
+                                blank=True,
+                                choices=[
+                                    (1, 'В процессе загрузки в витрину'),
+                                    (2, 'Загрузка в витрину закончена'),
+                                    (3, 'Ошибка загрузки в витрину'),
+                                ],
+                                null=True,
+                                verbose_name='Общий статус загрузки файла в витрину',
+                            ),
+                        ),
+                        (
+                            'created',
+                            models.DateTimeField(
+                                auto_now_add=True, db_index=True, null=True, verbose_name='Дата создания'
+                            ),
+                        ),
+                        (
+                            'modified',
+                            models.DateTimeField(
+                                auto_now=True, db_index=True, null=True, verbose_name='Дата изменения'
+                            ),
+                        ),
+                        (
+                            'attachment',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_export_data_stage.exportingdatasubstageattachment',
+                                verbose_name='Прикрепленный файл',
+                            ),
+                        ),
+                        (
+                            'entry',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                related_name='uploader_client_log',
+                                to='uploader_client.entry',
+                                verbose_name='Лог запроса и ответа',
+                            ),
+                        ),
+                        (
+                            'sub_stage',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_export_data_stage.exportingdatasubstage',
+                                verbose_name='Подэтап выгрузки данных',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Лог запроса подэтапа выгрузки данных',
+                        'verbose_name_plural': 'Лог запроса подэтапа выгрузки данных',
+                        'db_table': 'rdm_exporting_data_sub_stage_uploader_client_log',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+                migrations.CreateModel(
+                    name='UploadStatusRequestLog',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'entry',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                related_name='upload_status_request_log',
+                                to='uploader_client.entry',
+                                verbose_name='Cвязь запроса статуса с запросом в витрину',
+                            ),
+                        ),
+                        (
+                            'request_status',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='edu_rdm_integration_upload_data_stage.datamartrequeststatus',
+                                verbose_name='Статус запроса в витрине',
+                            ),
+                        ),
+                        (
+                            'upload',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_upload_data_stage.exportingdatasubstageuploaderclientlog',
+                                verbose_name='Cвязь запроса статуса с загрузкой файла в витрину',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Лог запроса подэтапа выгрузки данных',
+                        'verbose_name_plural': 'Логи запроса подэтапа выгрузки данных',
+                        'db_table': 'rdm_upload_status_request_log',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+            ],
+            database_operations=[],
+        ),
+    ]

edu_rdm_integration/stages/upload_data/models.py

@@ -0,0 +1,175 @@
+from django.db.models import (
+    CASCADE,
+    PROTECT,
+    BooleanField,
+    CharField,
+    DateTimeField,
+    ForeignKey,
+    SmallIntegerField,
+)
+from m3.db import (
+    BaseObjectModel,
+)
+from uploader_client.models import (
+    Entry,
+)
+
+from educommon.django.db.mixins import (
+    ReprStrPreModelMixin,
+)
+from m3_db_utils.models import (
+    ModelEnumValue,
+    TitledIntegerModelEnum,
+)
+
+from edu_rdm_integration.stages.export_data.models import (
+    ExportingDataSubStage,
+    ExportingDataSubStageAttachment,
+)
+from edu_rdm_integration.stages.upload_data.enums import (
+    FileUploadStatusEnum,
+)
+
+
+class DataMartRequestStatus(TitledIntegerModelEnum):
+    """Модель-перечисление статусов загрузки данных в Витрину."""
+
+    UPLOAD_TO_BUFFER = ModelEnumValue(
+        value=-1,
+        title='Загрузка данных в буффер',
+    )
+
+    BUFFERED = ModelEnumValue(
+        value=0,
+        title='Запрос буфферизирован',
+    )
+
+    WAIT_FOR_OPEN_DELTA = ModelEnumValue(
+        value=1,
+        title='Ожидает открытия дельты',
+    )
+
+    IN_PROCESSING = ModelEnumValue(
+        value=2,
+        title='В обработке',
+    )
+
+    SUCCESSFULLY_PROCESSED = ModelEnumValue(
+        value=3,
+        title='Успешно обработан',
+    )
+
+    FAILED_PROCESSING = ModelEnumValue(
+        value=4,
+        title='Ошибка обработки запроса',
+    )
+
+    REQUEST_ID_NOT_FOUND = ModelEnumValue(
+        value=5,
+        title='Идентификатор запроса не обнаружен',
+    )
+
+    FORMAT_LOGICAL_CONTROL = ModelEnumValue(
+        value=6,
+        title='Форматно-логический контроль',
+    )
+
+    FLC_ERROR = ModelEnumValue(
+        value=7,
+        title='Ошибки ФЛК',
+    )
+
+    class Meta:
+        db_table = 'rdm_request_status'
+        verbose_name = 'Статус загрузки данных в Витрину'
+        verbose_name_plural = 'Статусы загрузки данных в Витрину'
+
+
+class ExportingDataSubStageUploaderClientLog(ReprStrPreModelMixin, BaseObjectModel):
+    """Связь лога Загрузчика данных с подэтапом выгрузки данных."""
+
+    entry = ForeignKey(
+        to=Entry,
+        verbose_name='Лог запроса и ответа',
+        on_delete=CASCADE,
+        related_name='uploader_client_log',
+    )
+
+    sub_stage = ForeignKey(
+        to=ExportingDataSubStage,
+        verbose_name='Подэтап выгрузки данных',
+        on_delete=CASCADE,
+    )
+
+    attachment = ForeignKey(
+        to=ExportingDataSubStageAttachment,
+        verbose_name='Прикрепленный файл',
+        on_delete=CASCADE,
+    )
+
+    request_id = CharField(
+        verbose_name='Id запроса загрузки в витрину',
+        max_length=100,
+        blank=True,
+        db_index=True,
+    )
+
+    is_emulation = BooleanField(
+        verbose_name='Включен режим эмуляции',
+        default=False,
+    )
+
+    file_upload_status = SmallIntegerField(
+        verbose_name='Общий статус загрузки файла в витрину',
+        choices=FileUploadStatusEnum.get_choices(),
+        null=True,
+        blank=True,
+    )
+
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        auto_now_add=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+    modified = DateTimeField(
+        verbose_name='Дата изменения',
+        auto_now=True,
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    class Meta:
+        db_table = 'rdm_exporting_data_sub_stage_uploader_client_log'
+        verbose_name = 'Лог запроса подэтапа выгрузки данных'
+        verbose_name_plural = 'Лог запроса подэтапа выгрузки данных'
+
+
+class UploadStatusRequestLog(ReprStrPreModelMixin, BaseObjectModel):
+    """Модель связывающая статусы, загрузку файла в витрину и http-запрос к витрине."""
+
+    upload = ForeignKey(
+        verbose_name='Cвязь запроса статуса с загрузкой файла в витрину',
+        to=ExportingDataSubStageUploaderClientLog,
+        on_delete=CASCADE,
+    )
+    entry = ForeignKey(
+        verbose_name='Cвязь запроса статуса с запросом в витрину',
+        to=Entry,
+        on_delete=CASCADE,
+        related_name='upload_status_request_log',
+    )
+    request_status = ForeignKey(
+        verbose_name='Статус запроса в витрине',
+        to=DataMartRequestStatus,
+        on_delete=PROTECT,
+        null=True,
+        blank=True,
+    )
+
+    class Meta:
+        db_table = 'rdm_upload_status_request_log'
+        verbose_name = 'Лог запроса подэтапа выгрузки данных'
+        verbose_name_plural = 'Логи запроса подэтапа выгрузки данных'