edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/stages/export_data/management/base.py

@@ -0,0 +1,101 @@
+from datetime import (
+    date,
+    datetime,
+    time,
+)
+from typing import (
+    TYPE_CHECKING,
+)
+
+from django.core.management import (
+    BaseCommand,
+    CommandParser,
+)
+
+from edu_rdm_integration.core.consts import (
+    DATETIME_FORMAT,
+)
+from edu_rdm_integration.rdm_entities.models import (
+    RegionalDataMartEntityEnum,
+)
+from edu_rdm_integration.stages.export_data.operations import (
+    BaseExportEntitiesData,
+)
+
+
+if TYPE_CHECKING:
+    from django.core.management import (
+        CommandParser,
+    )
+
+
+class BaseExportEntityDataCommand(BaseCommand):
+    """Базовая команда для выполнения выгрузки данных сущностей РВД за указанный период."""
+
+    def add_arguments(self, parser: 'CommandParser'):
+        """Добавление параметров."""
+        entities = ', '.join(
+            [f'{key} - {value.title}' for key, value in RegionalDataMartEntityEnum.get_enum_data().items()]
+        )
+        entities_help_text = (
+            f'Значением параметра является перечисление сущностей РВД, для которых должена быть произведена выгрузка '
+            f'данных. Перечисление сущностей:\n{entities}. Если сущности не указываются, то выгрузка данных '
+            f'производится для всех сущностей. Сущности перечисляются через запятую без пробелов.'
+        )
+        parser.add_argument(
+            '--entities',
+            action='store',
+            dest='entities',
+            type=lambda e: e.split(','),
+            help=entities_help_text,
+        )
+
+        parser.add_argument(
+            '--period_started_at',
+            action='store',
+            dest='period_started_at',
+            type=lambda started_at: datetime.strptime(started_at, DATETIME_FORMAT),
+            default=datetime.combine(date.today(), time.min),
+            help=(
+                'Дата и время начала периода сбора записей моделей РВД. Значение предоставляется в формате '
+                '"дд.мм.гггг чч:мм:сс". По умолчанию, сегодняшний день, время 00:00:00.'
+            ),
+        )
+
+        parser.add_argument(
+            '--period_ended_at',
+            action='store',
+            dest='period_ended_at',
+            type=(
+                lambda ended_at: datetime.strptime(ended_at, DATETIME_FORMAT).replace(microsecond=time.max.microsecond)
+            ),
+            default=datetime.combine(date.today(), time.max),
+            help=(
+                'Дата и время конца периода сбора записей моделей РВД. Значение предоставляется в формате '
+                '"дд.мм.гггг чч:мм:сс". По умолчанию, сегодняшний день, время 23:59:59.'
+            ),
+        )
+        parser.add_argument(
+            '--task_id',
+            action='store',
+            dest='task_id',
+            type=str,
+            default=None,
+            help='task_id для поиска асинхронной задачи',
+        )
+        parser.add_argument(
+            '--no-update-modified',
+            dest='update_modified',
+            action='store_false',
+            default=True,
+            help='Не обновлять поле modified моделей',
+        )
+
+    def _prepare_export_entities_data_class(self, *args, **kwargs) -> BaseExportEntitiesData:
+        """Возвращает объект класса экспорта данных сущностей РВД."""
+        raise NotImplementedError
+
+    def handle(self, *args, **kwargs):
+        """Выполнение действий команды."""
+        export_entities_data = self._prepare_export_entities_data_class(*args, **kwargs)
+        export_entities_data.export()

edu_rdm_integration/{management → stages/export_data/management}/commands/export_entities_data.py

@@ -1,16 +1,14 @@
-from edu_rdm_integration.export_data.export import (
+from edu_rdm_integration.stages.export_data.management.base import (
+    BaseExportEntityDataCommand,
+)
+from edu_rdm_integration.stages.export_data.operations import (
     BaseExportEntitiesData,
     ExportEntitiesData,
 )
-from edu_rdm_integration.management.general import (
-    BaseExportEntityDataCommand,
-)
 
 
 class Command(BaseExportEntityDataCommand):
-    """
-    Команда для выгрузки данных сущностей РВД.
-    """
+    """Команда для выгрузки данных сущностей РВД."""
 
     # flake8: noqa: A003
     help = 'Команда для выгрузки данных сущностей РВД за указанных период.'

edu_rdm_integration/{management → stages/export_data/management}/commands/export_latest_entities_data.py

@@ -1,16 +1,14 @@
-from edu_rdm_integration.export_data.export import (
+from edu_rdm_integration.stages.export_data.management.base import (
+    BaseExportEntityDataCommand,
+)
+from edu_rdm_integration.stages.export_data.operations import (
     BaseExportEntitiesData,
     ExportLatestEntitiesData,
 )
-from edu_rdm_integration.management.general import (
-    BaseExportEntityDataCommand,
-)
 
 
 class Command(BaseExportEntityDataCommand):
-    """
-    Команда для экспорта данных за период с последней сборки до указанной даты.
-    """
+    """Команда для экспорта данных за период с последней сборки до указанной даты."""
 
     # flake8: noqa: A003
     help = 'Команда для запуска функции экспорта данных для интеграции с "Региональная витрина данных"'

edu_rdm_integration/stages/export_data/migrations/0001_initial.py

@@ -0,0 +1,324 @@
+# Generated by Django 3.2.24 on 2025-06-28 14:10
+
+import uuid
+
+import django.db.models.deletion
+import django.utils.timezone
+from django.db import (
+    migrations,
+    models,
+)
+
+import educommon.django.db.mixins
+
+import edu_rdm_integration.core.utils
+import edu_rdm_integration.stages.export_data.helpers
+
+
+class Migration(migrations.Migration):
+    initial = True
+
+    dependencies = [
+        ('edu_rdm_integration_entities', '0001_initial'),
+        ('function_tools', '0005_auto_20220724_0050'),
+        ('async_task', '0003_alter_runningtask_options'),
+    ]
+
+    operations = [
+        migrations.SeparateDatabaseAndState(
+            state_operations=[
+                migrations.CreateModel(
+                    name='ExportingDataStage',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'period_started_at',
+                            models.DateTimeField(
+                                db_index=True, verbose_name='Левая граница периода выборки данных для выгрузки'
+                            ),
+                        ),
+                        (
+                            'period_ended_at',
+                            models.DateTimeField(
+                                db_index=True, verbose_name='Правая граница периода выборки данных для выгрузки'
+                            ),
+                        ),
+                        (
+                            'started_at',
+                            models.DateTimeField(auto_now_add=True, verbose_name='Время начала выгрузки данных'),
+                        ),
+                        (
+                            'ended_at',
+                            models.DateTimeField(
+                                blank=True, null=True, verbose_name='Время завершения выгрузки данных'
+                            ),
+                        ),
+                        (
+                            'manager',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='function_tools.entity',
+                                verbose_name='Менеджер ранера Функции',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Этап формирования данных для выгрузки',
+                        'verbose_name_plural': 'Этапы формирования данных для выгрузки',
+                        'db_table': 'rdm_exporting_data_stage',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+                migrations.CreateModel(
+                    name='ExportingDataStageStatus',
+                    fields=[
+                        ('title', models.TextField(verbose_name='расшифровка значения')),
+                        (
+                            'key',
+                            models.CharField(
+                                db_index=True, max_length=512, primary_key=True, serialize=False, verbose_name='ключ'
+                            ),
+                        ),
+                        ('order_number', models.PositiveIntegerField(default=100000, verbose_name='Порядковый номер')),
+                    ],
+                    options={
+                        'verbose_name': 'Модель-перечисление статусов этапа выгрузки данных',
+                        'verbose_name_plural': 'Модели-перечисления статусов этапов выгрузки данных',
+                        'db_table': 'rdm_exporting_data_stage_status',
+                    },
+                ),
+                migrations.CreateModel(
+                    name='ExportingDataSubStage',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'started_at',
+                            models.DateTimeField(
+                                auto_now_add=True, db_index=True, verbose_name='Время начала сбора данных'
+                            ),
+                        ),
+                        (
+                            'ended_at',
+                            models.DateTimeField(
+                                blank=True, db_index=True, null=True, verbose_name='Время завершения сбора данных'
+                            ),
+                        ),
+                        (
+                            'function',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='function_tools.entity',
+                                verbose_name='Функция',
+                            ),
+                        ),
+                        (
+                            'stage',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_export_data_stage.exportingdatastage',
+                                verbose_name='Этап выгрузки данных',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Стадия выгрузки данных',
+                        'verbose_name_plural': 'Стадии выгрузки данных',
+                        'db_table': 'rdm_exporting_data_sub_stage',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+                migrations.CreateModel(
+                    name='ExportingDataSubStageStatus',
+                    fields=[
+                        ('title', models.TextField(verbose_name='расшифровка значения')),
+                        (
+                            'key',
+                            models.CharField(
+                                db_index=True, max_length=512, primary_key=True, serialize=False, verbose_name='ключ'
+                            ),
+                        ),
+                        ('order_number', models.PositiveIntegerField(default=100000, verbose_name='Порядковый номер')),
+                    ],
+                    options={
+                        'verbose_name': 'Модель-перечисление статусов подэтапа выгрузки данных',
+                        'verbose_name_plural': 'Модели-перечисления статусов подэтапов выгрузки данных',
+                        'db_table': 'rdm_exporting_data_sub_stage_status',
+                    },
+                ),
+                migrations.CreateModel(
+                    name='ExportingDataSubStageEntity',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'entity',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='edu_rdm_integration_entities.regionaldatamartentityenum',
+                                verbose_name='Сущность РВД',
+                            ),
+                        ),
+                        (
+                            'exporting_data_sub_stage',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_export_data_stage.exportingdatasubstage',
+                                verbose_name='Подэтап выгрузки данных',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Связь сущности и подэтапа выгрузки',
+                        'verbose_name_plural': 'Связи сущности и подэтапа выгрузки',
+                        'db_table': 'rdm_exporting_data_sub_stage_entity',
+                    },
+                ),
+                migrations.CreateModel(
+                    name='ExportingDataSubStageAttachment',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'attachment',
+                            models.FileField(
+                                blank=True,
+                                max_length=512,
+                                null=True,
+                                upload_to=edu_rdm_integration.stages.export_data.helpers.get_exporting_data_stage_attachment_path,
+                                verbose_name='Сгенерированный файл',
+                            ),
+                        ),
+                        (
+                            'operation',
+                            models.SmallIntegerField(
+                                choices=[(1, 'Создание'), (2, 'Изменение'), (3, 'Удаление')], verbose_name='Действие'
+                            ),
+                        ),
+                        ('created', models.DateTimeField(auto_now_add=True, null=True, verbose_name='Дата создания')),
+                        ('modified', models.DateTimeField(auto_now=True, null=True, verbose_name='Дата изменения')),
+                        ('attachment_size', models.PositiveIntegerField(null=True, verbose_name='Размер файла (байт)')),
+                        (
+                            'exporting_data_sub_stage',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_export_data_stage.exportingdatasubstage',
+                                verbose_name='Подэтап выгрузки данных',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Сгенерированный файл для дальнейшей выгрузки в "Региональная витрина данных"',
+                        'verbose_name_plural': 'Сгенерированные файлы для дальнейшей выгрузки в "Региональная витрина данных"',
+                        'db_table': 'rdm_exporting_data_sub_stage_attachment',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+                migrations.AddField(
+                    model_name='exportingdatasubstage',
+                    name='status',
+                    field=models.ForeignKey(
+                        default='CREATED',
+                        on_delete=django.db.models.deletion.PROTECT,
+                        to='edu_rdm_integration_export_data_stage.exportingdatasubstagestatus',
+                        verbose_name='Статус',
+                    ),
+                ),
+                migrations.AddField(
+                    model_name='exportingdatastage',
+                    name='status',
+                    field=models.ForeignKey(
+                        default='CREATED',
+                        on_delete=django.db.models.deletion.PROTECT,
+                        to='edu_rdm_integration_export_data_stage.exportingdatastagestatus',
+                        verbose_name='Статус',
+                    ),
+                ),
+                migrations.CreateModel(
+                    name='EduRdmExportDataCommandProgress',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'created',
+                            models.DateTimeField(default=django.utils.timezone.now, verbose_name='Дата создания'),
+                        ),
+                        (
+                            'period_started_at',
+                            models.DateTimeField(verbose_name='Левая граница периода выборки данных для выгрузки'),
+                        ),
+                        (
+                            'period_ended_at',
+                            models.DateTimeField(verbose_name='Правая граница периода выборки данных для выгрузки'),
+                        ),
+                        ('generation_id', models.UUIDField(default=uuid.uuid4, verbose_name='Идентификатор генерации')),
+                        (
+                            'logs_link',
+                            models.FileField(
+                                max_length=255,
+                                upload_to=edu_rdm_integration.core.utils.get_data_command_progress_attachment_path,
+                                verbose_name='Файл лога',
+                            ),
+                        ),
+                        (
+                            'type',
+                            models.PositiveSmallIntegerField(
+                                choices=[(1, 'Автоматический'), (2, 'Ручной')], verbose_name='Тип команды'
+                            ),
+                        ),
+                        (
+                            'entity',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='edu_rdm_integration_entities.regionaldatamartentityenum',
+                                verbose_name='Сущность РВД',
+                            ),
+                        ),
+                        (
+                            'stage',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.SET_NULL,
+                                to='edu_rdm_integration_export_data_stage.exportingdatastage',
+                                verbose_name='Этап выгрузки данных',
+                            ),
+                        ),
+                        (
+                            'task',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.SET_NULL,
+                                to='async_task.runningtask',
+                                verbose_name='Асинхронная задача',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Команда экспорта данных',
+                        'verbose_name_plural': 'Команды экспорта данных',
+                        'db_table': 'edu_rdm_exporting_data_command_progress',
+                        'abstract': False,
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+            ],
+            database_operations=[],
+        ),
+    ]

edu_rdm_integration/stages/export_data/mixins.py

@@ -0,0 +1,50 @@
+from educommon.async_task.models import (
+    AsyncTaskType,
+)
+
+from edu_rdm_integration.core.consts import (
+    TASK_QUEUE_NAME,
+)
+from edu_rdm_integration.core.helpers import (
+    save_command_log_link,
+)
+from edu_rdm_integration.stages.export_data.models import (
+    EduRdmExportDataCommandProgress,
+)
+from edu_rdm_integration.stages.export_data.operations import (
+    ExportEntitiesData,
+)
+
+
+class ExportCommandMixin:
+    """Класс-примесь для запуска команды выгрузки сущностей."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Экспорт данных сущностей РВД'
+    task_type = AsyncTaskType.SYSTEM
+
+    def get_export_command(self, command_id: int) -> EduRdmExportDataCommandProgress:
+        """Возвращает экземпляр модели команды запуска."""
+        command = EduRdmExportDataCommandProgress.objects.get(id=command_id)
+
+        return command
+
+    def run_export_command(self, command: EduRdmExportDataCommandProgress) -> None:
+        """Запуск команды выгрузки."""
+        ExportEntitiesData(
+            entities=(command.entity_id,),
+            period_started_at=command.period_started_at,
+            period_ended_at=command.period_ended_at,
+            command_id=command.id,
+        ).export()
+
+    def save_export_command_logs(self, command_id: int, log_dir: str):
+        """Сохранение ссылки на файл логов в команде."""
+        try:
+            command = self.get_export_command(command_id)
+        except EduRdmExportDataCommandProgress.DoesNotExist:
+            command = None
+
+        if command:
+            save_command_log_link(command, log_dir)