edu-rdm-integration 3.9.1__py3-none-any.whl → 3.10.0__py3-none-any.whl

edu_rdm_integration/stages/collect_data/migrations/0001_initial.py

@@ -0,0 +1,187 @@
+# Generated by Django 3.2.24 on 2025-06-28 14:07
+
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+import educommon.django.db.mixins
+import educommon.utils.date
+
+
+class Migration(migrations.Migration):
+    initial = True
+
+    dependencies = [
+        ('function_tools', '0005_auto_20220724_0050'),
+        ('edu_rdm_integration', '0017_delete_uploaddatacommand'),
+    ]
+
+    operations = [
+        migrations.SeparateDatabaseAndState(
+            state_operations=[
+                migrations.CreateModel(
+                    name='CollectingDataStageStatus',
+                    fields=[
+                        ('title', models.TextField(verbose_name='расшифровка значения')),
+                        (
+                            'key',
+                            models.CharField(
+                                db_index=True, max_length=512, primary_key=True, serialize=False, verbose_name='ключ'
+                            ),
+                        ),
+                        ('order_number', models.PositiveIntegerField(default=100000, verbose_name='Порядковый номер')),
+                    ],
+                    options={
+                        'verbose_name': 'Модель-перечисление статусов этапа сбора данных',
+                        'verbose_name_plural': 'Модели-перечисления статусов этапов сбора данных',
+                        'db_table': 'rdm_collecting_data_stage_status',
+                    },
+                ),
+                migrations.CreateModel(
+                    name='CollectingDataSubStageStatus',
+                    fields=[
+                        ('title', models.TextField(verbose_name='расшифровка значения')),
+                        (
+                            'key',
+                            models.CharField(
+                                db_index=True, max_length=512, primary_key=True, serialize=False, verbose_name='ключ'
+                            ),
+                        ),
+                        ('order_number', models.PositiveIntegerField(default=100000, verbose_name='Порядковый номер')),
+                    ],
+                    options={
+                        'verbose_name': 'Модель-перечисление статусов подэтапа сбора данных',
+                        'verbose_name_plural': 'Модели-перечисления статусов подэтапов сбора данных',
+                        'db_table': 'rdm_collecting_data_sub_stage_status',
+                    },
+                ),
+                migrations.CreateModel(
+                    name='CollectingExportedDataStage',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'logs_period_started_at',
+                            models.DateTimeField(
+                                db_index=True,
+                                default=educommon.utils.date.get_today_min_datetime,
+                                verbose_name='Левая граница периода обрабатываемых логов',
+                            ),
+                        ),
+                        (
+                            'logs_period_ended_at',
+                            models.DateTimeField(
+                                db_index=True,
+                                default=educommon.utils.date.get_today_max_datetime,
+                                verbose_name='Правая граница периода обрабатываемых логов',
+                            ),
+                        ),
+                        (
+                            'started_at',
+                            models.DateTimeField(
+                                auto_now_add=True, db_index=True, verbose_name='Время начала сбора данных'
+                            ),
+                        ),
+                        (
+                            'ended_at',
+                            models.DateTimeField(
+                                blank=True, db_index=True, null=True, verbose_name='Время завершения сбора данных'
+                            ),
+                        ),
+                        (
+                            'manager',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='function_tools.entity',
+                                verbose_name='Менеджер ранера Функции',
+                            ),
+                        ),
+                        (
+                            'status',
+                            models.ForeignKey(
+                                default='CREATED',
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='edu_rdm_integration_collect_data_stage.collectingdatastagestatus',
+                                verbose_name='Статус',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Этап формирования данных для выгрузки',
+                        'verbose_name_plural': 'Этапы формирования данных для выгрузки',
+                        'db_table': 'rdm_collecting_exported_data_stage',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+                migrations.CreateModel(
+                    name='CollectingExportedDataSubStage',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'started_at',
+                            models.DateTimeField(
+                                auto_now_add=True, db_index=True, verbose_name='Время начала сбора данных'
+                            ),
+                        ),
+                        (
+                            'ended_at',
+                            models.DateTimeField(
+                                blank=True, db_index=True, null=True, verbose_name='Время завершения сбора данных'
+                            ),
+                        ),
+                        (
+                            'function',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='function_tools.entity',
+                                verbose_name='Функция',
+                            ),
+                        ),
+                        (
+                            'previous',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.CASCADE,
+                                to='edu_rdm_integration_collect_data_stage.collectingexporteddatasubstage',
+                                verbose_name='Предыдущий сбор данных',
+                            ),
+                        ),
+                        (
+                            'stage',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='edu_rdm_integration_collect_data_stage.collectingexporteddatastage',
+                                verbose_name='Этап подготовки данных для экспорта',
+                            ),
+                        ),
+                        (
+                            'status',
+                            models.ForeignKey(
+                                default='CREATED',
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='edu_rdm_integration_collect_data_stage.collectingdatasubstagestatus',
+                                verbose_name='Статус',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Подэтап формирования данных для выгрузки',
+                        'verbose_name_plural': 'Подэтапы формирования данных для выгрузки',
+                        'db_table': 'rdm_collecting_exported_data_sub_stage',
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+            ],
+            database_operations=[],
+        ),
+    ]

edu_rdm_integration/stages/collect_data/migrations/0002_edurdmcollectdatacommandprogress.py

@@ -0,0 +1,105 @@
+# Generated by Django 3.2.24 on 2025-06-28 14:09
+
+import uuid
+
+import django.db.models.deletion
+import django.utils.timezone
+from django.db import (
+    migrations,
+    models,
+)
+
+import educommon.django.db.mixins
+
+import edu_rdm_integration.core.utils
+
+
+class Migration(migrations.Migration):
+    dependencies = [
+        ('edu_rdm_integration_models', '0001_initial'),
+        ('async_task', '0003_alter_runningtask_options'),
+        ('edu_rdm_integration_collect_data_stage', '0001_initial'),
+    ]
+
+    operations = [
+        migrations.SeparateDatabaseAndState(
+            state_operations=[
+                migrations.CreateModel(
+                    name='EduRdmCollectDataCommandProgress',
+                    fields=[
+                        (
+                            'id',
+                            models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID'),
+                        ),
+                        (
+                            'created',
+                            models.DateTimeField(default=django.utils.timezone.now, verbose_name='Дата создания'),
+                        ),
+                        (
+                            'logs_period_started_at',
+                            models.DateTimeField(verbose_name='Левая граница периода обрабатываемых логов'),
+                        ),
+                        (
+                            'logs_period_ended_at',
+                            models.DateTimeField(verbose_name='Правая граница периода обрабатываемых логов'),
+                        ),
+                        ('generation_id', models.UUIDField(default=uuid.uuid4, verbose_name='Идентификатор генерации')),
+                        (
+                            'institute_ids',
+                            models.JSONField(blank=True, default=list, null=True, verbose_name='id учебного заведения'),
+                        ),
+                        (
+                            'logs_link',
+                            models.FileField(
+                                max_length=255,
+                                upload_to=edu_rdm_integration.core.utils.get_data_command_progress_attachment_path,
+                                verbose_name='Ссылка на файл логов',
+                            ),
+                        ),
+                        (
+                            'type',
+                            models.PositiveSmallIntegerField(
+                                choices=[(1, 'Автоматический'), (2, 'Ручной')], verbose_name='Тип команды'
+                            ),
+                        ),
+                        (
+                            'model',
+                            models.ForeignKey(
+                                on_delete=django.db.models.deletion.PROTECT,
+                                to='edu_rdm_integration_models.regionaldatamartmodelenum',
+                                verbose_name='Модель РВД',
+                            ),
+                        ),
+                        (
+                            'stage',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.SET_NULL,
+                                to='edu_rdm_integration_collect_data_stage.collectingexporteddatastage',
+                                verbose_name='Этап формирования данных для выгрузки',
+                            ),
+                        ),
+                        (
+                            'task',
+                            models.ForeignKey(
+                                blank=True,
+                                null=True,
+                                on_delete=django.db.models.deletion.SET_NULL,
+                                to='async_task.runningtask',
+                                verbose_name='Асинхронная задача',
+                            ),
+                        ),
+                    ],
+                    options={
+                        'verbose_name': 'Задача по сбору данных',
+                        'verbose_name_plural': 'Задачи по сбору данных',
+                        'db_table': 'edu_rdm_collecting_data_command_progress',
+                        'abstract': False,
+                    },
+                    bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+                ),
+            ],
+            database_operations=[],
+        ),
+    ]

edu_rdm_integration/stages/collect_data/mixins.py

@@ -0,0 +1,56 @@
+from educommon.async_task.models import (
+    AsyncTaskType,
+)
+
+from edu_rdm_integration.core.consts import (
+    TASK_QUEUE_NAME,
+)
+from edu_rdm_integration.core.helpers import (
+    save_command_log_link,
+)
+from edu_rdm_integration.stages.collect_data.models import (
+    EduRdmCollectDataCommandProgress,
+)
+from edu_rdm_integration.stages.collect_data.operations import (
+    BaseCollectModelsDataByGeneratingLogs,
+)
+
+
+class CollectCommandMixin:
+    """Класс-примесь для запуска команды сборки моделей."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Сбор данных моделей РВД'
+    task_type = AsyncTaskType.SYSTEM
+
+    def get_collect_command(self, command_id: int) -> EduRdmCollectDataCommandProgress:
+        """Возвращает экземпляр модели команды запуска."""
+        command = EduRdmCollectDataCommandProgress.objects.get(id=command_id)
+
+        return command
+
+    def get_collect_models_class(self):
+        """Возвращает класс для сбора данных."""
+        return BaseCollectModelsDataByGeneratingLogs
+
+    def run_collect_command(self, command) -> None:
+        """Запуск команды сбора."""
+        collect_models_data_class = self.get_collect_models_class()
+        collect_models_data_class(
+            models=(command.model_id,),
+            logs_period_started_at=command.logs_period_started_at,
+            logs_period_ended_at=command.logs_period_ended_at,
+            command_id=command.id,
+            institute_ids=tuple(command.institute_ids or ()),
+        ).collect()
+
+    def save_collect_command_logs(self, command_id: int, log_dir: str):
+        """Сохранение ссылки на файл логов в команде."""
+        try:
+            command = self.get_collect_command(command_id)
+        except EduRdmCollectDataCommandProgress.DoesNotExist:
+            command = None
+
+        if command:
+            save_command_log_link(command, log_dir)

edu_rdm_integration/stages/collect_data/models.py

@@ -0,0 +1,318 @@
+import uuid
+from datetime import (
+    datetime,
+)
+
+from django.db.models import (
+    CASCADE,
+    PROTECT,
+    SET_NULL,
+    DateTimeField,
+    FileField,
+    ForeignKey,
+    JSONField,
+    PositiveSmallIntegerField,
+    UUIDField,
+)
+from django.utils import (
+    timezone,
+)
+from m3.db import (
+    BaseObjectModel,
+)
+
+from educommon.django.db.mixins import (
+    ReprStrPreModelMixin,
+)
+from educommon.utils.date import (
+    get_today_max_datetime,
+    get_today_min_datetime,
+)
+from function_tools.models import (
+    Entity,
+)
+from m3_db_utils.models import (
+    ModelEnumValue,
+    TitledModelEnum,
+)
+
+from edu_rdm_integration.core.enums import (
+    CommandType,
+)
+from edu_rdm_integration.core.utils import (
+    get_data_command_progress_attachment_path,
+)
+
+
+class CollectingDataStageStatus(TitledModelEnum):
+    """Статус этапа сбора данных."""
+
+    CREATED = ModelEnumValue(
+        title='Создан',
+    )
+
+    IN_PROGRESS = ModelEnumValue(
+        title='В процессе сбора',
+    )
+
+    FAILED = ModelEnumValue(
+        title='Завершено с ошибками',
+    )
+
+    FINISHED = ModelEnumValue(
+        title='Завершено',
+    )
+
+    class Meta:
+        db_table = 'rdm_collecting_data_stage_status'
+        verbose_name = 'Модель-перечисление статусов этапа сбора данных'
+        verbose_name_plural = 'Модели-перечисления статусов этапов сбора данных'
+
+
+class CollectingExportedDataStage(ReprStrPreModelMixin, BaseObjectModel):
+    """Этап подготовки данных в рамках Функций. За работу Функции отвечает ранер менеджер."""
+
+    manager = ForeignKey(
+        to='function_tools.Entity',
+        verbose_name='Менеджер ранера Функции',
+        on_delete=PROTECT,
+        null=True,
+        blank=True,
+    )
+
+    logs_period_started_at = DateTimeField(
+        'Левая граница периода обрабатываемых логов',
+        db_index=True,
+        default=get_today_min_datetime,
+    )
+
+    logs_period_ended_at = DateTimeField(
+        'Правая граница периода обрабатываемых логов',
+        db_index=True,
+        default=get_today_max_datetime,
+    )
+
+    started_at = DateTimeField(
+        'Время начала сбора данных',
+        auto_now_add=True,
+        db_index=True,
+    )
+
+    ended_at = DateTimeField(
+        'Время завершения сбора данных',
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    status = ForeignKey(
+        to='edu_rdm_integration_collect_data_stage.CollectingDataStageStatus',
+        verbose_name='Статус',
+        on_delete=PROTECT,
+        default=CollectingDataStageStatus.CREATED.key,
+    )
+
+    class Meta:
+        db_table = 'rdm_collecting_exported_data_stage'
+        verbose_name = 'Этап формирования данных для выгрузки'
+        verbose_name_plural = 'Этапы формирования данных для выгрузки'
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['manager_id', 'logs_period_started_at', 'logs_period_ended_at', 'started_at', 'ended_at', 'status_id']
+
+    def save(self, *args, **kwargs):
+        """Сохранение этапа сбора данных модели РВД."""
+        if (
+            self.status_id in (CollectingDataStageStatus.FAILED.key, CollectingDataStageStatus.FINISHED.key)
+            and not self.ended_at
+        ):
+            self.ended_at = datetime.now()
+
+        super().save(*args, **kwargs)
+
+
+class CollectingDataSubStageStatus(TitledModelEnum):
+    """Статус этапа сбора данных."""
+
+    CREATED = ModelEnumValue(
+        title='Создан',
+    )
+
+    IN_PROGRESS = ModelEnumValue(
+        title='В процессе сбора',
+    )
+
+    READY_TO_EXPORT = ModelEnumValue(
+        title='Готово к выгрузке',
+    )
+
+    FAILED = ModelEnumValue(
+        title='Завершено с ошибками',
+    )
+
+    EXPORTED = ModelEnumValue(
+        title='Выгружено',
+    )
+
+    NOT_EXPORTED = ModelEnumValue(
+        title='Не выгружено',
+    )
+
+    class Meta:
+        db_table = 'rdm_collecting_data_sub_stage_status'
+        verbose_name = 'Модель-перечисление статусов подэтапа сбора данных'
+        verbose_name_plural = 'Модели-перечисления статусов подэтапов сбора данных'
+
+
+class CollectingExportedDataSubStage(ReprStrPreModelMixin, BaseObjectModel):
+    """Подэтап сбора данных для сущностей в рамках функции."""
+
+    stage = ForeignKey(
+        to=CollectingExportedDataStage,
+        verbose_name='Этап подготовки данных для экспорта',
+        on_delete=PROTECT,
+    )
+
+    function = ForeignKey(
+        to=Entity,
+        verbose_name='Функция',
+        on_delete=PROTECT,
+    )
+
+    started_at = DateTimeField(
+        'Время начала сбора данных',
+        auto_now_add=True,
+        db_index=True,
+    )
+
+    ended_at = DateTimeField(
+        'Время завершения сбора данных',
+        null=True,
+        blank=True,
+        db_index=True,
+    )
+
+    previous = ForeignKey(
+        'self',
+        null=True,
+        blank=True,
+        verbose_name='Предыдущий сбор данных',
+        on_delete=CASCADE,
+    )
+
+    status = ForeignKey(
+        to='edu_rdm_integration_collect_data_stage.CollectingDataSubStageStatus',
+        verbose_name='Статус',
+        on_delete=PROTECT,
+        default=CollectingDataSubStageStatus.CREATED.key,
+    )
+
+    class Meta:
+        db_table = 'rdm_collecting_exported_data_sub_stage'
+        verbose_name = 'Подэтап формирования данных для выгрузки'
+        verbose_name_plural = 'Подэтапы формирования данных для выгрузки'
+
+    @property
+    def attrs_for_repr_str(self):
+        """Список атрибутов для отображения экземпляра модели."""
+        return ['stage_id', 'function_id', 'started_at', 'ended_at', 'previous_id', 'status_id']
+
+    def save(self, *args, **kwargs):
+        """Сохранение подэтапа сбора данных."""
+        if (
+            self.status_id
+            in (CollectingDataSubStageStatus.FAILED.key, CollectingDataSubStageStatus.READY_TO_EXPORT.key)
+            and not self.ended_at
+        ):
+            self.ended_at = datetime.now()
+
+        super().save(*args, **kwargs)
+
+
+class AbstractCollectDataCommandProgress(ReprStrPreModelMixin, BaseObjectModel):
+    """Модель, хранящая данные для формирования и отслеживания асинхронных задач по сбору данных.
+
+    В реализации необходимо определить поля:
+        1. Ссылку на асинхронную задачу, например:
+            task = ForeignKey(
+                to=RunningTask,
+                verbose_name='Асинхронная задача',
+                blank=True, null=True,
+                on_delete=SET_NULL,
+            )
+        2. Поле хранения лога:
+            logs_link = FileField(
+                upload_to=upload_file_handler,
+                max_length=255,
+                verbose_name='Ссылка на файл логов',
+            )
+    """
+
+    task = ...
+
+    logs_link = ...
+
+    stage = ForeignKey(
+        to='edu_rdm_integration_collect_data_stage.CollectingExportedDataStage',
+        verbose_name='Этап формирования данных для выгрузки',
+        blank=True,
+        null=True,
+        on_delete=SET_NULL,
+    )
+    model = ForeignKey(
+        to='edu_rdm_integration_models.RegionalDataMartModelEnum',
+        verbose_name='Модель РВД',
+        on_delete=PROTECT,
+    )
+    created = DateTimeField(
+        verbose_name='Дата создания',
+        default=timezone.now,
+    )
+    logs_period_started_at = DateTimeField(
+        'Левая граница периода обрабатываемых логов',
+    )
+    logs_period_ended_at = DateTimeField(
+        'Правая граница периода обрабатываемых логов',
+    )
+    generation_id = UUIDField(
+        'Идентификатор генерации',
+        default=uuid.uuid4,
+    )
+    institute_ids = JSONField(
+        'id учебного заведения',
+        blank=True,
+        null=True,
+        default=list,
+    )
+
+    class Meta:
+        abstract = True
+        db_table = 'rdm_collecting_data_command_progress'
+        verbose_name = 'Задача по сбору данных'
+        verbose_name_plural = 'Задачи по сбору данных'
+
+
+class EduRdmCollectDataCommandProgress(AbstractCollectDataCommandProgress):
+    """Модель, хранящая данные для формирования и отслеживания асинхронных задач по сбору данных."""
+
+    task = ForeignKey(
+        to='async_task.RunningTask',
+        verbose_name='Асинхронная задача',
+        blank=True,
+        null=True,
+        on_delete=SET_NULL,
+    )
+    logs_link = FileField(
+        upload_to=get_data_command_progress_attachment_path,
+        max_length=255,
+        verbose_name='Ссылка на файл логов',
+    )
+    type = PositiveSmallIntegerField(  # noqa: A003
+        verbose_name='Тип команды',
+        choices=CommandType.get_choices(),
+    )
+
+    class Meta(AbstractCollectDataCommandProgress.Meta):
+        db_table = 'edu_rdm_collecting_data_command_progress'