edu-rdm-integration 2.1.0__tar.gz → 2.2.1__tar.gz

{edu-rdm-integration-2.1.0 → edu-rdm-integration-2.2.1}/CHANGELOG.md

@@ -28,6 +28,27 @@
 
 ### Удалено
 
+## [2.2.1] - 2024-03-28
+ Исправление наследования Meta в моделях EduRdmCollectDataCommandProgress и EduRdmExportDataCommandProgress
+
+### Исправлено
+
+- [EDUSCHL-21569](https://jira.bars.group/browse/EDUSCHL-21569)
+  MINOR Перенести оставшиеся общие асинхронные задачи из ЭШ в пакет edu_rdm_integration
+
+## [2.2.0] - 2024-03-20
+
+Из ЭШ перенесена периодическая задача по сбору и выгрузке данных в РВД.
+
+Также из ЭШ перенесены и переименованы модели:
+ - CollectDataCommandProgress перименована в  EduRdmCollectDataCommandProgress
+ - ExportDataCommandProgress перименована в EduRdmExportDataCommandProgress
+ - Добавлены миксины CollectCommandMixin и ExportCommandMixin
+
+### Добавлено
+
+- [EDUSCHL-21569](https://jira.bars.group/browse/EDUSCHL-21569)
+  MINOR Перенести оставшиеся общие асинхронные задачи из ЭШ в пакет edu_rdm_integration
 
 ## [2.1.0] - 2024-03-18
 

{edu-rdm-integration-2.1.0 → edu-rdm-integration-2.2.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 2.1.0
+Version: 2.2.1
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -293,6 +293,27 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+## [2.2.1] - 2024-03-28
+ Исправление наследования Meta в моделях EduRdmCollectDataCommandProgress и EduRdmExportDataCommandProgress
+
+### Исправлено
+
+- [EDUSCHL-21569](https://jira.bars.group/browse/EDUSCHL-21569)
+  MINOR Перенести оставшиеся общие асинхронные задачи из ЭШ в пакет edu_rdm_integration
+
+## [2.2.0] - 2024-03-20
+
+Из ЭШ перенесена периодическая задача по сбору и выгрузке данных в РВД.
+
+Также из ЭШ перенесены и переименованы модели:
+ - CollectDataCommandProgress перименована в  EduRdmCollectDataCommandProgress
+ - ExportDataCommandProgress перименована в EduRdmExportDataCommandProgress
+ - Добавлены миксины CollectCommandMixin и ExportCommandMixin
+
+### Добавлено
+
+- [EDUSCHL-21569](https://jira.bars.group/browse/EDUSCHL-21569)
+  MINOR Перенести оставшиеся общие асинхронные задачи из ЭШ в пакет edu_rdm_integration
 
 ## [2.1.0] - 2024-03-18
 

{edu-rdm-integration-2.1.0 → edu-rdm-integration-2.2.1}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '2.1.0'
+VERSION = '2.2.1'
 
 current_dir_path = Path().resolve()
 

edu-rdm-integration-2.2.1/src/edu_rdm_integration/collect_and_export_data/__init__.py

@@ -0,0 +1 @@
+default_app_config = 'edu_rdm_integration.collect_and_export_data.apps.AppConfig'

edu-rdm-integration-2.2.1/src/edu_rdm_integration/collect_and_export_data/apps.py

@@ -0,0 +1,9 @@
+from django.apps import (
+    AppConfig as AppConfigBase,
+)
+
+
+class AppConfig(AppConfigBase):
+
+    name = __package__
+    label = 'rdm_collect_and_export_data'

edu-rdm-integration-2.2.1/src/edu_rdm_integration/collect_and_export_data/migrations/0001_initial.py

@@ -0,0 +1,67 @@
+# Generated by Django 3.0.14 on 2024-03-11 16:10
+# flake8: noqa
+import uuid
+
+import django.contrib.postgres.fields.jsonb
+import django.db.models.deletion
+import django.utils.timezone
+from django.db import (
+    migrations,
+    models,
+)
+
+import educommon.django.db.mixins
+
+import edu_rdm_integration.utils
+
+
+class Migration(migrations.Migration):
+
+    initial = True
+
+    dependencies = [
+        ('edu_rdm_integration', '0008_transferredentity'),
+        ('async_task', '0002_task_type_and_status_data'),
+    ]
+
+    operations = [
+        migrations.CreateModel(
+            name='EduRdmExportDataCommandProgress',
+            fields=[
+                ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
+                ('created', models.DateTimeField(default=django.utils.timezone.now, verbose_name='Дата создания')),
+                ('period_started_at', models.DateTimeField(verbose_name='Левая граница периода выборки данных для выгрузки')),
+                ('period_ended_at', models.DateTimeField(verbose_name='Правая граница периода выборки данных для выгрузки')),
+                ('generation_id', models.UUIDField(default=uuid.uuid4, verbose_name='Идентификатор генерации')),
+                ('logs_link', models.FileField(max_length=255, upload_to=edu_rdm_integration.utils.get_data_command_progress_attachment_path, verbose_name='Файл лога')),
+                ('type', models.PositiveSmallIntegerField(choices=[(1, 'Автоматический'), (2, 'Ручной')], verbose_name='Тип команды')),
+                ('entity', models.ForeignKey(on_delete=django.db.models.deletion.PROTECT, to='edu_rdm_integration.RegionalDataMartEntityEnum', verbose_name='Сущность РВД')),
+                ('stage', models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='edu_rdm_integration.ExportingDataStage', verbose_name='Этап выгрузки данных')),
+                ('task', models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='async_task.RunningTask', verbose_name='Асинхронная задача')),
+            ],
+            options={
+                'db_table': 'edu_rdm_exporting_data_command_progress',
+            },
+            bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+        ),
+        migrations.CreateModel(
+            name='EduRdmCollectDataCommandProgress',
+            fields=[
+                ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
+                ('created', models.DateTimeField(default=django.utils.timezone.now, verbose_name='Дата создания')),
+                ('logs_period_started_at', models.DateTimeField(verbose_name='Левая граница периода обрабатываемых логов')),
+                ('logs_period_ended_at', models.DateTimeField(verbose_name='Правая граница периода обрабатываемых логов')),
+                ('generation_id', models.UUIDField(default=uuid.uuid4, verbose_name='Идентификатор генерации')),
+                ('institute_ids', django.contrib.postgres.fields.jsonb.JSONField(blank=True, default=list, null=True, verbose_name='id учебного заведения')),
+                ('logs_link', models.FileField(max_length=255, upload_to=edu_rdm_integration.utils.get_data_command_progress_attachment_path, verbose_name='Ссылка на файл логов')),
+                ('type', models.PositiveSmallIntegerField(choices=[(1, 'Автоматический'), (2, 'Ручной')], verbose_name='Тип команды')),
+                ('model', models.ForeignKey(on_delete=django.db.models.deletion.PROTECT, to='edu_rdm_integration.RegionalDataMartModelEnum', verbose_name='Модель РВД')),
+                ('stage', models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='edu_rdm_integration.CollectingExportedDataStage', verbose_name='Этап формирования данных для выгрузки')),
+                ('task', models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='async_task.RunningTask', verbose_name='Асинхронная задача')),
+            ],
+            options={
+                'db_table': 'edu_rdm_collecting_data_command_progress',
+            },
+            bases=(educommon.django.db.mixins.ReprStrPreModelMixin, models.Model),
+        ),
+    ]

edu-rdm-integration-2.2.1/src/edu_rdm_integration/collect_and_export_data/models.py

@@ -0,0 +1,67 @@
+from django.db.models import (
+    SET_NULL,
+    FileField,
+    ForeignKey,
+    PositiveSmallIntegerField,
+)
+
+from edu_rdm_integration.enums import (
+    CommandType,
+)
+from edu_rdm_integration.models import (
+    AbstractCollectDataCommandProgress,
+    AbstractExportDataCommandProgress,
+)
+from edu_rdm_integration.utils import (
+    get_data_command_progress_attachment_path,
+)
+
+
+class EduRdmCollectDataCommandProgress(AbstractCollectDataCommandProgress):
+    """
+    Модель, хранящая данные для формирования и отслеживания асинхронных задач по сбору данных.
+    """
+
+    task = ForeignKey(
+        to='async_task.RunningTask',
+        verbose_name='Асинхронная задача',
+        blank=True,
+        null=True,
+        on_delete=SET_NULL,
+    )
+    logs_link = FileField(
+        upload_to=get_data_command_progress_attachment_path,
+        max_length=255,
+        verbose_name='Ссылка на файл логов',
+    )
+    type = PositiveSmallIntegerField(  # noqa: A003
+        verbose_name='Тип команды',
+        choices=CommandType.get_choices(),
+    )
+
+    class Meta(AbstractCollectDataCommandProgress.Meta):
+        db_table = 'edu_rdm_collecting_data_command_progress'
+
+
+class EduRdmExportDataCommandProgress(AbstractExportDataCommandProgress):
+    """Команда экспорта данных."""
+
+    task = ForeignKey(
+        to='async_task.RunningTask',
+        verbose_name='Асинхронная задача',
+        null=True,
+        blank=True,
+        on_delete=SET_NULL,
+    )
+    logs_link = FileField(
+        upload_to=get_data_command_progress_attachment_path,
+        max_length=255,
+        verbose_name='Файл лога',
+    )
+    type = PositiveSmallIntegerField(  # noqa: A003
+        verbose_name='Тип команды',
+        choices=CommandType.get_choices(),
+    )
+
+    class Meta(AbstractExportDataCommandProgress.Meta):
+        db_table = 'edu_rdm_exporting_data_command_progress'

edu-rdm-integration-2.2.1/src/edu_rdm_integration/collect_and_export_data/utils.py

@@ -0,0 +1,77 @@
+from edu_rdm_integration.collect_and_export_data.models import (
+    EduRdmCollectDataCommandProgress,
+    EduRdmExportDataCommandProgress,
+)
+from edu_rdm_integration.collect_data.collect import (
+    BaseCollectModelsDataByGeneratingLogs,
+)
+from edu_rdm_integration.export_data.export import (
+    ExportEntitiesData,
+)
+from edu_rdm_integration.helpers import (
+    save_command_log_link,
+)
+
+
+class CollectCommandMixin:
+    """Класс-примесь для запуска команды сборки моделей."""
+
+    def get_collect_command(self, command_id: int) -> EduRdmCollectDataCommandProgress:
+        """Возвращает экземпляр модели команды запуска."""
+        command = EduRdmCollectDataCommandProgress.objects.get(id=command_id)
+
+        return command
+
+    def get_collect_models_class(self):
+        """Возвращает класс для сбора данных."""
+        return BaseCollectModelsDataByGeneratingLogs
+
+    def run_collect_command(self, command) -> None:
+        """Запуск команды сбора."""
+        collect_models_data_class = self.get_collect_models_class()
+        collect_models_data_class(
+            models=(command.model_id,),
+            logs_period_started_at=command.logs_period_started_at,
+            logs_period_ended_at=command.logs_period_ended_at,
+            command_id=command.id,
+            institute_ids=command.institute_ids or (),
+        ).collect()
+
+    def save_collect_command_logs(self, command_id: int, log_dir: str):
+        """Сохранение ссылки на файл логов в команде."""
+        try:
+            command = self.get_collect_command(command_id)
+        except EduRdmCollectDataCommandProgress.DoesNotExist:
+            command = None
+
+        if command:
+            save_command_log_link(command, log_dir)
+
+
+class ExportCommandMixin:
+    """Класс-примесь для запуска команды выгрузки сущностей."""
+
+    def get_export_command(self, command_id: int) -> EduRdmExportDataCommandProgress:
+        """Возвращает экземпляр модели команды запуска."""
+        command = EduRdmExportDataCommandProgress.objects.get(id=command_id)
+
+        return command
+
+    def run_export_command(self, command: EduRdmExportDataCommandProgress) -> None:
+        """Запуск команды выгрузки."""
+        ExportEntitiesData(
+            entities=(command.entity_id,),
+            period_started_at=command.period_started_at,
+            period_ended_at=command.period_ended_at,
+            command_id=command.id,
+        ).export()
+
+    def save_export_command_logs(self, command_id: int, log_dir: str):
+        """Сохранение ссылки на файл логов в команде."""
+        try:
+            command = self.get_export_command(command_id)
+        except EduRdmExportDataCommandProgress.DoesNotExist:
+            command = None
+
+        if command:
+            save_command_log_link(command, log_dir)

{edu-rdm-integration-2.1.0 → edu-rdm-integration-2.2.1}/src/edu_rdm_integration/enums.py

@@ -154,3 +154,15 @@ class EntityRetiredStatusEnum(ValueCodeEnumerate):
         RETIRED: 'Прекращена',
         ENTERED_IN_ERROR: 'Создана по ошибке',
     }
+
+
+class CommandType(BaseEnumerate):
+    """Тип команды."""
+
+    AUTO = 1
+    MANUAL = 2
+
+    values = {
+        AUTO: 'Автоматический',
+        MANUAL: 'Ручной',
+    }

{edu-rdm-integration-2.1.0 → edu-rdm-integration-2.2.1}/src/edu_rdm_integration/helpers.py

@@ -1,4 +1,5 @@
 import heapq
+import os
 from concurrent.futures import (
     ThreadPoolExecutor,
 )
@@ -12,8 +13,12 @@ from typing import (
     List,
     Optional,
     Tuple,
+    Union,
 )
 
+from django.conf import (
+    settings,
+)
 from django.db import (
     transaction,
 )
@@ -28,6 +33,10 @@ from educommon import (
     logger,
 )
 
+from edu_rdm_integration.collect_and_export_data.models import (
+    EduRdmCollectDataCommandProgress,
+    EduRdmExportDataCommandProgress,
+)
 from edu_rdm_integration.enums import (
     FileUploadStatusEnum,
 )
@@ -151,7 +160,7 @@ class Graph:
     """
 
     def __init__(self):
-        self.vertices: Dict[str, Dict[str,  Optional[str]]] = {}
+        self.vertices: Dict[str, Dict[str, Optional[str]]] = {}
         """Словарь для хранения данных графа."""
 
     def add_vertex(self, vertex: str):
@@ -261,3 +270,14 @@ class Graph:
         path.reverse()
 
         return path
+
+
+def save_command_log_link(
+    command: Union[EduRdmCollectDataCommandProgress, EduRdmExportDataCommandProgress],
+    log_dir: str
+) -> None:
+    """Сохраняет ссылку на лог команды."""
+    log_file = os.path.join(settings.MEDIA_ROOT, log_dir, f'{command.id}.log')
+    if os.path.exists(log_file):
+        command.logs_link = os.path.join(log_dir, f'{command.id}.log')
+        command.save()