edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.1__py3-none-any.whl

edu_rdm_integration/adapters/strategies.py

@@ -1,3 +1,10 @@
+"""Стратегии реализации функций для интеграции с продуктами Образования.
+
+Этот модуль содержит классы стратегий, определяющие способы реализации функций
+для работы с продуктами Образования. Стратегии определяют конфигурацию классов
+для различных компонентов системы: менеджеров, исполнителей, валидаторов и т.д.
+"""
+
 from abc import (
     ABCMeta,
 )
@@ -44,106 +51,100 @@ from edu_rdm_integration.adapters.validators import (
 
 
 class WebEduFunctionImplementationStrategy(FunctionImplementationStrategy, metaclass=ABCMeta):
-    """
-    Базовый класс стратегии реализации функции продуктов Образования.
+    """Базовая стратегия реализации функций для продуктов Образования.
+    
+    Определяет основную конфигурацию классов для всех компонентов системы:
+    - Менеджеры для управления выполнением функций
+    - Исполнители (runners) для запуска функций
+    - Помощники (helpers) для вспомогательных операций
+    - Валидаторы для проверки данных
+    - Кэши для хранения промежуточных результатов
+    - Обработчики ошибок и результатов
+    
+    Все методы в этом классе отвечают за установку конкретных реализаций
+    различных компонентов системы.
     """
 
     def _prepare_manager_class(self):
-        """
-        Устанавливает класс менеджера.
-        """
+        """Устанавливает класс менеджера для управления выполнением функций."""
         self._manager_class = WebEduRunnerManager
 
     def _prepare_runner_class(self):
-        """
-        Устанавливает класс ранера.
-        """
+        """Устанавливает класс исполнителя для запуска функций."""
         self._runner_class = WebEduRunner
 
     def _prepare_function_class(self):
-        """
-        Устанавливает класс Функции.
-        """
+        """Устанавливает базовый класс функции для обработки данных."""
         self._function_class = WebEduFunction
 
     def _prepare_runner_helper_class(self):
-        """
-        Устанавливает класс помощника ранера.
-        """
+        """Устанавливает класс помощника для исполнителя функций."""
         self._runner_helper_class = WebEduRunnerHelper
 
     def _prepare_function_helper_class(self):
-        """
-        Устанавливает класс помощника функции.
-        """
+        """Устанавливает класс помощника для функций обработки данных."""
         self._function_helper_class = WebEduFunctionHelper
 
     def _prepare_runner_validator_class(self):
-        """
-        Устанавливает класс валидатора ранера.
-        """
+        """Устанавливает класс валидатора для проверки параметров исполнителя."""
         self._runner_validator_class = WebEduRunnerValidator
 
     def _prepare_function_validator_class(self):
-        """
-        Устанавливает класс валидатора Функции.
-        """
+        """Устанавливает класс валидатора для проверки данных функции."""
         self._function_validator_class = WebEduFunctionValidator
 
     def _prepare_runner_cache_storage_class(self):
-        """
-        Устанавливает класс хранилища кешей ранера.
-        """
+        """Устанавливает класс хранилища кэша для исполнителя."""
         self._runner_cache_storage_class = WebEduRunnerCacheStorage
 
     def _prepare_function_cache_storage_class(self):
-        """
-        Устанавливает класс хранилища кешей Функции.
-        """
+        """Устанавливает класс хранилища кэша для функции."""
         self._function_cache_storage_class = WebEduFunctionCacheStorage
 
     def _prepare_error_class(self):
-        """
-        Устанавливает класс ошибки.
-        """
+        """Устанавливает класс для обработки ошибок."""
         self._error_class = WebEduError
 
     def _prepare_runner_result_class(self):
-        """
-        Устанавливает класс результата.
-        """
+        """Устанавливает класс для хранения результатов работы исполнителя."""
         self._runner_result_class = WebEduRunnerResult
 
     def _prepare_function_result_class(self):
-        """
-        Устанавливает класс результата.
-        """
+        """Устанавливает класс для хранения результатов работы функции."""
         self._function_result_class = WebEduFunctionResult
 
     def _prepare_result_presenter_class(self):
-        """
-        Устанавливает класс презентера результата.
-        """
+        """Устанавливает класс для представления результатов."""
         self._result_presenter_class = WebEduResultPresenter
 
 
 class WebEduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrategy(
-    WebEduFunctionImplementationStrategy,
-    metaclass=ABCMeta
+    WebEduFunctionImplementationStrategy, metaclass=ABCMeta
 ):
-    """
-    Стратегия создания функции с отложенным сохранением и предустановленной очередью объектов на сохранение продуктов Образования.
+    """Стратегия создания функции с отложенным сохранением и предустановленной очередью.
+    
+    Расширяет базовую стратегию, добавляя специфическую логику для:
+    - Отложенного сохранения данных (lazy saving)
+    - Работы с предустановленной очередью объектов
+    - Синхронного выполнения операций
+    
+    Сохранение данных производится только после успешного выполнения всех операций
+    функции, что обеспечивает целостность данных и атомарность операций.
     """
 
     def _prepare_key(self) -> str:
-        """
-        Возвращает уникальный идентификатор стратегии создания функции.
+        """Возвращает уникальный идентификатор стратегии.
+        
+        Returns:
+            str: Ключ для идентификации стратегии в системе
         """
         return 'WEB_EDU_SYNC_LAZY_SAVING_FUNCTION'
 
     def _prepare_title(self) -> str:
-        """
-        Возвращает название стратегии создания функции.
+        """Возвращает название стратегии.
+        
+        Returns:
+            str: Человекочитаемое описание стратегии
         """
         return (
             'Стратегия создания функции с отложенным сохранением и предустановленной очередью объектов на сохранение '
@@ -152,13 +153,14 @@ class WebEduSyncBaseRunnerLazySavingPredefinedQueueFunctionImplementationStrateg
 
     @classmethod
     def _prepare_function_template_name(cls) -> Optional[str]:
-        """
-        Формирование названия шаблона создания функции.
+        """Формирование названия шаблона создания функции.
+        
+        Returns:
+            Optional[str]: Имя шаблона для создания функции или None,
+            если шаблон не требуется
         """
         return 'function_sync_template'
 
     def _prepare_function_class(self):
-        """
-        Устанавливает класс Функции.
-        """
+        """Устанавливает класс функции с поддержкой отложенного сохранения."""
         self._function_class = WebEduLazySavingPredefinedQueueFunction

edu_rdm_integration/adapters/validators.py

@@ -1,3 +1,13 @@
+"""Классы для валидации данных в системе интеграции.
+
+Этот модуль содержит базовые классы валидаторов, которые обеспечивают
+проверку корректности данных на разных уровнях системы:
+- Валидация входных параметров функций
+- Проверка состояния исполнителей
+- Валидация результатов обработки
+- Проверка бизнес-правил
+"""
+
 from abc import (
     ABCMeta,
 )
@@ -8,12 +18,41 @@ from function_tools.validators import (
 
 
 class WebEduRunnerValidator(BaseValidator, metaclass=ABCMeta):
-    """
-    Базовый класс валидаторов ранеров функций продуктов Образования.
+    """Базовый класс для валидации исполнителей функций.
+    
+    Предоставляет механизмы проверки:
+    - Корректности конфигурации исполнителя
+    - Доступности необходимых ресурсов
+    - Состояния исполнителя перед запуском
+    - Валидности результатов выполнения
+    
+    Note:
+        Конкретные реализации должны определить специфичные
+        правила валидации для каждого типа исполнителя.
+    
+    Attributes:
+        errors (list): Список обнаруженных ошибок
+        warnings (list): Список предупреждений
     """
 
 
 class WebEduFunctionValidator(BaseValidator, metaclass=ABCMeta):
-    """
-    Базовый класс валидаторов функций продуктов Образования.
+    """Базовый класс для валидации функций обработки данных.
+    
+    Предоставляет механизмы проверки:
+    - Входных параметров функции
+    - Формата данных
+    - Бизнес-правил
+    - Результатов обработки
+    
+    Note:
+        При реализации валидаторов для конкретных функций следует:
+        - Определить специфичные правила проверки
+        - Добавить проверку бизнес-ограничений
+        - Реализовать валидацию форматов данных
+    
+    Attributes:
+        errors (list): Список обнаруженных ошибок
+        warnings (list): Список предупреждений
+        context (dict): Контекст валидации
     """

edu_rdm_integration/apps.py

@@ -12,33 +12,16 @@ class EduRDMIntegrationConfig(AppConfig):
     name = 'edu_rdm_integration'
     label = 'edu_rdm_integration'
 
-    def __set_default_settings(self):
-        """Установка дефолтных значений настроек приложения."""
-        from django.conf import (
-            settings,
-        )
-
-        from edu_rdm_integration import (
-            app_settings as defaults,
-        )
-
-        for name in dir(defaults):
-            if name.isupper() and not hasattr(settings, name):
-                setattr(settings, name, getattr(defaults, name))
-
     def __setup_uploader_client(self):
-        """
-        Инициализация клиента для взаимодействия с Региональной витриной данных.
-        """
-
+        """Инициализация клиента для взаимодействия с Региональной витриной данных."""
         import uploader_client
         from django.core.cache import (
             DEFAULT_CACHE_ALIAS,
             caches,
         )
         from uploader_client.contrib.rdm.interfaces.configurations import (
-            RegionalDataMartUploaderConfig,
             RegionalDataMartEmulationUploaderConfig,
+            RegionalDataMartUploaderConfig,
         )
 
         if settings.RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION:
@@ -49,7 +32,7 @@ class EduRDMIntegrationConfig(AppConfig):
                     datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
                     timeout=1,
                     request_retries=1,
-                    file_status=settings.RDM_RESPONSE_FILE_STATUS
+                    file_status=settings.RDM_RESPONSE_FILE_STATUS,
                 )
             )
         elif settings.RDM_UPLOADER_CLIENT_USE_PROXY_API:
@@ -84,6 +67,3 @@ class EduRDMIntegrationConfig(AppConfig):
 
         # Инициализация клиента загрузчика данных в Витрину
         self.__setup_uploader_client()
-
-        # Установка дефолтных значений в settings.py
-        self.__set_default_settings()

edu_rdm_integration/collect_and_export_data/__init__.py

@@ -1 +1 @@
-default_app_config = 'edu_rdm_integration.collect_and_export_data.apps.AppConfig'
+# TODO EDUDEVOPS-95 Будет удалено в будущих версиях

edu_rdm_integration/collect_and_export_data/apps.py

@@ -4,6 +4,7 @@ from django.apps import (
 
 
 class AppConfig(AppConfigBase):
+    """Базовые компоненты для запуска сбора и выгрузки данных через пользовательский интерфейс."""
 
     name = __package__
     label = 'rdm_collect_and_export_data'

edu_rdm_integration/collect_and_export_data/migrations/0001_initial.py

@@ -12,11 +12,10 @@ from django.db import (
 
 import educommon.django.db.mixins
 
-import edu_rdm_integration.utils
+import edu_rdm_integration.core.utils
 
 
 class Migration(migrations.Migration):
-
     initial = True
 
     dependencies = [
@@ -30,14 +29,57 @@ class Migration(migrations.Migration):
             fields=[
                 ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
                 ('created', models.DateTimeField(default=django.utils.timezone.now, verbose_name='Дата создания')),
-                ('period_started_at', models.DateTimeField(verbose_name='Левая граница периода выборки данных для выгрузки')),
-                ('period_ended_at', models.DateTimeField(verbose_name='Правая граница периода выборки данных для выгрузки')),
+                (
+                    'period_started_at',
+                    models.DateTimeField(verbose_name='Левая граница периода выборки данных для выгрузки'),
+                ),
+                (
+                    'period_ended_at',
+                    models.DateTimeField(verbose_name='Правая граница периода выборки данных для выгрузки'),
+                ),
                 ('generation_id', models.UUIDField(default=uuid.uuid4, verbose_name='Идентификатор генерации')),
-                ('logs_link', models.FileField(max_length=255, upload_to=edu_rdm_integration.utils.get_data_command_progress_attachment_path, verbose_name='Файл лога')),
-                ('type', models.PositiveSmallIntegerField(choices=[(1, 'Автоматический'), (2, 'Ручной')], verbose_name='Тип команды')),
-                ('entity', models.ForeignKey(on_delete=django.db.models.deletion.PROTECT, to='edu_rdm_integration.RegionalDataMartEntityEnum', verbose_name='Сущность РВД')),
-                ('stage', models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='edu_rdm_integration.ExportingDataStage', verbose_name='Этап выгрузки данных')),
-                ('task', models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='async_task.RunningTask', verbose_name='Асинхронная задача')),
+                (
+                    'logs_link',
+                    models.FileField(
+                        max_length=255,
+                        upload_to=edu_rdm_integration.core.utils.get_data_command_progress_attachment_path,
+                        verbose_name='Файл лога',
+                    ),
+                ),
+                (
+                    'type',
+                    models.PositiveSmallIntegerField(
+                        choices=[(1, 'Автоматический'), (2, 'Ручной')], verbose_name='Тип команды'
+                    ),
+                ),
+                (
+                    'entity',
+                    models.ForeignKey(
+                        on_delete=django.db.models.deletion.PROTECT,
+                        to='edu_rdm_integration.RegionalDataMartEntityEnum',
+                        verbose_name='Сущность РВД',
+                    ),
+                ),
+                (
+                    'stage',
+                    models.ForeignKey(
+                        blank=True,
+                        null=True,
+                        on_delete=django.db.models.deletion.SET_NULL,
+                        to='edu_rdm_integration.ExportingDataStage',
+                        verbose_name='Этап выгрузки данных',
+                    ),
+                ),
+                (
+                    'task',
+                    models.ForeignKey(
+                        blank=True,
+                        null=True,
+                        on_delete=django.db.models.deletion.SET_NULL,
+                        to='async_task.RunningTask',
+                        verbose_name='Асинхронная задача',
+                    ),
+                ),
             ],
             options={
                 'db_table': 'edu_rdm_exporting_data_command_progress',
@@ -49,15 +91,63 @@ class Migration(migrations.Migration):
             fields=[
                 ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
                 ('created', models.DateTimeField(default=django.utils.timezone.now, verbose_name='Дата создания')),
-                ('logs_period_started_at', models.DateTimeField(verbose_name='Левая граница периода обрабатываемых логов')),
-                ('logs_period_ended_at', models.DateTimeField(verbose_name='Правая граница периода обрабатываемых логов')),
+                (
+                    'logs_period_started_at',
+                    models.DateTimeField(verbose_name='Левая граница периода обрабатываемых логов'),
+                ),
+                (
+                    'logs_period_ended_at',
+                    models.DateTimeField(verbose_name='Правая граница периода обрабатываемых логов'),
+                ),
                 ('generation_id', models.UUIDField(default=uuid.uuid4, verbose_name='Идентификатор генерации')),
-                ('institute_ids', django.contrib.postgres.fields.jsonb.JSONField(blank=True, default=list, null=True, verbose_name='id учебного заведения')),
-                ('logs_link', models.FileField(max_length=255, upload_to=edu_rdm_integration.utils.get_data_command_progress_attachment_path, verbose_name='Ссылка на файл логов')),
-                ('type', models.PositiveSmallIntegerField(choices=[(1, 'Автоматический'), (2, 'Ручной')], verbose_name='Тип команды')),
-                ('model', models.ForeignKey(on_delete=django.db.models.deletion.PROTECT, to='edu_rdm_integration.RegionalDataMartModelEnum', verbose_name='Модель РВД')),
-                ('stage', models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='edu_rdm_integration.CollectingExportedDataStage', verbose_name='Этап формирования данных для выгрузки')),
-                ('task', models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='async_task.RunningTask', verbose_name='Асинхронная задача')),
+                (
+                    'institute_ids',
+                    django.contrib.postgres.fields.jsonb.JSONField(
+                        blank=True, default=list, null=True, verbose_name='id учебного заведения'
+                    ),
+                ),
+                (
+                    'logs_link',
+                    models.FileField(
+                        max_length=255,
+                        upload_to=edu_rdm_integration.core.utils.get_data_command_progress_attachment_path,
+                        verbose_name='Ссылка на файл логов',
+                    ),
+                ),
+                (
+                    'type',
+                    models.PositiveSmallIntegerField(
+                        choices=[(1, 'Автоматический'), (2, 'Ручной')], verbose_name='Тип команды'
+                    ),
+                ),
+                (
+                    'model',
+                    models.ForeignKey(
+                        on_delete=django.db.models.deletion.PROTECT,
+                        to='edu_rdm_integration.RegionalDataMartModelEnum',
+                        verbose_name='Модель РВД',
+                    ),
+                ),
+                (
+                    'stage',
+                    models.ForeignKey(
+                        blank=True,
+                        null=True,
+                        on_delete=django.db.models.deletion.SET_NULL,
+                        to='edu_rdm_integration.CollectingExportedDataStage',
+                        verbose_name='Этап формирования данных для выгрузки',
+                    ),
+                ),
+                (
+                    'task',
+                    models.ForeignKey(
+                        blank=True,
+                        null=True,
+                        on_delete=django.db.models.deletion.SET_NULL,
+                        to='async_task.RunningTask',
+                        verbose_name='Асинхронная задача',
+                    ),
+                ),
             ],
             options={
                 'db_table': 'edu_rdm_collecting_data_command_progress',

edu_rdm_integration/collect_and_export_data/migrations/0002_auto_20250204_1413.py

@@ -1,10 +1,12 @@
 # Generated by Django 3.2.23 on 2025-02-04 14:13
 
-from django.db import migrations, models
+from django.db import (
+    migrations,
+    models,
+)
 
 
 class Migration(migrations.Migration):
-
     dependencies = [
         ('rdm_collect_and_export_data', '0001_initial'),
     ]

edu_rdm_integration/collect_and_export_data/models.py

@@ -1,67 +1 @@
-from django.db.models import (
-    SET_NULL,
-    FileField,
-    ForeignKey,
-    PositiveSmallIntegerField,
-)
-
-from edu_rdm_integration.enums import (
-    CommandType,
-)
-from edu_rdm_integration.models import (
-    AbstractCollectDataCommandProgress,
-    AbstractExportDataCommandProgress,
-)
-from edu_rdm_integration.utils import (
-    get_data_command_progress_attachment_path,
-)
-
-
-class EduRdmCollectDataCommandProgress(AbstractCollectDataCommandProgress):
-    """
-    Модель, хранящая данные для формирования и отслеживания асинхронных задач по сбору данных.
-    """
-
-    task = ForeignKey(
-        to='async_task.RunningTask',
-        verbose_name='Асинхронная задача',
-        blank=True,
-        null=True,
-        on_delete=SET_NULL,
-    )
-    logs_link = FileField(
-        upload_to=get_data_command_progress_attachment_path,
-        max_length=255,
-        verbose_name='Ссылка на файл логов',
-    )
-    type = PositiveSmallIntegerField(  # noqa: A003
-        verbose_name='Тип команды',
-        choices=CommandType.get_choices(),
-    )
-
-    class Meta(AbstractCollectDataCommandProgress.Meta):
-        db_table = 'edu_rdm_collecting_data_command_progress'
-
-
-class EduRdmExportDataCommandProgress(AbstractExportDataCommandProgress):
-    """Команда экспорта данных."""
-
-    task = ForeignKey(
-        to='async_task.RunningTask',
-        verbose_name='Асинхронная задача',
-        null=True,
-        blank=True,
-        on_delete=SET_NULL,
-    )
-    logs_link = FileField(
-        upload_to=get_data_command_progress_attachment_path,
-        max_length=255,
-        verbose_name='Файл лога',
-    )
-    type = PositiveSmallIntegerField(  # noqa: A003
-        verbose_name='Тип команды',
-        choices=CommandType.get_choices(),
-    )
-
-    class Meta(AbstractExportDataCommandProgress.Meta):
-        db_table = 'edu_rdm_exporting_data_command_progress'
+# Оставлено для совместимости

edu_rdm_integration/{consts.py → core/consts.py}

@@ -1,8 +1,3 @@
-from educommon.integration_entities.enums import (
-    EntityLogOperation,
-)
-
-
 REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA = 'regional_data_mart_integration_collecting_data'
 REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA = 'regional_data_mart_integration_exporting_data'
 
@@ -31,9 +26,3 @@ ACADEMIC_YEAR = {
 TASK_QUEUE_NAME = 'RDM'
 FAST_TRANSFER_TASK_QUEUE_NAME = 'RDM_FAST'
 LONG_TRANSFER_TASK_QUEUE_NAME = 'RDM_LONG'
-
-
-# Кортеж операций для обновления данных
-UPDATED_OPERATIONS = (EntityLogOperation.CREATE, EntityLogOperation.UPDATE)
-ALL_OPERATIONS = UPDATED_OPERATIONS + (EntityLogOperation.DELETE, )
-

edu_rdm_integration/{enums.py → core/enums.py}

@@ -6,17 +6,9 @@ from m3.db import (
     BaseEnumerate,
 )
 
-from edu_rdm_integration.consts import (
-    FAST_TRANSFER_TASK_QUEUE_NAME,
-    LONG_TRANSFER_TASK_QUEUE_NAME,
-    TASK_QUEUE_NAME,
-)
-
 
 class ValueCodeEnumerate(BaseEnumerate):
-    """
-    Добавляет к перечислению метод возвращающий наименование кода по константе.
-    """
+    """Добавляет к перечислению метод возвращающий наименование кода по константе."""
 
     _codes_cache = None
     _values_cache = None
@@ -56,17 +48,15 @@ class EntityStatusEnum(ValueCodeEnumerate):
     }
 
 
-class FileUploadStatusEnum(BaseEnumerate):
-    """Действие по отслеживаемым данным."""
+class CommandType(BaseEnumerate):
+    """Тип команды."""
 
-    IN_PROGRESS = 1
-    FINISHED = 2
-    ERROR = 3
+    AUTO = 1
+    MANUAL = 2
 
     values = {
-        IN_PROGRESS: 'В процессе загрузки в витрину',
-        FINISHED: 'Загрузка в витрину закончена',
-        ERROR: 'Ошибка загрузки в витрину',
+        AUTO: 'Автоматический',
+        MANUAL: 'Ручной',
     }
 
 
@@ -160,40 +150,3 @@ class EntityRetiredStatusEnum(ValueCodeEnumerate):
         RETIRED: 'Прекращена',
         ENTERED_IN_ERROR: 'Создана по ошибке',
     }
-
-
-class CommandType(BaseEnumerate):
-    """Тип команды."""
-
-    AUTO = 1
-    MANUAL = 2
-
-    values = {
-        AUTO: 'Автоматический',
-        MANUAL: 'Ручной',
-    }
-
-
-class EntityLevelQueueTypeEnum(BaseEnumerate):
-    """Тип уровня очереди сущности."""
-
-    FAST = 1
-    BASE = 2
-    LONG = 3
-
-    values = {
-        FAST: 'Быстрая',
-        BASE: 'Основная',
-        LONG: 'Долгая'
-    }
-
-    celery_queue_maps = {
-        FAST: FAST_TRANSFER_TASK_QUEUE_NAME,
-        BASE: TASK_QUEUE_NAME,
-        LONG: LONG_TRANSFER_TASK_QUEUE_NAME
-    }
-
-    @classmethod
-    def get_queue_name(cls, level: int) -> Optional[str]:
-        """Возвращает очередь."""
-        return cls.celery_queue_maps.get(level)