edu-rdm-integration 3.6.0__py3-none-any.whl → 3.8.0__py3-none-any.whl

edu_rdm_integration/collect_data/base/consts.py

@@ -0,0 +1,3 @@
+NOT_SPECIFIED_QUEUE_TO_MODEL_ERROR = 'Для переданной модели {} не указана очередь для сохранения!'
+
+CACHED_OBJECTS_TYPE_MISMATCH_ERROR = 'Тип сравниваемого объекта не соответствует типу объекта в кеше'

edu_rdm_integration/collect_data/base/mixins.py

@@ -1,3 +1,10 @@
+from abc import (
+    ABCMeta,
+    abstractmethod,
+)
+from copy import (
+    deepcopy,
+)
 from typing import (
     TYPE_CHECKING,
     Any,
@@ -25,10 +32,17 @@ from educommon.integration_entities.consts import (
 from educommon.integration_entities.enums import (
     EntityLogOperation,
 )
+from educommon.integration_entities.helpers import (
+    EntitySaver,
+)
 
 from edu_rdm_integration.collect_data.base.caches import (
     LogChange,
 )
+from edu_rdm_integration.collect_data.base.consts import (
+    CACHED_OBJECTS_TYPE_MISMATCH_ERROR,
+    NOT_SPECIFIED_QUEUE_TO_MODEL_ERROR,
+)
 from edu_rdm_integration.helpers import (
     Graph,
 )
@@ -41,8 +55,15 @@ from edu_rdm_integration.utils import (
 
 
 if TYPE_CHECKING:
+    from edu_rdm_integration.adapters.caches import (
+        WebEduEntityCache,
+    )
     from edu_rdm_integration.collect_data.base.caches import (
         IgnoreLogDependency,
+        LogChange,
+    )
+    from edu_rdm_integration.models import (
+        BaseEntityModel,
     )
 
 
@@ -216,3 +237,189 @@ class BaseIgnoreLogMixin:
                     id__in=self.logs[log_model._meta.label],
                 ).values_list('pk', flat=True)
                 self._exclude_logs(log_model._meta.label, ignore_model_ids)
+
+
+class FilteredSaveEntitiesFunctionMixin(metaclass=ABCMeta):
+    """
+    Миксин, реализующий фильтрацию объектов перед сохранением.
+
+    Предназначен для использования в классах, которые занимаются сохранением сущностей, но при этом хотят исключить
+    неизменённые объекты из операции записи, чтобы избежать лишних действий или запросов к базе данных.
+    Для работы требует реализации абстрактного свойства `_model_to_cache_map` и `_model_to_save_queue_map`, которое
+    определяет, какие сущности и с каким кешем нужно обработать.
+
+    Attributes:
+        _filtered_operations (tuple[EntityLogOperation]): : Операции, подлежащие фильтрации (по умолчанию только UPDATE).
+        _saved_entities_to_cache_map (dict[type[BaseEntityModel], WebEduEntityCache]): Копия маппинга моделей на кэши,
+            используемая для сравнения изменений.
+        _ignored_fields (dict[EntityLogOperation, tuple[str]]): Словарь полей, которые следует игнорировать при
+            сравнении для каждой операции.
+    """
+
+    _filtered_operations: tuple[EntityLogOperation, ...] = (EntityLogOperation.UPDATE,)
+    _saved_entities_to_cache_map: dict[type['BaseEntityModel'], 'WebEduEntityCache'] = {}
+    _ignored_fields = {
+        EntityLogOperation.UPDATE: ('modified', 'operation', 'collecting_sub_stage', 'exporting_sub_stage'),
+    }
+
+    def _is_object_to_save(
+        self,
+        saved_object: 'BaseEntityModel',
+        ignore_fields: Optional[Iterable[str]] = None
+    ) -> bool:
+        """
+        Проверяет, должен ли объект быть добавлен в очередь на сохранение.
+
+        Args:
+            saved_object ('BaseEntityModel'): Объект, который предполагается сохранить.
+            ignore_fields (Optional[Iterable[str]]): Дополнительные поля, которые нужно игнорировать.
+
+        Returns:
+            bool: True, если объект был изменён и его нужно сохранить, иначе False.
+        """
+        save_object_type = type(saved_object)
+        cache = self._saved_entities_to_cache_map.get(save_object_type)
+
+        modified = True
+
+        if cache and saved_object.pk:
+            original_object = cache.get(id=saved_object.pk)
+
+            if original_object:
+                modified = self._is_save_object_modified(saved_object, original_object, ignore_fields)
+
+        return modified
+
+    def _is_save_object_modified(
+        self,
+        saved_object: 'BaseEntityModel',
+        original_object: 'BaseEntityModel',
+        ignore_fields: Optional[Iterable[str]] = None
+    ) -> bool:
+        """
+        Проверяет, были ли изменения в указанном объекте относительно оригинала.
+
+        Args:
+            saved_object ('BaseEntityModel'): Объект, который предполагается сохранить.
+            original_object ('BaseEntityModel'): Оригинальное значение из кэша.
+            ignore_fields (Optional[Iterable[str]]): Поля, которые следует игнорировать при сравнении.
+
+        Returns:
+            bool: True, если объект был изменён, иначе False.
+        """
+        if not isinstance(saved_object, type(original_object)):
+            raise ValueError(CACHED_OBJECTS_TYPE_MISMATCH_ERROR)
+
+        if saved_object.operation == EntityLogOperation.DELETE:
+            return True
+
+        if ignore_fields is None:
+            ignore_fields = []
+
+        # Сравниваем поля объектов
+        for field in original_object._meta.fields:
+            field_name = field.name
+
+            # Пропускаем игнорируемые поля
+            if field_name in ignore_fields:
+                continue
+
+            # Получаем текущее значение поля из измененного объекта
+            current_value = getattr(saved_object, field_name)
+
+            # Получаем оригинальное значение поля из кеша
+            original_value = getattr(original_object, field_name)
+
+            # Сравниваем значения
+            if current_value != original_value:
+                return True
+
+        # Если все поля совпадают, объект не изменился
+        return False
+
+    def _before_prepare(self, *args, **kwargs):
+        """
+        Подготовительный этап перед началом обработки объектов.
+
+        Сохраняет копию текущих сопоставлений объектов и кэшей, чтобы обеспечить чистое состояние для последующего
+        сравнения.
+        """
+        self._saved_entities_to_cache_map = {
+            model: deepcopy(cache)
+            for model, cache in self._model_to_cache_map.items()
+        }
+
+        super()._before_prepare(*args, **kwargs)
+
+    @property
+    @abstractmethod
+    def _model_to_cache_map(self) -> dict[type['BaseEntityModel'], 'WebEduEntityCache']:
+        """
+        Абстрактное свойство, возвращающее соответствие между типами моделей и их кэшами.
+
+        Должно быть реализовано в дочернем классе. Используется для получения оригинальных данных объектов
+        перед сравнением.
+
+        Returns:
+            dict[type[BaseEntityModel], WebEduEntityCache]: Словарь, где ключ — это тип модели, а значение —
+                соответствующий кэш этой модели.
+        """
+
+    @property
+    @abstractmethod
+    def _model_to_save_queue_map(self) -> dict[type['BaseEntityModel'], dict]:
+        """
+        Абстрактное свойство, возвращающее соответствие между типами моделей и очередями сохранения.
+
+        Должно быть реализовано в дочернем классе. Используется для определения, в какую очередь будет добавляться
+        объект для сохранения.
+
+        Returns:
+            dict[type[BaseEntityModel], dict]: Словарь, где ключ — это тип модели, а значение — словарь, представляющий
+                очередь сохранения для этой модели.
+        """
+
+    def _add_to_save_entities(
+        self,
+        save_object: 'BaseEntityModel',
+        operation: EntityLogOperation,
+    ):
+        """Добавление в очередь сущности на сохранение."""
+        try:
+            to_save_queue: dict[
+                EntityLogOperation, dict[int, 'BaseEntityModel']
+            ] = self._model_to_save_queue_map[type(save_object)]
+        except KeyError:
+            raise KeyError(NOT_SPECIFIED_QUEUE_TO_MODEL_ERROR.format(save_object._meta.model_name))
+
+        save_object.operation = operation
+        save_object.collecting_sub_stage = self._sub_stage
+
+        if operation == EntityLogOperation.CREATE:
+            to_save_queue[EntityLogOperation.CREATE][save_object.id] = save_object
+        elif operation in {EntityLogOperation.UPDATE, EntityLogOperation.DELETE}:
+            if self._is_object_to_save(save_object, self._ignored_fields.get(operation)):
+                to_save_queue[EntityLogOperation.UPDATE][save_object.id] = save_object
+
+    def _get_entity_saver(self, model: 'BaseEntityModel') -> EntitySaver:
+        """
+        Возвращает экземпляр saver'а для указанной модели.
+
+        Args:
+            model (BaseEntityModel): Тип модели, для которой требуется получить saver.
+
+        Returns:
+            EntitySaver: Объект, отвечающий за сохранение сущностей указанного типа.
+        """
+        to_save_queue = self._model_to_save_queue_map[model]
+        return EntitySaver(to_save_entities=to_save_queue, model=model)
+
+    def _save_entities(self):
+        """
+        Выполняет сохранение всех отфильтрованных и подготовленных объектов.
+
+        Перебирает все модели из `_model_to_save_queue_map` и вызывает соответствующий `EntitySaver`.
+        """
+        for model in self._model_to_save_queue_map:
+            entity_saver = self._get_entity_saver(model)
+            entity_saver()

edu_rdm_integration/helpers.py

@@ -58,7 +58,6 @@ from edu_rdm_integration.models import (
     ExportingDataStageStatus,
     ExportingDataSubStageStatus,
     ExportingDataSubStageUploaderClientLog,
-    UploadDataCommand,
     UploadStatusRequestLog,
 )
 from edu_rdm_integration.redis_cache import (
@@ -321,7 +320,7 @@ class Graph:
 
 
 def save_command_log_link(
-    command: Union[AbstractExportDataCommandProgress, UploadDataCommand],
+    command: AbstractExportDataCommandProgress,
     log_dir: str
 ) -> None:
     """Сохраняет ссылку на лог команды."""

edu_rdm_integration/migrations/0017_delete_uploaddatacommand.py

@@ -0,0 +1,16 @@
+# Generated by Django 3.2.24 on 2025-05-07 19:50
+
+from django.db import migrations
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration', '0016_transferredentity_queue_level'),
+    ]
+
+    operations = [
+        migrations.DeleteModel(
+            name='UploadDataCommand',
+        ),
+    ]

edu_rdm_integration/models.py

@@ -969,42 +969,3 @@ class ExportingDataSubStageEntity(BaseObjectModel):
         db_table = 'rdm_exporting_data_sub_stage_entity'
         verbose_name = 'Связь сущности и подэтапа выгрузки'
         verbose_name_plural = 'Связи сущности и подэтапа выгрузки'
-
-
-class UploadDataCommand(ReprStrPreModelMixin, BaseObjectModel):
-    """Модель, хранящая данные для формирования и отслеживания асинхронной задачи по отправке данных в витрину."""
-
-    task = ForeignKey(
-        to='async_task.RunningTask',
-        verbose_name='Асинхронная задача',
-        blank=True,
-        null=True,
-        on_delete=SET_NULL,
-    )
-    logs_link = FileField(
-        upload_to=get_data_command_progress_attachment_path,
-        max_length=255,
-        verbose_name='Ссылка на файл логов',
-    )
-    type = PositiveSmallIntegerField(  # noqa: A003
-        verbose_name='Тип команды',
-        choices=CommandType.get_choices(),
-    )
-    entity = ForeignKey(
-        to=RegionalDataMartEntityEnum,
-        verbose_name='Сущность РВД',
-        on_delete=PROTECT,
-    )
-    created = DateTimeField(
-        verbose_name='Дата создания',
-        default=timezone.now,
-    )
-    generation_id = UUIDField(
-        'Идентификатор генерации',
-        default=uuid.uuid4,
-    )
-
-    class Meta:
-        db_table = 'rdm_upload_data_command'
-        verbose_name = 'Команда отправки данных в витрину'
-        verbose_name_plural = 'Команды отправки данных в витрину'

{edu_rdm_integration-3.6.0.dist-info → edu_rdm_integration-3.8.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.6.0
+Version: 3.8.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu_rdm_integration/browse
@@ -79,7 +79,7 @@ Dynamic: license-file
 Стоит обратить внимание, что сущности РВД могут содержать в себе данные из нескольких моделей РВД.
 
 Очереди для периодических задач сборки и выгрузки данных
-: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответсвущие этим очередям периодические задачи
+: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответствущие этим очередям периодические задачи
 сбора и выгрузки данных. Очередь для сущности указывается в реестре "Сущности для сбора и экспорта данных" - по умолчанию все
 сущности относятся к основной очереди.
 Итого - нужно настроить три очереди для работы.
@@ -142,8 +142,36 @@ Dynamic: license-file
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
     ```
- С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
-   ```
+    Дополнительные настройки с версии 3.4.2
+    ```
+    PROJECT_DEFAULT_CONFIG.update({
+        # Настройки РВД
+        ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
+        ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
+        ('rdm_transfer_task', 'MINUTE'): '0',
+        ('rdm_transfer_task', 'HOUR'): '*/4',
+        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
+        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
+        ('rdm_transfer_task', 'ENTITIES'): '',
+        ('rdm_upload_status_task', 'MINUTE'): '*/30',
+        ('rdm_upload_status_task', 'HOUR'): '*',
+        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_upload_data_task', 'MINUTE'): '0',
+        ('rdm_upload_data_task', 'HOUR'): '*/2',
+        ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('uploader_client', 'URL'): 'http://localhost:8090',
+        ('uploader_client', 'DATAMART_NAME'): '',
+        ('uploader_client', 'REQUEST_RETRIES'): 10,
+        ('uploader_client', 'REQUEST_TIMEOUT'): 10,
+        ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
+    })
+    ```
+    С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
+    ```
     PROJECT_DEFAULT_CONFIG.update({
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
@@ -167,14 +195,18 @@ Dynamic: license-file
         ('rdm_upload_status_task', 'HOUR'): '*',
         ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
         ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_upload_data_task', 'MINUTE'): '0',
+        ('rdm_upload_data_task', 'HOUR'): '*/2',
+        ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 7200,
         ('uploader_client', 'URL'): 'http://localhost:8090',
         ('uploader_client', 'DATAMART_NAME'): '',
         ('uploader_client', 'REQUEST_RETRIES'): 10,
         ('uploader_client', 'REQUEST_TIMEOUT'): 10,
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
-    
-   ```
+  
+    ```
 - Получение значений настроек из конфигурационного файла в settings.py:
 
     ```
@@ -233,21 +265,48 @@ Dynamic: license-file
     RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
     
     ```
-   С версии пакета 3.6 добавляются настройки для двух новых периодических задач
-   ```
-   # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
-   RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
-   RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
-   RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
-   RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
-
-   # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
-   RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
-   RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
-   RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
-   RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
-
-   ```
+    Дополнительные настройки с версии 3.3.0
+    ```
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    RDM_UPLOAD_QUEUE_MAX_SIZE = conf.get_int('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE') or 500_000_000
+    
+    # Настройка очереди Redis для формирования файлов РВД.
+    RDM_REDIS_HOST = conf.get('rdm_redis', 'REDIS_HOST')
+    RDM_REDIS_PORT = conf.get('rdm_redis', 'REDIS_PORT')
+    RDM_REDIS_DB = conf.get('rdm_redis', 'REDIS_DB')
+    RDM_REDIS_PASSWORD = conf.get('rdm_redis', 'REDIS_PASSWORD')
+    
+    ```
+    Дополнительные настройки с версии 3.3.1
+    ```
+    # Таймаут для сохранения параметров в общем кеш.
+    RDM_REDIS_CACHE_TIMEOUT_SECONDS = conf.get_int('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS') or 60 * 60 * 2
+    
+    ```
+    Дополнительные настройки с версии 3.4.2
+    ```
+    # Настройка запуска периодической задачи отправки файлов с данными РВД
+    RDM_UPLOAD_DATA_TASK_MINUTE = conf.get('rdm_upload_data_task', 'MINUTE')
+    RDM_UPLOAD_DATA_TASK_HOUR = conf.get('rdm_upload_data_task', 'HOUR')
+    RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK = conf.get('rdm_upload_data_task', 'DAY_OF_WEEK')
+    RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS') or 60 * 60 * 2
+    
+    ```
+    С версии пакета 3.6 добавляются настройки для двух новых периодических задач
+    ```
+    # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
+    RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
+    RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
+    RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
+    RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
+    
+    # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
+    RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
+    RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
+    RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
+    RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
+    
+    ```
     Перечень настроек в settings.py указан в таблице ниже.
     
 | Название настройки в settings                | Описание                                                                                                                          | Значение по умолчанию   |
@@ -264,12 +323,37 @@ Dynamic: license-file
 | RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                    | '0'                     |
 | RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                       | '*/4'                   |
 | RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                               | '*'                     |
-| RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 21600                   |
+| RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секундах)                                                             | 21600                   |
 | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                  | '*/30'                  |
 | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                     | '*'                     |
 | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                             | '*'                     |
-| RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 3600                    |
+| RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах)                                                             | 3600                    |
 | RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                 | 120                     |
+  
+  С версии пакета 3.3.0 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_UPLOAD_QUEUE_MAX_SIZE                  | Объем очереди файлов в витрину (в байтах).                                             | 500_000_000           |
+| RDM_REDIS_HOST                             | Настройка очереди Redis для формирования файлов РВД (хост).                            |                       |
+| RDM_REDIS_PORT                             | Настройка очереди Redis для формирования файлов РВД (порт).                            |                       |
+| RDM_REDIS_DB                               | Настройка очереди Redis для формирования файлов РВД (номер бд).                        |                       |
+| RDM_REDIS_PASSWORD                         | Настройка очереди Redis для формирования файлов РВД (пароль).                          |                       |
+  
+  С версии пакета 3.3.1 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_REDIS_CACHE_TIMEOUT_SECONDS            | Таймаут для сохранения параметров в общем кеш (секунды).                               | 7200                  |  
+  
+  С версии пакета 3.4.2 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_UPLOAD_DATA_TASK_MINUTE                | Настройка запуска периодической задачи отправки файлов с данными РВД (минута).         | '0'                   |
+| RDM_UPLOAD_DATA_TASK_HOUR                  | Настройка запуска периодической задачи отправки файлов с данными РВД (час).            | '*/2'                 |
+| RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи отправки файлов с данными РВД (день недели).    | '*'                   |
+| RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах).                 | 7200                  |
     
   С версии пакета 3.6 добавляются новые настройки
 
@@ -278,11 +362,11 @@ Dynamic: license-file
 | RDM_FAST_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута       | '*/5'                 |
 | RDM_FAST_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час          | '*'                   |
 | RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели  | '*'                   |
-| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 1800                  |
+| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 1800                  |
 | RDM_LONG_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута        | 0                     |
 | RDM_LONG_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час           | '*/6'                 |
 | RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели   | '*'                   |
-| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 28800                 |
+| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 28800                 |
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -338,8 +422,38 @@ Dynamic: license-file
     # Включить эмуляцию отправки запросов
     ENABLE_REQUEST_EMULATION = True
     ```
-- С версии 3.6 в деволтный конфиг также нужно добавить два дополнительных раздела
-   ```
+- С версии 3.3.0 в дефолтный конфиг нужно добавить
+    ```
+    [rdm_general]
+    ...
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    UPLOAD_QUEUE_MAX_SIZE = 500_000_000
+
+    # Настройка очереди Redis для формирования файлов РВД.
+    [rdm_redis]
+    REDIS_HOST = localhost
+    REDIS_PORT = 6379
+    REDIS_DB = 1
+    REDIS_PASSWORD = 
+    ```  
+- С версии 3.3.1 в дефолтный конфиг нужно добавить
+    ```
+    [rdm_redis]
+    ...
+    # Таймаут для сохранения параметров в общем кеш.
+    REDIS_CACHE_TIMEOUT_SECONDS = 7200
+    ```    
+- С версии 3.4.2 в дефолтный конфиг нужно добавить
+    ```
+    # Настройка запуска периодической задачи отправки csv-файлов в витрину.
+    [rdm_upload_data_task]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 60 * 60 * 2
+    ```     
+- С версии 3.6 в дефолтный конфиг также нужно добавить два дополнительных раздела
+    ```
     
     [rdm_transfer_task_fast]
     MINUTE=*/2
@@ -352,7 +466,7 @@ Dynamic: license-file
     HOUR=*
     DAY_OF_WEEK=*
     LOCK_EXPIRE_SECONDS = 21600
-   ```
+    ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 
 ## Сборка и распространение

{edu_rdm_integration-3.6.0.dist-info → edu_rdm_integration-3.8.0.dist-info}/RECORD

@@ -6,9 +6,9 @@ edu_rdm_integration/base.py,sha256=1NgLZd0KZRRgUcVfufVIpDJU2coT2zksFGDaX4fWqps,5
 edu_rdm_integration/consts.py,sha256=QnL9TqTKuJ0MrysqtqHvtCwOFbS1T7iwcfUZGjVsZTU,1166
 edu_rdm_integration/entities.py,sha256=mhVeB88A-VD5IAzZCNeI1qnkvNoZ8LPiLBdqk1yA3Jc,14541
 edu_rdm_integration/enums.py,sha256=RpQIZM1iSgFbYDHfwrbT-BwgRf-N9ZZnJgx8UyRFQ2o,4978
-edu_rdm_integration/helpers.py,sha256=wr4ddI9LNsmcwdZMEUYT070YnM49ixbAQ0-tBh4gp08,14808
+edu_rdm_integration/helpers.py,sha256=qwSyeIDBVEhdYG9raf3uLZPd1_2eXuNAaosSR7bLa50,14759
 edu_rdm_integration/mapping.py,sha256=1B6TsC4Os9wiM8L8BChnCNv_iWqjeWu3bdDsqKVsId0,616
-edu_rdm_integration/models.py,sha256=pimS5MIQzRl4b9RIUUCSxsAA54zB_aoiEY0evrywpHM,33325
+edu_rdm_integration/models.py,sha256=lrlJUAJJr29rrNwNdyCkswyRGmnm8XVDQDArWVO2ivc,31907
 edu_rdm_integration/redis_cache.py,sha256=SP_rcL5t6PTVLOnEYn_NTX0Z666VdZT4By2pyED24Z4,1537
 edu_rdm_integration/signals.py,sha256=3eRlpkDcFCF6TN80-QM8yBYLcyozzcmoPjz6r4_ApWg,73
 edu_rdm_integration/storages.py,sha256=G4Q4tIyJdEyb9ka551PADCFIm66bpsJe9VBRcvQhLMI,6745
@@ -46,10 +46,11 @@ edu_rdm_integration/collect_data/helpers.py,sha256=wi1TECBFwur0LyREUwGLNXqQG731e
 edu_rdm_integration/collect_data/tests.py,sha256=_Inf8v_TS_LorBb702qykzc1Syj_tsPVRLJREcJ-XmY,5515
 edu_rdm_integration/collect_data/base/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/collect_data/base/caches.py,sha256=_Ja0q3hPSE_Mq-MCZN-1jr0WvpOqUr1-CkoBf1B7qKc,2141
+edu_rdm_integration/collect_data/base/consts.py,sha256=nzP7973d-YG29l-JxJcq7dF81QDLP7FRtTq0dSq46GM,304
 edu_rdm_integration/collect_data/base/functions.py,sha256=E1vYmC8F8NM5cBB5SGQEpluHrMynpjf3Ek3s0HsbxwY,2998
 edu_rdm_integration/collect_data/base/helpers.py,sha256=MsHEzkUl1KVMIxGfDkhcItXLxQNuNNOhN5tzTcPm0NQ,982
 edu_rdm_integration/collect_data/base/managers.py,sha256=hza8kugR9hbLK3LU8DBfF61ul7mPPl5pPm530QMjj0k,6143
-edu_rdm_integration/collect_data/base/mixins.py,sha256=kwZ77dc5dCmHVGCN6JMslpyfXfEEoks7vmXH-CzezJc,8538
+edu_rdm_integration/collect_data/base/mixins.py,sha256=miAXhXdkTr6MJh_qlsGMWW4gBgcAI2gsxmmu3VFaUYw,18402
 edu_rdm_integration/collect_data/base/runners.py,sha256=Mf5Lux6IWWqKd798v149OjqfBWiDtigeFd701HSRBGg,1565
 edu_rdm_integration/collect_data/calculated/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/collect_data/calculated/strategies.py,sha256=nppmheuzhF8H7JcfEhEZCmHI0eeRj8BbrLGNF0nsoa0,7619
@@ -168,6 +169,7 @@ edu_rdm_integration/migrations/0013_set_attachment_size.py,sha256=Gol8T137gdaCTS
 edu_rdm_integration/migrations/0014_uploaddatacommand.py,sha256=Hh0vKKiGgKOvY1kBAcmway4dSYUXwVArHAc9YrsjCIU,2079
 edu_rdm_integration/migrations/0015_set_exporting_sub_stage_status.py,sha256=zVe2baNq8JYzMPRmtpAwplmgKHOP3lwMKHLo_yRz0QE,790
 edu_rdm_integration/migrations/0016_transferredentity_queue_level.py,sha256=xMnDYE5_fK8Sdwq-1GwJlJZlVoz4e4yml0SDueKcbUA,587
+edu_rdm_integration/migrations/0017_delete_uploaddatacommand.py,sha256=S-sUKDGC6PhcXybZ84ZFXPjB_Dnw4TMVzlZH5Lb_DdU,330
 edu_rdm_integration/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/registry/actions.py,sha256=-CHe95jbxO9JAEaOx6nV6Avn75ynppvZRWN8YPc6c6s,6074
@@ -180,8 +182,8 @@ edu_rdm_integration/uploader_log/enums.py,sha256=rgSO3BL2rh2xpfm0Pt4waQW8fB1VMJL
 edu_rdm_integration/uploader_log/managers.py,sha256=OFdToWV8qhdfeGNpd-UWAmSEISzixmVQ6LF75EW7gzA,3248
 edu_rdm_integration/uploader_log/ui.py,sha256=YM9Buqp2wxE95Wf5gvAATBzuYzDOossK1sEmvFk07cI,2110
 edu_rdm_integration/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.6.0.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.6.0.dist-info/METADATA,sha256=rV5ZHyItlhOmIl5k0jC3nfJTrv6k7Cmr_S-bXUsI480,27415
-edu_rdm_integration-3.6.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
-edu_rdm_integration-3.6.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.6.0.dist-info/RECORD,,
+edu_rdm_integration-3.8.0.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.8.0.dist-info/METADATA,sha256=RG6vIjFCjWp4m7xz-Eey7SLDFCFRIhi3AX6D24dHRcQ,35263
+edu_rdm_integration-3.8.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
+edu_rdm_integration-3.8.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.8.0.dist-info/RECORD,,