edu-rdm-integration 3.6.0__tar.gz → 3.8.0__tar.gz

{edu_rdm_integration-3.6.0 → edu_rdm_integration-3.8.0}/CHANGELOG.md

@@ -28,6 +28,42 @@
 
 ### Удалено
 
+
+## [3.8.0] - 2025-05-15
+
+Реализован функционал фильтрации объектов перед сохранением, позволяющий исключать неизменённые данные из операции 
+записи. Это позволяет снизить нагрузку на систему и ускорить выполнение функций сбора, особенно при работе с большими 
+объёмами данных. 
+
+Для этого создан миксин FilteredSaveEntitiesFunctionMixin, который может быть использован в функциях сбора для 
+реализации общей логики фильтрации до сохранения. Также обеспечена гибкость через параметры _ignored_fields 
+и _filtered_operations.
+
+### Добавлено
+
+- [EDUSCHL-23441](https://jira.bars.group/browse/EDUSCHL-23441)
+  MINOR Реализован миксин FilteredSaveEntitiesFunctionMixin для использования в функциях сбора позволяющий исключать 
+  неизмененные объекты перед сохранением.
+
+
+## [3.7.1] - 2025-05-14
+
+Добавлено описание в README.md по поднятию версии до 3.3.0, 3.3.1, 3.4.2
+
+### Добавлено
+
+- [EDUSCHL-23121](https://jira.bars.group/browse/EDUSCHL-23121)
+  PATCH Добавлено описание в README.md
+
+
+## [3.7.0] - 2025-05-12
+
+### Удалено
+
+- [EDUSCHL-23121](https://jira.bars.group/browse/EDUSCHL-23121)
+  MINOR Удалена неиспользуемая модель UploadDataCommand
+
+
 ## [3.6.0] - 2025-04-19
 
 Вводится две новые очереди и соответсвущие этим очередям периодические задачи

{edu_rdm_integration-3.6.0 → edu_rdm_integration-3.8.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.6.0
+Version: 3.8.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu_rdm_integration/browse
@@ -79,7 +79,7 @@ Dynamic: license-file
 Стоит обратить внимание, что сущности РВД могут содержать в себе данные из нескольких моделей РВД.
 
 Очереди для периодических задач сборки и выгрузки данных
-: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответсвущие этим очередям периодические задачи
+: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответствущие этим очередям периодические задачи
 сбора и выгрузки данных. Очередь для сущности указывается в реестре "Сущности для сбора и экспорта данных" - по умолчанию все
 сущности относятся к основной очереди.
 Итого - нужно настроить три очереди для работы.
@@ -142,8 +142,36 @@ Dynamic: license-file
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
     ```
- С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
-   ```
+    Дополнительные настройки с версии 3.4.2
+    ```
+    PROJECT_DEFAULT_CONFIG.update({
+        # Настройки РВД
+        ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
+        ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
+        ('rdm_transfer_task', 'MINUTE'): '0',
+        ('rdm_transfer_task', 'HOUR'): '*/4',
+        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
+        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
+        ('rdm_transfer_task', 'ENTITIES'): '',
+        ('rdm_upload_status_task', 'MINUTE'): '*/30',
+        ('rdm_upload_status_task', 'HOUR'): '*',
+        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_upload_data_task', 'MINUTE'): '0',
+        ('rdm_upload_data_task', 'HOUR'): '*/2',
+        ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('uploader_client', 'URL'): 'http://localhost:8090',
+        ('uploader_client', 'DATAMART_NAME'): '',
+        ('uploader_client', 'REQUEST_RETRIES'): 10,
+        ('uploader_client', 'REQUEST_TIMEOUT'): 10,
+        ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
+    })
+    ```
+    С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
+    ```
     PROJECT_DEFAULT_CONFIG.update({
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
@@ -167,14 +195,18 @@ Dynamic: license-file
         ('rdm_upload_status_task', 'HOUR'): '*',
         ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
         ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_upload_data_task', 'MINUTE'): '0',
+        ('rdm_upload_data_task', 'HOUR'): '*/2',
+        ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 7200,
         ('uploader_client', 'URL'): 'http://localhost:8090',
         ('uploader_client', 'DATAMART_NAME'): '',
         ('uploader_client', 'REQUEST_RETRIES'): 10,
         ('uploader_client', 'REQUEST_TIMEOUT'): 10,
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
-    
-   ```
+  
+    ```
 - Получение значений настроек из конфигурационного файла в settings.py:
 
     ```
@@ -233,21 +265,48 @@ Dynamic: license-file
     RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
     
     ```
-   С версии пакета 3.6 добавляются настройки для двух новых периодических задач
-   ```
-   # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
-   RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
-   RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
-   RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
-   RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
-
-   # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
-   RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
-   RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
-   RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
-   RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
-
-   ```
+    Дополнительные настройки с версии 3.3.0
+    ```
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    RDM_UPLOAD_QUEUE_MAX_SIZE = conf.get_int('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE') or 500_000_000
+    
+    # Настройка очереди Redis для формирования файлов РВД.
+    RDM_REDIS_HOST = conf.get('rdm_redis', 'REDIS_HOST')
+    RDM_REDIS_PORT = conf.get('rdm_redis', 'REDIS_PORT')
+    RDM_REDIS_DB = conf.get('rdm_redis', 'REDIS_DB')
+    RDM_REDIS_PASSWORD = conf.get('rdm_redis', 'REDIS_PASSWORD')
+    
+    ```
+    Дополнительные настройки с версии 3.3.1
+    ```
+    # Таймаут для сохранения параметров в общем кеш.
+    RDM_REDIS_CACHE_TIMEOUT_SECONDS = conf.get_int('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS') or 60 * 60 * 2
+    
+    ```
+    Дополнительные настройки с версии 3.4.2
+    ```
+    # Настройка запуска периодической задачи отправки файлов с данными РВД
+    RDM_UPLOAD_DATA_TASK_MINUTE = conf.get('rdm_upload_data_task', 'MINUTE')
+    RDM_UPLOAD_DATA_TASK_HOUR = conf.get('rdm_upload_data_task', 'HOUR')
+    RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK = conf.get('rdm_upload_data_task', 'DAY_OF_WEEK')
+    RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS') or 60 * 60 * 2
+    
+    ```
+    С версии пакета 3.6 добавляются настройки для двух новых периодических задач
+    ```
+    # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
+    RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
+    RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
+    RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
+    RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
+    
+    # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
+    RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
+    RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
+    RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
+    RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
+    
+    ```
     Перечень настроек в settings.py указан в таблице ниже.
     
 | Название настройки в settings                | Описание                                                                                                                          | Значение по умолчанию   |
@@ -264,12 +323,37 @@ Dynamic: license-file
 | RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                    | '0'                     |
 | RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                       | '*/4'                   |
 | RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                               | '*'                     |
-| RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 21600                   |
+| RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секундах)                                                             | 21600                   |
 | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                  | '*/30'                  |
 | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                     | '*'                     |
 | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                             | '*'                     |
-| RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 3600                    |
+| RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах)                                                             | 3600                    |
 | RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                 | 120                     |
+  
+  С версии пакета 3.3.0 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_UPLOAD_QUEUE_MAX_SIZE                  | Объем очереди файлов в витрину (в байтах).                                             | 500_000_000           |
+| RDM_REDIS_HOST                             | Настройка очереди Redis для формирования файлов РВД (хост).                            |                       |
+| RDM_REDIS_PORT                             | Настройка очереди Redis для формирования файлов РВД (порт).                            |                       |
+| RDM_REDIS_DB                               | Настройка очереди Redis для формирования файлов РВД (номер бд).                        |                       |
+| RDM_REDIS_PASSWORD                         | Настройка очереди Redis для формирования файлов РВД (пароль).                          |                       |
+  
+  С версии пакета 3.3.1 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_REDIS_CACHE_TIMEOUT_SECONDS            | Таймаут для сохранения параметров в общем кеш (секунды).                               | 7200                  |  
+  
+  С версии пакета 3.4.2 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_UPLOAD_DATA_TASK_MINUTE                | Настройка запуска периодической задачи отправки файлов с данными РВД (минута).         | '0'                   |
+| RDM_UPLOAD_DATA_TASK_HOUR                  | Настройка запуска периодической задачи отправки файлов с данными РВД (час).            | '*/2'                 |
+| RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи отправки файлов с данными РВД (день недели).    | '*'                   |
+| RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах).                 | 7200                  |
     
   С версии пакета 3.6 добавляются новые настройки
 
@@ -278,11 +362,11 @@ Dynamic: license-file
 | RDM_FAST_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута       | '*/5'                 |
 | RDM_FAST_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час          | '*'                   |
 | RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели  | '*'                   |
-| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 1800                  |
+| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 1800                  |
 | RDM_LONG_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута        | 0                     |
 | RDM_LONG_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час           | '*/6'                 |
 | RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели   | '*'                   |
-| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 28800                 |
+| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 28800                 |
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -338,8 +422,38 @@ Dynamic: license-file
     # Включить эмуляцию отправки запросов
     ENABLE_REQUEST_EMULATION = True
     ```
-- С версии 3.6 в деволтный конфиг также нужно добавить два дополнительных раздела
-   ```
+- С версии 3.3.0 в дефолтный конфиг нужно добавить
+    ```
+    [rdm_general]
+    ...
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    UPLOAD_QUEUE_MAX_SIZE = 500_000_000
+
+    # Настройка очереди Redis для формирования файлов РВД.
+    [rdm_redis]
+    REDIS_HOST = localhost
+    REDIS_PORT = 6379
+    REDIS_DB = 1
+    REDIS_PASSWORD = 
+    ```  
+- С версии 3.3.1 в дефолтный конфиг нужно добавить
+    ```
+    [rdm_redis]
+    ...
+    # Таймаут для сохранения параметров в общем кеш.
+    REDIS_CACHE_TIMEOUT_SECONDS = 7200
+    ```    
+- С версии 3.4.2 в дефолтный конфиг нужно добавить
+    ```
+    # Настройка запуска периодической задачи отправки csv-файлов в витрину.
+    [rdm_upload_data_task]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 60 * 60 * 2
+    ```     
+- С версии 3.6 в дефолтный конфиг также нужно добавить два дополнительных раздела
+    ```
     
     [rdm_transfer_task_fast]
     MINUTE=*/2
@@ -352,7 +466,7 @@ Dynamic: license-file
     HOUR=*
     DAY_OF_WEEK=*
     LOCK_EXPIRE_SECONDS = 21600
-   ```
+    ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 
 ## Сборка и распространение

{edu_rdm_integration-3.6.0 → edu_rdm_integration-3.8.0}/README.md

@@ -35,7 +35,7 @@
 Стоит обратить внимание, что сущности РВД могут содержать в себе данные из нескольких моделей РВД.
 
 Очереди для периодических задач сборки и выгрузки данных
-: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответсвущие этим очередям периодические задачи
+: Важно учитывать, что с версии пакета 3.6 вводится две новые очереди и соответствущие этим очередям периодические задачи
 сбора и выгрузки данных. Очередь для сущности указывается в реестре "Сущности для сбора и экспорта данных" - по умолчанию все
 сущности относятся к основной очереди.
 Итого - нужно настроить три очереди для работы.
@@ -98,8 +98,36 @@
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
     ```
- С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
-   ```
+    Дополнительные настройки с версии 3.4.2
+    ```
+    PROJECT_DEFAULT_CONFIG.update({
+        # Настройки РВД
+        ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
+        ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
+        ('rdm_transfer_task', 'MINUTE'): '0',
+        ('rdm_transfer_task', 'HOUR'): '*/4',
+        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
+        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
+        ('rdm_transfer_task', 'ENTITIES'): '',
+        ('rdm_upload_status_task', 'MINUTE'): '*/30',
+        ('rdm_upload_status_task', 'HOUR'): '*',
+        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_upload_data_task', 'MINUTE'): '0',
+        ('rdm_upload_data_task', 'HOUR'): '*/2',
+        ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('uploader_client', 'URL'): 'http://localhost:8090',
+        ('uploader_client', 'DATAMART_NAME'): '',
+        ('uploader_client', 'REQUEST_RETRIES'): 10,
+        ('uploader_client', 'REQUEST_TIMEOUT'): 10,
+        ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
+    })
+    ```
+    С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
+    ```
     PROJECT_DEFAULT_CONFIG.update({
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
@@ -123,14 +151,18 @@
         ('rdm_upload_status_task', 'HOUR'): '*',
         ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
         ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_upload_data_task', 'MINUTE'): '0',
+        ('rdm_upload_data_task', 'HOUR'): '*/2',
+        ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 7200,
         ('uploader_client', 'URL'): 'http://localhost:8090',
         ('uploader_client', 'DATAMART_NAME'): '',
         ('uploader_client', 'REQUEST_RETRIES'): 10,
         ('uploader_client', 'REQUEST_TIMEOUT'): 10,
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
     })
-    
-   ```
+  
+    ```
 - Получение значений настроек из конфигурационного файла в settings.py:
 
     ```
@@ -189,21 +221,48 @@
     RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
     
     ```
-   С версии пакета 3.6 добавляются настройки для двух новых периодических задач
-   ```
-   # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
-   RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
-   RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
-   RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
-   RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
-
-   # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
-   RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
-   RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
-   RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
-   RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
-
-   ```
+    Дополнительные настройки с версии 3.3.0
+    ```
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    RDM_UPLOAD_QUEUE_MAX_SIZE = conf.get_int('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE') or 500_000_000
+    
+    # Настройка очереди Redis для формирования файлов РВД.
+    RDM_REDIS_HOST = conf.get('rdm_redis', 'REDIS_HOST')
+    RDM_REDIS_PORT = conf.get('rdm_redis', 'REDIS_PORT')
+    RDM_REDIS_DB = conf.get('rdm_redis', 'REDIS_DB')
+    RDM_REDIS_PASSWORD = conf.get('rdm_redis', 'REDIS_PASSWORD')
+    
+    ```
+    Дополнительные настройки с версии 3.3.1
+    ```
+    # Таймаут для сохранения параметров в общем кеш.
+    RDM_REDIS_CACHE_TIMEOUT_SECONDS = conf.get_int('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS') or 60 * 60 * 2
+    
+    ```
+    Дополнительные настройки с версии 3.4.2
+    ```
+    # Настройка запуска периодической задачи отправки файлов с данными РВД
+    RDM_UPLOAD_DATA_TASK_MINUTE = conf.get('rdm_upload_data_task', 'MINUTE')
+    RDM_UPLOAD_DATA_TASK_HOUR = conf.get('rdm_upload_data_task', 'HOUR')
+    RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK = conf.get('rdm_upload_data_task', 'DAY_OF_WEEK')
+    RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS') or 60 * 60 * 2
+    
+    ```
+    С версии пакета 3.6 добавляются настройки для двух новых периодических задач
+    ```
+    # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
+    RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
+    RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
+    RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
+    RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
+    
+    # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
+    RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
+    RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
+    RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
+    RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
+    
+    ```
     Перечень настроек в settings.py указан в таблице ниже.
     
 | Название настройки в settings                | Описание                                                                                                                          | Значение по умолчанию   |
@@ -220,12 +279,37 @@
 | RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                    | '0'                     |
 | RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                       | '*/4'                   |
 | RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                               | '*'                     |
-| RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 21600                   |
+| RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секундах)                                                             | 21600                   |
 | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                  | '*/30'                  |
 | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                     | '*'                     |
 | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                             | '*'                     |
-| RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секунадх)                                                             | 3600                    |
+| RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах)                                                             | 3600                    |
 | RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                 | 120                     |
+  
+  С версии пакета 3.3.0 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_UPLOAD_QUEUE_MAX_SIZE                  | Объем очереди файлов в витрину (в байтах).                                             | 500_000_000           |
+| RDM_REDIS_HOST                             | Настройка очереди Redis для формирования файлов РВД (хост).                            |                       |
+| RDM_REDIS_PORT                             | Настройка очереди Redis для формирования файлов РВД (порт).                            |                       |
+| RDM_REDIS_DB                               | Настройка очереди Redis для формирования файлов РВД (номер бд).                        |                       |
+| RDM_REDIS_PASSWORD                         | Настройка очереди Redis для формирования файлов РВД (пароль).                          |                       |
+  
+  С версии пакета 3.3.1 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_REDIS_CACHE_TIMEOUT_SECONDS            | Таймаут для сохранения параметров в общем кеш (секунды).                               | 7200                  |  
+  
+  С версии пакета 3.4.2 добавляются новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_UPLOAD_DATA_TASK_MINUTE                | Настройка запуска периодической задачи отправки файлов с данными РВД (минута).         | '0'                   |
+| RDM_UPLOAD_DATA_TASK_HOUR                  | Настройка запуска периодической задачи отправки файлов с данными РВД (час).            | '*/2'                 |
+| RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи отправки файлов с данными РВД (день недели).    | '*'                   |
+| RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах).                 | 7200                  |
     
   С версии пакета 3.6 добавляются новые настройки
 
@@ -234,11 +318,11 @@
 | RDM_FAST_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута       | '*/5'                 |
 | RDM_FAST_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час          | '*'                   |
 | RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели  | '*'                   |
-| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 1800                  |
+| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 1800                  |
 | RDM_LONG_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута        | 0                     |
 | RDM_LONG_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час           | '*/6'                 |
 | RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели   | '*'                   |
-| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх)                  | 28800                 |
+| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 28800                 |
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -294,8 +378,38 @@
     # Включить эмуляцию отправки запросов
     ENABLE_REQUEST_EMULATION = True
     ```
-- С версии 3.6 в деволтный конфиг также нужно добавить два дополнительных раздела
-   ```
+- С версии 3.3.0 в дефолтный конфиг нужно добавить
+    ```
+    [rdm_general]
+    ...
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    UPLOAD_QUEUE_MAX_SIZE = 500_000_000
+
+    # Настройка очереди Redis для формирования файлов РВД.
+    [rdm_redis]
+    REDIS_HOST = localhost
+    REDIS_PORT = 6379
+    REDIS_DB = 1
+    REDIS_PASSWORD = 
+    ```  
+- С версии 3.3.1 в дефолтный конфиг нужно добавить
+    ```
+    [rdm_redis]
+    ...
+    # Таймаут для сохранения параметров в общем кеш.
+    REDIS_CACHE_TIMEOUT_SECONDS = 7200
+    ```    
+- С версии 3.4.2 в дефолтный конфиг нужно добавить
+    ```
+    # Настройка запуска периодической задачи отправки csv-файлов в витрину.
+    [rdm_upload_data_task]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 60 * 60 * 2
+    ```     
+- С версии 3.6 в дефолтный конфиг также нужно добавить два дополнительных раздела
+    ```
     
     [rdm_transfer_task_fast]
     MINUTE=*/2
@@ -308,7 +422,7 @@
     HOUR=*
     DAY_OF_WEEK=*
     LOCK_EXPIRE_SECONDS = 21600
-   ```
+    ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 
 ## Сборка и распространение

edu_rdm_integration-3.8.0/src/edu_rdm_integration/collect_data/base/consts.py

@@ -0,0 +1,3 @@
+NOT_SPECIFIED_QUEUE_TO_MODEL_ERROR = 'Для переданной модели {} не указана очередь для сохранения!'
+
+CACHED_OBJECTS_TYPE_MISMATCH_ERROR = 'Тип сравниваемого объекта не соответствует типу объекта в кеше'