edu-rdm-integration 3.9.2__py3-none-any.whl → 3.10.0__py3-none-any.whl

{edu_rdm_integration-3.9.2.dist-info → edu_rdm_integration-3.10.0.dist-info}/METADATA

@@ -1,10 +1,10 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.9.2
+Version: 3.10.0
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
-Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu_rdm_integration/browse
-Project-URL: Repository, https://stash.bars-open.ru/scm/edubase/edu_rdm_integration.git
+Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
+Project-URL: Repository, https://stash.bars-open.ru/scm/edubase/edu-rdm-integration.git
 Classifier: Development Status :: 5 - Production/Stable
 Classifier: Programming Language :: Python :: 3
 Classifier: Programming Language :: Python :: 3.9
@@ -31,7 +31,7 @@ Requires-Dist: m3-django-compat<2,>=1.10.2
 Requires-Dist: uploader-client<1,>=0.2.3
 Provides-Extra: dev
 Requires-Dist: isort==5.12.0; extra == "dev"
-Requires-Dist: ruff==0.6.9; extra == "dev"
+Requires-Dist: ruff==0.12.0; extra == "dev"
 Requires-Dist: flake8<7,>=4.0.1; extra == "dev"
 Requires-Dist: pytest<8,>=3.2.5; extra == "dev"
 Requires-Dist: pytest-cov<5; extra == "dev"
@@ -47,7 +47,8 @@ Dynamic: license-file
 Для интеграции с Региональной витриной данных был выделен отдельный пакет для использования его компонентов в различных 
 продуктах. 
 
-На текущий момент интеграция реализуется в рамках проектов Электронная школа (ЭШ) и Электронный колледж (ЭК).
+На текущий момент интеграция реализуется в рамках проектов Электронный детский сад (ЭДС), Электронная школа (ЭШ) и 
+Электронный колледж (ЭК).
 
 ## Описание концепции
 
@@ -60,7 +61,7 @@ Dynamic: license-file
 
 ## Принцип работы
 
-Весь процесс разделен на сбор и выгрузку данных. Выделяются следующие понятия:
+Весь процесс разделен на сбор, выгрузку данных в файлы, отправку файлов. Выделяются следующие понятия:
 
 Модель продукта
 : Django-модель находящаяся в самом продукте. При помощи нее производится накапливание пользовательских данных;
@@ -111,6 +112,25 @@ Dynamic: license-file
 - В проект внедрен m3-db-utils;
 - В проект внедрен uploader-client. 
 
+## Подключение в settings.py
+
+INSTALLED_APPS = (
+    ...
+    'edu_rdm_integration',
+    'edu_rdm_integration.core.registry',
+    'edu_rdm_integration.rdm_entities',
+    'edu_rdm_integration.rdm_models',
+    'edu_rdm_integration.pipelines.transfer',
+    'edu_rdm_integration.stages.collect_data',
+    'edu_rdm_integration.stages.export_data',
+    'edu_rdm_integration.stages.service',
+    'edu_rdm_integration.stages.upload_data',
+    'edu_rdm_integration.stages.upload_data.uploader_log',
+    'edu_rdm_integration.stages.collect_data.registry',
+    'edu_rdm_integration.stages.export_data.registry',
+    ...
+)
+
 ## Параметры конфигурационного файла
 
 В разных проектах существуют различные способы добавления настроек, где-то через плагины, где-то напрямую в settings.py.
@@ -125,64 +145,12 @@ Dynamic: license-file
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
+        ('rdm_general', 'RDM_MENU_ITEM'): False,
         ('rdm_transfer_task', 'MINUTE'): '0',
         ('rdm_transfer_task', 'HOUR'): '*/4',
         ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
         ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
-        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
-        ('rdm_transfer_task', 'ENTITIES'): '',
-        ('rdm_upload_status_task', 'MINUTE'): '*/30',
-        ('rdm_upload_status_task', 'HOUR'): '*',
-        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
-        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
-        ('uploader_client', 'URL'): 'http://localhost:8090',
-        ('uploader_client', 'DATAMART_NAME'): '',
-        ('uploader_client', 'REQUEST_RETRIES'): 10,
-        ('uploader_client', 'REQUEST_TIMEOUT'): 10,
-        ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
-    })
-    ```
-    Дополнительные настройки с версии 3.4.2
-    ```
-    PROJECT_DEFAULT_CONFIG.update({
-        # Настройки РВД
-        ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
-        ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
-        ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
-        ('rdm_transfer_task', 'MINUTE'): '0',
-        ('rdm_transfer_task', 'HOUR'): '*/4',
-        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
-        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
-        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
-        ('rdm_transfer_task', 'ENTITIES'): '',
-        ('rdm_upload_status_task', 'MINUTE'): '*/30',
-        ('rdm_upload_status_task', 'HOUR'): '*',
-        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
-        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
-        ('rdm_upload_data_task', 'MINUTE'): '0',
-        ('rdm_upload_data_task', 'HOUR'): '*/2',
-        ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
-        ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 7200,
-        ('uploader_client', 'URL'): 'http://localhost:8090',
-        ('uploader_client', 'DATAMART_NAME'): '',
-        ('uploader_client', 'REQUEST_RETRIES'): 10,
-        ('uploader_client', 'REQUEST_TIMEOUT'): 10,
-        ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
-    })
-    ```
-    С версии пакета 3.6 добавляются новые настройки для двух периодических задач разных очередей сбора и выгрузки данных
-    ```
-    PROJECT_DEFAULT_CONFIG.update({
-        # Настройки РВД
-        ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
-        ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
-        ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
-        ('rdm_transfer_task', 'MINUTE'): '0',
-        ('rdm_transfer_task', 'HOUR'): '*/4',
-        ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
-        ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
-        ('rdm_transfer_task', 'TIMEDELTA'): 3600,
-        ('rdm_transfer_task', 'ENTITIES'): '',
         ('rdm_transfer_task_fast', 'MINUTE'): '*/5',
         ('rdm_transfer_task_fast', 'HOUR'): '*',
         ('rdm_transfer_task_fast', 'DAY_OF_WEEK'): '*',
@@ -191,21 +159,39 @@ Dynamic: license-file
         ('rdm_transfer_task_long', 'HOUR'): '*/6',
         ('rdm_transfer_task_long', 'DAY_OF_WEEK'): '*',
         ('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS'): 28800,
-        ('rdm_upload_status_task', 'MINUTE'): '*/30',
-        ('rdm_upload_status_task', 'HOUR'): '*',
-        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
-        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
         ('rdm_upload_data_task', 'MINUTE'): '0',
         ('rdm_upload_data_task', 'HOUR'): '*/2',
         ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
         ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_upload_data_task', 'EXPORT_STAGES'): 500,
+        ('rdm_upload_status_task', 'MINUTE'): '*/30',
+        ('rdm_upload_status_task', 'HOUR'): '*',
+        ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_check_suspend_task', 'MINUTE'): '*/10',
+        ('rdm_check_suspend_task', 'HOUR'): '*',
+        ('rdm_check_suspend_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_check_suspend_task', 'LOCK_EXPIRE_SECONDS'): 7200,
+        ('rdm_check_suspend_task', 'STAGE_TIMEOUT'): 120,
+        # Настройки очереди отправки
+        ('rdm_redis', 'REDIS_HOST'): 'localhost',
+        ('rdm_redis', 'REDIS_PORT'): 6379,
+        ('rdm_redis', 'REDIS_DB'): 1,
+        ('rdm_redis', 'REDIS_PASSWORD'): '',
+        ('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS'): 7200,
         ('uploader_client', 'URL'): 'http://localhost:8090',
         ('uploader_client', 'DATAMART_NAME'): '',
         ('uploader_client', 'REQUEST_RETRIES'): 10,
         ('uploader_client', 'REQUEST_TIMEOUT'): 10,
         ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
-    })
-  
+        ('uploader_client', 'RESPONSE_FILE_STATUS'): 'success',
+        ('uploader_client', 'USE_PROXY_API'): False,
+        ('uploader_client', 'USERNAME'): '',
+        ('uploader_client', 'PASSWORD'): '',
+        ('uploader_client', 'ORGANIZATION_OGRN'): '',
+        ('uploader_client', 'INSTALLATION_NAME'): '',
+        ('uploader_client', 'INSTALLATION_ID'): '',
+    })  
     ```
 - Получение значений настроек из конфигурационного файла в settings.py:
 
@@ -228,72 +214,19 @@ Dynamic: license-file
   
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = conf.get_int('rdm_general', 'UPDATE_NON_EXPORTED_CHUNK_SIZE')
+  
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт
+    RDM_UPLOAD_QUEUE_MAX_SIZE = conf.get_int('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE')
+  
+    # Пункт меню "Региональная витрина данных" - Спрятать (False) / Отображать (True)
+    RDM_MENU_ITEM = conf.get_bool('rdm_general', 'RDM_MENU_ITEM')
     
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
     RDM_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task', 'HOUR')
     RDM_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task', 'DAY_OF_WEEK')
-    RDM_TRANSFER_TASK_EXPIRE_SECOND = conf.get('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS')
-
-    # Настройка запуска периодической задачи статуса загрузки данных в витрину:
-    RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
-    RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
-    RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = conf.get('rdm_upload_status_task', 'DAY_OF_WEEK')
-    RDM_UPLOAD_STATUS_TASK_EXPIRE_SECOND = conf.get('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS')
-  
-    # Настройка запуска периодической задачи поиска зависших этапов экспорта:
-    RDM_CHECK_SUSPEND_TASK_MINUTE = conf.get('rdm_check_suspend_task', 'MINUTE')
-    RDM_CHECK_SUSPEND_TASK_HOUR = conf.get('rdm_check_suspend_task', 'HOUR')
-    RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK = conf.get('rdm_check_suspend_task', 'DAY_OF_WEEK')
-    RDM_CHECK_SUSPEND_TASK_EXPIRE_SECOND = conf.get('rdm_check_suspend_task', 'LOCK_EXPIRE_SECONDS')
-    RDM_CHECK_SUSPEND_TASK_TIMEDELTA = conf.get_int('rdm_check_suspend_task', 'TIMEDELTA')
+    RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS')
     
-    # Загрузка данных в Региональную витрину данных (РВД)
-    # Адрес витрины (schema://host:port)
-    RDM_UPLOADER_CLIENT_URL = conf.get('uploader_client', 'URL')
-    
-    # Мнемоника Витрины
-    RDM_UPLOADER_CLIENT_DATAMART_NAME = conf.get('uploader_client', 'DATAMART_NAME')
-    
-    # Количество повторных попыток запроса
-    RDM_UPLOADER_CLIENT_REQUEST_RETRIES = conf.get_int('uploader_client', 'REQUEST_RETRIES')
-    
-    # Таймаут запроса, сек
-    RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT = conf.get_int('uploader_client', 'REQUEST_TIMEOUT')
-    
-    # Включить эмуляцию отправки запросов
-    RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
-    
-    ```
-    Дополнительные настройки с версии 3.3.0
-    ```
-    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
-    RDM_UPLOAD_QUEUE_MAX_SIZE = conf.get_int('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE') or 500_000_000
-    
-    # Настройка очереди Redis для формирования файлов РВД.
-    RDM_REDIS_HOST = conf.get('rdm_redis', 'REDIS_HOST')
-    RDM_REDIS_PORT = conf.get('rdm_redis', 'REDIS_PORT')
-    RDM_REDIS_DB = conf.get('rdm_redis', 'REDIS_DB')
-    RDM_REDIS_PASSWORD = conf.get('rdm_redis', 'REDIS_PASSWORD')
-    
-    ```
-    Дополнительные настройки с версии 3.3.1
-    ```
-    # Таймаут для сохранения параметров в общем кеш.
-    RDM_REDIS_CACHE_TIMEOUT_SECONDS = conf.get_int('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS') or 60 * 60 * 2
-    
-    ```
-    Дополнительные настройки с версии 3.4.2
-    ```
-    # Настройка запуска периодической задачи отправки файлов с данными РВД
-    RDM_UPLOAD_DATA_TASK_MINUTE = conf.get('rdm_upload_data_task', 'MINUTE')
-    RDM_UPLOAD_DATA_TASK_HOUR = conf.get('rdm_upload_data_task', 'HOUR')
-    RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK = conf.get('rdm_upload_data_task', 'DAY_OF_WEEK')
-    RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS') or 60 * 60 * 2
-    
-    ```
-    С версии пакета 3.6 добавляются настройки для двух новых периодических задач
-    ```
     # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
     RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
     RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
@@ -305,68 +238,130 @@ Dynamic: license-file
     RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
     RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
     RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
+  
+    # Настройка запуска периодической задачи поиска зависших этапов экспорта:
+    RDM_CHECK_SUSPEND_TASK_MINUTE = conf.get('rdm_check_suspend_task', 'MINUTE')
+    RDM_CHECK_SUSPEND_TASK_HOUR = conf.get('rdm_check_suspend_task', 'HOUR')
+    RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK = conf.get('rdm_check_suspend_task', 'DAY_OF_WEEK')
+    RDM_CHECK_SUSPEND_TASK_LOCK_EXPIRE_SECONDS = conf.get('rdm_check_suspend_task', 'LOCK_EXPIRE_SECONDS')
+    RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT = conf.get_int('rdm_check_suspend_task', 'STAGE_TIMEOUT')
+
+    # Настройка запуска периодической задачи отправки файлов с данными РВД
+    RDM_UPLOAD_DATA_TASK_MINUTE = conf.get('rdm_upload_data_task', 'MINUTE')
+    RDM_UPLOAD_DATA_TASK_HOUR = conf.get('rdm_upload_data_task', 'HOUR')
+    RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK = conf.get('rdm_upload_data_task', 'DAY_OF_WEEK')
+    RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS')
+    # Количество подэтапов для обработки в периодической задаче отправки данных
+    RDM_UPLOAD_DATA_TASK_EXPORT_STAGES = conf.get_int('rdm_upload_data_task', 'EXPORT_STAGES')
     
-    ```
-    Перечень настроек в settings.py указан в таблице ниже.
-    
-| Название настройки в settings                | Описание                                                                                                                          | Значение по умолчанию   |
-| -------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------- | ----------------------- |
-| UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                    |
-| RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                           | 500                     |
-| RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                               | 500                     |
-| RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                         | 5000                    |
-| RDM_UPLOADER_CLIENT_URL                      | Адрес витрины (schema://host:port)                                                                                                | 'http://localhost:8090' |
-| RDM_UPLOADER_CLIENT_DATAMART_NAME            | Мнемоника Витрины                                                                                                                 | 'test'                  |
-| RDM_UPLOADER_CLIENT_REQUEST_RETRIES          | Количество повторных попыток запроса                                                                                              | 10                      |
-| RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT          | Таймаут запроса, сек                                                                                                              | 10                      |
-| RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION | Включить эмуляцию отправки запросов                                                                                               | True                    |
-| RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                    | '0'                     |
-| RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                       | '*/4'                   |
-| RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                               | '*'                     |
-| RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секундах)                                                             | 21600                   |
-| RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                  | '*/30'                  |
-| RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                     | '*'                     |
-| RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                             | '*'                     |
-| RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах)                                                             | 3600                    |
-| RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                 | 120                     |
+    # Настройка запуска периодической задачи статуса загрузки данных в витрину:
+    RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
+    RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
+    RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = conf.get('rdm_upload_status_task', 'DAY_OF_WEEK')
+    RDM_UPLOAD_STATUS_TASK_EXPIRE_SECOND = conf.get('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS')
   
-  С версии пакета 3.3.0 добавляются новые настройки
-
-| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
-|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
-| RDM_UPLOAD_QUEUE_MAX_SIZE                  | Объем очереди файлов в витрину (в байтах).                                             | 500_000_000           |
-| RDM_REDIS_HOST                             | Настройка очереди Redis для формирования файлов РВД (хост).                            |                       |
-| RDM_REDIS_PORT                             | Настройка очереди Redis для формирования файлов РВД (порт).                            |                       |
-| RDM_REDIS_DB                               | Настройка очереди Redis для формирования файлов РВД (номер бд).                        |                       |
-| RDM_REDIS_PASSWORD                         | Настройка очереди Redis для формирования файлов РВД (пароль).                          |                       |
+    # Настройка очереди Redis для формирования файлов РВД.
+    RDM_REDIS_HOST = conf.get('rdm_redis', 'REDIS_HOST')
+    RDM_REDIS_PORT = conf.get('rdm_redis', 'REDIS_PORT')
+    RDM_REDIS_DB = conf.get('rdm_redis', 'REDIS_DB')
+    RDM_REDIS_PASSWORD = conf.get('rdm_redis', 'REDIS_PASSWORD')    
+    # Таймаут для сохранения параметров в общем кеш.
+    RDM_REDIS_CACHE_TIMEOUT_SECONDS = conf.get_int('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS')
   
-  С версии пакета 3.3.1 добавляются новые настройки
-
-| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
-|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
-| RDM_REDIS_CACHE_TIMEOUT_SECONDS            | Таймаут для сохранения параметров в общем кеш (секунды).                               | 7200                  |  
+    # Загрузка данных в Региональную витрину данных (РВД)
+    # Адрес витрины (schema://host:port)
+    RDM_UPLOADER_CLIENT_URL = conf.get('uploader_client', 'URL')    
+    # Мнемоника Витрины
+    RDM_UPLOADER_CLIENT_DATAMART_NAME = conf.get('uploader_client', 'DATAMART_NAME')    
+    # Количество повторных попыток запроса
+    RDM_UPLOADER_CLIENT_REQUEST_RETRIES = conf.get_int('uploader_client', 'REQUEST_RETRIES')    
+    # Таймаут запроса, сек
+    RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT = conf.get_int('uploader_client', 'REQUEST_TIMEOUT')    
+    # Включить эмуляцию отправки запросов
+    RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
+    # Установить тип ответа витрины при проверке статуса отправленного файла
+    RDM_RESPONSE_FILE_STATUS = conf.get('uploader_client', 'RESPONSE_FILE_STATUS')
+    # Использование Proxy API
+    RDM_UPLOADER_CLIENT_USE_PROXY_API = conf.get_bool('uploader_client', 'USE_PROXY_API')
+    # Имя пользователя IAM
+    RDM_UPLOADER_CLIENT_USERNAME = conf.get('uploader_client', 'USERNAME')
+    # Пароль пользователя IAM
+    RDM_UPLOADER_CLIENT_PASSWORD = conf.get('uploader_client', 'PASSWORD')
+    # ОГРН организации, в рамках которой развёрнута Витрина
+    RDM_UPLOADER_CLIENT_ORGANIZATION_OGRN = conf.get('uploader_client', 'ORGANIZATION_OGRN')
+    # Имя инсталляции в целевой Витрине
+    RDM_UPLOADER_CLIENT_INSTALLATION_NAME = conf.get('uploader_client', 'INSTALLATION_NAME')
+    # Идентификатор инсталляции в целевой Витрине
+    RDM_UPLOADER_CLIENT_INSTALLATION_ID = conf.get('uploader_client', 'INSTALLATION_ID')  
   
-  С версии пакета 3.4.2 добавляются новые настройки
-
-| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
-|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
-| RDM_UPLOAD_DATA_TASK_MINUTE                | Настройка запуска периодической задачи отправки файлов с данными РВД (минута).         | '0'                   |
-| RDM_UPLOAD_DATA_TASK_HOUR                  | Настройка запуска периодической задачи отправки файлов с данными РВД (час).            | '*/2'                 |
-| RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи отправки файлов с данными РВД (день недели).    | '*'                   |
-| RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах).                 | 7200                  |
-    
-  С версии пакета 3.6 добавляются новые настройки
-
-| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
-|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
-| RDM_FAST_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута       | '*/5'                 |
-| RDM_FAST_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час          | '*'                   |
-| RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели  | '*'                   |
-| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 1800                  |
-| RDM_LONG_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута        | 0                     |
-| RDM_LONG_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час           | '*/6'                 |
-| RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели   | '*'                   |
-| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 28800                 |
+    # Директория логов сбора данных, доступных для скачивания
+    RDM_COLLECT_LOG_DIR = os.path.join('logs', 'rdm', 'collect')
+    os.makedirs(os.path.join(MEDIA_ROOT, RDM_COLLECT_LOG_DIR), exist_ok=True)
+    # Директория логов экспорта данных, доступных для скачивания
+    RDM_EXPORT_LOG_DIR = os.path.join('logs', 'rdm', 'export')
+    os.makedirs(os.path.join(MEDIA_ROOT, RDM_EXPORT_LOG_DIR), exist_ok=True)
+    # Директория логов отправки данных в витрину, доступных для скачивания
+    RDM_UPLOAD_LOG_DIR = os.path.join('logs', 'rdm', 'upload')
+    os.makedirs(os.path.join(MEDIA_ROOT, RDM_UPLOAD_LOG_DIR), exist_ok=True)
+    ```
+
+Перечень настроек в settings.py указан в таблице ниже.
+
+| Название настройки в settings                | Описание                                                                                                                           | Значение по умолчанию   |
+|----------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------|-------------------------|
+| UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
+| RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
+| RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
+| RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
+| RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
+| RDM_MENU_ITEM                                | Отображение пункта меню Пункт меню "Региональная витрина данных"                                                                   | False                   |
+| RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                     | '0'                     |
+| RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                        | '*/4'                   |
+| RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                                | '*'                     |
+| RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS        | Время по истечении которого, блокировка может быть снята (в секундах)                                                              | 21600                   |
+| RDM_FAST_TRANSFER_TASK_MINUTE                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута                                                   | '*/5'                   |
+| RDM_FAST_TRANSFER_TASK_HOUR                  | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час                                                      | '*'                     |
+| RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели                                              | '*'                     |
+| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах)                                                              | 1800                    |
+| RDM_LONG_TRANSFER_TASK_MINUTE                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута                                                    | 0                       |
+| RDM_LONG_TRANSFER_TASK_HOUR                  | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час                                                       | '*/6'                   |
+| RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели                                               | '*'                     |
+| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах)                                                              | 28800                   |
+| RDM_CHECK_SUSPEND_TASK_MINUTE                | Настройка запуска периодической задачи поиска зависших этапов экспорта. Минута                                                     | */10                    |
+| RDM_CHECK_SUSPEND_TASK_HOUR                  | Настройка запуска периодической задачи поиска зависших этапов экспорта. Час                                                        | *                       |
+| RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи поиска зависших этапов экспорта. День недели                                                | *                       |
+| RDM_CHECK_SUSPEND_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах).                                                             | 7200                    |
+| RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT         | Дельта для определения зависшего подэтапа. Минута                                                                                  | 120                     |
+| RDM_UPLOAD_DATA_TASK_MINUTE                  | Настройка запуска периодической задачи отправки файлов с данными РВД (минута).                                                     | '0'                     |
+| RDM_UPLOAD_DATA_TASK_HOUR                    | Настройка запуска периодической задачи отправки файлов с данными РВД (час).                                                        | '*/2'                   |
+| RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK             | Настройка запуска периодической задачи отправки файлов с данными РВД (день недели).                                                | '*'                     |
+| RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS     | Время по истечении которого, блокировка может быть снята (в секундах).                                                             | 7200                    |
+| RDM_UPLOAD_DATA_TASK_EXPORT_STAGES           | Количество подэтапов для обработки в периодической задаче отправки данных.                                                         | 500                     |
+| RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                   | '*/30'                  |
+| RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                      | '*'                     |
+| RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                              | '*'                     |
+| RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах)                                                              | 3600                    |
+| RDM_REDIS_HOST                               | Настройка очереди Redis для формирования файлов РВД (хост).                                                                        |                         |
+| RDM_REDIS_PORT                               | Настройка очереди Redis для формирования файлов РВД (порт).                                                                        |                         |
+| RDM_REDIS_DB                                 | Настройка очереди Redis для формирования файлов РВД (номер бд).                                                                    |                         |
+| RDM_REDIS_PASSWORD                           | Настройка очереди Redis для формирования файлов РВД (пароль).                                                                      |                         |
+| RDM_REDIS_CACHE_TIMEOUT_SECONDS              | Таймаут для сохранения параметров в общем кеш (секунды).                                                                           | 7200                    |
+| RDM_UPLOADER_CLIENT_URL                      | Адрес витрины (schema://host:port)                                                                                                 | 'http://localhost:8090' |
+| RDM_UPLOADER_CLIENT_DATAMART_NAME            | Мнемоника Витрины                                                                                                                  | 'test'                  |
+| RDM_UPLOADER_CLIENT_REQUEST_RETRIES          | Количество повторных попыток запроса                                                                                               | 10                      |
+| RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT          | Таймаут запроса, сек                                                                                                               | 10                      |
+| RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION | Включить эмуляцию отправки запросов                                                                                                | True                    |
+| RDM_RESPONSE_FILE_STATUS                     | Установить тип ответа витрины при проверке статуса отправленного файла                                                             | 'success'               |
+| RDM_UPLOADER_CLIENT_USE_PROXY_API            | Использование Proxy API                                                                                                            | False                   |
+| RDM_UPLOADER_CLIENT_USERNAME                 | Имя пользователя IAM                                                                                                               |                         |
+| RDM_UPLOADER_CLIENT_PASSWORD                 | Пароль пользователя IAM                                                                                                            |                         |
+| RDM_UPLOADER_CLIENT_ORGANIZATION_OGRN        | ОГРН организации, в рамках которой развёрнута Витрина                                                                              |                         |
+| RDM_UPLOADER_CLIENT_INSTALLATION_NAME        | Имя инсталляции в целевой Витрине                                                                                                  |                         |
+| RDM_UPLOADER_CLIENT_INSTALLATION_ID          | Идентификатор инсталляции в целевой Витрине                                                                                        |                         |
+| RDM_COLLECT_LOG_DIR                          | Директория логов сбора данных, доступных для скачивания                                                                            |                         |
+| RDM_EXPORT_LOG_DIR                           | Директория логов экспорта данных, доступных для скачивания                                                                         |                         |
+| RDM_UPLOAD_LOG_DIR                           | Директория логов отправки данных в витрину, доступных для скачивания                                                               |                         |
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -381,7 +376,11 @@ Dynamic: license-file
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
-    UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
+    UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    UPLOAD_QUEUE_MAX_SIZE = 500000000
+    # Отображение пункта меню "Региональная витрина данных"
+    RDM_MENU_ITEM = False
     
     # Настройка запуска периодической задачи выгрузки данных
     [rdm_transfer_task]
@@ -389,18 +388,19 @@ Dynamic: license-file
     HOUR=*
     DAY_OF_WEEK=*
     LOCK_EXPIRE_SECONDS=21600
-    # Дельта между прошлым и текущим запуском, сек
-    TIMEDELTA=120
-    # Сущности, по которым должен производиться сбор и выгрузка данных. Перечисляются через запятую без пробелов.
-    ENTITIES =
-    
-    # Настройка запуска периодической задачи статуса загрузки данных в витрину
-    [rdm_upload_status_task]
+  
+    [rdm_transfer_task_fast]
     MINUTE=*/2
     HOUR=*
     DAY_OF_WEEK=*
-    LOCK_EXPIRE_SECONDS=7200
-  
+    LOCK_EXPIRE_SECONDS = 1800
+
+    [rdm_transfer_task_long]
+    MINUTE=*/15
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 21600
+    
     # Настройка запуска периодической задачи поиска зависших этапов экспорта
     [rdm_check_suspend_task]
     MINUTE=*/10
@@ -409,6 +409,30 @@ Dynamic: license-file
     LOCK_EXPIRE_SECONDS=7200
     # Дельта для определения зависшего подэтапа, мин
     STAGE_TIMEOUT=120
+  
+    # Настройка запуска периодической задачи отправки csv-файлов в витрину.
+    [rdm_upload_data_task]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 7200
+    EXPORT_STAGES = 500
+    
+    # Настройка запуска периодической задачи статуса загрузки данных в витрину
+    [rdm_upload_status_task]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS=7200
+  
+    # Настройка очереди Redis для формирования файлов РВД.
+    [rdm_redis]
+    REDIS_HOST = localhost
+    REDIS_PORT = 6379
+    REDIS_DB = 1
+    REDIS_PASSWORD = 
+    # Таймаут для сохранения параметров в общем кеш.
+    REDIS_CACHE_TIMEOUT_SECONDS = 7200
     
     [uploader_client]
     # Адрес витрины
@@ -421,53 +445,29 @@ Dynamic: license-file
     REQUEST_TIMEOUT = 10
     # Включить эмуляцию отправки запросов
     ENABLE_REQUEST_EMULATION = True
+    # Использовать Proxy API
+    USE_PROXY_API = False
+    # Имя пользователя IAM
+    USERNAME =
+    # Пароль пользователя IAM
+    PASSWORD =
+    # ОГРН организации, в рамках которой развёрнута Витрина
+    ORGANIZATION_OGRN =
+    # Имя инсталляции в целевой Витрине
+    INSTALLATION_NAME =
+    # Идентификатор инсталляции в целевой Витрине
+    INSTALLATION_ID =
     ```
-- С версии 3.3.0 в дефолтный конфиг нужно добавить
-    ```
-    [rdm_general]
-    ...
-    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
-    UPLOAD_QUEUE_MAX_SIZE = 500_000_000
+На основе дефолтного конфига произвести конфигурирование приложений.
 
-    # Настройка очереди Redis для формирования файлов РВД.
-    [rdm_redis]
-    REDIS_HOST = localhost
-    REDIS_PORT = 6379
-    REDIS_DB = 1
-    REDIS_PASSWORD = 
-    ```  
-- С версии 3.3.1 в дефолтный конфиг нужно добавить
-    ```
-    [rdm_redis]
-    ...
-    # Таймаут для сохранения параметров в общем кеш.
-    REDIS_CACHE_TIMEOUT_SECONDS = 7200
-    ```    
-- С версии 3.4.2 в дефолтный конфиг нужно добавить
-    ```
-    # Настройка запуска периодической задачи отправки csv-файлов в витрину.
-    [rdm_upload_data_task]
-    MINUTE=*/2
-    HOUR=*
-    DAY_OF_WEEK=*
-    LOCK_EXPIRE_SECONDS = 60 * 60 * 2
-    ```     
-- С версии 3.6 в дефолтный конфиг также нужно добавить два дополнительных раздела
-    ```
-    
-    [rdm_transfer_task_fast]
-    MINUTE=*/2
-    HOUR=*
-    DAY_OF_WEEK=*
-    LOCK_EXPIRE_SECONDS = 1800
+## Форматирование
 
-    [rdm_transfer_task_long]
-    MINUTE=*/15
-    HOUR=*
-    DAY_OF_WEEK=*
-    LOCK_EXPIRE_SECONDS = 21600
-    ```
-На основе дефолтного конфига произвести конфигурирование приложений.
+Форматирование исходного кода осуществляется при помощи ruff. Ниже приведены команды для осуществления форматирования.
+
+```bash
+$ ruff format src/
+$ ruff check --fix --unsafe-fixes src/
+```
 
 ## Сборка и распространение