edu-rdm-integration 3.9.2__tar.gz → 3.10.0__tar.gz

{edu_rdm_integration-3.9.2 → edu_rdm_integration-3.10.0}/CHANGELOG.md

@@ -29,6 +29,60 @@
 ### Удалено
 
 
+## [3.10.0] - 2025-06-23
+
+Приведение кодовой базы к требованиям прохождения всех проверок ruff. Изменение структуры проекта. В INSTALLED_APPS 
+должны быть добавлены:
+```
+INSTALLED_APPS = (
+    'edu_rdm_integration',
+    'edu_rdm_integration.core.registry',
+    'edu_rdm_integration.rdm_entities',
+    'edu_rdm_integration.rdm_models',
+    'edu_rdm_integration.pipelines.transfer',
+    'edu_rdm_integration.stages.collect_data',
+    'edu_rdm_integration.stages.export_data',
+    'edu_rdm_integration.stages.service',
+    'edu_rdm_integration.stages.upload_data',
+    'edu_rdm_integration.stages.upload_data.uploader_log',
+    'edu_rdm_integration.stages.collect_data.registry',
+    'edu_rdm_integration.stages.export_data.registry',
+)
+```
+Изменения влекут за собой исправления импортов, т.к. компоненты были перенесены в новую структуру.
+
+Необходимо добавить параметр, если требуется отображать пункт меню `Региональная витрина данных` 
+```
+[rmd_general]
+...
+RDM_MENU_ITEM = True
+...
+```
+
+Произведено удаление механизма установки значений параметров интеграции по умолчанию. Это сделано для исключения ошибок 
+при конфигурировании интеграции. Необходимо проверить все настройки на их наличие в settings.py. 
+
+### Добавлено
+
+- [ПРОЕКТ-ZZZZ](https://jira.bars.group/browse/ПРОЕКТ-ZZZZ)
+  PATCH Название задачи или изменения.
+
+- [ПРОЕКТ-YYYY](https://jira.bars.group/browse/ПРОЕКТ-YYYY)
+  MINOR Название задачи или изменения.
+
+- [ПРОЕКТ-XXXX](https://jira.bars.group/browse/ПРОЕКТ-XXXX)
+  MAJOR Название задачи или изменения.
+
+### Изменено
+
+- [EDUDEVOPS-88](https://jira.bars.group/browse/EDUDEVOPS-88)
+  PATCH Приведение кодовой базы к требованиям прохождения всех проверок ruff.
+
+### Исправлено
+
+### Удалено
+
+
 ## [3.9.2] - 2025-06-16
 
 Ограничена длина описания асинхронных задач при экспорте сущностей до максимального количества символов 
@@ -128,6 +182,68 @@
  - "Долгая" очередь - RDM_LONG - для сущностей по которым идет долгий сбор, например для расчетных сущностей. 
 Периодическая задача - TransferLatestEntitiesDataLongPeriodicTask.
 
+Добавлены новые настройки:
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_FAST_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Минута       | '*/5'                 |
+| RDM_FAST_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. Час          | '*'                   |
+| RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (быстрая очередь) выгрузки данных. День недели  | '*'                   |
+| RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 1800                  |
+| RDM_LONG_TRANSFER_TASK_MINUTE              | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Минута        | 0                     |
+| RDM_LONG_TRANSFER_TASK_HOUR                | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. Час           | '*/6'                 |
+| RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK         | Настройка запуска периодической задачи (долгая очередь) выгрузки данных. День недели   | '*'                   |
+| RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секундах)                  | 28800                 |
+
+В settings.py:
+
+- Добавить значения по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rdm_transfer_task_fast', 'MINUTE'): '*/5',
+        ('rdm_transfer_task_fast', 'HOUR'): '*',
+        ('rdm_transfer_task_fast', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS'): 1800,
+        ('rdm_transfer_task_long', 'MINUTE'): '0',
+        ('rdm_transfer_task_long', 'HOUR'): '*/6',
+        ('rdm_transfer_task_long', 'DAY_OF_WEEK'): '*',
+        ('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS'): 28800,
+        ...
+    })
+  ```
+
+- Получить значения настроек из конфигурационного файла:
+  ```
+    # Настройка запуска периодической задачи выгрузки данных - быстрая очередь:
+    RDM_FAST_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_fast', 'MINUTE')
+    RDM_FAST_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_fast', 'HOUR')
+    RDM_FAST_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_fast', 'DAY_OF_WEEK')
+    RDM_FAST_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_fast', 'LOCK_EXPIRE_SECONDS')
+    
+    # Настройка запуска периодической задачи выгрузки данных - долгая очередь расчетных моделей:
+    RDM_LONG_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task_long', 'MINUTE')
+    RDM_LONG_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task_long', 'HOUR')
+    RDM_LONG_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task_long', 'DAY_OF_WEEK')
+    RDM_LONG_TRANSFER_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_transfer_task_long', 'LOCK_EXPIRE_SECONDS')
+  ```
+
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rdm_transfer_task_fast]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 1800
+
+    [rdm_transfer_task_long]
+    MINUTE=*/15
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 21600
+  ```
+
 ### Добавлено
 
 - [EDUSCHL-23348](https://jira.bars.group/browse/EDUSCHL-23348)
@@ -167,13 +283,45 @@
 ### Исправлено
 
 - [EDUSCHL-22403](https://jira.bars.group/browse/EDUSCHL-22403)
-  PATCH Испарвлена ошибка импорта в export_manager.
+  PATCH Исправлена ошибка импорта в export_manager.
 
 
 ## [3.5.6] - 2025-02-20
 
 Доработана отправка файлов в витрину - добавлена проверка статусов файла и новый статус `Ошибка обработки витриной` для
-ExportingDataSubStageStatus. Доработана задача проверки статусов  UploadStatusHelper.
+ExportingDataSubStageStatus. Доработана задача проверки статусов UploadStatusHelper.
+
+Добавлены новые настройки
+
+| Название настройки в settings              | Описание                                                                            | Значение по умолчанию |
+|--------------------------------------------|-------------------------------------------------------------------------------------|-----------------------|
+| RDM_RESPONSE_FILE_STATUS                   | Установить тип ответа витрины при проверке статуса отправленного файла.             | 'success'             |
+
+В settings.py:
+
+- Добавить значения по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('uploader_client', 'RESPONSE_FILE_STATUS'): 'success',
+        ...
+    })
+  ```
+
+- Получить значения настроек из конфигурационного файла:
+  ```
+    # Установить тип ответа витрины при проверке статуса отправленного файла
+    RDM_RESPONSE_FILE_STATUS = conf.get('uploader_client', 'RESPONSE_FILE_STATUS') 
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [uploader_client]
+    ...
+    RESPONSE_FILE_STATUS=success
+    ...
+  ``` 
 
 ### Исправлено
 
@@ -332,7 +480,47 @@ ExportingDataSubStageStatus. Доработана задача проверки
 
 ## [3.4.2 ]- 2024-10-15
 
-Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask.
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_UPLOAD_DATA_TASK_MINUTE                | Настройка запуска периодической задачи отправки файлов с данными РВД (минута).         | '0'                   |
+| RDM_UPLOAD_DATA_TASK_HOUR                  | Настройка запуска периодической задачи отправки файлов с данными РВД (час).            | '*/2'                 |
+| RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи отправки файлов с данными РВД (день недели).    | '*'                   |
+| RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS   | Время по истечении которого, блокировка может быть снята (в секундах).                 | 7200                  |
+
+В settings.py:
+
+- Добавить значения по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rdm_upload_data_task', 'MINUTE'): '0',
+        ('rdm_upload_data_task', 'HOUR'): '*/2',
+        ('rdm_upload_data_task', 'DAY_OF_WEEK'): '*',
+        ('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS'): 60 * 60 * 2 ,
+        ...
+    })
+  ```
+
+- Получить значения настроек из конфигурационного файла:
+  ```
+    RDM_UPLOAD_DATA_TASK_MINUTE = conf.get('rdm_upload_data_task', 'MINUTE')
+    RDM_UPLOAD_DATA_TASK_HOUR = conf.get('rdm_upload_data_task', 'HOUR')
+    RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK = conf.get('rdm_upload_data_task', 'DAY_OF_WEEK')
+    RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS = conf.get_int('rdm_upload_data_task', 'LOCK_EXPIRE_SECONDS')  
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    # Настройка запуска периодической задачи отправки csv-файлов в витрину.
+    [rdm_upload_data_task]
+    MINUTE=*/2
+    HOUR=*
+    DAY_OF_WEEK=*
+    LOCK_EXPIRE_SECONDS = 60 * 60 * 2
+  ``` 
 
 ### Добавлено
 
@@ -446,6 +634,37 @@ ExportingDataSubStageStatus. Доработана задача проверки
 Удалён устаревший параметр logs_sub_period_days у базового класса команды сбора данных BaseCollectModelsDataByGeneratingLogsCommand.
 Добавлен таймаут для сохранения информации об объемах файла в кеш.
 
+Добавлены новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_REDIS_CACHE_TIMEOUT_SECONDS            | Таймаут для сохранения параметров в общем кеш (секунды).                               | 7200                  |  
+  
+В settings.py:
+
+- Добавить значения по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS'): 60 * 60 * 2,
+        ...    
+    })
+  ```
+
+- Получить значения настроек из конфигурационного файла:
+  ```
+    # Таймаут для сохранения параметров в общем кеш.
+    RDM_REDIS_CACHE_TIMEOUT_SECONDS = conf.get_int('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS')   
+  ```
+
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rdm_redis]
+    ...
+    # Таймаут для сохранения параметров в общем кеш.
+    REDIS_CACHE_TIMEOUT_SECONDS = 7200
+  ```
 ### Изменено
 
 - [EDUSCHL-20649](https://jira.bars.group/browse/EDUSCHL-20649)
@@ -460,7 +679,61 @@ ExportingDataSubStageStatus. Доработана задача проверки
 ## [3.3.0] - 2024-06-06
 
 Отправка файлов в РВД вынесена в отдельную задачу UploadDataAsyncTask, добавлен кеш файлов и очередь подэтапов отправки,
-а также расчет объемов отправляемых файлов
+а также расчет объемов отправляемых файлов.
+
+Добавлены новые настройки
+
+| Название настройки в settings              | Описание                                                                               | Значение по умолчанию |
+|--------------------------------------------|----------------------------------------------------------------------------------------|-----------------------|
+| RDM_UPLOAD_QUEUE_MAX_SIZE                  | Объем очереди файлов в витрину (в байтах).                                             | 500_000_000           |
+| RDM_REDIS_HOST                             | Настройка очереди Redis для формирования файлов РВД (хост).                            |                       |
+| RDM_REDIS_PORT                             | Настройка очереди Redis для формирования файлов РВД (порт).                            |                       |
+| RDM_REDIS_DB                               | Настройка очереди Redis для формирования файлов РВД (номер бд).                        |                       |
+| RDM_REDIS_PASSWORD                         | Настройка очереди Redis для формирования файлов РВД (пароль).                          |                       |
+
+В settings.py:
+
+- Добавить значения по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
+        ('rdm_redis', 'REDIS_HOST'): 'localhost',
+        ('rdm_redis', 'REDIS_PORT'): 6379,
+        ('rdm_redis', 'REDIS_DB'): 1,
+        ('rdm_redis', 'REDIS_PASSWORD'): '',
+        ('rdm_redis', 'REDIS_CACHE_TIMEOUT_SECONDS'): 3600,
+        ...
+    })
+  ```
+
+- Получить значения настроек из конфигурационного файла:
+  ```
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    RDM_UPLOAD_QUEUE_MAX_SIZE = conf.get_int('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE')
+    
+    # Настройка очереди Redis для формирования файлов РВД.
+    RDM_REDIS_HOST = conf.get('rdm_redis', 'REDIS_HOST')
+    RDM_REDIS_PORT = conf.get('rdm_redis', 'REDIS_PORT')
+    RDM_REDIS_DB = conf.get('rdm_redis', 'REDIS_DB')
+    RDM_REDIS_PASSWORD = conf.get('rdm_redis', 'REDIS_PASSWORD')   
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rdm_general]
+    ...
+    # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
+    UPLOAD_QUEUE_MAX_SIZE = 500_000_000
+
+    # Настройка очереди Redis для формирования файлов РВД.
+    [rdm_redis]
+    REDIS_HOST = localhost
+    REDIS_PORT = 6379
+    REDIS_DB = 1
+    REDIS_PASSWORD = 
+  ``` 
 
 ### Изменено
 
@@ -1052,6 +1325,69 @@ TransferLatestEntitiesDataPeriodicTask сделаны уникальными.
 Добавлена возможность отправки запросов в РВД через Proxy API uploader_client.
 Изменено формирование логов для последующей обработки.
 
+Добавлены новые настройки
+
+| Название настройки в settings         | Описание                                              | Значение по умолчанию |
+|---------------------------------------|-------------------------------------------------------|-----------------------|
+| RDM_UPLOADER_CLIENT_USE_PROXY_API     | Использование Proxy API                               | False                 |
+| RDM_UPLOADER_CLIENT_USERNAME          | Имя пользователя IAM                                  |                       |
+| RDM_UPLOADER_CLIENT_PASSWORD          | Пароль пользователя IAM                               |                       |
+| RDM_UPLOADER_CLIENT_ORGANIZATION_OGRN | ОГРН организации, в рамках которой развёрнута Витрина |                       |
+| RDM_UPLOADER_CLIENT_INSTALLATION_NAME | Имя инсталляции в целевой Витрине                     |                       |
+| RDM_UPLOADER_CLIENT_INSTALLATION_ID   | Идентификатор инсталляции в целевой Витрине           |                       |
+
+В settings.py:
+
+- Добавить значения по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('uploader_client', 'USE_PROXY_API'): False,
+        ('uploader_client', 'USERNAME'): '',
+        ('uploader_client', 'PASSWORD'): '',
+        ('uploader_client', 'ORGANIZATION_OGRN'): '',
+        ('uploader_client', 'INSTALLATION_NAME'): '',
+        ('uploader_client', 'INSTALLATION_ID'): '',
+        ...
+    })
+  ```
+
+- Получить значения настроек из конфигурационного файла:
+  ```
+    # Использование Proxy API
+    RDM_UPLOADER_CLIENT_USE_PROXY_API = conf.get_bool('uploader_client', 'USE_PROXY_API')
+    # Имя пользователя IAM
+    RDM_UPLOADER_CLIENT_USERNAME = conf.get('uploader_client', 'USERNAME')
+    # Пароль пользователя IAM
+    RDM_UPLOADER_CLIENT_PASSWORD = conf.get('uploader_client', 'PASSWORD')
+    # ОГРН организации, в рамках которой развёрнута Витрина
+    RDM_UPLOADER_CLIENT_ORGANIZATION_OGRN = conf.get('uploader_client', 'ORGANIZATION_OGRN')
+    # Имя инсталляции в целевой Витрине
+    RDM_UPLOADER_CLIENT_INSTALLATION_NAME = conf.get('uploader_client', 'INSTALLATION_NAME')
+    # Идентификатор инсталляции в целевой Витрине
+    RDM_UPLOADER_CLIENT_INSTALLATION_ID = conf.get('uploader_client', 'INSTALLATION_ID') 
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [uploader_client]
+    ...
+    # Использовать Proxy API
+    USE_PROXY_API = False
+    # Имя пользователя IAM
+    USERNAME =
+    # Пароль пользователя IAM
+    PASSWORD =
+    # ОГРН организации, в рамках которой развёрнута Витрина
+    ORGANIZATION_OGRN =
+    # Имя инсталляции в целевой Витрине
+    INSTALLATION_NAME =
+    # Идентификатор инсталляции в целевой Витрине
+    INSTALLATION_ID =
+    ...
+  ``` 
+
 ### Добавлено
 
 - [EDUSCHL-20854](https://jira.bars.group/browse/EDUSCHL-20854)