edu-rdm-integration 3.20.0__tar.gz → 3.20.1__tar.gz

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.1}/CHANGELOG.md

@@ -29,6 +29,22 @@
 ### Удалено
 
 
+## [3.20.1] - 2025-10-12
+
+Для обеспечения корректной работы была выстроена иная структура базовых моделей РВД:
+`BaseRDMModel` <- `BaseAdditionalRDMModel` <- `BaseMainRDMModel`. BaseRDMModel - базовая модель с полями создания и 
+обновления. BaseAdditionalRDMModel - модель унаследованная от BaseRDMModel, используется для моделей со сбором данных. 
+BaseMainRDMModel - модель унаследована от BaseAdditionalRDMModel, используется для моделей со сбором и экспортом данных,
+используемых в качестве основных для сущностей.
+Для перехода требуется внимательная замена базовых моделей. В общем случае должна быть произведена замена 
+BaseRDMModel -> BaseAdditionalRDMModel.
+
+### Изменено
+
+- [EDUSCHL-24339](https://jira.bars.group/browse/EDUSCHL-24339)
+  PATCH Изменена иерархия базовых моделей РВД.
+
+
 ## [3.20.0] - 2025-10-06
 
 Проверка записей моделей РВД на устаревание чанками при помощи asyncio. Добавление настроек для работы.
@@ -313,7 +329,7 @@ settings.py в установленные приложения.
 - Получить значение настройки из конфигурационного файла:
   ```
     # Размер батча для bulk_create операций при сборе данных РВД.
-    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
   ```
 
 - В дефолтный конфиг проекта необходимо добавить:
@@ -334,6 +350,60 @@ settings.py в установленные приложения.
   MINOR Поднять версию Django до 4.2.23
 
 
+## [3.15.4] - 2025-01-27
+
+Улучшена валидация полей формы сбора данных, добавлена логика взаимозависимости полей batch_size и split_by,
+оптимизирована производительность bulk_create операций.
+
+### Добавлено
+
+- Добавлен файл validators.js с валидаторами для полей формы
+- Добавлен валидатор instituteIdsValidator для поля institute_ids
+- Добавлен валидатор instituteCountValidator для поля institute_count
+- Добавлен файл collect-command-window.js с JavaScript логикой для формы
+- Добавлена логика взаимозависимости полей batch_size и split_by
+- Добавлен параметр RDM_COLLECT_PROGRESS_BATCH_SIZE для настройки размера батча
+
+### Изменено
+
+- Поле institute_ids: добавлены label, max_length и client_id
+- Поле institute_count: подключен валидатор instituteCountValidator
+- Поле split_by: установлено editable=False для ограничения ввода только из списка
+- Метод save_row в actions.py: заменена логика сохранения на bulk_create с настраиваемым batch_size
+- Добавлена JavaScript логика для корректной проверки обязательности взаимозависимых полей
+
+### Добавлены новые настройки
+
+| Название настройки в settings     | Описание                                                                                | Значение по умолчанию |
+|-----------------------------------|-----------------------------------------------------------------------------------------|-----------------------|
+| RDM_COLLECT_PROGRESS_BATCH_SIZE   | Размер батча для bulk_create операций при сборе данных РВД.                             | 10000                 |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rmd_general]
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
+  ```
+
+
 ## [3.15.3] - 2025-08-12
 
 ### Добавлено

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.20.0
+Version: 3.20.1
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -150,6 +150,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -218,6 +219,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -328,6 +332,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -395,6 +400,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.1}/README.md

@@ -102,6 +102,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -170,6 +171,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -280,6 +284,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -347,6 +352,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.1}/src/edu_rdm_integration/rdm_models/models.py

@@ -35,15 +35,6 @@ from m3_db_utils.models import (
 class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
     """Базовая модель РВД."""
 
-    collecting_sub_stage = ForeignKey(
-        verbose_name='Подэтап сбора данных',
-        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
-        on_delete=CASCADE,
-    )
-    operation = SmallIntegerField(
-        verbose_name='Действие',
-        choices=EntityLogOperation.get_choices(),
-    )
     created = DateTimeField(
         verbose_name='Дата создания',
         auto_now_add=True,
@@ -68,10 +59,32 @@ class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
         abstract = True
 
 
-class BaseMainRDMModel(BaseRDMModel):
+class BaseAdditionalRDMModel(BaseRDMModel):
+    """Абстрактная вспомогательная модель РВД.
+
+    Является базовым классом для моделей РВД, которые не являются основными для сущностей РВД. Для таких моделей
+    производится сбор данных.
+    """
+
+    collecting_sub_stage = ForeignKey(
+        verbose_name='Подэтап сбора данных',
+        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
+        on_delete=CASCADE,
+    )
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    class Meta:
+        abstract = True
+
+
+class BaseMainRDMModel(BaseAdditionalRDMModel):
     """Абстрактная основная модель РВД.
 
-    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД.
+    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД. Для таких моделей
+    производится сбор и выгрузка данных.
     """
 
     exporting_sub_stage = ForeignKey(

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.1}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.20.0
+Version: 3.20.1
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -150,6 +150,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -218,6 +219,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -328,6 +332,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -395,6 +400,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.