edu-rdm-integration 3.20.0__tar.gz → 3.20.2__tar.gz

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/CHANGELOG.md

@@ -29,6 +29,32 @@
 ### Удалено
 
 
+## [3.20.2] - 2025-10-14
+
+Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
+### Исправлено
+
+- [EDUSCHL-24360](https://jira.bars.group/browse/EDUSCHL-24360)
+  PATCH Исправление вывода списков моделей и сущностей в реестрах сбора и выгрузки данных.
+
+
+## [3.20.1] - 2025-10-12
+
+Для обеспечения корректной работы была выстроена иная структура базовых моделей РВД:
+`BaseRDMModel` <- `BaseAdditionalRDMModel` <- `BaseMainRDMModel`. BaseRDMModel - базовая модель с полями создания и 
+обновления. BaseAdditionalRDMModel - модель унаследованная от BaseRDMModel, используется для моделей со сбором данных. 
+BaseMainRDMModel - модель унаследована от BaseAdditionalRDMModel, используется для моделей со сбором и экспортом данных,
+используемых в качестве основных для сущностей.
+Для перехода требуется внимательная замена базовых моделей. В общем случае должна быть произведена замена 
+BaseRDMModel -> BaseAdditionalRDMModel.
+
+### Изменено
+
+- [EDUSCHL-24339](https://jira.bars.group/browse/EDUSCHL-24339)
+  PATCH Изменена иерархия базовых моделей РВД.
+
+
 ## [3.20.0] - 2025-10-06
 
 Проверка записей моделей РВД на устаревание чанками при помощи asyncio. Добавление настроек для работы.
@@ -313,7 +339,7 @@ settings.py в установленные приложения.
 - Получить значение настройки из конфигурационного файла:
   ```
     # Размер батча для bulk_create операций при сборе данных РВД.
-    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
   ```
 
 - В дефолтный конфиг проекта необходимо добавить:
@@ -334,6 +360,60 @@ settings.py в установленные приложения.
   MINOR Поднять версию Django до 4.2.23
 
 
+## [3.15.4] - 2025-01-27
+
+Улучшена валидация полей формы сбора данных, добавлена логика взаимозависимости полей batch_size и split_by,
+оптимизирована производительность bulk_create операций.
+
+### Добавлено
+
+- Добавлен файл validators.js с валидаторами для полей формы
+- Добавлен валидатор instituteIdsValidator для поля institute_ids
+- Добавлен валидатор instituteCountValidator для поля institute_count
+- Добавлен файл collect-command-window.js с JavaScript логикой для формы
+- Добавлена логика взаимозависимости полей batch_size и split_by
+- Добавлен параметр RDM_COLLECT_PROGRESS_BATCH_SIZE для настройки размера батча
+
+### Изменено
+
+- Поле institute_ids: добавлены label, max_length и client_id
+- Поле institute_count: подключен валидатор instituteCountValidator
+- Поле split_by: установлено editable=False для ограничения ввода только из списка
+- Метод save_row в actions.py: заменена логика сохранения на bulk_create с настраиваемым batch_size
+- Добавлена JavaScript логика для корректной проверки обязательности взаимозависимых полей
+
+### Добавлены новые настройки
+
+| Название настройки в settings     | Описание                                                                                | Значение по умолчанию |
+|-----------------------------------|-----------------------------------------------------------------------------------------|-----------------------|
+| RDM_COLLECT_PROGRESS_BATCH_SIZE   | Размер батча для bulk_create операций при сборе данных РВД.                             | 10000                 |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rmd_general]
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
+  ```
+
+
 ## [3.15.3] - 2025-08-12
 
 ### Добавлено

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.20.0
+Version: 3.20.2
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -150,6 +150,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -218,6 +219,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -328,6 +332,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -395,6 +400,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/README.md

@@ -102,6 +102,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -170,6 +171,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -280,6 +284,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -347,6 +352,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/src/edu_rdm_integration/rdm_entities/models.py

@@ -70,6 +70,11 @@ class RDMEntityEnum(TitledModelEnum):
 
         return model_enums
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления сущностей."""
+        return [(key, key) for key in sorted(cls.get_model_enum_keys())]
+
     @classmethod
     def extend(
         cls,

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/src/edu_rdm_integration/rdm_models/models.py

@@ -35,15 +35,6 @@ from m3_db_utils.models import (
 class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
     """Базовая модель РВД."""
 
-    collecting_sub_stage = ForeignKey(
-        verbose_name='Подэтап сбора данных',
-        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
-        on_delete=CASCADE,
-    )
-    operation = SmallIntegerField(
-        verbose_name='Действие',
-        choices=EntityLogOperation.get_choices(),
-    )
     created = DateTimeField(
         verbose_name='Дата создания',
         auto_now_add=True,
@@ -68,10 +59,32 @@ class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
         abstract = True
 
 
-class BaseMainRDMModel(BaseRDMModel):
+class BaseAdditionalRDMModel(BaseRDMModel):
+    """Абстрактная вспомогательная модель РВД.
+
+    Является базовым классом для моделей РВД, которые не являются основными для сущностей РВД. Для таких моделей
+    производится сбор данных.
+    """
+
+    collecting_sub_stage = ForeignKey(
+        verbose_name='Подэтап сбора данных',
+        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
+        on_delete=CASCADE,
+    )
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    class Meta:
+        abstract = True
+
+
+class BaseMainRDMModel(BaseAdditionalRDMModel):
     """Абстрактная основная модель РВД.
 
-    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД.
+    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД. Для таких моделей
+    производится сбор и выгрузка данных.
     """
 
     exporting_sub_stage = ForeignKey(
@@ -103,6 +116,11 @@ class RDMModelEnum(TitledModelEnum):
         verbose_name = 'Модель-перечисление моделей "Региональной витрины данных"'
         verbose_name_plural = 'Модели-перечисления моделей "Региональной витрины данных"'
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления моделей."""
+        return [(key, key) for key in sorted(cls.get_model_enum_keys())]
+
     @classmethod
     def _get_model_relations(cls, model: Type['BaseRDMModel']) -> dict[str, str]:
         """Получение списка связей модели РВД."""

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/src/edu_rdm_integration/stages/collect_data/models.py

@@ -65,6 +65,11 @@ class RDMCollectingDataStageStatus(TitledModelEnum):
         verbose_name = 'Модель-перечисление статусов этапа сбора данных'
         verbose_name_plural = 'Модели-перечисления статусов этапов сбора данных'
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления статусов."""
+        return [(key, key) for key in cls.get_model_enum_keys()]
+
 
 class RDMCollectingDataStage(ReprStrPreModelMixin, BaseObjectModel):
     """Этап подготовки данных в рамках Функций. За работу Функции отвечает ранер менеджер."""

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/src/edu_rdm_integration/stages/collect_data/registry/actions.py

@@ -83,7 +83,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Модель',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMModelEnum.get_model_enum_keys()],
+                choices=partial(RDMModelEnum.get_choices),
                 parser=str,
                 lookup=lambda key: Q(model=key) if key else Q(),
             ),
@@ -93,7 +93,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус асинхронной задачи',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(value.key, value.title) for value in AsyncTaskStatus.get_model_enum_values()],
+                choices=partial(AsyncTaskStatus.get_choices),
                 parser=str,
                 lookup='task__status_id',
             ),
@@ -118,7 +118,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус сбора',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMCollectingDataStageStatus.get_model_enum_keys()],
+                choices=partial(RDMCollectingDataStageStatus.get_choices),
                 parser=str,
                 lookup=lambda key: Q(stage__status=key) if key else Q(),
             ),

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/src/edu_rdm_integration/stages/export_data/models.py

@@ -69,6 +69,11 @@ class RDMExportingDataStageStatus(TitledModelEnum):
         title='Завершено',
     )
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления статусов."""
+        return [(key, key) for key in cls.get_model_enum_keys()]
+
     class Meta:
         db_table = 'rdm_exporting_data_stage_status'
         verbose_name = 'Модель-перечисление статусов этапа выгрузки данных'

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/src/edu_rdm_integration/stages/export_data/registry/actions.py

@@ -86,7 +86,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Сущность',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMEntityEnum.get_model_enum_keys()],
+                choices=partial(RDMEntityEnum.get_choices),
                 parser=str,
                 lookup=lambda key: Q(entity=key) if key else Q(),
             ),
@@ -96,7 +96,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус асинхронной задачи',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(value.key, value.title) for value in AsyncTaskStatus.get_model_enum_values()],
+                choices=partial(AsyncTaskStatus.get_choices),
                 parser=str,
                 lookup='task__status_id',
             ),
@@ -131,7 +131,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус экспорта',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMExportingDataStageStatus.get_model_enum_keys()],
+                choices=partial(RDMExportingDataStageStatus.get_choices),
                 parser=str,
                 lookup=lambda key: Q(stage__status=key) if key else Q(),
             ),

{edu_rdm_integration-3.20.0 → edu_rdm_integration-3.20.2}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.20.0
+Version: 3.20.2
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -150,6 +150,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -218,6 +219,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -328,6 +332,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -395,6 +400,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.