edu-rdm-integration 3.16.0__tar.gz → 3.16.1__tar.gz

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.1}/CHANGELOG.md

@@ -28,6 +28,59 @@
 
 ### Удалено
 
+## [3.16.1] - 2025-01-27
+
+Улучшена валидация полей формы сбора данных, добавлена логика взаимозависимости полей batch_size и split_by,
+оптимизирована производительность bulk_create операций.
+
+### Добавлено
+
+- Добавлен файл validators.js с валидаторами для полей формы
+- Добавлен валидатор instituteIdsValidator для поля institute_ids
+- Добавлен валидатор instituteCountValidator для поля institute_count
+- Добавлен файл collect-command-window.js с JavaScript логикой для формы
+- Добавлена логика взаимозависимости полей batch_size и split_by
+- Добавлен параметр RDM_COLLECT_PROGRESS_BATCH_SIZE для настройки размера батча
+
+### Изменено
+
+- Поле institute_ids: добавлены label, max_length и client_id
+- Поле institute_count: подключен валидатор instituteCountValidator
+- Поле split_by: установлено editable=False для ограничения ввода только из списка
+- Метод save_row в actions.py: заменена логика сохранения на bulk_create с настраиваемым batch_size
+- Добавлена JavaScript логика для корректной проверки обязательности взаимозависимых полей
+
+### Добавлены новые настройки
+
+| Название настройки в settings     | Описание                                                                                | Значение по умолчанию |
+|-----------------------------------|-----------------------------------------------------------------------------------------|-----------------------|
+| RDM_COLLECT_PROGRESS_BATCH_SIZE   | Размер батча для bulk_create операций при сборе данных РВД.                             | 10000                 |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rmd_general]
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
+  ```
+
 
 ## [3.16.0] - 2025-08-13
 
@@ -128,6 +181,59 @@
   MINOR Доработка механизма экспорта данных в РВД - изменена логика проставления экспорта в BaseExportDataFunction
 
 
+## [3.11.4] - 2025-01-27
+
+Улучшена валидация полей формы сбора данных, добавлена логика взаимозависимости полей batch_size и split_by,
+оптимизирована производительность bulk_create операций.
+
+### Добавлено
+
+- Добавлен файл validators.js с валидаторами для полей формы
+- Добавлен валидатор instituteIdsValidator для поля institute_ids
+- Добавлен валидатор instituteCountValidator для поля institute_count
+- Добавлен файл collect-command-window.js с JavaScript логикой для формы
+- Добавлена логика взаимозависимости полей batch_size и split_by
+- Добавлен параметр RDM_COLLECT_PROGRESS_BATCH_SIZE для настройки размера батча
+
+### Изменено
+
+- Поле institute_ids: добавлены label, max_length и client_id
+- Поле institute_count: подключен валидатор instituteCountValidator
+- Поле split_by: установлено editable=False для ограничения ввода только из списка
+- Метод save_row в actions.py: заменена логика сохранения на bulk_create с настраиваемым batch_size
+- Добавлена JavaScript логика для корректной проверки обязательности взаимозависимых полей
+
+### Добавлены новые настройки
+
+| Название настройки в settings     | Описание                                                                                | Значение по умолчанию |
+|-----------------------------------|-----------------------------------------------------------------------------------------|-----------------------|
+| RDM_COLLECT_PROGRESS_BATCH_SIZE   | Размер батча для bulk_create операций при сборе данных РВД.                             | 10000                 |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rmd_general]
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
+  ```
+
 ## [3.11.3] - 2025-07-25
 
 ### Исправлено

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.16.0
+Version: 3.16.1
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.1}/src/edu_rdm_integration/core/consts.py

@@ -21,6 +21,14 @@ HASH_ALGORITHM = HashGostFunctionVersion.GOST12_512
 
 BATCH_SIZE = 5000
 
+CHUNK_MAX_VALUE = 100000
+"""Максимальное значение для размера чанка при сборе данных РВД.
+Ограничение 100000 предотвращает чрезмерное потребление памяти и блокировку БД
+при обработке больших объемов данных в одном батче."""
+
+SPLIT_BY_QUANTITY_MAX_VALUE = 366
+"""Максимальное значение для размера подпериода при временном разделении данных."""
+
 ACADEMIC_YEAR = {
     'start_day': 1,
     'start_month': 9,

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.1}/src/edu_rdm_integration/stages/collect_data/registry/actions.py

@@ -2,6 +2,9 @@ from functools import (
     partial,
 )
 
+from django.conf import (
+    settings,
+)
 from django.db.models import (
     F,
     Func,
@@ -268,6 +271,4 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             )
             for command in commands_to_save
         ]
-
-        for obj in objs:
-            super().save_row(obj, create_new, request, context, *args, **kwargs)
+        self.model.objects.bulk_create(objs, batch_size=settings.COLLECT_PROGRESS_BATCH_SIZE)

edu_rdm_integration-3.16.1/src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js

@@ -0,0 +1,77 @@
+{% load educommon %}
+{% include "ui-js/validators.js" %}
+
+Ext.onReady(function() {
+    // Инициализация валидаторов
+    initializeValidators();
+
+    // Инициализация взаимозависимых полей
+    initializeBatchSizeSplitByLogic();
+});
+
+function initializeValidators() {
+    // Валидатор для institute_ids
+    var instituteIdsField = Ext.getCmp('institute_ids');
+    if (instituteIdsField) {
+        instituteIdsField.validate = instituteIdsValidator;
+        instituteIdsField.on('blur', function() {
+            this.validate();
+        });
+    }
+
+    // Валидатор для institute_count
+    var instituteCountField = Ext.getCmp('institute_count');
+    if (instituteCountField) {
+        var originalValidator = instituteCountField.validate;
+
+        instituteCountField.validate = function() {
+            if (!instituteCountValidator.call(this)) {
+                return false;
+            }
+            if (originalValidator) {
+                return originalValidator.call(this);
+            }
+            return true;
+        };
+
+        instituteCountField.on('blur', function() {
+            this.validate();
+        });
+    }
+}
+
+function initializeBatchSizeSplitByLogic() {
+    var batchSizeField = Ext.getCmp('batch_size');
+    var splitByField = Ext.getCmp('split_by');
+
+    if (!batchSizeField || !splitByField) {
+        return;
+    }
+
+    // Функция для обновления обязательности полей
+    function updateFieldRequirements() {
+        var batchSizeValue = batchSizeField.getValue();
+        var splitByValue = splitByField.getValue();
+
+        if (splitByValue && splitByValue !== '') {
+            batchSizeField.allowBlank = true;
+            batchSizeField.clearInvalid();
+        } else {
+            batchSizeField.allowBlank = false;
+        }
+
+        if (batchSizeValue && batchSizeValue !== '' && batchSizeValue !== 0) {
+            splitByField.allowBlank = true;
+            splitByField.clearInvalid();
+        } else {
+            splitByField.allowBlank = false;
+        }
+    }
+
+    // Обработчики изменения полей
+    batchSizeField.on('change', updateFieldRequirements);
+    splitByField.on('change', updateFieldRequirements);
+
+    // Инициализация при загрузке
+    updateFieldRequirements();
+}

edu_rdm_integration-3.16.1/src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/validators.js

@@ -0,0 +1,51 @@
+// Валидатор для поля institute_ids
+var instituteIdsValidator = function () {
+    var value = this.getValue();
+    
+    // Если поле пустое - это допустимо
+    if (!value || value.trim() === '') {
+        this.clearInvalid();
+        return true;
+    }
+
+    value = value.trim();
+
+    if (!/^[0-9,]+$/.test(value)) {
+        this.markInvalid('Разрешены только цифры и запятые');
+        return false;
+    }
+
+    var numbers = value.split(',');
+
+    for (var i = 0; i < numbers.length; i++) {
+        if (numbers[i].trim() === '') {
+            this.markInvalid('Между запятыми не должно быть пустых значений');
+            return false;
+        }
+    }
+
+    var uniqueNumbers = [];
+    for (var j = 0; j < numbers.length; j++) {
+        var num = parseInt(numbers[j].trim());
+        if (uniqueNumbers.indexOf(num) !== -1) {
+            this.markInvalid('ID организаций не должны повторяться');
+            return false;
+        }
+        uniqueNumbers.push(num);
+    }
+    
+    this.clearInvalid();
+    return true;
+};
+
+// Валидатор для поля institute_count - запрещаем 0
+var instituteCountValidator = function() {
+    var value = this.getValue();
+    if (value === 0) {
+        this.markInvalid('Количество организаций не может быть равно 0');
+        return false;
+    }
+    
+    this.clearInvalid();
+    return true;
+};

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.1}/src/edu_rdm_integration/stages/collect_data/registry/ui.py

@@ -24,6 +24,8 @@ from educommon.utils.date import (
 
 from edu_rdm_integration.core.consts import (
     BATCH_SIZE,
+    CHUNK_MAX_VALUE,
+    SPLIT_BY_QUANTITY_MAX_VALUE,
 )
 from edu_rdm_integration.core.registry.ui import (
     BaseCreateCommandWindow,
@@ -75,8 +77,9 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             display_field='split_by',
             label='Единица подпериода',
             anchor='100%',
-            editable=True,
+            editable=False,
             trigger_action_all=True,
+            client_id='split_by',
         )
         split_by.set_store(ExtDataStore(enumerate(DatesSplitter.get_split_by_modes())))
         split_by_quantity = ExtNumberField(
@@ -85,6 +88,7 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             allow_blank=False,
             allow_decimals=False,
             allow_negative=False,
+            max_value=SPLIT_BY_QUANTITY_MAX_VALUE,
             anchor='100%',
             value=1,
         )
@@ -109,6 +113,8 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             allow_negative=False,
             anchor='100%',
             value=BATCH_SIZE,
+            max_value=CHUNK_MAX_VALUE,
+            client_id='batch_size',
         )
         by_institutes = ExtCheckBox(
             anchor='100%',
@@ -116,10 +122,12 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             name='by_institutes',
         )
         institute_ids = ExtStringField(
-            label='id организаций',
+            label='ID организаций (через запятую, например: 1,2,3 или оставить пустым для всех)',
             name='institute_ids',
             allow_blank=True,
             anchor='100%',
+            max_length=100,
+            client_id='institute_ids',
         )
         institute_count = ExtNumberField(
             name='institute_count',
@@ -128,6 +136,8 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             anchor='100%',
             min_value=ALL_UNITS_IN_COMMAND,
             value=ALL_UNITS_IN_COMMAND,
+            client_id='institute_count',
+            allow_blank=False,
         )
         hint_text = ExtDisplayField(
             value=(
@@ -156,6 +166,12 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             split_mode,
         )
 
+    def set_params(self, params: Dict[str, Any]) -> None:
+        """Устанавливает параметры окна."""
+        super().set_params(params)
+
+        self.template_globals = 'ui-js/collect-command-window.js'
+
 
 class DetailCollectCommandWindow(BaseEditWindow):
     """Окно просмотра команды сбора данных модели РВД."""

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.1}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.16.0
+Version: 3.16.1
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.1}/src/edu_rdm_integration.egg-info/SOURCES.txt

@@ -165,7 +165,9 @@ src/edu_rdm_integration/stages/collect_data/registry/__init__.py
 src/edu_rdm_integration/stages/collect_data/registry/actions.py
 src/edu_rdm_integration/stages/collect_data/registry/apps.py
 src/edu_rdm_integration/stages/collect_data/registry/ui.py
+src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js
 src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/create-collect-command-win.js
+src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/validators.js
 src/edu_rdm_integration/stages/export_data/__init__.py
 src/edu_rdm_integration/stages/export_data/apps.py
 src/edu_rdm_integration/stages/export_data/consts.py