edu-rdm-integration 3.16.0__tar.gz → 3.16.2__tar.gz

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.2}/CHANGELOG.md

@@ -29,6 +29,76 @@
 ### Удалено
 
 
+## [3.16.2] - 2025-08-19
+
+Перенес javascript логику из create-collect-command-win.js в collect-command-window.js т.к. темплейт был перекрыт.
+Добавлена валидация начала периода < текущая дата и начало периода < конец периода сбора и экспорта данных.
+
+### Добавлено
+
+- [EDUKNDG-15671](https://jira.bars.group/browse/EDUKNDG-15671)
+  PATCH Добавлена валидация полей начало и конец периода сбора и экспорта данных.
+
+### Удалено
+
+- [EDUKNDG-15671](https://jira.bars.group/browse/EDUKNDG-15671)
+  PATCH Удален темплейт create-collect-command-win.js
+
+
+## [3.16.1] - 2025-01-27
+
+Улучшена валидация полей формы сбора данных, добавлена логика взаимозависимости полей batch_size и split_by,
+оптимизирована производительность bulk_create операций.
+
+### Добавлено
+
+- Добавлен файл validators.js с валидаторами для полей формы
+- Добавлен валидатор instituteIdsValidator для поля institute_ids
+- Добавлен валидатор instituteCountValidator для поля institute_count
+- Добавлен файл collect-command-window.js с JavaScript логикой для формы
+- Добавлена логика взаимозависимости полей batch_size и split_by
+- Добавлен параметр RDM_COLLECT_PROGRESS_BATCH_SIZE для настройки размера батча
+
+### Изменено
+
+- Поле institute_ids: добавлены label, max_length и client_id
+- Поле institute_count: подключен валидатор instituteCountValidator
+- Поле split_by: установлено editable=False для ограничения ввода только из списка
+- Метод save_row в actions.py: заменена логика сохранения на bulk_create с настраиваемым batch_size
+- Добавлена JavaScript логика для корректной проверки обязательности взаимозависимых полей
+
+### Добавлены новые настройки
+
+| Название настройки в settings     | Описание                                                                                | Значение по умолчанию |
+|-----------------------------------|-----------------------------------------------------------------------------------------|-----------------------|
+| RDM_COLLECT_PROGRESS_BATCH_SIZE   | Размер батча для bulk_create операций при сборе данных РВД.                             | 10000                 |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rmd_general]
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
+  ```
+
+
 ## [3.16.0] - 2025-08-13
 
 Добавлена поддержка django 4.2
@@ -128,6 +198,59 @@
   MINOR Доработка механизма экспорта данных в РВД - изменена логика проставления экспорта в BaseExportDataFunction
 
 
+## [3.11.4] - 2025-01-27
+
+Улучшена валидация полей формы сбора данных, добавлена логика взаимозависимости полей batch_size и split_by,
+оптимизирована производительность bulk_create операций.
+
+### Добавлено
+
+- Добавлен файл validators.js с валидаторами для полей формы
+- Добавлен валидатор instituteIdsValidator для поля institute_ids
+- Добавлен валидатор instituteCountValidator для поля institute_count
+- Добавлен файл collect-command-window.js с JavaScript логикой для формы
+- Добавлена логика взаимозависимости полей batch_size и split_by
+- Добавлен параметр RDM_COLLECT_PROGRESS_BATCH_SIZE для настройки размера батча
+
+### Изменено
+
+- Поле institute_ids: добавлены label, max_length и client_id
+- Поле institute_count: подключен валидатор instituteCountValidator
+- Поле split_by: установлено editable=False для ограничения ввода только из списка
+- Метод save_row в actions.py: заменена логика сохранения на bulk_create с настраиваемым batch_size
+- Добавлена JavaScript логика для корректной проверки обязательности взаимозависимых полей
+
+### Добавлены новые настройки
+
+| Название настройки в settings     | Описание                                                                                | Значение по умолчанию |
+|-----------------------------------|-----------------------------------------------------------------------------------------|-----------------------|
+| RDM_COLLECT_PROGRESS_BATCH_SIZE   | Размер батча для bulk_create операций при сборе данных РВД.                             | 10000                 |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rmd_general]
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
+  ```
+
 ## [3.11.3] - 2025-07-25
 
 ### Исправлено

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.16.0
+Version: 3.16.2
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.2}/src/edu_rdm_integration/core/consts.py

@@ -21,6 +21,14 @@ HASH_ALGORITHM = HashGostFunctionVersion.GOST12_512
 
 BATCH_SIZE = 5000
 
+CHUNK_MAX_VALUE = 100000
+"""Максимальное значение для размера чанка при сборе данных РВД.
+Ограничение 100000 предотвращает чрезмерное потребление памяти и блокировку БД
+при обработке больших объемов данных в одном батче."""
+
+SPLIT_BY_QUANTITY_MAX_VALUE = 366
+"""Максимальное значение для размера подпериода при временном разделении данных."""
+
 ACADEMIC_YEAR = {
     'start_day': 1,
     'start_month': 9,

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.2}/src/edu_rdm_integration/stages/collect_data/registry/actions.py

@@ -2,6 +2,9 @@ from functools import (
     partial,
 )
 
+from django.conf import (
+    settings,
+)
 from django.db.models import (
     F,
     Func,
@@ -268,6 +271,4 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             )
             for command in commands_to_save
         ]
-
-        for obj in objs:
-            super().save_row(obj, create_new, request, context, *args, **kwargs)
+        self.model.objects.bulk_create(objs, batch_size=settings.COLLECT_PROGRESS_BATCH_SIZE)

edu_rdm_integration-3.16.2/src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js

@@ -0,0 +1,98 @@
+{% load educommon %}
+{% include "ui-js/validators.js" %}
+
+var win = Ext.getCmp('{{ component.client_id }}');
+
+Ext.onReady(function() {
+    // Инициализация валидаторов
+    initializeValidators();
+
+    // Инициализация взаимозависимых полей
+    initializeBatchSizeSplitByLogic();
+});
+
+function initializeValidators() {
+    // Валидатор для institute_ids
+    var instituteIdsField = Ext.getCmp('institute_ids');
+    if (instituteIdsField) {
+        instituteIdsField.validate = instituteIdsValidator;
+        instituteIdsField.on('blur', function() {
+            this.validate();
+        });
+    }
+
+    // Валидатор для institute_count
+    var instituteCountField = Ext.getCmp('institute_count');
+    if (instituteCountField) {
+        var originalValidator = instituteCountField.validate;
+
+        instituteCountField.validate = function() {
+            if (!instituteCountValidator.call(this)) {
+                return false;
+            }
+            if (originalValidator) {
+                return originalValidator.call(this);
+            }
+            return true;
+        };
+
+        instituteCountField.on('blur', function() {
+            this.validate();
+        });
+    }
+
+    // Устанавливаем текущую дату и время как максимальное значение
+    // и выполняем валидацию каждую секунду
+    var validationInterval = setInterval(function() {
+        var now = new Date();
+
+        logsPeriodStartField.setMaxValue(now);
+        logsPeriodEndField.setMaxValue(now);
+
+        logsPeriodStartField.validate();
+        logsPeriodEndField.validate();
+    }, 1000);
+
+    win.on('destroy', function() {
+        clearInterval(validationInterval);
+    });
+
+    logsPeriodStartField.validator = logsPeriodsValidator;
+    logsPeriodEndField.validator = logsPeriodsValidator;
+}
+
+function initializeBatchSizeSplitByLogic() {
+    var batchSizeField = Ext.getCmp('batch_size');
+    var splitByField = Ext.getCmp('split_by');
+
+    if (!batchSizeField || !splitByField) {
+        return;
+    }
+
+    // Функция для обновления обязательности полей
+    function updateFieldRequirements() {
+        var batchSizeValue = batchSizeField.getValue();
+        var splitByValue = splitByField.getValue();
+
+        if (splitByValue && splitByValue !== '') {
+            batchSizeField.allowBlank = true;
+            batchSizeField.clearInvalid();
+        } else {
+            batchSizeField.allowBlank = false;
+        }
+
+        if (batchSizeValue && batchSizeValue !== '' && batchSizeValue !== 0) {
+            splitByField.allowBlank = true;
+            splitByField.clearInvalid();
+        } else {
+            splitByField.allowBlank = false;
+        }
+    }
+
+    // Обработчики изменения полей
+    batchSizeField.on('change', updateFieldRequirements);
+    splitByField.on('change', updateFieldRequirements);
+
+    // Инициализация при загрузке
+    updateFieldRequirements();
+}

edu_rdm_integration-3.16.2/src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/validators.js

@@ -0,0 +1,66 @@
+// Валидатор для поля institute_ids
+var instituteIdsValidator = function () {
+    var value = this.getValue();
+    
+    // Если поле пустое - это допустимо
+    if (!value || value.trim() === '') {
+        this.clearInvalid();
+        return true;
+    }
+
+    value = value.trim();
+
+    if (!/^[0-9,]+$/.test(value)) {
+        this.markInvalid('Разрешены только цифры и запятые');
+        return false;
+    }
+
+    var numbers = value.split(',');
+
+    for (var i = 0; i < numbers.length; i++) {
+        if (numbers[i].trim() === '') {
+            this.markInvalid('Между запятыми не должно быть пустых значений');
+            return false;
+        }
+    }
+
+    var uniqueNumbers = [];
+    for (var j = 0; j < numbers.length; j++) {
+        var num = parseInt(numbers[j].trim());
+        if (uniqueNumbers.indexOf(num) !== -1) {
+            this.markInvalid('ID организаций не должны повторяться');
+            return false;
+        }
+        uniqueNumbers.push(num);
+    }
+    
+    this.clearInvalid();
+    return true;
+};
+
+// Валидатор для поля institute_count - запрещаем 0
+var instituteCountValidator = function() {
+    var value = this.getValue();
+    if (value === 0) {
+        this.markInvalid('Количество организаций не может быть равно 0');
+        return false;
+    }
+    
+    this.clearInvalid();
+    return true;
+};
+
+var logsPeriodStartField = Ext.getCmp('logs_period_started_at');
+var logsPeriodEndField = Ext.getCmp('logs_period_ended_at');
+
+var logsPeriodsValidator = function () {
+    if (
+        logsPeriodStartField.getValue() &&
+        logsPeriodEndField.getValue() &&
+        logsPeriodStartField.getValue() > logsPeriodEndField.getValue()
+    ) {
+        return 'Дата конца периода не может быть меньше даты начала периода'
+    };
+
+    return true;
+};

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.2}/src/edu_rdm_integration/stages/collect_data/registry/ui.py

@@ -24,6 +24,8 @@ from educommon.utils.date import (
 
 from edu_rdm_integration.core.consts import (
     BATCH_SIZE,
+    CHUNK_MAX_VALUE,
+    SPLIT_BY_QUANTITY_MAX_VALUE,
 )
 from edu_rdm_integration.core.registry.ui import (
     BaseCreateCommandWindow,
@@ -39,11 +41,6 @@ from edu_rdm_integration.stages.collect_data.consts import (
 class CreateCollectCommandWindow(BaseCreateCommandWindow):
     """Окно создания команды сбора данных модели РВД."""
 
-    def __init__(self):
-        super().__init__()
-
-        self.template_globals = 'ui-js/create-collect-command-win.js'
-
     def _init_components(self):
         """Инициализация компонентов."""
         super()._init_components()
@@ -63,20 +60,23 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             label='Начало периода',
             anchor='100%',
             allow_blank=False,
+            client_id='logs_period_started_at',
         )
         logs_period_ended_at = ExtDateTimeField(
             name='logs_period_ended_at',
             label='Конец периода',
             anchor='100%',
             allow_blank=False,
+            client_id='logs_period_ended_at',
         )
         split_by = ExtComboBox(
             name='split_by',
             display_field='split_by',
             label='Единица подпериода',
             anchor='100%',
-            editable=True,
+            editable=False,
             trigger_action_all=True,
+            client_id='split_by',
         )
         split_by.set_store(ExtDataStore(enumerate(DatesSplitter.get_split_by_modes())))
         split_by_quantity = ExtNumberField(
@@ -85,6 +85,7 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             allow_blank=False,
             allow_decimals=False,
             allow_negative=False,
+            max_value=SPLIT_BY_QUANTITY_MAX_VALUE,
             anchor='100%',
             value=1,
         )
@@ -109,6 +110,8 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             allow_negative=False,
             anchor='100%',
             value=BATCH_SIZE,
+            max_value=CHUNK_MAX_VALUE,
+            client_id='batch_size',
         )
         by_institutes = ExtCheckBox(
             anchor='100%',
@@ -116,10 +119,12 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             name='by_institutes',
         )
         institute_ids = ExtStringField(
-            label='id организаций',
+            label='ID организаций (через запятую, например: 1,2,3 или оставить пустым для всех)',
             name='institute_ids',
             allow_blank=True,
             anchor='100%',
+            max_length=100,
+            client_id='institute_ids',
         )
         institute_count = ExtNumberField(
             name='institute_count',
@@ -128,6 +133,8 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             anchor='100%',
             min_value=ALL_UNITS_IN_COMMAND,
             value=ALL_UNITS_IN_COMMAND,
+            client_id='institute_count',
+            allow_blank=False,
         )
         hint_text = ExtDisplayField(
             value=(
@@ -156,6 +163,12 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             split_mode,
         )
 
+    def set_params(self, params: Dict[str, Any]) -> None:
+        """Устанавливает параметры окна."""
+        super().set_params(params)
+
+        self.template_globals = 'ui-js/collect-command-window.js'
+
 
 class DetailCollectCommandWindow(BaseEditWindow):
     """Окно просмотра команды сбора данных модели РВД."""

edu_rdm_integration-3.16.2/src/edu_rdm_integration/stages/export_data/registry/templates/ui-js/create-export-command-win.js

@@ -0,0 +1,41 @@
+var win = Ext.getCmp('{{ component.client_id }}');
+var periodStartField = Ext.getCmp('period_started_at');
+var periodEndField = Ext.getCmp('period_ended_at');
+
+Ext.onReady(function() {
+    // Инициализация валидаторов
+    initializeValidators();
+});
+
+function initializeValidators() {
+    // Устанавливаем текущую дату и время как максимальное значение
+    // и выполняем валидацию каждую секунду
+    var validationInterval = setInterval(function() {
+        var now = new Date();
+
+        periodStartField.setMaxValue(now);
+        periodEndField.setMaxValue(now);
+
+        periodStartField.validate();
+        periodEndField.validate();
+    }, 1000);
+
+    win.on('destroy', function() {
+        clearInterval(validationInterval);
+    });
+
+    var periodsValidator = function () {
+        if (
+            periodStartField.getValue() &&
+            periodEndField.getValue() &&
+            periodStartField.getValue() > periodEndField.getValue()
+        ) {
+            return 'Дата конца периода не может быть меньше даты начала периода'
+        };
+
+        return true;
+    };
+
+    periodStartField.validator = periodsValidator;
+    periodEndField.validator = periodsValidator;
+}

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.2}/src/edu_rdm_integration/stages/export_data/registry/ui.py

@@ -44,11 +44,6 @@ from edu_rdm_integration.rdm_entities.models import (
 class CreateExportCommandWindow(BaseCreateCommandWindow):
     """Окно создания команды экспорта данных сущности РВД."""
 
-    def __init__(self):
-        super().__init__()
-
-        self.template_globals = 'ui-js/create-export-command-win.js'
-
     def _init_components(self):
         """Инициализация компонентов."""
         super()._init_components()
@@ -68,12 +63,14 @@ class CreateExportCommandWindow(BaseCreateCommandWindow):
             label='Начало периода',
             anchor='100%',
             allow_blank=False,
+            client_id='period_started_at',
         )
         period_ended_at = ExtDateTimeField(
             name='period_ended_at',
             label='Конец периода',
             anchor='100%',
             allow_blank=False,
+            client_id='period_ended_at',
         )
         batch_size = ExtNumberField(
             name='batch_size',
@@ -93,6 +90,12 @@ class CreateExportCommandWindow(BaseCreateCommandWindow):
             batch_size,
         )
 
+    def set_params(self, params: Dict[str, Any]) -> None:
+        """Устанавливает параметры окна."""
+        super().set_params(params)
+
+        self.template_globals = 'ui-js/create-export-command-win.js'
+
 
 class DetailExportCommandWindow(BaseEditWindow):
     """Окно просмотра команды экспорта данных сущности РВД."""

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.2}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.16.0
+Version: 3.16.2
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.16.0 → edu_rdm_integration-3.16.2}/src/edu_rdm_integration.egg-info/SOURCES.txt

@@ -165,7 +165,8 @@ src/edu_rdm_integration/stages/collect_data/registry/__init__.py
 src/edu_rdm_integration/stages/collect_data/registry/actions.py
 src/edu_rdm_integration/stages/collect_data/registry/apps.py
 src/edu_rdm_integration/stages/collect_data/registry/ui.py
-src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/create-collect-command-win.js
+src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js
+src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/validators.js
 src/edu_rdm_integration/stages/export_data/__init__.py
 src/edu_rdm_integration/stages/export_data/apps.py
 src/edu_rdm_integration/stages/export_data/consts.py

edu_rdm_integration-3.16.0/src/edu_rdm_integration/stages/collect_data/registry/templates/ui-js/create-collect-command-win.js

@@ -1,14 +0,0 @@
-var win = Ext.getCmp('{{ component.client_id }}');
-var form = win.getForm();
-var logsPeriodEndField = form.findField('logs_period_ended_at');
-
-// Устанавливаем текущую дату и время как максимальное значение
-// и выполняем валидацию каждую секунду
-var validationInterval = setInterval(function() {
-    logsPeriodEndField.setMaxValue(new Date())
-    logsPeriodEndField.validate();
-}, 1000);
-
-win.on('destroy', function() {
-    clearInterval(validationInterval);
-});

edu_rdm_integration-3.16.0/src/edu_rdm_integration/stages/export_data/registry/templates/ui-js/create-export-command-win.js

@@ -1,14 +0,0 @@
-var win = Ext.getCmp('{{ component.client_id }}');
-var form = win.getForm();
-var periodEndField = form.findField('period_ended_at');
-
-// Устанавливаем текущую дату и время как максимальное значение
-// и выполняем валидацию каждую секунду
-var validationInterval = setInterval(function() {
-    periodEndField.setMaxValue(new Date())
-    periodEndField.validate();
-}, 1000);
-
-win.on('destroy', function() {
-    clearInterval(validationInterval);
-});