edu-rdm-integration 3.16.0__py3-none-any.whl → 3.16.2__py3-none-any.whl

edu_rdm_integration/core/consts.py

@@ -21,6 +21,14 @@ HASH_ALGORITHM = HashGostFunctionVersion.GOST12_512
 
 BATCH_SIZE = 5000
 
+CHUNK_MAX_VALUE = 100000
+"""Максимальное значение для размера чанка при сборе данных РВД.
+Ограничение 100000 предотвращает чрезмерное потребление памяти и блокировку БД
+при обработке больших объемов данных в одном батче."""
+
+SPLIT_BY_QUANTITY_MAX_VALUE = 366
+"""Максимальное значение для размера подпериода при временном разделении данных."""
+
 ACADEMIC_YEAR = {
     'start_day': 1,
     'start_month': 9,

edu_rdm_integration/stages/collect_data/registry/actions.py

@@ -2,6 +2,9 @@ from functools import (
     partial,
 )
 
+from django.conf import (
+    settings,
+)
 from django.db.models import (
     F,
     Func,
@@ -268,6 +271,4 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             )
             for command in commands_to_save
         ]
-
-        for obj in objs:
-            super().save_row(obj, create_new, request, context, *args, **kwargs)
+        self.model.objects.bulk_create(objs, batch_size=settings.COLLECT_PROGRESS_BATCH_SIZE)

edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js

@@ -0,0 +1,98 @@
+{% load educommon %}
+{% include "ui-js/validators.js" %}
+
+var win = Ext.getCmp('{{ component.client_id }}');
+
+Ext.onReady(function() {
+    // Инициализация валидаторов
+    initializeValidators();
+
+    // Инициализация взаимозависимых полей
+    initializeBatchSizeSplitByLogic();
+});
+
+function initializeValidators() {
+    // Валидатор для institute_ids
+    var instituteIdsField = Ext.getCmp('institute_ids');
+    if (instituteIdsField) {
+        instituteIdsField.validate = instituteIdsValidator;
+        instituteIdsField.on('blur', function() {
+            this.validate();
+        });
+    }
+
+    // Валидатор для institute_count
+    var instituteCountField = Ext.getCmp('institute_count');
+    if (instituteCountField) {
+        var originalValidator = instituteCountField.validate;
+
+        instituteCountField.validate = function() {
+            if (!instituteCountValidator.call(this)) {
+                return false;
+            }
+            if (originalValidator) {
+                return originalValidator.call(this);
+            }
+            return true;
+        };
+
+        instituteCountField.on('blur', function() {
+            this.validate();
+        });
+    }
+
+    // Устанавливаем текущую дату и время как максимальное значение
+    // и выполняем валидацию каждую секунду
+    var validationInterval = setInterval(function() {
+        var now = new Date();
+
+        logsPeriodStartField.setMaxValue(now);
+        logsPeriodEndField.setMaxValue(now);
+
+        logsPeriodStartField.validate();
+        logsPeriodEndField.validate();
+    }, 1000);
+
+    win.on('destroy', function() {
+        clearInterval(validationInterval);
+    });
+
+    logsPeriodStartField.validator = logsPeriodsValidator;
+    logsPeriodEndField.validator = logsPeriodsValidator;
+}
+
+function initializeBatchSizeSplitByLogic() {
+    var batchSizeField = Ext.getCmp('batch_size');
+    var splitByField = Ext.getCmp('split_by');
+
+    if (!batchSizeField || !splitByField) {
+        return;
+    }
+
+    // Функция для обновления обязательности полей
+    function updateFieldRequirements() {
+        var batchSizeValue = batchSizeField.getValue();
+        var splitByValue = splitByField.getValue();
+
+        if (splitByValue && splitByValue !== '') {
+            batchSizeField.allowBlank = true;
+            batchSizeField.clearInvalid();
+        } else {
+            batchSizeField.allowBlank = false;
+        }
+
+        if (batchSizeValue && batchSizeValue !== '' && batchSizeValue !== 0) {
+            splitByField.allowBlank = true;
+            splitByField.clearInvalid();
+        } else {
+            splitByField.allowBlank = false;
+        }
+    }
+
+    // Обработчики изменения полей
+    batchSizeField.on('change', updateFieldRequirements);
+    splitByField.on('change', updateFieldRequirements);
+
+    // Инициализация при загрузке
+    updateFieldRequirements();
+}

edu_rdm_integration/stages/collect_data/registry/templates/ui-js/validators.js

@@ -0,0 +1,66 @@
+// Валидатор для поля institute_ids
+var instituteIdsValidator = function () {
+    var value = this.getValue();
+    
+    // Если поле пустое - это допустимо
+    if (!value || value.trim() === '') {
+        this.clearInvalid();
+        return true;
+    }
+
+    value = value.trim();
+
+    if (!/^[0-9,]+$/.test(value)) {
+        this.markInvalid('Разрешены только цифры и запятые');
+        return false;
+    }
+
+    var numbers = value.split(',');
+
+    for (var i = 0; i < numbers.length; i++) {
+        if (numbers[i].trim() === '') {
+            this.markInvalid('Между запятыми не должно быть пустых значений');
+            return false;
+        }
+    }
+
+    var uniqueNumbers = [];
+    for (var j = 0; j < numbers.length; j++) {
+        var num = parseInt(numbers[j].trim());
+        if (uniqueNumbers.indexOf(num) !== -1) {
+            this.markInvalid('ID организаций не должны повторяться');
+            return false;
+        }
+        uniqueNumbers.push(num);
+    }
+    
+    this.clearInvalid();
+    return true;
+};
+
+// Валидатор для поля institute_count - запрещаем 0
+var instituteCountValidator = function() {
+    var value = this.getValue();
+    if (value === 0) {
+        this.markInvalid('Количество организаций не может быть равно 0');
+        return false;
+    }
+    
+    this.clearInvalid();
+    return true;
+};
+
+var logsPeriodStartField = Ext.getCmp('logs_period_started_at');
+var logsPeriodEndField = Ext.getCmp('logs_period_ended_at');
+
+var logsPeriodsValidator = function () {
+    if (
+        logsPeriodStartField.getValue() &&
+        logsPeriodEndField.getValue() &&
+        logsPeriodStartField.getValue() > logsPeriodEndField.getValue()
+    ) {
+        return 'Дата конца периода не может быть меньше даты начала периода'
+    };
+
+    return true;
+};

edu_rdm_integration/stages/collect_data/registry/ui.py

@@ -24,6 +24,8 @@ from educommon.utils.date import (
 
 from edu_rdm_integration.core.consts import (
     BATCH_SIZE,
+    CHUNK_MAX_VALUE,
+    SPLIT_BY_QUANTITY_MAX_VALUE,
 )
 from edu_rdm_integration.core.registry.ui import (
     BaseCreateCommandWindow,
@@ -39,11 +41,6 @@ from edu_rdm_integration.stages.collect_data.consts import (
 class CreateCollectCommandWindow(BaseCreateCommandWindow):
     """Окно создания команды сбора данных модели РВД."""
 
-    def __init__(self):
-        super().__init__()
-
-        self.template_globals = 'ui-js/create-collect-command-win.js'
-
     def _init_components(self):
         """Инициализация компонентов."""
         super()._init_components()
@@ -63,20 +60,23 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             label='Начало периода',
             anchor='100%',
             allow_blank=False,
+            client_id='logs_period_started_at',
         )
         logs_period_ended_at = ExtDateTimeField(
             name='logs_period_ended_at',
             label='Конец периода',
             anchor='100%',
             allow_blank=False,
+            client_id='logs_period_ended_at',
         )
         split_by = ExtComboBox(
             name='split_by',
             display_field='split_by',
             label='Единица подпериода',
             anchor='100%',
-            editable=True,
+            editable=False,
             trigger_action_all=True,
+            client_id='split_by',
         )
         split_by.set_store(ExtDataStore(enumerate(DatesSplitter.get_split_by_modes())))
         split_by_quantity = ExtNumberField(
@@ -85,6 +85,7 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             allow_blank=False,
             allow_decimals=False,
             allow_negative=False,
+            max_value=SPLIT_BY_QUANTITY_MAX_VALUE,
             anchor='100%',
             value=1,
         )
@@ -109,6 +110,8 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             allow_negative=False,
             anchor='100%',
             value=BATCH_SIZE,
+            max_value=CHUNK_MAX_VALUE,
+            client_id='batch_size',
         )
         by_institutes = ExtCheckBox(
             anchor='100%',
@@ -116,10 +119,12 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             name='by_institutes',
         )
         institute_ids = ExtStringField(
-            label='id организаций',
+            label='ID организаций (через запятую, например: 1,2,3 или оставить пустым для всех)',
             name='institute_ids',
             allow_blank=True,
             anchor='100%',
+            max_length=100,
+            client_id='institute_ids',
         )
         institute_count = ExtNumberField(
             name='institute_count',
@@ -128,6 +133,8 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             anchor='100%',
             min_value=ALL_UNITS_IN_COMMAND,
             value=ALL_UNITS_IN_COMMAND,
+            client_id='institute_count',
+            allow_blank=False,
         )
         hint_text = ExtDisplayField(
             value=(
@@ -156,6 +163,12 @@ class CreateCollectCommandWindow(BaseCreateCommandWindow):
             split_mode,
         )
 
+    def set_params(self, params: Dict[str, Any]) -> None:
+        """Устанавливает параметры окна."""
+        super().set_params(params)
+
+        self.template_globals = 'ui-js/collect-command-window.js'
+
 
 class DetailCollectCommandWindow(BaseEditWindow):
     """Окно просмотра команды сбора данных модели РВД."""

edu_rdm_integration/stages/export_data/registry/templates/ui-js/create-export-command-win.js

@@ -1,14 +1,41 @@
 var win = Ext.getCmp('{{ component.client_id }}');
-var form = win.getForm();
-var periodEndField = form.findField('period_ended_at');
-
-// Устанавливаем текущую дату и время как максимальное значение
-// и выполняем валидацию каждую секунду
-var validationInterval = setInterval(function() {
-    periodEndField.setMaxValue(new Date())
-    periodEndField.validate();
-}, 1000);
-
-win.on('destroy', function() {
-    clearInterval(validationInterval);
+var periodStartField = Ext.getCmp('period_started_at');
+var periodEndField = Ext.getCmp('period_ended_at');
+
+Ext.onReady(function() {
+    // Инициализация валидаторов
+    initializeValidators();
 });
+
+function initializeValidators() {
+    // Устанавливаем текущую дату и время как максимальное значение
+    // и выполняем валидацию каждую секунду
+    var validationInterval = setInterval(function() {
+        var now = new Date();
+
+        periodStartField.setMaxValue(now);
+        periodEndField.setMaxValue(now);
+
+        periodStartField.validate();
+        periodEndField.validate();
+    }, 1000);
+
+    win.on('destroy', function() {
+        clearInterval(validationInterval);
+    });
+
+    var periodsValidator = function () {
+        if (
+            periodStartField.getValue() &&
+            periodEndField.getValue() &&
+            periodStartField.getValue() > periodEndField.getValue()
+        ) {
+            return 'Дата конца периода не может быть меньше даты начала периода'
+        };
+
+        return true;
+    };
+
+    periodStartField.validator = periodsValidator;
+    periodEndField.validator = periodsValidator;
+}

edu_rdm_integration/stages/export_data/registry/ui.py

@@ -44,11 +44,6 @@ from edu_rdm_integration.rdm_entities.models import (
 class CreateExportCommandWindow(BaseCreateCommandWindow):
     """Окно создания команды экспорта данных сущности РВД."""
 
-    def __init__(self):
-        super().__init__()
-
-        self.template_globals = 'ui-js/create-export-command-win.js'
-
     def _init_components(self):
         """Инициализация компонентов."""
         super()._init_components()
@@ -68,12 +63,14 @@ class CreateExportCommandWindow(BaseCreateCommandWindow):
             label='Начало периода',
             anchor='100%',
             allow_blank=False,
+            client_id='period_started_at',
         )
         period_ended_at = ExtDateTimeField(
             name='period_ended_at',
             label='Конец периода',
             anchor='100%',
             allow_blank=False,
+            client_id='period_ended_at',
         )
         batch_size = ExtNumberField(
             name='batch_size',
@@ -93,6 +90,12 @@ class CreateExportCommandWindow(BaseCreateCommandWindow):
             batch_size,
         )
 
+    def set_params(self, params: Dict[str, Any]) -> None:
+        """Устанавливает параметры окна."""
+        super().set_params(params)
+
+        self.template_globals = 'ui-js/create-export-command-win.js'
+
 
 class DetailExportCommandWindow(BaseEditWindow):
     """Окно просмотра команды экспорта данных сущности РВД."""

{edu_rdm_integration-3.16.0.dist-info → edu_rdm_integration-3.16.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.16.0
+Version: 3.16.2
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse

{edu_rdm_integration-3.16.0.dist-info → edu_rdm_integration-3.16.2.dist-info}/RECORD

@@ -9,7 +9,7 @@ edu_rdm_integration/collect_and_export_data/migrations/0002_auto_20250204_1413.p
 edu_rdm_integration/collect_and_export_data/migrations/0003_auto_20250704_0725.py,sha256=IcBTuQWp7D_mP1chCgTXUIJcm5nf2Scdt3ZJgjCgvgI,1108
 edu_rdm_integration/collect_and_export_data/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/core/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/core/consts.py,sha256=5pFDMWNGqKYqgqqUjb_QiUyWnjugHzmpl6beMJgWVEI,955
+edu_rdm_integration/core/consts.py,sha256=4dklnQS7rtuYJu0Hh7oX1Z9dc72pbIWZl9gXMUvc4rI,1526
 edu_rdm_integration/core/enums.py,sha256=HHZxX2vIe-c4SY6BIWgOg-Tu-_LVJjltFZ1lI9YITLw,3824
 edu_rdm_integration/core/helpers.py,sha256=Fe2AyI8kHAfcnXAn2I_SyNraI5uAjNzHObUNtZtum-g,12183
 edu_rdm_integration/core/mapping.py,sha256=1B6TsC4Os9wiM8L8BChnCNv_iWqjeWu3bdDsqKVsId0,616
@@ -151,10 +151,11 @@ edu_rdm_integration/stages/collect_data/migrations/0003_auto_20250704_0810.py,sh
 edu_rdm_integration/stages/collect_data/migrations/0004_auto_20250704_0825.py,sha256=B6SUsxlhQvWoD8lFGNwaMUCFDzhPj91bsMdmAcSuEDg,1379
 edu_rdm_integration/stages/collect_data/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/collect_data/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/stages/collect_data/registry/actions.py,sha256=5eT6nw4xYuJlfVrFxoqn0SF4PqSgHIbMc7rlx8dWypE,9769
+edu_rdm_integration/stages/collect_data/registry/actions.py,sha256=mUMGv1FjzjY0G46gTgi_mfL0yUjuCJlA2wQutq3jmPo,9798
 edu_rdm_integration/stages/collect_data/registry/apps.py,sha256=K5f97YXKMmdM7m33qgQYvJjrA8_eGAJ4VWyuRjJ0gwQ,439
-edu_rdm_integration/stages/collect_data/registry/ui.py,sha256=5qG5M2sw1qvrt3g_2ZOoJJw9YKmrmk7Hlt_VEnWCRhY,7736
-edu_rdm_integration/stages/collect_data/registry/templates/ui-js/create-collect-command-win.js,sha256=BypYLy6-xKjmQucGy_uVEx2830jh5f7VFvUaAaqL_AY,549
+edu_rdm_integration/stages/collect_data/registry/ui.py,sha256=pw13DAASxqnX_E5D4RG9CywtnQKQeljXHief7mojVgk,8398
+edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js,sha256=QfxVSAA0282-41K0XGtyPa9WPzpoX_uClke8pHdAzBo,3112
+edu_rdm_integration/stages/collect_data/registry/templates/ui-js/validators.js,sha256=8A07RgqRs71UuyHNc0HA_isGZL5-W9iLm0O-eC2JFT8,2021
 edu_rdm_integration/stages/export_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/export_data/apps.py,sha256=TU6AaMZGQE2oHVwKgtUDzFplaVasb2tMIurhkhwkxZo,406
 edu_rdm_integration/stages/export_data/consts.py,sha256=ZEi1kXMs-54KFKxkyGIQVwZ4d8OrOF_vLFQIjjWdSPQ,441
@@ -207,8 +208,8 @@ edu_rdm_integration/stages/export_data/migrations/__init__.py,sha256=47DEQpj8HBS
 edu_rdm_integration/stages/export_data/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/export_data/registry/actions.py,sha256=r-NAPs4pYVectt_J38UzMsnKrWfYkjy2rhx3LUGKQWk,10423
 edu_rdm_integration/stages/export_data/registry/apps.py,sha256=71DtJQ2ULt8_3CnTu2VAfT5ABBrDNY1nKTmZ6UtvIpw,448
-edu_rdm_integration/stages/export_data/registry/ui.py,sha256=GPp52ziV_xb0cnveprqIYmrx4kv0zgvrhMg-PHqUFeE,6042
-edu_rdm_integration/stages/export_data/registry/templates/ui-js/create-export-command-win.js,sha256=ADE04kltbx1e0spaFK_ycBmtxBQPz6pqfaNY_czo9z8,532
+edu_rdm_integration/stages/export_data/registry/ui.py,sha256=0kWWfOmtTyN4SUO9dGUcEz0wgOPA111jHoWw3_LNPqI,6238
+edu_rdm_integration/stages/export_data/registry/templates/ui-js/create-export-command-win.js,sha256=g0dpYsvd_6VfRU4nRv3tNK-0wtMND_VurQRT04ShJjk,1341
 edu_rdm_integration/stages/export_data/registry/templates/ui-js/stage_for_export.js,sha256=329OZIpiKHlQ-i8JStjBLXtouIMKuJHbycArUGSskfk,737
 edu_rdm_integration/stages/service/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/service/apps.py,sha256=lgCG4_kpwgfDWh6y-GNuUwz5SOjkP7oS8kkUyVUcNRg,648
@@ -244,8 +245,8 @@ edu_rdm_integration/stages/upload_data/uploader_log/ui.py,sha256=mU3XA9zVKHGqzNk
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/0001_initial.py,sha256=r5oOB7DBK9-mfuqPAgjXUJY5-hEcmMdILCwDTpaLnBc,753
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.16.0.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.16.0.dist-info/METADATA,sha256=ibxS59Sa-EhxLukehcCeHUg0UoQB_4J9wxHACU6aloc,39780
-edu_rdm_integration-3.16.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
-edu_rdm_integration-3.16.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.16.0.dist-info/RECORD,,
+edu_rdm_integration-3.16.2.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.16.2.dist-info/METADATA,sha256=OH3vRLpk80LhM4oaWAv3eIja9m6A67tjfsV0e1xrLeA,39780
+edu_rdm_integration-3.16.2.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
+edu_rdm_integration-3.16.2.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.16.2.dist-info/RECORD,,

edu_rdm_integration/stages/collect_data/registry/templates/ui-js/create-collect-command-win.js

@@ -1,14 +0,0 @@
-var win = Ext.getCmp('{{ component.client_id }}');
-var form = win.getForm();
-var logsPeriodEndField = form.findField('logs_period_ended_at');
-
-// Устанавливаем текущую дату и время как максимальное значение
-// и выполняем валидацию каждую секунду
-var validationInterval = setInterval(function() {
-    logsPeriodEndField.setMaxValue(new Date())
-    logsPeriodEndField.validate();
-}, 1000);
-
-win.on('destroy', function() {
-    clearInterval(validationInterval);
-});