edu-rdm-integration 3.21.0__tar.gz → 3.22.1__tar.gz

{edu_rdm_integration-3.21.0 → edu_rdm_integration-3.22.1}/CHANGELOG.md

@@ -29,6 +29,67 @@
 ### Удалено
 
 
+## [3.22.1] - 2025-10-10
+
+Исправление документации: обновлено описание настройки `RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA` в README.
+
+### Исправлено
+
+- [EDUDEVOPS-98](https://jira.bars.group/browse/EDUDEVOPS-98)
+  PATCH Обновлено описание настройки `RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA` в README.
+
+
+## [3.22.0] - 2025-10-08
+
+Добавлена возможность зачистки устаревших данных сервисных моделей РВД.
+
+Переименована настройка `COLLECT_PROGRESS_BATCH_SIZE` в `RDM_COLLECT_PROGRESS_BATCH_SIZE`, 
+для корректного использования.
+
+### Добавлено
+
+- [EDUDEVOPS-98](https://jira.bars.group/browse/EDUDEVOPS-98)
+  MINOR Добавлена возможность зачистки устаревших данных сервисных моделей РВД
+    в команду/ночной скрипт rdm_cleanup_outdated_data`.
+
+### Исправлено
+
+- [EDUDEVOPS-101](https://jira.bars.group/browse/EDUDEVOPS-101)
+  PATCH Переименована настройка `COLLECT_PROGRESS_BATCH_SIZE` в `RDM_COLLECT_PROGRESS_BATCH_SIZE`.
+
+Добавлены новые настройки
+
+| Название настройки в settings         | Описание                                                   | Значение по умолчанию |
+|---------------------------------------|------------------------------------------------------------|-----------------------|
+| ENABLE_CLEANUP_SERVICE_OUTDATED_DATA  | Включение зачистки устаревших данных сервисных моделей РВД | False                 |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_SERVICE_OUTDATED_DATA'): False,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Включить зачистку устаревших данных сервисных моделей РВД
+    RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_SERVICE_OUTDATED_DATA')
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    # Настройка зачистки устаревших данных
+    [rdm_cleanup_outdated_data]
+    # Включить зачистку устаревших данных сервисных моделей РВД
+    ENABLE_CLEANUP_SERVICE_OUTDATED_DATA = False
+  ```
+
+
 ## [3.21.0] - 2025-10-08
 
 Переименование m3-django-compat в m3-django-compatibility.
@@ -323,7 +384,7 @@ settings.py в установленные приложения.
 - Получить значение настройки из конфигурационного файла:
   ```
     # Размер батча для bulk_create операций при сборе данных РВД.
-    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
   ```
 
 - В дефолтный конфиг проекта необходимо добавить:
@@ -344,6 +405,60 @@ settings.py в установленные приложения.
   MINOR Поднять версию Django до 4.2.23
 
 
+## [3.15.4] - 2025-01-27
+
+Улучшена валидация полей формы сбора данных, добавлена логика взаимозависимости полей batch_size и split_by,
+оптимизирована производительность bulk_create операций.
+
+### Добавлено
+
+- Добавлен файл validators.js с валидаторами для полей формы
+- Добавлен валидатор instituteIdsValidator для поля institute_ids
+- Добавлен валидатор instituteCountValidator для поля institute_count
+- Добавлен файл collect-command-window.js с JavaScript логикой для формы
+- Добавлена логика взаимозависимости полей batch_size и split_by
+- Добавлен параметр RDM_COLLECT_PROGRESS_BATCH_SIZE для настройки размера батча
+
+### Изменено
+
+- Поле institute_ids: добавлены label, max_length и client_id
+- Поле institute_count: подключен валидатор instituteCountValidator
+- Поле split_by: установлено editable=False для ограничения ввода только из списка
+- Метод save_row в actions.py: заменена логика сохранения на bulk_create с настраиваемым batch_size
+- Добавлена JavaScript логика для корректной проверки обязательности взаимозависимых полей
+
+### Добавлены новые настройки
+
+| Название настройки в settings     | Описание                                                                                | Значение по умолчанию |
+|-----------------------------------|-----------------------------------------------------------------------------------------|-----------------------|
+| RDM_COLLECT_PROGRESS_BATCH_SIZE   | Размер батча для bulk_create операций при сборе данных РВД.                             | 10000                 |
+
+В settings.py:
+
+- Добавить значение по умолчанию:
+  ```
+    PROJECT_DEFAULT_CONFIG.update({
+        ...
+        ('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
+        ...
+    })
+  ```
+
+- Получить значение настройки из конфигурационного файла:
+  ```
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+  ```
+  
+В дефолтный конфиг проекта необходимо добавить:
+
+  ```
+    [rmd_general]
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
+  ```
+
+
 ## [3.15.3] - 2025-08-12
 
 ### Добавлено
@@ -475,7 +590,7 @@ settings.py в установленные приложения.
 - Получить значение настройки из конфигурационного файла:
   ```
     # Размер батча для bulk_create операций при сборе данных РВД.
-    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
   ```
 
 - В дефолтный конфиг проекта необходимо добавить:

{edu_rdm_integration-3.21.0 → edu_rdm_integration-3.22.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.21.0
+Version: 3.22.1
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -153,6 +153,7 @@ INSTALLED_APPS = (
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_transfer_task', 'MINUTE'): '0',
         ('rdm_transfer_task', 'HOUR'): '*/4',
         ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
@@ -198,6 +199,7 @@ INSTALLED_APPS = (
         ('uploader_client', 'INSTALLATION_NAME'): '',
         ('uploader_client', 'INSTALLATION_ID'): '',
         ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA'): False,
+        ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_SERVICE_OUTDATED_DATA'): False,
         ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE'): 10000,
         ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE'): 10,
     })  
@@ -230,6 +232,9 @@ INSTALLED_APPS = (
     # Пункт меню "Региональная витрина данных" - Спрятать (False) / Отображать (True)
     RDM_MENU_ITEM = conf.get_bool('rdm_general', 'RDM_MENU_ITEM')
     
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
     RDM_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task', 'HOUR')
@@ -315,6 +320,8 @@ INSTALLED_APPS = (
   
     # Включить зачистку устаревших данных моделей РВД
     RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA')
+    # Включить зачистку устаревших данных сервисных моделей РВД
+    RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_SERVICE_OUTDATED_DATA')
     # Размер чанка записей зачистки устаревших данных моделей РВД
     RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE')
     # Количество подключений к БД для зачистки устаревших данных моделей РВД
@@ -332,6 +339,7 @@ INSTALLED_APPS = (
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
 | RDM_MENU_ITEM                                | Отображение пункта меню Пункт меню "Региональная витрина данных"                                                                   | False                   |
+| RDM_COLLECT_PROGRESS_BATCH_SIZE              | Размер батча для сохранений записей в базу при сборе данных РВД                                                                    | 10000                   |
 | RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                     | '0'                     |
 | RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                        | '*/4'                   |
 | RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                                | '*'                     |
@@ -379,6 +387,7 @@ INSTALLED_APPS = (
 | RDM_EXPORT_LOG_DIR                           | Директория логов экспорта данных, доступных для скачивания                                                                         |                         |
 | RDM_UPLOAD_LOG_DIR                           | Директория логов отправки данных в витрину, доступных для скачивания                                                               |                         |
 | RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA      | Включение зачистки устаревших данных моделей РВД                                                                                   | False                   |
+| RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA     | Включение зачистки устаревших данных сервисных моделей РВД                                                                         | False                   |
 | RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE  | Размер чанка записей зачистки устаревших данных моделей РВД                                                                        | 10000                   |
 | RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE   | Количество подключений к БД для зачистки устаревших данных моделей РВД                                                             | 10                      |
 
@@ -395,6 +404,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
@@ -482,6 +493,8 @@ INSTALLED_APPS = (
     [rdm_cleanup_outdated_data]
     # Включить зачистку устаревших данных моделей РВД
     ENABLE_CLEANUP_MODELS_OUTDATED_DATA = False
+    # Включить зачистку устаревших данных сервисных моделей РВД
+    ENABLE_CLEANUP_SERVICE_OUTDATED_DATA = False
     # Размер чанка записей проверки устаревших данных моделей РВД
     CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = 10000
     # Количество подключений к БД для проверки устаревших данных моделей РВД

{edu_rdm_integration-3.21.0 → edu_rdm_integration-3.22.1}/README.md

@@ -105,6 +105,7 @@ INSTALLED_APPS = (
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_transfer_task', 'MINUTE'): '0',
         ('rdm_transfer_task', 'HOUR'): '*/4',
         ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
@@ -150,6 +151,7 @@ INSTALLED_APPS = (
         ('uploader_client', 'INSTALLATION_NAME'): '',
         ('uploader_client', 'INSTALLATION_ID'): '',
         ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA'): False,
+        ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_SERVICE_OUTDATED_DATA'): False,
         ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE'): 10000,
         ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE'): 10,
     })  
@@ -182,6 +184,9 @@ INSTALLED_APPS = (
     # Пункт меню "Региональная витрина данных" - Спрятать (False) / Отображать (True)
     RDM_MENU_ITEM = conf.get_bool('rdm_general', 'RDM_MENU_ITEM')
     
+    # Размер батча для bulk_create операций при сборе данных РВД.
+    RDM_COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rmd_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
     RDM_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task', 'HOUR')
@@ -267,6 +272,8 @@ INSTALLED_APPS = (
   
     # Включить зачистку устаревших данных моделей РВД
     RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA')
+    # Включить зачистку устаревших данных сервисных моделей РВД
+    RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_SERVICE_OUTDATED_DATA')
     # Размер чанка записей зачистки устаревших данных моделей РВД
     RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE')
     # Количество подключений к БД для зачистки устаревших данных моделей РВД
@@ -284,6 +291,7 @@ INSTALLED_APPS = (
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
 | RDM_MENU_ITEM                                | Отображение пункта меню Пункт меню "Региональная витрина данных"                                                                   | False                   |
+| RDM_COLLECT_PROGRESS_BATCH_SIZE              | Размер батча для сохранений записей в базу при сборе данных РВД                                                                    | 10000                   |
 | RDM_TRANSFER_TASK_MINUTE                     | Настройка запуска периодической задачи выгрузки данных. Минута                                                                     | '0'                     |
 | RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                        | '*/4'                   |
 | RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                                | '*'                     |
@@ -331,6 +339,7 @@ INSTALLED_APPS = (
 | RDM_EXPORT_LOG_DIR                           | Директория логов экспорта данных, доступных для скачивания                                                                         |                         |
 | RDM_UPLOAD_LOG_DIR                           | Директория логов отправки данных в витрину, доступных для скачивания                                                               |                         |
 | RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA      | Включение зачистки устаревших данных моделей РВД                                                                                   | False                   |
+| RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA     | Включение зачистки устаревших данных сервисных моделей РВД                                                                         | False                   |
 | RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE  | Размер чанка записей зачистки устаревших данных моделей РВД                                                                        | 10000                   |
 | RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE   | Количество подключений к БД для зачистки устаревших данных моделей РВД                                                             | 10                      |
 
@@ -347,6 +356,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
@@ -434,6 +445,8 @@ INSTALLED_APPS = (
     [rdm_cleanup_outdated_data]
     # Включить зачистку устаревших данных моделей РВД
     ENABLE_CLEANUP_MODELS_OUTDATED_DATA = False
+    # Включить зачистку устаревших данных сервисных моделей РВД
+    ENABLE_CLEANUP_SERVICE_OUTDATED_DATA = False
     # Размер чанка записей проверки устаревших данных моделей РВД
     CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = 10000
     # Количество подключений к БД для проверки устаревших данных моделей РВД

{edu_rdm_integration-3.21.0 → edu_rdm_integration-3.22.1}/src/edu_rdm_integration/pipelines/cleanup_outdated_data/management/commands/rdm_cleanup_outdated_data.py

@@ -11,6 +11,9 @@ from edu_rdm_integration.rdm_models.models import (
 from edu_rdm_integration.stages.service.model_outdated_data.managers import (
     ModelOutdatedDataCleanerManager,
 )
+from edu_rdm_integration.stages.service.service_outdated_data.managers import (
+    ServiceOutdatedDataCleanerManager,
+)
 
 
 class Command(BaseCommand):
@@ -33,10 +36,26 @@ class Command(BaseCommand):
             '--models',
             action='store',
             dest='models',
-            type=lambda ml: [m.strip().upper() for m in ml.strip().split(',')] if ml else None,
+            type=lambda ml: [m.strip().upper() for m in ml.split(',')] if ml else None,
             help=models_help_text,
         )
 
+        # Аргумент для сервисных стадий
+        stages_help_text = (
+            'Значением параметра является перечисление стадий сервисных данных, '
+            'для которых должна быть произведена зачистка устаревших данных. '
+            'Перечисление этапов: collect, export, upload. '
+            'Если стадии не указываются, то зачистка будет произведена для всех стадий. '
+            'Стадии перечисляются через запятую без пробелов.'
+        )
+        parser.add_argument(
+            '--stages',
+            action='store',
+            dest='stages',
+            type=lambda st: [s.strip().lower() for s in st.split(',')] if st else None,
+            help=stages_help_text,
+        )
+
         parser.add_argument(
             '--safe',
             action='store_true',
@@ -62,7 +81,19 @@ class Command(BaseCommand):
         )
         model_data_cleaner_manager.run()
 
+    def _cleanup_service_outdated_data(self, options):
+        """Очистка устаревших данных сервисных моделей РВД."""
+        service_data_cleaner_manager = ServiceOutdatedDataCleanerManager(
+            stages=options['stages'],
+            safe=options['safe'],
+            log_sql=options['log_sql'],
+        )
+        service_data_cleaner_manager.run()
+
     def handle(self, *args, **options):
         """Запуск очистки устаревших данных РВД."""
         if settings.RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA:
             self._cleanup_model_outdated_data(options)
+
+        if settings.RDM_ENABLE_CLEANUP_SERVICE_OUTDATED_DATA:
+            self._cleanup_service_outdated_data(options)

edu_rdm_integration-3.22.1/src/edu_rdm_integration/stages/collect_data/migrations/0005_alter_rdmcollectingdatasubstage_previous.py

@@ -0,0 +1,22 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:17
+
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_collect_data_stage', '0004_auto_20250704_0825'),
+    ]
+
+    operations = [
+        migrations.AlterField(
+            model_name='rdmcollectingdatasubstage',
+            name='previous',
+            field=models.ForeignKey(blank=True, null=True, on_delete=django.db.models.deletion.SET_NULL, to='edu_rdm_integration_collect_data_stage.rdmcollectingdatasubstage', verbose_name='Предыдущий сбор данных'),
+        ),
+    ]

edu_rdm_integration-3.22.1/src/edu_rdm_integration/stages/collect_data/migrations/0006_fix_fk_constraints.py

@@ -0,0 +1,59 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:43
+
+from django.db import (
+    migrations,
+)
+
+from edu_rdm_integration.stages.utils import (
+    update_foreign_key_constraint,
+)
+
+
+def apply_fk_updates(apps, schema_editor):
+    """
+    Применяет обновления внешних ключей для конкретных моделей.
+
+    Здесь задаются таблицы и поведение при удалении записей,
+    чтобы синхронизировать фактическое состояние БД с логикой моделей.
+    """
+    RDMCollectingDataSubStage = apps.get_model('edu_rdm_integration_collect_data_stage', 'RDMCollectingDataSubStage')
+    RDMCollectingDataStage = apps.get_model('edu_rdm_integration_collect_data_stage', 'RDMCollectingDataStage')
+
+    # Модель: RDMCollectingDataSubStage
+    # Поле previous_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMCollectingDataSubStage._meta.db_table,
+        field_name="previous_id",
+        target_table=RDMCollectingDataSubStage._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+    RDMCollectingDataCommandProgress = apps.get_model('edu_rdm_integration_collect_data_stage', 'RDMCollectingDataCommandProgress')
+    # Модель: RDMCollectingDataCommandProgress
+    # Поле stage_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMCollectingDataCommandProgress._meta.db_table,
+        field_name="stage_id",
+        target_table=RDMCollectingDataStage._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+    # Таблица: rdm_collecting_data_command_progress
+    # Поле stage_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name='rdm_collecting_data_command_progress',
+        field_name="stage_id",
+        target_table=RDMCollectingDataStage._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_collect_data_stage', '0005_alter_rdmcollectingdatasubstage_previous'),
+    ]
+
+    operations = [
+        migrations.RunPython(apply_fk_updates, reverse_code=migrations.RunPython.noop),
+    ]

{edu_rdm_integration-3.21.0 → edu_rdm_integration-3.22.1}/src/edu_rdm_integration/stages/collect_data/registry/actions.py

@@ -278,4 +278,4 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             )
             for command in commands_to_save
         ]
-        self.model.objects.bulk_create(objs, batch_size=settings.COLLECT_PROGRESS_BATCH_SIZE)
+        self.model.objects.bulk_create(objs, batch_size=settings.RDM_COLLECT_PROGRESS_BATCH_SIZE)

edu_rdm_integration-3.22.1/src/edu_rdm_integration/stages/export_data/migrations/0003_fix_fk_constraints.py

@@ -0,0 +1,76 @@
+# Generated by Django 3.2.24 on 2025-10-08 14:44
+
+from django.db import (
+    migrations,
+)
+
+from edu_rdm_integration.stages.utils import (
+    update_foreign_key_constraint,
+)
+
+
+def apply_fk_updates(apps, schema_editor):
+    """
+    Применяет обновления внешних ключей для конкретных моделей.
+
+    Здесь задаются таблицы и поведение при удалении записей,
+    чтобы синхронизировать фактическое состояние БД с логикой моделей.
+    """
+    RDMExportingDataSubStage = apps.get_model('edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStage')
+    RDMExportingDataStage = apps.get_model('edu_rdm_integration_export_data_stage', 'RDMExportingDataStage')
+
+    RDMExportingDataSubStageAttachment = apps.get_model(
+        'edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStageAttachment'
+    )
+    # Модель: RDMExportingDataSubStageAttachment
+    # Поле exporting_data_sub_stage_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageAttachment._meta.db_table,
+        field_name='exporting_data_sub_stage_id',
+        target_table=RDMExportingDataSubStage._meta.db_table,
+        on_delete='CASCADE',
+    )
+
+    RDMExportingDataSubStageEntity = apps.get_model(
+        'edu_rdm_integration_export_data_stage', 'RDMExportingDataSubStageEntity'
+    )
+    # Модель: CollectDataCommandProgress
+    # Поле exporting_data_sub_stage_id должно иметь ON DELETE CASCADE
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataSubStageEntity._meta.db_table,
+        field_name='exporting_data_sub_stage_id',
+        target_table=RDMExportingDataSubStage._meta.db_table,
+        on_delete='CASCADE',
+    )
+
+    RDMExportingDataCommandProgress = apps.get_model(
+        'edu_rdm_integration_export_data_stage', 'RDMExportingDataCommandProgress'
+    )
+    # Модель: RDMExportingDataCommandProgress
+    # Поле stage_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name=RDMExportingDataCommandProgress._meta.db_table,
+        field_name='stage_id',
+        target_table=RDMExportingDataStage._meta.db_table,
+        on_delete='SET NULL',
+    )
+
+    # Таблица: rdm_exporting_data_command_progress
+    # Поле stage_id должно иметь ON DELETE SET NULL
+    update_foreign_key_constraint(
+        table_name='rdm_exporting_data_command_progress',
+        field_name="stage_id",
+        target_table=RDMExportingDataStage._meta.db_table,
+        on_delete="SET NULL",
+    )
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration_export_data_stage', '0002_auto_20250704_0810'),
+    ]
+
+    operations = [
+        migrations.RunPython(apply_fk_updates, reverse_code=migrations.RunPython.noop),
+    ]