edu-rdm-integration 3.20.0__py3-none-any.whl → 3.20.2__py3-none-any.whl

edu_rdm_integration/rdm_entities/models.py

@@ -70,6 +70,11 @@ class RDMEntityEnum(TitledModelEnum):
 
         return model_enums
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления сущностей."""
+        return [(key, key) for key in sorted(cls.get_model_enum_keys())]
+
     @classmethod
     def extend(
         cls,

edu_rdm_integration/rdm_models/models.py

@@ -35,15 +35,6 @@ from m3_db_utils.models import (
 class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
     """Базовая модель РВД."""
 
-    collecting_sub_stage = ForeignKey(
-        verbose_name='Подэтап сбора данных',
-        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
-        on_delete=CASCADE,
-    )
-    operation = SmallIntegerField(
-        verbose_name='Действие',
-        choices=EntityLogOperation.get_choices(),
-    )
     created = DateTimeField(
         verbose_name='Дата создания',
         auto_now_add=True,
@@ -68,10 +59,32 @@ class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
         abstract = True
 
 
-class BaseMainRDMModel(BaseRDMModel):
+class BaseAdditionalRDMModel(BaseRDMModel):
+    """Абстрактная вспомогательная модель РВД.
+
+    Является базовым классом для моделей РВД, которые не являются основными для сущностей РВД. Для таких моделей
+    производится сбор данных.
+    """
+
+    collecting_sub_stage = ForeignKey(
+        verbose_name='Подэтап сбора данных',
+        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
+        on_delete=CASCADE,
+    )
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    class Meta:
+        abstract = True
+
+
+class BaseMainRDMModel(BaseAdditionalRDMModel):
     """Абстрактная основная модель РВД.
 
-    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД.
+    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД. Для таких моделей
+    производится сбор и выгрузка данных.
     """
 
     exporting_sub_stage = ForeignKey(
@@ -103,6 +116,11 @@ class RDMModelEnum(TitledModelEnum):
         verbose_name = 'Модель-перечисление моделей "Региональной витрины данных"'
         verbose_name_plural = 'Модели-перечисления моделей "Региональной витрины данных"'
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления моделей."""
+        return [(key, key) for key in sorted(cls.get_model_enum_keys())]
+
     @classmethod
     def _get_model_relations(cls, model: Type['BaseRDMModel']) -> dict[str, str]:
         """Получение списка связей модели РВД."""

edu_rdm_integration/stages/collect_data/models.py

@@ -65,6 +65,11 @@ class RDMCollectingDataStageStatus(TitledModelEnum):
         verbose_name = 'Модель-перечисление статусов этапа сбора данных'
         verbose_name_plural = 'Модели-перечисления статусов этапов сбора данных'
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления статусов."""
+        return [(key, key) for key in cls.get_model_enum_keys()]
+
 
 class RDMCollectingDataStage(ReprStrPreModelMixin, BaseObjectModel):
     """Этап подготовки данных в рамках Функций. За работу Функции отвечает ранер менеджер."""

edu_rdm_integration/stages/collect_data/registry/actions.py

@@ -83,7 +83,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Модель',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMModelEnum.get_model_enum_keys()],
+                choices=partial(RDMModelEnum.get_choices),
                 parser=str,
                 lookup=lambda key: Q(model=key) if key else Q(),
             ),
@@ -93,7 +93,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус асинхронной задачи',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(value.key, value.title) for value in AsyncTaskStatus.get_model_enum_values()],
+                choices=partial(AsyncTaskStatus.get_choices),
                 parser=str,
                 lookup='task__status_id',
             ),
@@ -118,7 +118,7 @@ class BaseCollectingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус сбора',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMCollectingDataStageStatus.get_model_enum_keys()],
+                choices=partial(RDMCollectingDataStageStatus.get_choices),
                 parser=str,
                 lookup=lambda key: Q(stage__status=key) if key else Q(),
             ),

edu_rdm_integration/stages/export_data/models.py

@@ -69,6 +69,11 @@ class RDMExportingDataStageStatus(TitledModelEnum):
         title='Завершено',
     )
 
+    @classmethod
+    def get_choices(cls) -> list[tuple[str, str]]:
+        """Возвращает список кортежей из ключей и ключей перечисления статусов."""
+        return [(key, key) for key in cls.get_model_enum_keys()]
+
     class Meta:
         db_table = 'rdm_exporting_data_stage_status'
         verbose_name = 'Модель-перечисление статусов этапа выгрузки данных'

edu_rdm_integration/stages/export_data/registry/actions.py

@@ -86,7 +86,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Сущность',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMEntityEnum.get_model_enum_keys()],
+                choices=partial(RDMEntityEnum.get_choices),
                 parser=str,
                 lookup=lambda key: Q(entity=key) if key else Q(),
             ),
@@ -96,7 +96,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус асинхронной задачи',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(value.key, value.title) for value in AsyncTaskStatus.get_model_enum_values()],
+                choices=partial(AsyncTaskStatus.get_choices),
                 parser=str,
                 lookup='task__status_id',
             ),
@@ -131,7 +131,7 @@ class BaseExportingDataProgressPack(BaseCommandProgressPack):
             'header': 'Статус экспорта',
             'sortable': True,
             'filter': ChoicesFilter(
-                choices=[(key, key) for key in RDMExportingDataStageStatus.get_model_enum_keys()],
+                choices=partial(RDMExportingDataStageStatus.get_choices),
                 parser=str,
                 lookup=lambda key: Q(stage__status=key) if key else Q(),
             ),

{edu_rdm_integration-3.20.0.dist-info → edu_rdm_integration-3.20.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.20.0
+Version: 3.20.2
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -150,6 +150,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -218,6 +219,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -328,6 +332,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -395,6 +400,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.

{edu_rdm_integration-3.20.0.dist-info → edu_rdm_integration-3.20.2.dist-info}/RECORD

@@ -65,7 +65,7 @@ edu_rdm_integration/rdm_entities/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRk
 edu_rdm_integration/rdm_entities/apps.py,sha256=2rg5IqBjzpvNsjK-1lnrknxH002XYTDCcrEcARCV-ms,302
 edu_rdm_integration/rdm_entities/entities.py,sha256=zfIVpXwiNWEeotiS17xZtijSXe3rx6utCFhZ18fGPhM,14850
 edu_rdm_integration/rdm_entities/mixins.py,sha256=TFxRpajEGHwpFMOJ1G5sJK7hOTEdiv2dWqZzvbUOow4,3081
-edu_rdm_integration/rdm_entities/models.py,sha256=vGDQTS-iLnt-THRd89s24uzSXR4nBHLeEdWdPDxf2r4,5759
+edu_rdm_integration/rdm_entities/models.py,sha256=7jJ5DUj1Xn-OEplIvyItxrcDmc0sp08aa3BOgk1guB0,6045
 edu_rdm_integration/rdm_entities/utils.py,sha256=zpVmqcJVYjQSHot9ZrVufDeSECP9kosgTmB8ydFDG8w,1095
 edu_rdm_integration/rdm_entities/migrations/0001_initial.py,sha256=TL8zkmtbFdwdKkFy8wn5SC7dpLBFlS6s8PBp1YBPAog,1664
 edu_rdm_integration/rdm_entities/migrations/0002_rename_regionaldatamartentityenum_rdmentityenum.py,sha256=CJmQp5TPAL66DBzho01tnWDrCa1fOmEI4AdaS0UbAB0,510
@@ -73,7 +73,7 @@ edu_rdm_integration/rdm_entities/migrations/__init__.py,sha256=47DEQpj8HBSa-_TIm
 edu_rdm_integration/rdm_models/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/rdm_models/apps.py,sha256=JJwHzCXYVe5cEhvDg61KkrLoRT_ZbJCIAWEM2lOQyHU,288
 edu_rdm_integration/rdm_models/mixins.py,sha256=NuPklb0SppvIfgHK_FCfX7VnD3Wsh48fR85hULoQUNY,2301
-edu_rdm_integration/rdm_models/models.py,sha256=vLJkOGP0opHoWbt-0GfrPz1CkQL9H2BsJbhzuTNHNJg,13235
+edu_rdm_integration/rdm_models/models.py,sha256=FqJ72Fmx_OIZhBybu_cqxYLAnQ6-6oI8mnMbyjBZeaY,14067
 edu_rdm_integration/rdm_models/utils.py,sha256=Xk0HEpFEGAndoAD2TdubK4SI_dW2BvchQ7UeMEfvpfQ,631
 edu_rdm_integration/rdm_models/migrations/0001_initial.py,sha256=qXgObuG2nfOLEnGJBoBqmq30TXetOv21UZU4trMV7mQ,1529
 edu_rdm_integration/rdm_models/migrations/0002_rename_regionaldatamartmodelenum_rdmmodelenum.py,sha256=hNTLriOc9r9WEVKahJURA3yXhZ3ivbwJJ_HaMC46PpI,451
@@ -85,7 +85,7 @@ edu_rdm_integration/stages/collect_data/consts.py,sha256=tzaK9oxzdMRq3oTEocPz4um
 edu_rdm_integration/stages/collect_data/generators.py,sha256=azl0s_xJp6Mg2ARNLKd4o4ikVcarUN3ysb4xm8pYlyY,12434
 edu_rdm_integration/stages/collect_data/helpers.py,sha256=xy8z9yJKEMjNUPNhrsRRtnYy6RVbwDoD5zSDAX7y_6U,5260
 edu_rdm_integration/stages/collect_data/mixins.py,sha256=izioaiPC26BDODgi_Lhy33IaH207945tGjFnbFLMQyI,2072
-edu_rdm_integration/stages/collect_data/models.py,sha256=WHGDg-qFyR88fryaD9joxT3bb0tj1yOYaH0XnbGRvAE,9424
+edu_rdm_integration/stages/collect_data/models.py,sha256=PkBTXIcqv69eqtd084bKad1FtkJF6t0q8t7fmzEQYeY,9700
 edu_rdm_integration/stages/collect_data/operations.py,sha256=K-St1Avwq093VU1fKzYB19vHRthK_DX6nGPO6PYAipk,11883
 edu_rdm_integration/stages/collect_data/tests.py,sha256=OqxCSdSAOQm92WcBQRF2s0o3VYf-N4e60xpJ1TGdKO8,5550
 edu_rdm_integration/stages/collect_data/function_templates/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
@@ -156,7 +156,7 @@ edu_rdm_integration/stages/collect_data/migrations/0003_auto_20250704_0810.py,sh
 edu_rdm_integration/stages/collect_data/migrations/0004_auto_20250704_0825.py,sha256=B6SUsxlhQvWoD8lFGNwaMUCFDzhPj91bsMdmAcSuEDg,1379
 edu_rdm_integration/stages/collect_data/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/collect_data/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/stages/collect_data/registry/actions.py,sha256=ZMk8H1adcI2ycQ0a0ECBVRNKrkeYDc64UEHKV8drpUU,10260
+edu_rdm_integration/stages/collect_data/registry/actions.py,sha256=-Z2F0hdk4roH4rUsm2V3UPB1EfTR-uaBnZC7OaFUXHE,10167
 edu_rdm_integration/stages/collect_data/registry/apps.py,sha256=K5f97YXKMmdM7m33qgQYvJjrA8_eGAJ4VWyuRjJ0gwQ,439
 edu_rdm_integration/stages/collect_data/registry/ui.py,sha256=pw13DAASxqnX_E5D4RG9CywtnQKQeljXHief7mojVgk,8398
 edu_rdm_integration/stages/collect_data/registry/templates/ui-js/collect-command-window.js,sha256=QfxVSAA0282-41K0XGtyPa9WPzpoX_uClke8pHdAzBo,3112
@@ -167,7 +167,7 @@ edu_rdm_integration/stages/export_data/consts.py,sha256=ZEi1kXMs-54KFKxkyGIQVwZ4
 edu_rdm_integration/stages/export_data/generators.py,sha256=XsTGcKm0oDgE3fUVDxRMkNFriOeuPDBAWi32nx5ASuc,3974
 edu_rdm_integration/stages/export_data/helpers.py,sha256=uBl85AWS-V0usHeLf7VeAsy0ywvqXL_zT1Kgho-MRTM,6537
 edu_rdm_integration/stages/export_data/mixins.py,sha256=YCr5aNcZmDx07JIr-vMietQQ3sZ82caWc7SWOMfdSjY,1772
-edu_rdm_integration/stages/export_data/models.py,sha256=amPrzRzhnX0L7TTnQJH78tmJXCN6_HnK2mt9I9kqhVI,12024
+edu_rdm_integration/stages/export_data/models.py,sha256=A915qqPRZOPmn8cIvxgyAE6lMHF9FRIviLiANy4IE58,12300
 edu_rdm_integration/stages/export_data/operations.py,sha256=g8rj4TaFnkRkaBD4omckBTGwsTlYpuBydOwwxY9hEiI,13188
 edu_rdm_integration/stages/export_data/strategies.py,sha256=93pRhUOLL_q4VbWTY3CtC5J8rgPPO2EYn0fJk_oLuLk,6520
 edu_rdm_integration/stages/export_data/function_templates/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
@@ -211,7 +211,7 @@ edu_rdm_integration/stages/export_data/migrations/0001_initial.py,sha256=h7HIT-Q
 edu_rdm_integration/stages/export_data/migrations/0002_auto_20250704_0810.py,sha256=yjGlH25Mke2_VAe188LEkWZ04Xy1qenai7D2zOA-ecY,1558
 edu_rdm_integration/stages/export_data/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/export_data/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/stages/export_data/registry/actions.py,sha256=C5qLwGQeVd9ddOKo2zBJKBLtYn5x_8XV2MaTjK-SGFM,10940
+edu_rdm_integration/stages/export_data/registry/actions.py,sha256=zJ1GEzyhoGGRCEGxErmepPtec0qNJtcDJJEaPtcATdA,10847
 edu_rdm_integration/stages/export_data/registry/apps.py,sha256=71DtJQ2ULt8_3CnTu2VAfT5ABBrDNY1nKTmZ6UtvIpw,448
 edu_rdm_integration/stages/export_data/registry/ui.py,sha256=0kWWfOmtTyN4SUO9dGUcEz0wgOPA111jHoWw3_LNPqI,6238
 edu_rdm_integration/stages/export_data/registry/templates/ui-js/create-export-command-win.js,sha256=g0dpYsvd_6VfRU4nRv3tNK-0wtMND_VurQRT04ShJjk,1341
@@ -254,8 +254,8 @@ edu_rdm_integration/stages/upload_data/uploader_log/ui.py,sha256=mU3XA9zVKHGqzNk
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/0001_initial.py,sha256=r5oOB7DBK9-mfuqPAgjXUJY5-hEcmMdILCwDTpaLnBc,753
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.20.0.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.20.0.dist-info/METADATA,sha256=-QkMVD3Xx8QiOF_CwjuI8s4gn1wGiS24B7tLTBwYAw8,42277
-edu_rdm_integration-3.20.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
-edu_rdm_integration-3.20.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.20.0.dist-info/RECORD,,
+edu_rdm_integration-3.20.2.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.20.2.dist-info/METADATA,sha256=GJm0VPApSumMLKQpsEaQ1zIT5vpk8tdZGOSm8ZxNzQ0,42932
+edu_rdm_integration-3.20.2.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
+edu_rdm_integration-3.20.2.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.20.2.dist-info/RECORD,,