edu-rdm-integration 3.20.0__py3-none-any.whl → 3.20.1__py3-none-any.whl

edu_rdm_integration/rdm_models/models.py

@@ -35,15 +35,6 @@ from m3_db_utils.models import (
 class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
     """Базовая модель РВД."""
 
-    collecting_sub_stage = ForeignKey(
-        verbose_name='Подэтап сбора данных',
-        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
-        on_delete=CASCADE,
-    )
-    operation = SmallIntegerField(
-        verbose_name='Действие',
-        choices=EntityLogOperation.get_choices(),
-    )
     created = DateTimeField(
         verbose_name='Дата создания',
         auto_now_add=True,
@@ -68,10 +59,32 @@ class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
         abstract = True
 
 
-class BaseMainRDMModel(BaseRDMModel):
+class BaseAdditionalRDMModel(BaseRDMModel):
+    """Абстрактная вспомогательная модель РВД.
+
+    Является базовым классом для моделей РВД, которые не являются основными для сущностей РВД. Для таких моделей
+    производится сбор данных.
+    """
+
+    collecting_sub_stage = ForeignKey(
+        verbose_name='Подэтап сбора данных',
+        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
+        on_delete=CASCADE,
+    )
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    class Meta:
+        abstract = True
+
+
+class BaseMainRDMModel(BaseAdditionalRDMModel):
     """Абстрактная основная модель РВД.
 
-    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД.
+    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД. Для таких моделей
+    производится сбор и выгрузка данных.
     """
 
     exporting_sub_stage = ForeignKey(

{edu_rdm_integration-3.20.0.dist-info → edu_rdm_integration-3.20.1.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.20.0
+Version: 3.20.1
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -150,6 +150,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -218,6 +219,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -328,6 +332,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -395,6 +400,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.

{edu_rdm_integration-3.20.0.dist-info → edu_rdm_integration-3.20.1.dist-info}/RECORD

@@ -73,7 +73,7 @@ edu_rdm_integration/rdm_entities/migrations/__init__.py,sha256=47DEQpj8HBSa-_TIm
 edu_rdm_integration/rdm_models/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/rdm_models/apps.py,sha256=JJwHzCXYVe5cEhvDg61KkrLoRT_ZbJCIAWEM2lOQyHU,288
 edu_rdm_integration/rdm_models/mixins.py,sha256=NuPklb0SppvIfgHK_FCfX7VnD3Wsh48fR85hULoQUNY,2301
-edu_rdm_integration/rdm_models/models.py,sha256=vLJkOGP0opHoWbt-0GfrPz1CkQL9H2BsJbhzuTNHNJg,13235
+edu_rdm_integration/rdm_models/models.py,sha256=iXPAS1opNf091gTg5RwhF_2UYHzyB9H9ZbAL-WxLO-I,13785
 edu_rdm_integration/rdm_models/utils.py,sha256=Xk0HEpFEGAndoAD2TdubK4SI_dW2BvchQ7UeMEfvpfQ,631
 edu_rdm_integration/rdm_models/migrations/0001_initial.py,sha256=qXgObuG2nfOLEnGJBoBqmq30TXetOv21UZU4trMV7mQ,1529
 edu_rdm_integration/rdm_models/migrations/0002_rename_regionaldatamartmodelenum_rdmmodelenum.py,sha256=hNTLriOc9r9WEVKahJURA3yXhZ3ivbwJJ_HaMC46PpI,451
@@ -254,8 +254,8 @@ edu_rdm_integration/stages/upload_data/uploader_log/ui.py,sha256=mU3XA9zVKHGqzNk
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/0001_initial.py,sha256=r5oOB7DBK9-mfuqPAgjXUJY5-hEcmMdILCwDTpaLnBc,753
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.20.0.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.20.0.dist-info/METADATA,sha256=-QkMVD3Xx8QiOF_CwjuI8s4gn1wGiS24B7tLTBwYAw8,42277
-edu_rdm_integration-3.20.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
-edu_rdm_integration-3.20.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.20.0.dist-info/RECORD,,
+edu_rdm_integration-3.20.1.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.20.1.dist-info/METADATA,sha256=txTOIVOHhShIuT80OS7dquoKoATpWFdIO2nQZjo-iEA,42932
+edu_rdm_integration-3.20.1.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
+edu_rdm_integration-3.20.1.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.20.1.dist-info/RECORD,,