edu-rdm-integration 1.0.1__py3-none-any.whl → 1.0.2__py3-none-any.whl

edu_rdm_integration/app_settings.py

@@ -11,6 +11,9 @@ RDM_COLLECT_CHUNK_SIZE = 500
 # Количество записей моделей обрабатываемых за одну итерацию экспорта
 RDM_EXPORT_CHUNK_SIZE = 500
 
+# Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
+
 
 # Загрузка данных в Региональную витрину данных (РВД)
 # Адрес витрины (schema://host:port)

edu_rdm_integration/export_data/export.py

@@ -50,6 +50,9 @@ from educommon.async_task.models import (
 from educommon.utils.date import (
     get_today_max_datetime,
 )
+from educommon.utils.seqtools import (
+    make_chunks,
+)
 from function_tools.managers import (
     RunnerManager,
 )
@@ -339,9 +342,16 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
             ),
         )
 
-        with atomic():
-            for queryset in querysets_to_update:
-                queryset.update(modified=now)
+        for queryset in querysets_to_update:
+            not_exported_model_ids = queryset.values_list('id', flat=True)
+
+            with atomic():
+
+                for model_ids in make_chunks(
+                    iterable=not_exported_model_ids,
+                    size=settings.RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE,
+                ):
+                    queryset.filter(id__in=model_ids).update(modified=now)
 
     def _calculate_last_finished_entity_export(self) -> Dict[str, datetime]:
         """Находит левую границу экспорта данных для сущностей."""

{edu_rdm_integration-1.0.1.dist-info → edu_rdm_integration-1.0.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 1.0.1
+Version: 1.0.2
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -138,6 +138,9 @@ Requires-Dist: uploader-client <1,>=0.2.1
     
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
+  
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = conf.get_int('rdm_general', 'UPDATE_NON_EXPORTED_CHUNK_SIZE')
     
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
@@ -181,6 +184,7 @@ Requires-Dist: uploader-client <1,>=0.2.1
     | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
     | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
     | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
+    | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
     | RDM_UPLOADER_CLIENT_URL                      | Адрес витрины (schema://host:port)                                                                                                 | 'http://localhost:8090' |
     | RDM_UPLOADER_CLIENT_DATAMART_NAME            | Мнемоника Витрины                                                                                                                  | 'test'                  |
     | RDM_UPLOADER_CLIENT_REQUEST_RETRIES          | Количество повторных попыток запроса                                                                                               | 10                      |
@@ -209,6 +213,8 @@ Requires-Dist: uploader-client <1,>=0.2.1
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
     
     # Настройка запуска периодической задачи выгрузки данных
     [rdm_transfer_task]
@@ -289,6 +295,18 @@ Requires-Dist: uploader-client <1,>=0.2.1
 ### Удалено
 
 
+## [1.0.2] - 2024-03-06
+
+Добавлено разбиение на чанки запроса на обновление поля modified у невыгруженных записей,
+при запуске команды `export_latest_entities_data`.
+
+### Исправлено
+
+- [EDUSCHL-21572](https://jira.bars.group/browse/EDUSCHL-21572)
+  PATCH Добавлено разбиение на чанки запроса на обновление в методе `_update_model_modified_field` 
+  класса `BaseExportLatestEntitiesData`.
+
+
 ## [1.0.1] - 2024-02-20
 
 Исправлено ограничение сбора логов периодом `RDM_TRANSFER_TASK_TIMEDELTA` в `BaseCollectLatestModelsData`

{edu_rdm_integration-1.0.1.dist-info → edu_rdm_integration-1.0.2.dist-info}/RECORD

@@ -1,6 +1,6 @@
 edu_rdm_integration/__init__.py,sha256=fVCvQ7QGI_iCyAeE8dMapyY8gOM617ye5GQqAVGPlZI,72
 edu_rdm_integration/app_meta.py,sha256=v5IU69yaeLbyHF0Ln6iPN_IfizbtF3rCWrz2n71m8dU,337
-edu_rdm_integration/app_settings.py,sha256=kideEO9SvYU8RXPB-8hTVosL4bAspPHNHtyz-R0F7v4,1822
+edu_rdm_integration/app_settings.py,sha256=PK-hjkGIwbSqgKdJKoTdryk6nt-OOGLIKSzPYXCzmYE,2056
 edu_rdm_integration/apps.py,sha256=5OgNdmuqe26fbu4wYb69haQJe-XFO_rDbnU1vPqJU-U,3571
 edu_rdm_integration/base.py,sha256=_G0qPTAXe6bXfgDHNiZMSsYt3sMuUhLKnHuQCWSFttU,1341
 edu_rdm_integration/consts.py,sha256=FFwcMHNsfjP_s9LfkccLAHjJMEMp7ppPmrRlJcgV88k,1104
@@ -79,7 +79,7 @@ edu_rdm_integration/enum_register/mixins.py,sha256=shLb8-9ySoY9kK1Wzb46I9wRKglQI
 edu_rdm_integration/enum_register/register.py,sha256=5OWOjK-M0Erd_5CENpBaXhVtfL0pEaDl3Bev5QKNDJc,2218
 edu_rdm_integration/export_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/export_data/consts.py,sha256=Z6Uho8oViMc0t1tyQFZfrPFBwPx6KnhUf_iZ0qgob8o,16
-edu_rdm_integration/export_data/export.py,sha256=Axij_T66EX7I_VjLeVaELuKharDNAVAWDsFlZpqf9EY,16879
+edu_rdm_integration/export_data/export.py,sha256=m1C2gmpQb_Dlr9qtYplHSTJOtU-Ll1d9S5tzPGp73os,17231
 edu_rdm_integration/export_data/generators.py,sha256=yLDOcHB1PoilJwXtKGxZQhDjpeKBzEWoosahbJJ4Ba4,4020
 edu_rdm_integration/export_data/helpers.py,sha256=hU346RmQ17Ra2etFvxXI7JQlLyp_0KxH1jm-eeCqejc,2933
 edu_rdm_integration/export_data/strategies.py,sha256=ocHskG-x54U-ESX56OlZPgOibkGkuv7VKmK7hVmqj_0,6725
@@ -156,9 +156,9 @@ edu_rdm_integration/uploader_log/apps.py,sha256=tYJj4-sDlq8fLOSvw18L_yys7SILpTKW
 edu_rdm_integration/uploader_log/enums.py,sha256=rgSO3BL2rh2xpfm0Pt4waQW8fB1VMJLdsGmr3SXwH_U,266
 edu_rdm_integration/uploader_log/managers.py,sha256=y5wTSMzF9hpOpIU_A7nIafL_LBU3QEie6LAYWoB-pBQ,3203
 edu_rdm_integration/uploader_log/ui.py,sha256=YM9Buqp2wxE95Wf5gvAATBzuYzDOossK1sEmvFk07cI,2110
-edu_rdm_integration-1.0.1.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-1.0.1.dist-info/METADATA,sha256=VWtIRppCl6cTqP2UU8jhjkdmN4zPBX3KxL8pmQbBfWk,53826
-edu_rdm_integration-1.0.1.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
-edu_rdm_integration-1.0.1.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
-edu_rdm_integration-1.0.1.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-1.0.1.dist-info/RECORD,,
+edu_rdm_integration-1.0.2.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-1.0.2.dist-info/METADATA,sha256=tND-Xftw5QICLhRSKrGcEZoZ3JV3sEfU50Rk5ebK9O0,55202
+edu_rdm_integration-1.0.2.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
+edu_rdm_integration-1.0.2.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
+edu_rdm_integration-1.0.2.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-1.0.2.dist-info/RECORD,,