edu-rdm-integration 1.0.1__tar.gz → 1.0.2__tar.gz

{edu-rdm-integration-1.0.1 → edu-rdm-integration-1.0.2}/CHANGELOG.md

@@ -29,6 +29,18 @@
 ### Удалено
 
 
+## [1.0.2] - 2024-03-06
+
+Добавлено разбиение на чанки запроса на обновление поля modified у невыгруженных записей,
+при запуске команды `export_latest_entities_data`.
+
+### Исправлено
+
+- [EDUSCHL-21572](https://jira.bars.group/browse/EDUSCHL-21572)
+  PATCH Добавлено разбиение на чанки запроса на обновление в методе `_update_model_modified_field` 
+  класса `BaseExportLatestEntitiesData`.
+
+
 ## [1.0.1] - 2024-02-20
 
 Исправлено ограничение сбора логов периодом `RDM_TRANSFER_TASK_TIMEDELTA` в `BaseCollectLatestModelsData`

{edu-rdm-integration-1.0.1 → edu-rdm-integration-1.0.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 1.0.1
+Version: 1.0.2
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -138,6 +138,9 @@ Requires-Dist: uploader-client<1,>=0.2.1
     
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
+  
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = conf.get_int('rdm_general', 'UPDATE_NON_EXPORTED_CHUNK_SIZE')
     
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
@@ -181,6 +184,7 @@ Requires-Dist: uploader-client<1,>=0.2.1
     | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
     | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
     | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
+    | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
     | RDM_UPLOADER_CLIENT_URL                      | Адрес витрины (schema://host:port)                                                                                                 | 'http://localhost:8090' |
     | RDM_UPLOADER_CLIENT_DATAMART_NAME            | Мнемоника Витрины                                                                                                                  | 'test'                  |
     | RDM_UPLOADER_CLIENT_REQUEST_RETRIES          | Количество повторных попыток запроса                                                                                               | 10                      |
@@ -209,6 +213,8 @@ Requires-Dist: uploader-client<1,>=0.2.1
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
     
     # Настройка запуска периодической задачи выгрузки данных
     [rdm_transfer_task]
@@ -289,6 +295,18 @@ Requires-Dist: uploader-client<1,>=0.2.1
 ### Удалено
 
 
+## [1.0.2] - 2024-03-06
+
+Добавлено разбиение на чанки запроса на обновление поля modified у невыгруженных записей,
+при запуске команды `export_latest_entities_data`.
+
+### Исправлено
+
+- [EDUSCHL-21572](https://jira.bars.group/browse/EDUSCHL-21572)
+  PATCH Добавлено разбиение на чанки запроса на обновление в методе `_update_model_modified_field` 
+  класса `BaseExportLatestEntitiesData`.
+
+
 ## [1.0.1] - 2024-02-20
 
 Исправлено ограничение сбора логов периодом `RDM_TRANSFER_TASK_TIMEDELTA` в `BaseCollectLatestModelsData`

{edu-rdm-integration-1.0.1 → edu-rdm-integration-1.0.2}/README.md

@@ -101,6 +101,9 @@
     
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
+  
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = conf.get_int('rdm_general', 'UPDATE_NON_EXPORTED_CHUNK_SIZE')
     
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
@@ -144,6 +147,7 @@
     | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
     | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
     | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
+    | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
     | RDM_UPLOADER_CLIENT_URL                      | Адрес витрины (schema://host:port)                                                                                                 | 'http://localhost:8090' |
     | RDM_UPLOADER_CLIENT_DATAMART_NAME            | Мнемоника Витрины                                                                                                                  | 'test'                  |
     | RDM_UPLOADER_CLIENT_REQUEST_RETRIES          | Количество повторных попыток запроса                                                                                               | 10                      |
@@ -172,6 +176,8 @@
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
     
     # Настройка запуска периодической задачи выгрузки данных
     [rdm_transfer_task]

{edu-rdm-integration-1.0.1 → edu-rdm-integration-1.0.2}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '1.0.1'
+VERSION = '1.0.2'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-1.0.1 → edu-rdm-integration-1.0.2}/src/edu_rdm_integration/app_settings.py

@@ -11,6 +11,9 @@ RDM_COLLECT_CHUNK_SIZE = 500
 # Количество записей моделей обрабатываемых за одну итерацию экспорта
 RDM_EXPORT_CHUNK_SIZE = 500
 
+# Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
+
 
 # Загрузка данных в Региональную витрину данных (РВД)
 # Адрес витрины (schema://host:port)

{edu-rdm-integration-1.0.1 → edu-rdm-integration-1.0.2}/src/edu_rdm_integration/export_data/export.py

@@ -50,6 +50,9 @@ from educommon.async_task.models import (
 from educommon.utils.date import (
     get_today_max_datetime,
 )
+from educommon.utils.seqtools import (
+    make_chunks,
+)
 from function_tools.managers import (
     RunnerManager,
 )
@@ -339,9 +342,16 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
             ),
         )
 
-        with atomic():
-            for queryset in querysets_to_update:
-                queryset.update(modified=now)
+        for queryset in querysets_to_update:
+            not_exported_model_ids = queryset.values_list('id', flat=True)
+
+            with atomic():
+
+                for model_ids in make_chunks(
+                    iterable=not_exported_model_ids,
+                    size=settings.RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE,
+                ):
+                    queryset.filter(id__in=model_ids).update(modified=now)
 
     def _calculate_last_finished_entity_export(self) -> Dict[str, datetime]:
         """Находит левую границу экспорта данных для сущностей."""

{edu-rdm-integration-1.0.1 → edu-rdm-integration-1.0.2}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 1.0.1
+Version: 1.0.2
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -138,6 +138,9 @@ Requires-Dist: uploader-client<1,>=0.2.1
     
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
+  
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = conf.get_int('rdm_general', 'UPDATE_NON_EXPORTED_CHUNK_SIZE')
     
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
@@ -181,6 +184,7 @@ Requires-Dist: uploader-client<1,>=0.2.1
     | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
     | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
     | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
+    | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
     | RDM_UPLOADER_CLIENT_URL                      | Адрес витрины (schema://host:port)                                                                                                 | 'http://localhost:8090' |
     | RDM_UPLOADER_CLIENT_DATAMART_NAME            | Мнемоника Витрины                                                                                                                  | 'test'                  |
     | RDM_UPLOADER_CLIENT_REQUEST_RETRIES          | Количество повторных попыток запроса                                                                                               | 10                      |
@@ -209,6 +213,8 @@ Requires-Dist: uploader-client<1,>=0.2.1
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
     
     # Настройка запуска периодической задачи выгрузки данных
     [rdm_transfer_task]
@@ -289,6 +295,18 @@ Requires-Dist: uploader-client<1,>=0.2.1
 ### Удалено
 
 
+## [1.0.2] - 2024-03-06
+
+Добавлено разбиение на чанки запроса на обновление поля modified у невыгруженных записей,
+при запуске команды `export_latest_entities_data`.
+
+### Исправлено
+
+- [EDUSCHL-21572](https://jira.bars.group/browse/EDUSCHL-21572)
+  PATCH Добавлено разбиение на чанки запроса на обновление в методе `_update_model_modified_field` 
+  класса `BaseExportLatestEntitiesData`.
+
+
 ## [1.0.1] - 2024-02-20
 
 Исправлено ограничение сбора логов периодом `RDM_TRANSFER_TASK_TIMEDELTA` в `BaseCollectLatestModelsData`