edu-rdm-integration 1.0.0__py3-none-any.whl → 1.0.2__py3-none-any.whl

edu_rdm_integration/app_settings.py

@@ -11,6 +11,9 @@ RDM_COLLECT_CHUNK_SIZE = 500
 # Количество записей моделей обрабатываемых за одну итерацию экспорта
 RDM_EXPORT_CHUNK_SIZE = 500
 
+# Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
+
 
 # Загрузка данных в Региональную витрину данных (РВД)
 # Адрес витрины (schema://host:port)

edu_rdm_integration/collect_data/collect.py

@@ -21,6 +21,10 @@ from django.conf import (
 from django.db.models import (
     F,
     Max,
+    CharField,
+)
+from django.db.models.functions import (
+    Cast,
 )
 from django.utils import (
     timezone,
@@ -45,9 +49,6 @@ from m3_db_utils.models import (
     ModelEnumValue,
 )
 
-from edu_rdm_integration.app_settings import (
-    RDM_TRANSFER_TASK_TIMEDELTA,
-)
 from edu_rdm_integration.base import (
     BaseOperationData,
 )
@@ -317,23 +318,26 @@ class BaseCollectLatestModelsData(BaseCollectModelsData):
 
         return stage_created_or_in_progress
 
-    def _get_last_finished_entity_upload(self) -> Dict[str, datetime]:
+    def _get_last_model_date(self, date_field: str) -> Dict[str, datetime]:
         """
-        Возвращает словарь с uuid менеджера и датой последней успешной выгрузки по указанным сущностям.
+        Возвращает словарь с uuid менеджера и крайней датой из переданного поля по указанным моделям.
         """
-        manager_to_last_date = CollectingExportedDataSubStage.objects.annotate(
-            max_logs_period_ended_at=Max('stage__logs_period_ended_at'),
-        ).values(
-            'stage__manager_id', 'max_logs_period_ended_at',
-        ).annotate(
-            manager_id=F('stage__manager_id'),
-            date_end=F('max_logs_period_ended_at'),
-        ).filter(
-            status_id=CollectingDataSubStageStatus.READY_TO_EXPORT.key,
-            manager_id__in=[m.uuid for m in self._collecting_data_managers.values()],
-        ).values('manager_id', 'date_end')
-
-        return {str(m['manager_id']): m['date_end'] for m in manager_to_last_date}
+        manager_to_start_date = dict(
+            CollectingExportedDataSubStage.objects.annotate(
+                max_date=Max(f'stage__{date_field}'),
+            ).values(
+                'stage__manager_id', 'max_date',
+            ).annotate(
+                manager_id=Cast('stage__manager_id', output_field=CharField()),
+                date=F('max_date'),
+            ).filter(
+                status_id=CollectingDataSubStageStatus.READY_TO_EXPORT.key,
+                manager_id__in=(m.uuid for m in
+                                self._collecting_data_managers.values()),
+            ).values_list('manager_id', 'date')
+        )
+
+        return manager_to_start_date
 
     def _collect_models_data(self, *args, logs: Optional[Dict[str, List[AuditLog]]] = None, **kwargs) -> None:
         """
@@ -341,21 +345,20 @@ class BaseCollectLatestModelsData(BaseCollectModelsData):
         """
         logger.info('collect models data..')
 
-        last_finished_entity_upload = self._get_last_finished_entity_upload()
+        last_finished_model_upload = self._get_last_model_date('logs_period_ended_at')
+        last_model_start = self._get_last_model_date('started_at')
 
         for model_key, manager_class in self._collecting_data_managers.items():
             model_logs = logs.get(model_key) if logs else None
 
             kwargs['logs_period_started_at'] = (
-                last_finished_entity_upload.get(manager_class.uuid)
+                last_finished_model_upload.get(manager_class.uuid)
                 or get_today_min_datetime()
             )
             kwargs['logs_period_ended_at'] = timezone.now()
 
             if kwargs['logs_period_started_at'] > kwargs['logs_period_ended_at']:
-                kwargs['logs_period_started_at'] = kwargs['logs_period_ended_at'] - timedelta(
-                    seconds=RDM_TRANSFER_TASK_TIMEDELTA,
-                )
+                kwargs['logs_period_started_at'] = last_model_start.get(manager_class.uuid)
 
             manager = manager_class(*args, logs=model_logs, **kwargs)
 

edu_rdm_integration/export_data/export.py

@@ -50,6 +50,9 @@ from educommon.async_task.models import (
 from educommon.utils.date import (
     get_today_max_datetime,
 )
+from educommon.utils.seqtools import (
+    make_chunks,
+)
 from function_tools.managers import (
     RunnerManager,
 )
@@ -339,9 +342,16 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
             ),
         )
 
-        with atomic():
-            for queryset in querysets_to_update:
-                queryset.update(modified=now)
+        for queryset in querysets_to_update:
+            not_exported_model_ids = queryset.values_list('id', flat=True)
+
+            with atomic():
+
+                for model_ids in make_chunks(
+                    iterable=not_exported_model_ids,
+                    size=settings.RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE,
+                ):
+                    queryset.filter(id__in=model_ids).update(modified=now)
 
     def _calculate_last_finished_entity_export(self) -> Dict[str, datetime]:
         """Находит левую границу экспорта данных для сущностей."""

{edu_rdm_integration-1.0.0.dist-info → edu_rdm_integration-1.0.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 1.0.0
+Version: 1.0.2
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -138,6 +138,9 @@ Requires-Dist: uploader-client <1,>=0.2.1
     
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
+  
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = conf.get_int('rdm_general', 'UPDATE_NON_EXPORTED_CHUNK_SIZE')
     
     # Настройка запуска периодической задачи выгрузки данных:
     RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
@@ -181,6 +184,7 @@ Requires-Dist: uploader-client <1,>=0.2.1
     | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
     | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
     | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
+    | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
     | RDM_UPLOADER_CLIENT_URL                      | Адрес витрины (schema://host:port)                                                                                                 | 'http://localhost:8090' |
     | RDM_UPLOADER_CLIENT_DATAMART_NAME            | Мнемоника Витрины                                                                                                                  | 'test'                  |
     | RDM_UPLOADER_CLIENT_REQUEST_RETRIES          | Количество повторных попыток запроса                                                                                               | 10                      |
@@ -209,6 +213,8 @@ Requires-Dist: uploader-client <1,>=0.2.1
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
+    UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
     
     # Настройка запуска периодической задачи выгрузки данных
     [rdm_transfer_task]
@@ -289,6 +295,28 @@ Requires-Dist: uploader-client <1,>=0.2.1
 ### Удалено
 
 
+## [1.0.2] - 2024-03-06
+
+Добавлено разбиение на чанки запроса на обновление поля modified у невыгруженных записей,
+при запуске команды `export_latest_entities_data`.
+
+### Исправлено
+
+- [EDUSCHL-21572](https://jira.bars.group/browse/EDUSCHL-21572)
+  PATCH Добавлено разбиение на чанки запроса на обновление в методе `_update_model_modified_field` 
+  класса `BaseExportLatestEntitiesData`.
+
+
+## [1.0.1] - 2024-02-20
+
+Исправлено ограничение сбора логов периодом `RDM_TRANSFER_TASK_TIMEDELTA` в `BaseCollectLatestModelsData`
+
+### Исправлено
+
+- [EDUSCHL-21413](https://jira.bars.group/browse/EDUSCHL-21413)
+  PATCH Исправлено ограничение сбора логов периодом `RDM_TRANSFER_TASK_TIMEDELTA` в `BaseCollectLatestModelsData`
+
+
 ## [1.0.0] - 2024-01-31
 
 Удален дублирующийся клаcc `LogChange` из `collect_data.non_calculated.base.caches`.

{edu_rdm_integration-1.0.0.dist-info → edu_rdm_integration-1.0.2.dist-info}/RECORD

@@ -1,6 +1,6 @@
 edu_rdm_integration/__init__.py,sha256=fVCvQ7QGI_iCyAeE8dMapyY8gOM617ye5GQqAVGPlZI,72
 edu_rdm_integration/app_meta.py,sha256=v5IU69yaeLbyHF0Ln6iPN_IfizbtF3rCWrz2n71m8dU,337
-edu_rdm_integration/app_settings.py,sha256=kideEO9SvYU8RXPB-8hTVosL4bAspPHNHtyz-R0F7v4,1822
+edu_rdm_integration/app_settings.py,sha256=PK-hjkGIwbSqgKdJKoTdryk6nt-OOGLIKSzPYXCzmYE,2056
 edu_rdm_integration/apps.py,sha256=5OgNdmuqe26fbu4wYb69haQJe-XFO_rDbnU1vPqJU-U,3571
 edu_rdm_integration/base.py,sha256=_G0qPTAXe6bXfgDHNiZMSsYt3sMuUhLKnHuQCWSFttU,1341
 edu_rdm_integration/consts.py,sha256=FFwcMHNsfjP_s9LfkccLAHjJMEMp7ppPmrRlJcgV88k,1104
@@ -31,7 +31,7 @@ edu_rdm_integration/adapters/strings.py,sha256=-k9dex8A7hCpkzUkudVkKRAbNRuuqog2h
 edu_rdm_integration/adapters/tests.py,sha256=MoRY-a75Ow-7EjeQYxkXWunwqTGuBMaUyEkEV2oy05I,59
 edu_rdm_integration/adapters/validators.py,sha256=LJWnCY8PtXDOj-fm3fBWjQYsHsSLfyKf_D97pqPv73s,496
 edu_rdm_integration/collect_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/collect_data/collect.py,sha256=Og_ZHdFFuVnQokZJBf9_uuWjndl7UWUDOs-DhSnpe-Q,14490
+edu_rdm_integration/collect_data/collect.py,sha256=n73jmtVoJ-0VHShqL8Aqoo5TiOpcjJYIMY5YZ4Qtqxs,14499
 edu_rdm_integration/collect_data/generators.py,sha256=61DdPF8d0BRmvGJSYVA7wz3HmDpbbdStU4lBoJ0sUdY,9053
 edu_rdm_integration/collect_data/helpers.py,sha256=pthYW-ugOww5TveWxONYcJby2VwWG6goJwbdTkNdVUU,3009
 edu_rdm_integration/collect_data/tests.py,sha256=vAvNRe23ep2JsBcEE0VjoOqwgFN3QmKE552iZgvbWdM,5378
@@ -79,7 +79,7 @@ edu_rdm_integration/enum_register/mixins.py,sha256=shLb8-9ySoY9kK1Wzb46I9wRKglQI
 edu_rdm_integration/enum_register/register.py,sha256=5OWOjK-M0Erd_5CENpBaXhVtfL0pEaDl3Bev5QKNDJc,2218
 edu_rdm_integration/export_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/export_data/consts.py,sha256=Z6Uho8oViMc0t1tyQFZfrPFBwPx6KnhUf_iZ0qgob8o,16
-edu_rdm_integration/export_data/export.py,sha256=Axij_T66EX7I_VjLeVaELuKharDNAVAWDsFlZpqf9EY,16879
+edu_rdm_integration/export_data/export.py,sha256=m1C2gmpQb_Dlr9qtYplHSTJOtU-Ll1d9S5tzPGp73os,17231
 edu_rdm_integration/export_data/generators.py,sha256=yLDOcHB1PoilJwXtKGxZQhDjpeKBzEWoosahbJJ4Ba4,4020
 edu_rdm_integration/export_data/helpers.py,sha256=hU346RmQ17Ra2etFvxXI7JQlLyp_0KxH1jm-eeCqejc,2933
 edu_rdm_integration/export_data/strategies.py,sha256=ocHskG-x54U-ESX56OlZPgOibkGkuv7VKmK7hVmqj_0,6725
@@ -156,9 +156,9 @@ edu_rdm_integration/uploader_log/apps.py,sha256=tYJj4-sDlq8fLOSvw18L_yys7SILpTKW
 edu_rdm_integration/uploader_log/enums.py,sha256=rgSO3BL2rh2xpfm0Pt4waQW8fB1VMJLdsGmr3SXwH_U,266
 edu_rdm_integration/uploader_log/managers.py,sha256=y5wTSMzF9hpOpIU_A7nIafL_LBU3QEie6LAYWoB-pBQ,3203
 edu_rdm_integration/uploader_log/ui.py,sha256=YM9Buqp2wxE95Wf5gvAATBzuYzDOossK1sEmvFk07cI,2110
-edu_rdm_integration-1.0.0.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-1.0.0.dist-info/METADATA,sha256=eUoptMk2T5qgxv3bDop9dYkuN_2qBjcY63MeXDD9sDU,53408
-edu_rdm_integration-1.0.0.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
-edu_rdm_integration-1.0.0.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
-edu_rdm_integration-1.0.0.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-1.0.0.dist-info/RECORD,,
+edu_rdm_integration-1.0.2.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-1.0.2.dist-info/METADATA,sha256=tND-Xftw5QICLhRSKrGcEZoZ3JV3sEfU50Rk5ebK9O0,55202
+edu_rdm_integration-1.0.2.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
+edu_rdm_integration-1.0.2.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
+edu_rdm_integration-1.0.2.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-1.0.2.dist-info/RECORD,,