edu-rdm-integration 0.4.3__py3-none-any.whl → 0.4.5__py3-none-any.whl

edu_rdm_integration/collect_data/base/caches.py

@@ -2,12 +2,16 @@ from typing import (
     Any,
     Dict,
     Optional,
+    NamedTuple,
 )
 
 from edu_rdm_integration.adapters.caches import (
     WebEduEntityCache,
 )
 
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
 
 class WebEduEntityCacheExtended(WebEduEntityCache):
     """
@@ -43,3 +47,25 @@ class WebEduEntityCacheExtended(WebEduEntityCache):
             self._entities = self._entities.only(*self._only_fields)
 
         self._entities = self._entities.distinct()
+
+
+class LogChange(NamedTuple):
+    """Операция и значения измененных полей из лога."""
+
+    operation: EntityLogOperation
+    fields: Dict[str, Any]
+
+    @property
+    def is_create(self) -> bool:
+        """Лог создания."""
+        return self.operation == EntityLogOperation.CREATE
+
+    @property
+    def is_update(self) -> bool:
+        """Лог изменения."""
+        return self.operation == EntityLogOperation.UPDATE
+
+    @property
+    def is_delete(self) -> bool:
+        """Лог удаления."""
+        return self.operation == EntityLogOperation.DELETE

edu_rdm_integration/collect_data/base/mixins.py

@@ -0,0 +1,78 @@
+from edu_rdm_integration.collect_data.base.caches import (
+    LogChange,
+)
+from edu_rdm_integration.mapping import (
+    MODEL_FIELDS_LOG_FILTER,
+)
+
+from educommon.audit_log.utils import (
+    get_model_by_table,
+)
+from educommon.integration_entities.consts import (
+    LOG_OPERATION_MAP,
+)
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
+
+
+class ReformatLogsMixin:
+    """Миксин для преобразования логов к удобному для работы виду в кешах помощников функций."""
+
+    def _reformat_logs(self):
+        """
+        Производится преобразование логов к удобному для работы виду.
+
+        Предполагается вложенные словари. На первом уровне ключом будет название
+        модели, на втором идентификатор записи.
+        """
+        for log in self.raw_logs:
+            model = get_model_by_table(log.table)._meta.label
+
+            if getattr(self, '_log_only_models', None) and (model not in self._log_only_models):
+                # Пропускаем, если модель не входит в список отслеживаемых
+                continue
+
+            operation = LOG_OPERATION_MAP[log.operation]
+
+            if operation in EntityLogOperation.values:
+                fields = log.data
+            else:
+                fields = {}
+
+            log_change = LogChange(
+                operation=operation,
+                fields=fields,
+            )
+
+            if not self._filter_log(model, log_change):
+                # Если модель не отслеживается, то запись лога не сохраняем
+                continue
+
+            if log_change.operation == EntityLogOperation.DELETE:
+                self.logs[model][log.object_id] = [log_change, ]
+            else:
+                self.logs[model][log.object_id].append(log_change)
+
+    @staticmethod
+    def _filter_log(model: str, log_change: LogChange) -> bool:
+        """
+        Производится проверка изменений на отслеживаемые поля.
+        """
+        is_filtered = False
+
+        if model in MODEL_FIELDS_LOG_FILTER[log_change.operation]:
+            filter_fields = MODEL_FIELDS_LOG_FILTER[log_change.operation][model]
+            if filter_fields:
+                # Если заданы конкретные поля, которые должны отслеживать
+                for field in log_change.fields:
+                    if field in filter_fields:
+                        # Достаточно, чтобы хотя бы одно поле попало под фильтр
+                        is_filtered = True
+                        break
+            else:
+                # Модель отслеживается, но перечень фильтруемых полей не задан,
+                # значит фильтруем все поля модели
+                is_filtered = True
+
+        return is_filtered

edu_rdm_integration/collect_data/calculated/base/caches.py

@@ -28,6 +28,13 @@ from edu_rdm_integration.adapters.caches import (
 from edu_rdm_integration.collect_data.calculated.base.consts import (
     LOOKUP_SEP,
 )
+from educommon.utils.conversion import (
+    int_or_none,
+)
+
+from edu_rdm_integration.collect_data.base.mixins import (
+    ReformatLogsMixin,
+)
 
 
 class BaseCollectingCalculatedExportedDataRunnerCacheStorage(WebEduRunnerCacheStorage):
@@ -36,7 +43,7 @@ class BaseCollectingCalculatedExportedDataRunnerCacheStorage(WebEduRunnerCacheSt
     """
 
 
-class BaseCollectingCalculatedExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage):
+class BaseCollectingCalculatedExportedDataFunctionCacheStorage(ReformatLogsMixin, WebEduFunctionCacheStorage):
     """
     Базовый кеш помощников функций сбора расчетных данных для интеграции с "Региональная витрина данных".
     """
@@ -60,13 +67,7 @@ class BaseCollectingCalculatedExportedDataFunctionCacheStorage(WebEduFunctionCac
         # }
         self.logs = defaultdict(lambda: defaultdict(list))
 
-    def _reformat_logs(self):
-        """
-        Производится преобразование логов к удобному для работы виду.
-
-        Предполагается вложенные словари. На первом уровне ключом будет название
-        модели, на втором идентификатор записи.
-        """
+        self._prepare_logs()
 
     def _prepare_logs(self):
         """

edu_rdm_integration/collect_data/non_calculated/base/caches.py

@@ -67,7 +67,7 @@ class BaseCollectingExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage)
     Базовый кеш помощников функций сбора данных для интеграции с "Региональная витрина данных".
     """
 
-    def __init__(self, raw_logs, *args, **kwargs):
+    def __init__(self, raw_logs, is_merge_logs=False, *args, **kwargs):
         super().__init__(*args, **kwargs)
 
         # Необработанные логи как есть.
@@ -75,7 +75,7 @@ class BaseCollectingExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage)
 
         # TODO Перенести в базовый класс (https://jira.bars.group/browse/EDUSCHL-19991)
         # Необходимость объединения логов относящихся к одному объекту
-        self.is_merge_logs = True
+        self.is_merge_logs = is_merge_logs
 
         # Подготовленные логи в виде:
         # {
@@ -149,7 +149,20 @@ class BaseCollectingExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage)
             if log_change.operation == EntityLogOperation.DELETE:
                 self.logs[model][log.object_id] = [log_change, ]
             else:
-                self.logs[model][log.object_id].append(log_change)
+                if self.is_merge_logs:
+                    self._merge_logs(self.logs[model][log.object_id], log_change)
+                else:
+                    self.logs[model][log.object_id].append(log_change)
+
+    @staticmethod
+    def _merge_logs(log_changes: List[LogChange], log_change: LogChange):
+        """
+        Производит объединение (накопление) изменений полей в рамках одного объекта.
+        """
+        if log_changes:
+            log_changes[0].fields.update(log_change.fields)
+        else:
+            log_changes.append(log_change)
 
     def _prepare_logs(self):
         """

edu_rdm_integration/export_data/export.py

@@ -5,6 +5,7 @@ from datetime import (
     date,
     datetime,
     time,
+    timedelta,
 )
 from typing import (
     Dict,
@@ -295,7 +296,7 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
             kwargs['period_ended_at'] = timezone.now()
 
             if kwargs['period_started_at'] > kwargs['period_ended_at']:
-                kwargs['period_started_at'] = kwargs['period_ended_at'] - datetime.timedelta(
+                kwargs['period_started_at'] = kwargs['period_ended_at'] - timedelta(
                     seconds=settings.RDM_TRANSFER_TASK_TIMEDELTA
                 )
 

{edu_rdm_integration-0.4.3.dist-info → edu_rdm_integration-0.4.5.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.4.3
+Version: 0.4.5
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -215,6 +215,31 @@ ENABLE_REQUEST_EMULATION = True
  
 ### Исправлено
 
+## [0.4.5] - 2023-08-09
+
+Объединение обрабатываемых логов относящихся к одному объекту
+
+### Добавлено
+
+- [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
+ PATCH Новый миксин ```ReformatLogsMixin``` , новое поле is_merge_logs и новый метод _merge_logs у класса ```BaseCollectingExportedDataFunctionCacheStorage```
+
+### Изменено
+ 
+### Исправлено
+
+## [0.4.4] - 2023-08-12
+ 
+Исправлен баг с timedelta
+ 
+### Добавлено
+
+### Изменено
+ 
+### Исправлено
+- [EDUSCHL-20200](https://jira.bars.group/browse/EDUSCHL-20200)
+  PATCH Исправлен баг с timedelta.
+
 
 ## [0.4.3] - 2023-08-12
  

{edu_rdm_integration-0.4.3.dist-info → edu_rdm_integration-0.4.5.dist-info}/RECORD

@@ -30,14 +30,15 @@ edu_rdm_integration/collect_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRk
 edu_rdm_integration/collect_data/collect.py,sha256=4aeIb44l6u-RYcIDGU1c840GZ0nNFAb6l5e0gGdFuhQ,14739
 edu_rdm_integration/collect_data/generators.py,sha256=GJpOWDp1jeQQPI4Zx4w0BxaAaGu6S3ow63UMEfvcFl0,8974
 edu_rdm_integration/collect_data/base/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/collect_data/base/caches.py,sha256=xpiSabHHS4NRqwZOeOk_7Zh8vHOyEmY1DmBwgFsBvx8,1310
+edu_rdm_integration/collect_data/base/caches.py,sha256=vOfYoWfFdYbhnOwmeEdOB_ErieQrMlORXqojVCiGKrA,2029
 edu_rdm_integration/collect_data/base/functions.py,sha256=0vAOx4lrEbBOxFbeCl_wB7imfYq1EgqwTvmqUbrXgT4,2403
 edu_rdm_integration/collect_data/base/managers.py,sha256=UkiFhyD3Gn3drErXc0NjQkSyPan10BkQp-yx-2vc_AM,6067
+edu_rdm_integration/collect_data/base/mixins.py,sha256=vgWCsSgjtUjvu-fMBByEq6xbIocjzjmdNzhMs5DRKVI,3180
 edu_rdm_integration/collect_data/base/runners.py,sha256=mqrdVUMud7ss-0Iufj3DHEdy7BDHgbkZ7ZEGJfUaslc,2835
 edu_rdm_integration/collect_data/calculated/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/collect_data/calculated/strategies.py,sha256=S-a6DA8E0CTMOxLg9Xk_7c3ZbN-ngmaNnKycoJnCLTs,7621
 edu_rdm_integration/collect_data/calculated/base/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/collect_data/calculated/base/caches.py,sha256=9Xx7DwS_bN3SoGDDhrh6ONGi1vo08wmYcUMA9Q0C1KA,7774
+edu_rdm_integration/collect_data/calculated/base/caches.py,sha256=O4VrWmOs6Wpooo9wkZliPM-YyaYwSsG1XXPBR_LFGpk,7564
 edu_rdm_integration/collect_data/calculated/base/consts.py,sha256=DsgPOF_2iCzZTPity27oDDkpS6Axdhd5C94uSkIwA1g,84
 edu_rdm_integration/collect_data/calculated/base/enums.py,sha256=BSmwrkzYwEQhz9NbZCJsldY532PqgZJzxzsVk6ue0bM,93
 edu_rdm_integration/collect_data/calculated/base/errors.py,sha256=bDVjmB43pZJ2C8sNnqF177qMB4l_XskDpVTFqTmxjj8,326
@@ -53,7 +54,7 @@ edu_rdm_integration/collect_data/calculated/base/validators.py,sha256=xIaSIE9oKb
 edu_rdm_integration/collect_data/non_calculated/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/collect_data/non_calculated/strategies.py,sha256=5mC1g1ynjvGX2wRBJ2MPHo8DfaxbEiBd4H_k65IQvT8,7423
 edu_rdm_integration/collect_data/non_calculated/base/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/collect_data/non_calculated/base/caches.py,sha256=MMkfQuAs0jZFOMKjE-DojlFt4PTCdEgKIt_KMXPJxYs,6236
+edu_rdm_integration/collect_data/non_calculated/base/caches.py,sha256=qRC92vy-oUcyokAF279CcZgWTl_x-PxsGAK-5Rb31-g,6821
 edu_rdm_integration/collect_data/non_calculated/base/consts.py,sha256=pds1t4eHzovm7Yz2o5je3UHqRE8gqfT2sL-IwpoBN_o,66
 edu_rdm_integration/collect_data/non_calculated/base/enums.py,sha256=BSmwrkzYwEQhz9NbZCJsldY532PqgZJzxzsVk6ue0bM,93
 edu_rdm_integration/collect_data/non_calculated/base/errors.py,sha256=dGawEQ2ItTxlFt9ynhYhpqx40Qmrlg2rOskH0DsNVnQ,297
@@ -68,7 +69,7 @@ edu_rdm_integration/collect_data/non_calculated/base/tests.py,sha256=MoRY-a75Ow-
 edu_rdm_integration/collect_data/non_calculated/base/validators.py,sha256=0YvnfrfK1iFcZVSB-M-Xv82tIjYxEU_BwLofAEuGVW4,973
 edu_rdm_integration/export_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/export_data/consts.py,sha256=Z6Uho8oViMc0t1tyQFZfrPFBwPx6KnhUf_iZ0qgob8o,16
-edu_rdm_integration/export_data/export.py,sha256=3yYzK8Ne5PYCt5i_B8KZ53QSyUNuZXkUvigoh50QHk4,12393
+edu_rdm_integration/export_data/export.py,sha256=YGO2Uw_TpHW_Hl3Lp-IBfIdwWEjmJ8RvlR5i_Vve2Yc,12399
 edu_rdm_integration/export_data/generators.py,sha256=huonSRK5arfBzU09BnLAHC7AsSFYU0sCz5utCtejdJk,3950
 edu_rdm_integration/export_data/strategies.py,sha256=NcI2VsDfAmm9k-Nul6LZkSxruCmo7B-XH7wzgW6-vfE,6718
 edu_rdm_integration/export_data/base/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
@@ -94,9 +95,9 @@ edu_rdm_integration/management/commands/export_entities_data.py,sha256=Mas1zwsH-
 edu_rdm_integration/migrations/0001_initial.py,sha256=toNuYoHZePe5wJ6AKEW9oPOdt2OefmxDEDDJGYQIrFk,18719
 edu_rdm_integration/migrations/0002_init_data_uploadstatus.py,sha256=kht966YNuDbC3qTGrcWswJPsVuAtNO59Ck15G2eS2bU,944
 edu_rdm_integration/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration-0.4.3.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-0.4.3.dist-info/METADATA,sha256=ZlPI9846do77Nf8vUkMcRBDz8COj6rXlDpeF0jk72IU,21738
-edu_rdm_integration-0.4.3.dist-info/WHEEL,sha256=pkctZYzUS4AYVn6dJ-7367OJZivF2e8RA9b_ZBjif18,92
-edu_rdm_integration-0.4.3.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
-edu_rdm_integration-0.4.3.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-0.4.3.dist-info/RECORD,,
+edu_rdm_integration-0.4.5.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-0.4.5.dist-info/METADATA,sha256=PuPYKD0jJOwTcWTw33-_Yy44YL_tX0Jzr2J5fJ5JI-Y,22468
+edu_rdm_integration-0.4.5.dist-info/WHEEL,sha256=pkctZYzUS4AYVn6dJ-7367OJZivF2e8RA9b_ZBjif18,92
+edu_rdm_integration-0.4.5.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
+edu_rdm_integration-0.4.5.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-0.4.5.dist-info/RECORD,,