edu-rdm-integration 0.4.4__tar.gz → 0.4.6__tar.gz

{edu-rdm-integration-0.4.4 → edu-rdm-integration-0.4.6}/CHANGELOG.md

@@ -24,6 +24,30 @@
  
 ### Исправлено
 
+## [0.4.6] - 2023-08-16
+
+Удален лишний вызов метода _prepare_logs
+
+### Добавлено
+
+### Изменено
+ 
+### Исправлено
+- [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
+  PATCH удален лишний вызов метода ```_prepare_logs``` в методе  ```__init__``` класса ```BaseCollectingCalculatedExportedDataFunctionCacheStorage```
+
+## [0.4.5] - 2023-08-09
+
+Объединение обрабатываемых логов относящихся к одному объекту
+
+### Добавлено
+
+- [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
+ PATCH Новый миксин ```ReformatLogsMixin``` , новое поле is_merge_logs и новый метод _merge_logs у класса ```BaseCollectingExportedDataFunctionCacheStorage```
+
+### Изменено
+ 
+### Исправлено
 
 ## [0.4.4] - 2023-08-12
  

{edu-rdm-integration-0.4.4 → edu-rdm-integration-0.4.6}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.4.4
+Version: 0.4.6
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -206,6 +206,30 @@ ENABLE_REQUEST_EMULATION = True
  
 ### Исправлено
 
+## [0.4.6] - 2023-08-16
+
+Удален лишний вызов метода _prepare_logs
+
+### Добавлено
+
+### Изменено
+ 
+### Исправлено
+- [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
+  PATCH удален лишний вызов метода ```_prepare_logs``` в методе  ```__init__``` класса ```BaseCollectingCalculatedExportedDataFunctionCacheStorage```
+
+## [0.4.5] - 2023-08-09
+
+Объединение обрабатываемых логов относящихся к одному объекту
+
+### Добавлено
+
+- [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
+ PATCH Новый миксин ```ReformatLogsMixin``` , новое поле is_merge_logs и новый метод _merge_logs у класса ```BaseCollectingExportedDataFunctionCacheStorage```
+
+### Изменено
+ 
+### Исправлено
 
 ## [0.4.4] - 2023-08-12
  

{edu-rdm-integration-0.4.4 → edu-rdm-integration-0.4.6}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '0.4.4'
+VERSION = '0.4.6'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-0.4.4 → edu-rdm-integration-0.4.6}/src/edu_rdm_integration/collect_data/base/caches.py

@@ -2,12 +2,16 @@ from typing import (
     Any,
     Dict,
     Optional,
+    NamedTuple,
 )
 
 from edu_rdm_integration.adapters.caches import (
     WebEduEntityCache,
 )
 
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
 
 class WebEduEntityCacheExtended(WebEduEntityCache):
     """
@@ -43,3 +47,25 @@ class WebEduEntityCacheExtended(WebEduEntityCache):
             self._entities = self._entities.only(*self._only_fields)
 
         self._entities = self._entities.distinct()
+
+
+class LogChange(NamedTuple):
+    """Операция и значения измененных полей из лога."""
+
+    operation: EntityLogOperation
+    fields: Dict[str, Any]
+
+    @property
+    def is_create(self) -> bool:
+        """Лог создания."""
+        return self.operation == EntityLogOperation.CREATE
+
+    @property
+    def is_update(self) -> bool:
+        """Лог изменения."""
+        return self.operation == EntityLogOperation.UPDATE
+
+    @property
+    def is_delete(self) -> bool:
+        """Лог удаления."""
+        return self.operation == EntityLogOperation.DELETE

edu-rdm-integration-0.4.6/src/edu_rdm_integration/collect_data/base/mixins.py

@@ -0,0 +1,78 @@
+from edu_rdm_integration.collect_data.base.caches import (
+    LogChange,
+)
+from edu_rdm_integration.mapping import (
+    MODEL_FIELDS_LOG_FILTER,
+)
+
+from educommon.audit_log.utils import (
+    get_model_by_table,
+)
+from educommon.integration_entities.consts import (
+    LOG_OPERATION_MAP,
+)
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
+
+
+class ReformatLogsMixin:
+    """Миксин для преобразования логов к удобному для работы виду в кешах помощников функций."""
+
+    def _reformat_logs(self):
+        """
+        Производится преобразование логов к удобному для работы виду.
+
+        Предполагается вложенные словари. На первом уровне ключом будет название
+        модели, на втором идентификатор записи.
+        """
+        for log in self.raw_logs:
+            model = get_model_by_table(log.table)._meta.label
+
+            if getattr(self, '_log_only_models', None) and (model not in self._log_only_models):
+                # Пропускаем, если модель не входит в список отслеживаемых
+                continue
+
+            operation = LOG_OPERATION_MAP[log.operation]
+
+            if operation in EntityLogOperation.values:
+                fields = log.data
+            else:
+                fields = {}
+
+            log_change = LogChange(
+                operation=operation,
+                fields=fields,
+            )
+
+            if not self._filter_log(model, log_change):
+                # Если модель не отслеживается, то запись лога не сохраняем
+                continue
+
+            if log_change.operation == EntityLogOperation.DELETE:
+                self.logs[model][log.object_id] = [log_change, ]
+            else:
+                self.logs[model][log.object_id].append(log_change)
+
+    @staticmethod
+    def _filter_log(model: str, log_change: LogChange) -> bool:
+        """
+        Производится проверка изменений на отслеживаемые поля.
+        """
+        is_filtered = False
+
+        if model in MODEL_FIELDS_LOG_FILTER[log_change.operation]:
+            filter_fields = MODEL_FIELDS_LOG_FILTER[log_change.operation][model]
+            if filter_fields:
+                # Если заданы конкретные поля, которые должны отслеживать
+                for field in log_change.fields:
+                    if field in filter_fields:
+                        # Достаточно, чтобы хотя бы одно поле попало под фильтр
+                        is_filtered = True
+                        break
+            else:
+                # Модель отслеживается, но перечень фильтруемых полей не задан,
+                # значит фильтруем все поля модели
+                is_filtered = True
+
+        return is_filtered

{edu-rdm-integration-0.4.4 → edu-rdm-integration-0.4.6}/src/edu_rdm_integration/collect_data/calculated/base/caches.py

@@ -28,6 +28,13 @@ from edu_rdm_integration.adapters.caches import (
 from edu_rdm_integration.collect_data.calculated.base.consts import (
     LOOKUP_SEP,
 )
+from educommon.utils.conversion import (
+    int_or_none,
+)
+
+from edu_rdm_integration.collect_data.base.mixins import (
+    ReformatLogsMixin,
+)
 
 
 class BaseCollectingCalculatedExportedDataRunnerCacheStorage(WebEduRunnerCacheStorage):
@@ -36,7 +43,7 @@ class BaseCollectingCalculatedExportedDataRunnerCacheStorage(WebEduRunnerCacheSt
     """
 
 
-class BaseCollectingCalculatedExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage):
+class BaseCollectingCalculatedExportedDataFunctionCacheStorage(ReformatLogsMixin, WebEduFunctionCacheStorage):
     """
     Базовый кеш помощников функций сбора расчетных данных для интеграции с "Региональная витрина данных".
     """
@@ -60,14 +67,6 @@ class BaseCollectingCalculatedExportedDataFunctionCacheStorage(WebEduFunctionCac
         # }
         self.logs = defaultdict(lambda: defaultdict(list))
 
-    def _reformat_logs(self):
-        """
-        Производится преобразование логов к удобному для работы виду.
-
-        Предполагается вложенные словари. На первом уровне ключом будет название
-        модели, на втором идентификатор записи.
-        """
-
     def _prepare_logs(self):
         """
         Подготовка логов для дальнейшей работы.

{edu-rdm-integration-0.4.4 → edu-rdm-integration-0.4.6}/src/edu_rdm_integration/collect_data/non_calculated/base/caches.py

@@ -67,7 +67,7 @@ class BaseCollectingExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage)
     Базовый кеш помощников функций сбора данных для интеграции с "Региональная витрина данных".
     """
 
-    def __init__(self, raw_logs, *args, **kwargs):
+    def __init__(self, raw_logs, is_merge_logs=False, *args, **kwargs):
         super().__init__(*args, **kwargs)
 
         # Необработанные логи как есть.
@@ -75,7 +75,7 @@ class BaseCollectingExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage)
 
         # TODO Перенести в базовый класс (https://jira.bars.group/browse/EDUSCHL-19991)
         # Необходимость объединения логов относящихся к одному объекту
-        self.is_merge_logs = True
+        self.is_merge_logs = is_merge_logs
 
         # Подготовленные логи в виде:
         # {
@@ -149,7 +149,20 @@ class BaseCollectingExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage)
             if log_change.operation == EntityLogOperation.DELETE:
                 self.logs[model][log.object_id] = [log_change, ]
             else:
-                self.logs[model][log.object_id].append(log_change)
+                if self.is_merge_logs:
+                    self._merge_logs(self.logs[model][log.object_id], log_change)
+                else:
+                    self.logs[model][log.object_id].append(log_change)
+
+    @staticmethod
+    def _merge_logs(log_changes: List[LogChange], log_change: LogChange):
+        """
+        Производит объединение (накопление) изменений полей в рамках одного объекта.
+        """
+        if log_changes:
+            log_changes[0].fields.update(log_change.fields)
+        else:
+            log_changes.append(log_change)
 
     def _prepare_logs(self):
         """

{edu-rdm-integration-0.4.4 → edu-rdm-integration-0.4.6}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.4.4
+Version: 0.4.6
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -206,6 +206,30 @@ ENABLE_REQUEST_EMULATION = True
  
 ### Исправлено
 
+## [0.4.6] - 2023-08-16
+
+Удален лишний вызов метода _prepare_logs
+
+### Добавлено
+
+### Изменено
+ 
+### Исправлено
+- [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
+  PATCH удален лишний вызов метода ```_prepare_logs``` в методе  ```__init__``` класса ```BaseCollectingCalculatedExportedDataFunctionCacheStorage```
+
+## [0.4.5] - 2023-08-09
+
+Объединение обрабатываемых логов относящихся к одному объекту
+
+### Добавлено
+
+- [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
+ PATCH Новый миксин ```ReformatLogsMixin``` , новое поле is_merge_logs и новый метод _merge_logs у класса ```BaseCollectingExportedDataFunctionCacheStorage```
+
+### Изменено
+ 
+### Исправлено
 
 ## [0.4.4] - 2023-08-12
  

{edu-rdm-integration-0.4.4 → edu-rdm-integration-0.4.6}/src/edu_rdm_integration.egg-info/SOURCES.txt

@@ -58,6 +58,7 @@ src/edu_rdm_integration/collect_data/base/__init__.py
 src/edu_rdm_integration/collect_data/base/caches.py
 src/edu_rdm_integration/collect_data/base/functions.py
 src/edu_rdm_integration/collect_data/base/managers.py
+src/edu_rdm_integration/collect_data/base/mixins.py
 src/edu_rdm_integration/collect_data/base/runners.py
 src/edu_rdm_integration/collect_data/calculated/__init__.py
 src/edu_rdm_integration/collect_data/calculated/strategies.py