edu-rdm-integration 3.2.7__tar.gz → 3.3.3__tar.gz

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.3.3}/CHANGELOG.md

@@ -28,6 +28,54 @@
 
 ### Удалено
 
+## 3.3.3 - 2024-08-19
+Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask 
+с учетом многопоточности, скорректированы номера миграций
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Добавлен параметр export_off в модель TransferredEntity и изменен порядок запуска сбора и экспорта в
+  TransferLatestEntitiesDataPeriodicTask. Скорректированы номера миграций
+
+
+## 3.3.2  - 2024-07-16
+Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
+
+### Изменено
+- [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
+  PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
+
+
+## 3.3.1 - 2024-06-13
+Удалён устаревший параметр logs_sub_period_days у базового класса команды сбора данных BaseCollectModelsDataByGeneratingLogsCommand.
+Добавлен таймаут для сохранения информации об объемах файла в кеш.
+
+### Изменено
+- [EDUSCHL-20649](https://jira.bars.group/browse/EDUSCHL-20649)
+  MINOR Удалён устаревший параметр logs_sub_period_days у базового класса команды сбора данных BaseCollectModelsDataByGeneratingLogsCommand
+
+### Исправлено
+- [EDUSCHL-21835](https://jira.bars.group/browse/EDUSCHL-21835)
+  PATCH Реализация многопоточной выгрузки
+
+
+## 3.3.0 - 2024-06-06
+Отправка файлов в РВД вынесена в отдельную задачу UploadDataAsyncTask, добавлен кеш файлов и очередь подэтапов отправки,
+а также расчет объемов отправляемых файлов
+
+### Изменено
+- [EDUSCHL-21835](https://jira.bars.group/browse/EDUSCHL-21835)
+  MINOR Реализация многопоточной выгрузки
+
+
+## 3.2.8 - 2024-08-02
+Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+
 ## 3.2.7 - 2024-07-31
 Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
 
@@ -35,6 +83,7 @@
 - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
   PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
 
+
 ## 3.2.6 - 2024-07-23
 Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
 Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
@@ -52,6 +101,15 @@
 - [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
   PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
 
+
+## 3.2.5  - 2024-07-16
+Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
+
+### Изменено
+- [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
+  PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
+
+
 ## 3.2.4 - 2024-07-16
 Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
 

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.3.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.2.7
+Version: 3.3.3
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -301,6 +301,54 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+## 3.3.3 - 2024-08-19
+Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask 
+с учетом многопоточности, скорректированы номера миграций
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Добавлен параметр export_off в модель TransferredEntity и изменен порядок запуска сбора и экспорта в
+  TransferLatestEntitiesDataPeriodicTask. Скорректированы номера миграций
+
+
+## 3.3.2  - 2024-07-16
+Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
+
+### Изменено
+- [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
+  PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
+
+
+## 3.3.1 - 2024-06-13
+Удалён устаревший параметр logs_sub_period_days у базового класса команды сбора данных BaseCollectModelsDataByGeneratingLogsCommand.
+Добавлен таймаут для сохранения информации об объемах файла в кеш.
+
+### Изменено
+- [EDUSCHL-20649](https://jira.bars.group/browse/EDUSCHL-20649)
+  MINOR Удалён устаревший параметр logs_sub_period_days у базового класса команды сбора данных BaseCollectModelsDataByGeneratingLogsCommand
+
+### Исправлено
+- [EDUSCHL-21835](https://jira.bars.group/browse/EDUSCHL-21835)
+  PATCH Реализация многопоточной выгрузки
+
+
+## 3.3.0 - 2024-06-06
+Отправка файлов в РВД вынесена в отдельную задачу UploadDataAsyncTask, добавлен кеш файлов и очередь подэтапов отправки,
+а также расчет объемов отправляемых файлов
+
+### Изменено
+- [EDUSCHL-21835](https://jira.bars.group/browse/EDUSCHL-21835)
+  MINOR Реализация многопоточной выгрузки
+
+
+## 3.2.8 - 2024-08-02
+Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+
 ## 3.2.7 - 2024-07-31
 Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
 
@@ -308,6 +356,7 @@ Requires-Dist: uploader-client<1,>=0.2.1
 - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
   PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
 
+
 ## 3.2.6 - 2024-07-23
 Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
 Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
@@ -325,6 +374,15 @@ Requires-Dist: uploader-client<1,>=0.2.1
 - [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
   PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
 
+
+## 3.2.5  - 2024-07-16
+Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
+
+### Изменено
+- [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
+  PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
+
+
 ## 3.2.4 - 2024-07-16
 Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
 

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.3.3}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '3.2.7'
+VERSION = '3.3.3'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.3.3}/src/edu_rdm_integration/app_settings.py

@@ -43,3 +43,8 @@ RDM_UPLOAD_STATUS_TASK_MINUTE = '*/30'
 RDM_UPLOAD_STATUS_TASK_HOUR = '*'
 RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = '*'
 RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 2
+
+# Настройка очереди Redis для формирования файлов РВД
+RDM_UPLOAD_QUEUE_MAX_SIZE = 500_000_000
+# Таймаут для сохранения параметров в общем кеш
+RDM_REDIS_CACHE_TIMEOUT_SECONDS = 60 * 60 * 2

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.3.3}/src/edu_rdm_integration/collect_data/collect.py

@@ -3,7 +3,6 @@ from datetime import (
     date,
     datetime,
     time,
-    timedelta,
 )
 from typing import (
     TYPE_CHECKING,
@@ -42,7 +41,6 @@ from edu_rdm_integration.base import (
     BaseOperationData,
 )
 from edu_rdm_integration.consts import (
-    LOGS_SUB_PERIOD_DAYS,
     REGIONAL_DATA_MART_INTEGRATION_COLLECTING_DATA,
 )
 from edu_rdm_integration.helpers import (
@@ -195,13 +193,11 @@ class BaseCollectModelsDataByGeneratingLogs(BaseCollectModelsData):
         models: Iterable[str],
         logs_period_started_at=datetime.combine(date.today(), time.min),
         logs_period_ended_at=datetime.combine(date.today(), time.min),
-        logs_sub_period_days=LOGS_SUB_PERIOD_DAYS,
         institute_ids=(),
         **kwargs,
     ):
         super().__init__(models, logs_period_started_at, logs_period_ended_at, **kwargs)
 
-        self.logs_sub_period_days = logs_sub_period_days
         # Учебные заведения, для которых производится выгрузка
         self.institute_ids = institute_ids
         # Генератор логов
@@ -211,42 +207,11 @@ class BaseCollectModelsDataByGeneratingLogs(BaseCollectModelsData):
         """Возвращает генератор логов."""
         raise NotImplementedError
 
-    def _generate_logs_by_subperiod(self):
-        """
-        Генерация логов с учетом подпериодов.
-        """
-        temp_logs_period_started_at = self.logs_period_started_at
-        temp_logs_period_ended_at = self.logs_period_started_at + timedelta(days=self.logs_sub_period_days)
-
-        if temp_logs_period_ended_at > self.logs_period_ended_at:
-            temp_logs_period_ended_at = self.logs_period_ended_at
-
-        temp_logs: Dict[str, List['AuditLog']] = {}
-
-        while temp_logs_period_started_at < temp_logs_period_ended_at <= self.logs_period_ended_at:
-            for model in self.models:
-                logs = self.log_generator.generate(
-                    model=model,
-                    logs_period_started_at=temp_logs_period_started_at,
-                    logs_period_ended_at=temp_logs_period_ended_at,
-                    institute_ids=self.institute_ids,
-                )
-
-                temp_logs[model.key] = logs
-
-            yield temp_logs, temp_logs_period_started_at, temp_logs_period_ended_at
-
-            temp_logs_period_started_at = temp_logs_period_ended_at
-            temp_logs_period_ended_at += timedelta(days=self.logs_sub_period_days)
-
-            if temp_logs_period_ended_at > self.logs_period_ended_at:
-                temp_logs_period_ended_at = self.logs_period_ended_at
-
-            temp_logs.clear()
+    def _generate_logs(self) -> List[Tuple[Dict[str, List['AuditLog']], datetime, datetime]]:
+        """Генерация логов.
 
-    def _generate_logs_for_all_period(self):
-        """
-        Генерация логов за весь период.
+        Осуществляет генерацию логов по уже существующим записям в базе данных. В качестве параметров указываются
+        начало и конец периода сбора логов. Генерация логов производится только для указанных моделей.
         """
         temp_logs: Dict[str, List['AuditLog']] = {}
 
@@ -262,21 +227,6 @@ class BaseCollectModelsDataByGeneratingLogs(BaseCollectModelsData):
 
         return [(temp_logs, self.logs_period_started_at, self.logs_period_ended_at)]
 
-    def _generate_logs(self) -> List[Tuple[Dict[str, List['AuditLog']], datetime, datetime]]:
-        """
-        Генерация логов.
-
-        Осуществляет генерацию логов по уже существующим записям в базе данных. В качестве параметров указываются
-        начало и конец периода сбора логов, размер подпериодов, на которые должен быть разбит основной период.
-        Генерация логов производится только для указанных моделей.
-        """
-        if self.logs_sub_period_days:
-            logs = self._generate_logs_by_subperiod()
-        else:
-            logs = self._generate_logs_for_all_period()
-
-        return logs
-
     def _collect(self):
         """
         Собирает данные моделей РВД.

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.3.3}/src/edu_rdm_integration/consts.py

@@ -19,7 +19,6 @@ LOGS_DELIMITER = '    '
 
 HASH_ALGORITHM = 'md_gost12_512'
 
-LOGS_SUB_PERIOD_DAYS = 0
 BATCH_SIZE = 5000
 
 ACADEMIC_YEAR = {

{edu-rdm-integration-3.2.7 → edu-rdm-integration-3.3.3}/src/edu_rdm_integration/export_data/base/functions.py

@@ -1,22 +1,12 @@
-import json
 from abc import (
     ABCMeta,
 )
-from pathlib import (
-    Path,
-)
 from typing import (
-    Dict,
     List,
-    Optional,
-    Tuple,
     Type,
     Union,
 )
 
-from django.conf import (
-    settings,
-)
 from django.core.files.base import (
     ContentFile,
 )
@@ -26,9 +16,6 @@ from django.core.files.storage import (
 from transliterate import (
     slugify,
 )
-from uploader_client.adapters import (
-    adapter,
-)
 
 from educommon import (
     logger,
@@ -46,22 +33,9 @@ from edu_rdm_integration.adapters.functions import (
 from edu_rdm_integration.consts import (
     LOGS_DELIMITER,
 )
-from edu_rdm_integration.enums import (
-    FileUploadStatusEnum,
-)
-from edu_rdm_integration.export_data.base.consts import (
-    OPERATIONS_METHODS_MAP,
-    OPERATIONS_URLS_MAP,
-)
-from edu_rdm_integration.export_data.base.errors import (
-    BaseExportDataError,
-)
 from edu_rdm_integration.export_data.base.helpers import (
     BaseExportDataFunctionHelper,
 )
-from edu_rdm_integration.export_data.base.requests import (
-    RegionalDataMartEntityRequest,
-)
 from edu_rdm_integration.export_data.base.results import (
     BaseExportDataFunctionResult,
 )
@@ -75,8 +49,8 @@ from edu_rdm_integration.models import (
     ExportingDataStage,
     ExportingDataSubStage,
     ExportingDataSubStageAttachment,
+    ExportingDataSubStageEntity,
     ExportingDataSubStageStatus,
-    ExportingDataSubStageUploaderClientLog,
 )
 from edu_rdm_integration.utils import (
     get_exporting_data_stage_attachment_path,
@@ -99,6 +73,10 @@ class BaseExportDataFunction(
             stage=stage,
             function_id=self.uuid,
         )
+        ExportingDataSubStageEntity.objects.create(
+            exporting_data_sub_stage=self._sub_stage,
+            entity_id=self.first_entity.key
+        )
         # Проставление подэтапа выгрузки
         self.entities[0].main_model_enum.model.objects.filter(pk__in=model_ids).update(
             exporting_sub_stage=self._sub_stage,
@@ -116,11 +94,7 @@ class BaseExportDataFunction(
             EntityLogOperation.DELETE: [],
         }
 
-        self._file_contents: Dict[int, Optional[Tuple[Optional[str], Optional[ExportingDataSubStageAttachment]]]] = {
-            EntityLogOperation.CREATE: (None, None),
-            EntityLogOperation.UPDATE: (None, None),
-            EntityLogOperation.DELETE: (None, None),
-        }
+        self.has_data = False
 
     def _prepare_helper_class(self) -> Type[BaseExportDataFunctionHelper]:
         """
@@ -201,8 +175,10 @@ class BaseExportDataFunction(
         Формирование файлов для дальнейшей выгрузки.
         """
         logger.info(f'{LOGS_DELIMITER * 3}{self.__class__.__name__} prepare files..')
+        has_record = False
 
         for operation in EntityLogOperation.values.keys():
+
             records = self._data[operation]
             if records:
                 title_record = (
@@ -230,83 +206,12 @@ class BaseExportDataFunction(
                 )
 
                 sub_stage_attachment.attachment = default_storage.save(file_path, ContentFile(joined_records))
+                sub_stage_attachment.attachment_size = sub_stage_attachment.attachment.size
 
                 self.do_on_save(sub_stage_attachment)
+                has_record |= True
 
-                self._file_contents[operation] = (file_path, sub_stage_attachment)
-
-    def _send_files(self):
-        """
-        Отправка файлов в "Региональная витрина данных".
-        """
-        # TODO При старте проекта и инициализации приложения function_tools происходит поиск стратегий. При поиске
-        #  возникает ошибка "Не произведена настройка клиента". Настройка производится в конфиге
-        #  приложения regional_data_mart_integration. Нужно доработать механизм так, чтобы сборка стратегий запускалась
-        #  после готовности всех приложений.
-
-        logger.info(f'{LOGS_DELIMITER * 3}{self.__class__.__name__} send files..')
-
-        requests_result = []
-
-        for operation, (relative_file_path, sub_stage_attachment) in self._file_contents.items():
-            if relative_file_path:
-                if settings.RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION:
-                    logger.warning(
-                        f'{LOGS_DELIMITER * 3}ATTENTION!!! REGIONAL DATA MART INTEGRATION REQUEST EMULATION ENABLED!'
-                    )
-
-                method = OPERATIONS_METHODS_MAP.get(operation)
-                file_path = Path.joinpath(Path(settings.MEDIA_ROOT), relative_file_path)
-
-                request = RegionalDataMartEntityRequest(
-                    datamart_name=settings.RDM_UPLOADER_CLIENT_DATAMART_NAME,
-                    table_name=self.first_entity.key.lower(),
-                    method=method,
-                    operation=OPERATIONS_URLS_MAP.get(operation),
-                    parameters={},
-                    headers={
-                        'Content-Type': 'text/csv',
-                    },
-                    files=[],
-                    data=file_path.open('rb').read(),
-                )
-
-                result = adapter.send(request)
-
-                request_id = ''
-                if not result.error:
-                    request_id = result.response.text
-
-                file_upload_status = FileUploadStatusEnum.IN_PROGRESS if request_id else FileUploadStatusEnum.ERROR
-
-                sub_stage_uploader_client_log = ExportingDataSubStageUploaderClientLog(
-                    entry=result.log,
-                    sub_stage=self._sub_stage,
-                    attachment=sub_stage_attachment,
-                    request_id=request_id,
-                    file_upload_status=file_upload_status,
-                    is_emulation=settings.RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION,
-                )
-
-                self.do_on_save(sub_stage_uploader_client_log)
-
-                if result.error:
-                    logger.warning(
-                        f'{result.error}\nrequest - "{result.log.request}"\nresponse - "{result.log.response}"'
-                    )
-
-                    error = BaseExportDataError(
-                        message=result.error,
-                    )
-                    self.result.append_entity(entity=error)
-
-                    break
-                else:
-                    logger.info(
-                        f'Response with {result.response.status_code} code and content {result.response.text}'
-                    )
-
-                requests_result.append(result)
+        self.has_data = has_record
 
     def _prepare(self, *args, **kwargs):
         """
@@ -316,7 +221,6 @@ class BaseExportDataFunction(
             if self.helper.cache.entity_instances:
                 self._prepare_data()
                 self._prepare_files()
-                self._send_files()
             else:
                 logger.info(f'{LOGS_DELIMITER * 3} no data for preparing.')
 
@@ -342,7 +246,10 @@ class BaseExportDataFunction(
         super().run(*args, **kwargs)
 
         if self.result.has_not_errors:
-            self._sub_stage.status_id = ExportingDataSubStageStatus.FINISHED.key
+            self._sub_stage.status_id = (
+                ExportingDataSubStageStatus.FINISHED.key if not self.has_data
+                else ExportingDataSubStageStatus.READY_FOR_EXPORT.key
+            )
         else:
             self._sub_stage.status_id = ExportingDataSubStageStatus.FAILED.key
 

edu-rdm-integration-3.3.3/src/edu_rdm_integration/export_data/consts.py

@@ -0,0 +1,6 @@
+DELIMITER = ';'
+
+# Разделитель между id подэтапа и сущностью в составном ключе очереди
+REDIS_QUEUE_KEY_DELIMITER = ':'
+# Ключ параметра Общий объем отправленных в РВД файлов
+TOTAL_ATTACHMENTS_SIZE_KEY = 'rdm:total_attachments_size'

edu-rdm-integration-3.3.3/src/edu_rdm_integration/export_data/dataclasses.py

@@ -0,0 +1,11 @@
+from typing import (
+    NamedTuple,
+)
+
+
+class UploadFile(NamedTuple):
+    """Структура файла подэтапа для очереди отправки."""
+    attachment_id: int
+    attachment_name: str
+    attachment_size: int
+    operation: str