edu-rdm-integration 0.8.5__tar.gz → 0.9.0__tar.gz

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/CHANGELOG.md

@@ -28,6 +28,40 @@
 
 ### Удалено
 
+## [0.9.0] - 2023-12-29
+
+Из ЭШ перенесены периодические задачи по сбору статусов загрузки файлов в витрину, а также
+по поиску зависших этапов/подэтапов экспорта.
+
+Также из ЭШ перенесены менедж-команды: 
+- check_upload_status - проверка состояния отправленных данных в витрину,
+- collect_lastest_models_data - сбор на основе логов за период с последней сборки до указанной даты,
+- export_latest_entities_data - экспорт данных за период с последней сборки до указанной даты.
+
+Типы получаемых из log_change.fields полей соответствуют типам полей из логируемых моделей.  
+
+### Добавлено
+
+- [EDUSCHL-21013](https://jira.bars.group/browse/EDUSCHL-21013)
+  MINOR Перенесена часть асинхронных РВД задач из ЭШ, а также часть менедж-команд
+
+### Изменено
+
+- [EDUSCHL-20793](https://jira.bars.group/browse/EDUSCHL-20793)
+  MINOR Типы получаемых из log_change.fields полей должны соответствовать типам полей из логируемых моделей
+
+
+## [0.8.6] - 2023-12-18
+
+В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к 
+  списковому типу (ArrayField).
+
+### Добавлено
+
+- [EDUSCHL-19606](https://jira.bars.group/browse/EDUSCHL-19606)
+  PATCH В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к 
+  списковому типу (ArrayField).
+
 
 ## [0.8.5] - 2023-12-14
 

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.8.5
+Version: 0.9.0
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -28,7 +28,8 @@ Requires-Dist: setuptools<69,>=47.3.1
 Requires-Dist: wheel<0.42,>=0.37.1
 Requires-Dist: transliterate<2
 Requires-Dist: Django<2.3,>=1.11
-Requires-Dist: educommon<4,>=3.6.0
+Requires-Dist: celery==4.4.7
+Requires-Dist: educommon<4,>=3.7.0
 Requires-Dist: function-tools<1,>=0.8.0
 Requires-Dist: m3-db-utils<1,>=0.3.10
 Requires-Dist: uploader-client<1,>=0.2.1
@@ -289,6 +290,40 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+## [0.9.0] - 2023-12-29
+
+Из ЭШ перенесены периодические задачи по сбору статусов загрузки файлов в витрину, а также
+по поиску зависших этапов/подэтапов экспорта.
+
+Также из ЭШ перенесены менедж-команды: 
+- check_upload_status - проверка состояния отправленных данных в витрину,
+- collect_lastest_models_data - сбор на основе логов за период с последней сборки до указанной даты,
+- export_latest_entities_data - экспорт данных за период с последней сборки до указанной даты.
+
+Типы получаемых из log_change.fields полей соответствуют типам полей из логируемых моделей.  
+
+### Добавлено
+
+- [EDUSCHL-21013](https://jira.bars.group/browse/EDUSCHL-21013)
+  MINOR Перенесена часть асинхронных РВД задач из ЭШ, а также часть менедж-команд
+
+### Изменено
+
+- [EDUSCHL-20793](https://jira.bars.group/browse/EDUSCHL-20793)
+  MINOR Типы получаемых из log_change.fields полей должны соответствовать типам полей из логируемых моделей
+
+
+## [0.8.6] - 2023-12-18
+
+В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к 
+  списковому типу (ArrayField).
+
+### Добавлено
+
+- [EDUSCHL-19606](https://jira.bars.group/browse/EDUSCHL-19606)
+  PATCH В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к 
+  списковому типу (ArrayField).
+
 
 ## [0.8.5] - 2023-12-14
 

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/requirements/dependencies/external_packages.txt

@@ -1,2 +1,3 @@
 transliterate<2
 Django>=1.11,<2.3
+celery==4.4.7

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/requirements/dependencies/internal_packages.txt

@@ -1,4 +1,4 @@
-educommon>=3.6.0,<4
+educommon>=3.7.0,<4
 function-tools>=0.8.0,<1
 m3-db-utils>=0.3.10,<1
-uploader-client>=0.2.1,<1
+uploader-client>=0.2.1,<1

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '0.8.5'
+VERSION = '0.9.0'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/src/edu_rdm_integration/collect_data/base/mixins.py

@@ -36,7 +36,7 @@ class ReformatLogsMixin:
             operation = LOG_OPERATION_MAP[log.operation]
 
             if operation in EntityLogOperation.values:
-                fields = log.data
+                fields = log.transformed_data
             else:
                 fields = {}
 

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/src/edu_rdm_integration/collect_data/non_calculated/base/caches.py

@@ -131,9 +131,9 @@ class BaseCollectingExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage)
             operation = LOG_OPERATION_MAP[log.operation]
 
             if operation in (EntityLogOperation.CREATE, EntityLogOperation.DELETE):
-                fields = log.data
+                fields = log.transformed_data
             elif operation == EntityLogOperation.UPDATE:
-                fields = log.changes
+                fields = log.transformed_changes
             else:
                 fields = {}
 

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/src/edu_rdm_integration/collect_data/tests.py

@@ -165,6 +165,8 @@ class BaseCollectingFunctionTestCase(TestCase):
                 fields[key] = str(value)
             elif isinstance(value, FieldFile):
                 fields[key] = value.name
+            elif isinstance(value, list):
+                fields[key] = f'{{{",".join(map(str, value))}}}'
             else:
                 fields[key] = value
 

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/src/edu_rdm_integration/export_data/export.py

@@ -44,6 +44,9 @@ from django.utils.datastructures import (
 from educommon import (
     logger,
 )
+from educommon.async_task.models import (
+    RunningTask,
+)
 from educommon.utils.date import (
     get_today_max_datetime,
 )
@@ -126,12 +129,11 @@ class BaseExportEntitiesData(BaseOperationData):
         #TODO Вынужденная мера, т.к. при запуске команды не производится проверка готовности конфигов приложений.
           # Нужно переработать механизм конфигурирования клиента загрузчика.
         """
+        import uploader_client
         from django.core.cache import (
             DEFAULT_CACHE_ALIAS,
             caches,
         )
-
-        import uploader_client
         from uploader_client.contrib.rdm.interfaces.configurations import (
             RegionalDataMartUploaderConfig,
         )
@@ -290,7 +292,7 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
         """Добавляет в описание асинхронной задачи список выгруженных сущностей."""
         if exported_entities and self.task_id:
             self.async_task.objects.filter(
-                task_id=self.task_id,
+                pk=self.task_id,
             ).update(
                 description=Concat(
                     'description',
@@ -406,3 +408,11 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
 
 class ExportEntitiesData(BaseExportEntitiesData):
     """Экспорт сущностей РВД за указанных период."""
+
+
+class ExportLatestEntitiesData(BaseExportLatestEntitiesData):
+    """Класс выгрузки сущностей с момента последней успешной выгрузки."""
+
+    def _get_async_task(self) -> Model:
+        """Возвращает модель асинхронной задачи."""
+        return RunningTask

edu-rdm-integration-0.9.0/src/edu_rdm_integration/helpers.py

@@ -0,0 +1,137 @@
+from concurrent.futures import (
+    ThreadPoolExecutor,
+)
+from json import (
+    JSONDecodeError,
+)
+from typing import (
+    TYPE_CHECKING,
+    Any,
+    Dict,
+    Optional,
+    Tuple,
+)
+
+from django.db import (
+    transaction,
+)
+from django.db.models import (
+    QuerySet,
+)
+from uploader_client.adapters import (
+    adapter,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.export_data.base.requests import (
+    RegionalDataMartStatusRequest,
+)
+from edu_rdm_integration.models import (
+    DataMartRequestStatus,
+    ExportingDataSubStageUploaderClientLog,
+    UploadStatusRequestLog,
+)
+
+
+if TYPE_CHECKING:
+    from uploader_client.models import (
+        Entry,
+    )
+
+
+class UploadStatusHelper:
+    """Хелпер проверки статуса загрузки данных в витрину."""
+
+    def __init__(self, in_progress_uploads: QuerySet) -> None:
+        self._in_progress_uploads = in_progress_uploads
+
+    def run(self, thread_count: int = 1) -> None:
+        """Запускает проверки статусов."""
+        if thread_count > 1:
+            with ThreadPoolExecutor(max_workers=thread_count) as pool:
+                pool.map(self._process_upload, self._in_progress_uploads)
+        else:
+            for upload in self._in_progress_uploads:
+                self._process_upload(upload)
+
+    @classmethod
+    def send_upload_status_request(cls, request_id: str) -> Tuple[Optional[Dict[str, Any]], 'Entry']:
+        """Формирует и отправляет запрос для получения статуса загрузки данных в витрину."""
+        request = RegionalDataMartStatusRequest(
+            request_id=request_id,
+            method='GET',
+            parameters={},
+            headers={
+                'Content-Type': 'application/json',
+            },
+        )
+
+        result = adapter.send(request)
+
+        response = None
+
+        if result.error:
+            logger.error(
+                f'Ошибка при получении статуса загрузки данных в витрину. Идентификатор загрузки: {request_id}. '
+                f'Ошибка: {result.error}, запрос: {result.log.request}, ответ: {result.log.response}',
+            )
+        else:
+            logger.info(
+                f'Получен ответ со статусом {result.response.status_code} и содержимым {result.response.text}. '
+                f'Идентификатор загрузки: {request_id}',
+            )
+            try:
+                response = result.response.json()
+            except JSONDecodeError:
+                logger.error(
+                    f'Не удалось получить данные из ответа запроса статуса загрузки данных в витрину. '
+                    f'Идентификатор загрузки: {request_id}, ответ: {result.response.text}',
+                )
+
+        return response, result.log
+
+    @classmethod
+    def update_upload_status(
+        cls,
+        upload: ExportingDataSubStageUploaderClientLog,
+        response: Optional[Dict[str, Any]],
+        log_entry: 'Entry',
+    ) -> None:
+        """Обновляет статус загрузки данных в витрину."""
+        request_status = None
+
+        if isinstance(response, dict):
+            request_status = DataMartRequestStatus.get_values_to_enum_data().get(response.get('code'))
+
+            if not request_status:
+                logger.error(
+                    'Не удалось определить статус загрузки данных в витрину. Идентификатор загрузки: '
+                    f'{upload.request_id}, данные ответа: {response}',
+                )
+
+        with transaction.atomic():
+            UploadStatusRequestLog.objects.create(
+                upload=upload,
+                entry=log_entry,
+                request_status_id=getattr(request_status, 'key', None),
+            )
+
+            if request_status in {DataMartRequestStatus.FAILED_PROCESSING, DataMartRequestStatus.REQUEST_ID_NOT_FOUND}:
+                upload.file_upload_status = FileUploadStatusEnum.ERROR
+
+            elif request_status == DataMartRequestStatus.SUCCESSFULLY_PROCESSED:
+                upload.file_upload_status = FileUploadStatusEnum.FINISHED
+
+            if upload.file_upload_status != FileUploadStatusEnum.IN_PROGRESS:
+                upload.save()
+
+    def _process_upload(self, upload: ExportingDataSubStageUploaderClientLog) -> None:
+        """Обрабатывает запись загрузки данных в витрину."""
+        response, log_entry = self.send_upload_status_request(upload.request_id)
+        self.update_upload_status(upload, response, log_entry)

edu-rdm-integration-0.9.0/src/edu_rdm_integration/management/commands/check_upload_status.py

@@ -0,0 +1,97 @@
+"""
+Команда для проверки состояния отправленных в витрину данных.
+
+Необязательные параметры:
+--period_started_at - дата и время начала периода загрузки данных в витрину
+--period_ended_at - дата и время конца периода загрузки данных в витрину
+--thread_count - количество потоков для обработки
+
+Пример использования:
+python manage.py check_upload_status --period_started_at="01.11.2023 10:00:00" --thread_count=4
+"""
+from datetime import (
+    date,
+    datetime,
+    time,
+)
+from typing import (
+    TYPE_CHECKING,
+    Any,
+    Dict,
+    Tuple,
+)
+
+from django.core.management.base import (
+    BaseCommand,
+)
+
+from edu_rdm_integration.consts import (
+    DATETIME_FORMAT,
+)
+from edu_rdm_integration.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.helpers import UploadStatusHelper
+from edu_rdm_integration.models import (
+    ExportingDataSubStageUploaderClientLog,
+)
+
+
+if TYPE_CHECKING:
+    from django.core.management.base import (
+        CommandParser,
+    )
+
+
+class Command(BaseCommand):
+    """Команда для проверки состояния отправленных в витрину данных."""
+
+    help = 'Команда для проверки состояния отправленных в витрину данных'  # noqa: A003
+
+    def add_arguments(self, parser: 'CommandParser') -> None:
+        """Добавляет аргументы парсера."""
+        parser.add_argument(
+            '--period_started_at',
+            action='store',
+            dest='period_started_at',
+            type=lambda started_at: datetime.strptime(started_at, DATETIME_FORMAT),
+            default=datetime.combine(date.today(), time.min),
+            help=(
+                'Дата и время начала периода загрузки данных в витрину. Значение предоставляется в формате '
+                '"дд.мм.гггг чч:мм:сс". По умолчанию, сегодняшний день, время 00:00:00.'
+            ),
+        )
+
+        parser.add_argument(
+            '--period_ended_at',
+            action='store',
+            dest='period_ended_at',
+            type=lambda ended_at: datetime.strptime(ended_at, DATETIME_FORMAT),
+            default=datetime.combine(date.today(), time.max),
+            help=(
+                'Дата и время конца периода загрузки данных в витрину. Значение предоставляется в формате '
+                '"дд.мм.гггг чч:мм:сс". По умолчанию, сегодняшний день, время 23:59:59.'
+            ),
+        )
+
+        parser.add_argument(
+            '--thread_count',
+            default=1,
+            type=int,
+            help='Количество потоков для обработки. По умолчанию, 1.',
+        )
+
+    def handle(self, *args: Tuple[Any], **kwargs: Dict[str, Any]) -> None:
+        """Обработчик команды."""
+        thread_count = kwargs['thread_count']
+        if thread_count < 1:
+            raise ValueError(f'Количество потоков {thread_count} должно быть больше 0.')
+
+        in_progress_attachment_uploads = ExportingDataSubStageUploaderClientLog.objects.filter(
+            created__gte=kwargs['period_started_at'],
+            created__lte=kwargs['period_ended_at'],
+            is_emulation=False,
+            file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+        )
+
+        UploadStatusHelper(in_progress_attachment_uploads).run(thread_count=thread_count)

edu-rdm-integration-0.9.0/src/edu_rdm_integration/management/commands/collect_latest_models_data.py

@@ -0,0 +1,20 @@
+from edu_rdm_integration.collect_data.collect import (
+    BaseCollectLatestModelsData,
+    BaseCollectModelsData,
+)
+from edu_rdm_integration.management.general import (
+    BaseCollectModelDataCommand,
+)
+
+
+class Command(BaseCollectModelDataCommand):
+    """
+    Команда для сбора на основе логов за период с последней сборки до указанной даты.
+    """
+
+    def _prepare_collect_models_data_class(self, *args, **kwargs) -> BaseCollectModelsData:
+        return BaseCollectLatestModelsData(
+            models=kwargs.get('models'),
+            logs_period_started_at=kwargs.get('logs_period_started_at'),
+            logs_period_ended_at=kwargs.get('logs_period_ended_at'),
+        )

edu-rdm-integration-0.9.0/src/edu_rdm_integration/management/commands/export_latest_entities_data.py

@@ -0,0 +1,26 @@
+from edu_rdm_integration.export_data.export import (
+    BaseExportEntitiesData,
+    ExportLatestEntitiesData,
+)
+from edu_rdm_integration.management.general import (
+    BaseExportEntityDataCommand,
+)
+
+
+class Command(BaseExportEntityDataCommand):
+    """
+    Команда для экспорта данных за период с последней сборки до указанной даты.
+    """
+
+    # flake8: noqa: A003
+    help = 'Команда для запуска функции экспорта данных для интеграции с "Региональная витрина данных"'
+
+    def _prepare_export_entities_data_class(self, *args, **kwargs) -> BaseExportEntitiesData:
+        """Возвращает объект класса экспорта данных сущностей РВД."""
+        return ExportLatestEntitiesData(
+            entities=kwargs.get('entities'),
+            period_started_at=kwargs.get('period_started_at'),
+            period_ended_at=kwargs.get('period_ended_at'),
+            task_id=kwargs.get('task_id'),
+            update_modified=kwargs.get('update_modified'),
+        )

edu-rdm-integration-0.9.0/src/edu_rdm_integration/tasks.py

@@ -0,0 +1,94 @@
+from celery.schedules import (
+    crontab,
+)
+from django.conf import (
+    settings,
+)
+
+from educommon.async_task.models import (
+    AsyncTaskType,
+)
+from educommon.async_task.tasks import (
+    PeriodicAsyncTask,
+)
+
+from edu_rdm_integration.collect_data.helpers import (
+    set_failed_status_suspended_collecting_data_stages,
+)
+from edu_rdm_integration.consts import (
+    TASK_QUEUE_NAME,
+)
+from edu_rdm_integration.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.export_data.helpers import (
+    set_failed_status_suspended_exporting_data_stages,
+)
+from edu_rdm_integration.helpers import (
+    UploadStatusHelper,
+)
+from edu_rdm_integration.models import (
+    ExportingDataSubStageUploaderClientLog,
+)
+
+
+class RDMCheckUploadStatus(PeriodicAsyncTask):
+    """Периодическая задача для сбора статусов по загрузке файла в витрину."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Сбор статусов загрузки данных в витрину "Региональная витрина данных"'
+    task_type = AsyncTaskType.UNKNOWN
+    run_every = crontab(
+        minute=settings.RDM_UPLOAD_STATUS_TASK_MINUTE,
+        hour=settings.RDM_UPLOAD_STATUS_TASK_HOUR,
+        day_of_week=settings.RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK,
+    )
+
+    def process(self, *args, **kwargs):
+        """Выполнение."""
+        super().process(*args, **kwargs)
+
+        # Получаем незавершенные загрузки данных в витрину
+        in_progress_uploads = ExportingDataSubStageUploaderClientLog.objects.filter(
+            file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+            is_emulation=False,
+        )
+
+        UploadStatusHelper(in_progress_uploads).run()
+
+
+class CheckSuspendedExportedStagePeriodicTask(PeriodicAsyncTask):
+    """Периодическая задача поиска зависших этапов/подэтапов экспорта."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Поиск зависших этапов/подэтапов экспорта в "Региональная витрина данных"'
+    task_type = AsyncTaskType.SYSTEM
+    run_every = crontab(
+        minute=settings.RDM_CHECK_SUSPEND_TASK_MINUTE,
+        hour=settings.RDM_CHECK_SUSPEND_TASK_HOUR,
+        day_of_week=settings.RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK,
+    )
+
+    def process(self, *args, **kwargs):
+        """Выполнение задачи."""
+        super().process(*args, **kwargs)
+
+        change_status_collecting_result = set_failed_status_suspended_collecting_data_stages()
+        change_status_exporting_result = set_failed_status_suspended_exporting_data_stages()
+
+        task_result = {
+            'Прервано сборок': (
+                f'Этапов {change_status_collecting_result["change_stage_count"]}'
+                f' и подэтапов {change_status_collecting_result["change_sub_stage_count"]}'
+            ),
+            'Прервано выгрузок': (
+                f'Этапов {change_status_exporting_result["change_stage_count"]}'
+                f' и подэтапов {change_status_exporting_result["change_sub_stage_count"]}'
+            ),
+        }
+
+        self.set_progress(
+            values=task_result
+        )

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.8.5
+Version: 0.9.0
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -28,7 +28,8 @@ Requires-Dist: setuptools<69,>=47.3.1
 Requires-Dist: wheel<0.42,>=0.37.1
 Requires-Dist: transliterate<2
 Requires-Dist: Django<2.3,>=1.11
-Requires-Dist: educommon<4,>=3.6.0
+Requires-Dist: celery==4.4.7
+Requires-Dist: educommon<4,>=3.7.0
 Requires-Dist: function-tools<1,>=0.8.0
 Requires-Dist: m3-db-utils<1,>=0.3.10
 Requires-Dist: uploader-client<1,>=0.2.1
@@ -289,6 +290,40 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+## [0.9.0] - 2023-12-29
+
+Из ЭШ перенесены периодические задачи по сбору статусов загрузки файлов в витрину, а также
+по поиску зависших этапов/подэтапов экспорта.
+
+Также из ЭШ перенесены менедж-команды: 
+- check_upload_status - проверка состояния отправленных данных в витрину,
+- collect_lastest_models_data - сбор на основе логов за период с последней сборки до указанной даты,
+- export_latest_entities_data - экспорт данных за период с последней сборки до указанной даты.
+
+Типы получаемых из log_change.fields полей соответствуют типам полей из логируемых моделей.  
+
+### Добавлено
+
+- [EDUSCHL-21013](https://jira.bars.group/browse/EDUSCHL-21013)
+  MINOR Перенесена часть асинхронных РВД задач из ЭШ, а также часть менедж-команд
+
+### Изменено
+
+- [EDUSCHL-20793](https://jira.bars.group/browse/EDUSCHL-20793)
+  MINOR Типы получаемых из log_change.fields полей должны соответствовать типам полей из логируемых моделей
+
+
+## [0.8.6] - 2023-12-18
+
+В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к 
+  списковому типу (ArrayField).
+
+### Добавлено
+
+- [EDUSCHL-19606](https://jira.bars.group/browse/EDUSCHL-19606)
+  PATCH В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к 
+  списковому типу (ArrayField).
+
 
 ## [0.8.5] - 2023-12-14
 

{edu-rdm-integration-0.8.5 → edu-rdm-integration-0.9.0}/src/edu_rdm_integration.egg-info/SOURCES.txt

@@ -23,10 +23,12 @@ src/edu_rdm_integration/base.py
 src/edu_rdm_integration/consts.py
 src/edu_rdm_integration/entities.py
 src/edu_rdm_integration/enums.py
+src/edu_rdm_integration/helpers.py
 src/edu_rdm_integration/mapping.py
 src/edu_rdm_integration/models.py
 src/edu_rdm_integration/signals.py
 src/edu_rdm_integration/storages.py
+src/edu_rdm_integration/tasks.py
 src/edu_rdm_integration/utils.py
 src/edu_rdm_integration.egg-info/PKG-INFO
 src/edu_rdm_integration.egg-info/SOURCES.txt
@@ -154,10 +156,13 @@ src/edu_rdm_integration/function_templates/function_export_data_template/validat
 src/edu_rdm_integration/management/__init__.py
 src/edu_rdm_integration/management/general.py
 src/edu_rdm_integration/management/commands/__init__.py
+src/edu_rdm_integration/management/commands/check_upload_status.py
+src/edu_rdm_integration/management/commands/collect_latest_models_data.py
 src/edu_rdm_integration/management/commands/collect_models_data.py
 src/edu_rdm_integration/management/commands/datamart_status.py
 src/edu_rdm_integration/management/commands/datamart_upload.py
 src/edu_rdm_integration/management/commands/export_entities_data.py
+src/edu_rdm_integration/management/commands/export_latest_entities_data.py
 src/edu_rdm_integration/migrations/0001_initial.py
 src/edu_rdm_integration/migrations/0002_init_data_uploadstatus.py
 src/edu_rdm_integration/migrations/0003_create_index_file_upload_status.py