edu-rdm-integration 0.8.6__py3-none-any.whl → 0.9.1__py3-none-any.whl

edu_rdm_integration/app_meta.py

@@ -0,0 +1,16 @@
+from educommon import (
+    ioc,
+)
+
+from edu_rdm_integration.registry.actions import (
+    EntitySelectPack,
+    TransferredEntityPack,
+)
+
+
+def register_actions():
+    """Регистрирует паки и экшны."""
+    ioc.get('main_controller').packs.extend((
+        TransferredEntityPack(),
+        EntitySelectPack(),
+    ))

edu_rdm_integration/collect_data/base/mixins.py

@@ -36,7 +36,7 @@ class ReformatLogsMixin:
             operation = LOG_OPERATION_MAP[log.operation]
 
             if operation in EntityLogOperation.values:
-                fields = log.data
+                fields = log.transformed_data
             else:
                 fields = {}
 

edu_rdm_integration/collect_data/non_calculated/base/caches.py

@@ -131,9 +131,9 @@ class BaseCollectingExportedDataFunctionCacheStorage(WebEduFunctionCacheStorage)
             operation = LOG_OPERATION_MAP[log.operation]
 
             if operation in (EntityLogOperation.CREATE, EntityLogOperation.DELETE):
-                fields = log.data
+                fields = log.transformed_data
             elif operation == EntityLogOperation.UPDATE:
-                fields = log.changes
+                fields = log.transformed_changes
             else:
                 fields = {}
 

edu_rdm_integration/export_data/export.py

@@ -44,6 +44,9 @@ from django.utils.datastructures import (
 from educommon import (
     logger,
 )
+from educommon.async_task.models import (
+    RunningTask,
+)
 from educommon.utils.date import (
     get_today_max_datetime,
 )
@@ -126,12 +129,11 @@ class BaseExportEntitiesData(BaseOperationData):
         #TODO Вынужденная мера, т.к. при запуске команды не производится проверка готовности конфигов приложений.
           # Нужно переработать механизм конфигурирования клиента загрузчика.
         """
+        import uploader_client
         from django.core.cache import (
             DEFAULT_CACHE_ALIAS,
             caches,
         )
-
-        import uploader_client
         from uploader_client.contrib.rdm.interfaces.configurations import (
             RegionalDataMartUploaderConfig,
         )
@@ -290,7 +292,7 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
         """Добавляет в описание асинхронной задачи список выгруженных сущностей."""
         if exported_entities and self.task_id:
             self.async_task.objects.filter(
-                task_id=self.task_id,
+                pk=self.task_id,
             ).update(
                 description=Concat(
                     'description',
@@ -406,3 +408,11 @@ class BaseExportLatestEntitiesData(BaseExportEntitiesData):
 
 class ExportEntitiesData(BaseExportEntitiesData):
     """Экспорт сущностей РВД за указанных период."""
+
+
+class ExportLatestEntitiesData(BaseExportLatestEntitiesData):
+    """Класс выгрузки сущностей с момента последней успешной выгрузки."""
+
+    def _get_async_task(self) -> Model:
+        """Возвращает модель асинхронной задачи."""
+        return RunningTask

edu_rdm_integration/helpers.py

@@ -0,0 +1,137 @@
+from concurrent.futures import (
+    ThreadPoolExecutor,
+)
+from json import (
+    JSONDecodeError,
+)
+from typing import (
+    TYPE_CHECKING,
+    Any,
+    Dict,
+    Optional,
+    Tuple,
+)
+
+from django.db import (
+    transaction,
+)
+from django.db.models import (
+    QuerySet,
+)
+from uploader_client.adapters import (
+    adapter,
+)
+
+from educommon import (
+    logger,
+)
+
+from edu_rdm_integration.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.export_data.base.requests import (
+    RegionalDataMartStatusRequest,
+)
+from edu_rdm_integration.models import (
+    DataMartRequestStatus,
+    ExportingDataSubStageUploaderClientLog,
+    UploadStatusRequestLog,
+)
+
+
+if TYPE_CHECKING:
+    from uploader_client.models import (
+        Entry,
+    )
+
+
+class UploadStatusHelper:
+    """Хелпер проверки статуса загрузки данных в витрину."""
+
+    def __init__(self, in_progress_uploads: QuerySet) -> None:
+        self._in_progress_uploads = in_progress_uploads
+
+    def run(self, thread_count: int = 1) -> None:
+        """Запускает проверки статусов."""
+        if thread_count > 1:
+            with ThreadPoolExecutor(max_workers=thread_count) as pool:
+                pool.map(self._process_upload, self._in_progress_uploads)
+        else:
+            for upload in self._in_progress_uploads:
+                self._process_upload(upload)
+
+    @classmethod
+    def send_upload_status_request(cls, request_id: str) -> Tuple[Optional[Dict[str, Any]], 'Entry']:
+        """Формирует и отправляет запрос для получения статуса загрузки данных в витрину."""
+        request = RegionalDataMartStatusRequest(
+            request_id=request_id,
+            method='GET',
+            parameters={},
+            headers={
+                'Content-Type': 'application/json',
+            },
+        )
+
+        result = adapter.send(request)
+
+        response = None
+
+        if result.error:
+            logger.error(
+                f'Ошибка при получении статуса загрузки данных в витрину. Идентификатор загрузки: {request_id}. '
+                f'Ошибка: {result.error}, запрос: {result.log.request}, ответ: {result.log.response}',
+            )
+        else:
+            logger.info(
+                f'Получен ответ со статусом {result.response.status_code} и содержимым {result.response.text}. '
+                f'Идентификатор загрузки: {request_id}',
+            )
+            try:
+                response = result.response.json()
+            except JSONDecodeError:
+                logger.error(
+                    f'Не удалось получить данные из ответа запроса статуса загрузки данных в витрину. '
+                    f'Идентификатор загрузки: {request_id}, ответ: {result.response.text}',
+                )
+
+        return response, result.log
+
+    @classmethod
+    def update_upload_status(
+        cls,
+        upload: ExportingDataSubStageUploaderClientLog,
+        response: Optional[Dict[str, Any]],
+        log_entry: 'Entry',
+    ) -> None:
+        """Обновляет статус загрузки данных в витрину."""
+        request_status = None
+
+        if isinstance(response, dict):
+            request_status = DataMartRequestStatus.get_values_to_enum_data().get(response.get('code'))
+
+            if not request_status:
+                logger.error(
+                    'Не удалось определить статус загрузки данных в витрину. Идентификатор загрузки: '
+                    f'{upload.request_id}, данные ответа: {response}',
+                )
+
+        with transaction.atomic():
+            UploadStatusRequestLog.objects.create(
+                upload=upload,
+                entry=log_entry,
+                request_status_id=getattr(request_status, 'key', None),
+            )
+
+            if request_status in {DataMartRequestStatus.FAILED_PROCESSING, DataMartRequestStatus.REQUEST_ID_NOT_FOUND}:
+                upload.file_upload_status = FileUploadStatusEnum.ERROR
+
+            elif request_status == DataMartRequestStatus.SUCCESSFULLY_PROCESSED:
+                upload.file_upload_status = FileUploadStatusEnum.FINISHED
+
+            if upload.file_upload_status != FileUploadStatusEnum.IN_PROGRESS:
+                upload.save()
+
+    def _process_upload(self, upload: ExportingDataSubStageUploaderClientLog) -> None:
+        """Обрабатывает запись загрузки данных в витрину."""
+        response, log_entry = self.send_upload_status_request(upload.request_id)
+        self.update_upload_status(upload, response, log_entry)

edu_rdm_integration/management/commands/check_upload_status.py

@@ -0,0 +1,97 @@
+"""
+Команда для проверки состояния отправленных в витрину данных.
+
+Необязательные параметры:
+--period_started_at - дата и время начала периода загрузки данных в витрину
+--period_ended_at - дата и время конца периода загрузки данных в витрину
+--thread_count - количество потоков для обработки
+
+Пример использования:
+python manage.py check_upload_status --period_started_at="01.11.2023 10:00:00" --thread_count=4
+"""
+from datetime import (
+    date,
+    datetime,
+    time,
+)
+from typing import (
+    TYPE_CHECKING,
+    Any,
+    Dict,
+    Tuple,
+)
+
+from django.core.management.base import (
+    BaseCommand,
+)
+
+from edu_rdm_integration.consts import (
+    DATETIME_FORMAT,
+)
+from edu_rdm_integration.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.helpers import UploadStatusHelper
+from edu_rdm_integration.models import (
+    ExportingDataSubStageUploaderClientLog,
+)
+
+
+if TYPE_CHECKING:
+    from django.core.management.base import (
+        CommandParser,
+    )
+
+
+class Command(BaseCommand):
+    """Команда для проверки состояния отправленных в витрину данных."""
+
+    help = 'Команда для проверки состояния отправленных в витрину данных'  # noqa: A003
+
+    def add_arguments(self, parser: 'CommandParser') -> None:
+        """Добавляет аргументы парсера."""
+        parser.add_argument(
+            '--period_started_at',
+            action='store',
+            dest='period_started_at',
+            type=lambda started_at: datetime.strptime(started_at, DATETIME_FORMAT),
+            default=datetime.combine(date.today(), time.min),
+            help=(
+                'Дата и время начала периода загрузки данных в витрину. Значение предоставляется в формате '
+                '"дд.мм.гггг чч:мм:сс". По умолчанию, сегодняшний день, время 00:00:00.'
+            ),
+        )
+
+        parser.add_argument(
+            '--period_ended_at',
+            action='store',
+            dest='period_ended_at',
+            type=lambda ended_at: datetime.strptime(ended_at, DATETIME_FORMAT),
+            default=datetime.combine(date.today(), time.max),
+            help=(
+                'Дата и время конца периода загрузки данных в витрину. Значение предоставляется в формате '
+                '"дд.мм.гггг чч:мм:сс". По умолчанию, сегодняшний день, время 23:59:59.'
+            ),
+        )
+
+        parser.add_argument(
+            '--thread_count',
+            default=1,
+            type=int,
+            help='Количество потоков для обработки. По умолчанию, 1.',
+        )
+
+    def handle(self, *args: Tuple[Any], **kwargs: Dict[str, Any]) -> None:
+        """Обработчик команды."""
+        thread_count = kwargs['thread_count']
+        if thread_count < 1:
+            raise ValueError(f'Количество потоков {thread_count} должно быть больше 0.')
+
+        in_progress_attachment_uploads = ExportingDataSubStageUploaderClientLog.objects.filter(
+            created__gte=kwargs['period_started_at'],
+            created__lte=kwargs['period_ended_at'],
+            is_emulation=False,
+            file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+        )
+
+        UploadStatusHelper(in_progress_attachment_uploads).run(thread_count=thread_count)

edu_rdm_integration/management/commands/collect_latest_models_data.py

@@ -0,0 +1,20 @@
+from edu_rdm_integration.collect_data.collect import (
+    BaseCollectLatestModelsData,
+    BaseCollectModelsData,
+)
+from edu_rdm_integration.management.general import (
+    BaseCollectModelDataCommand,
+)
+
+
+class Command(BaseCollectModelDataCommand):
+    """
+    Команда для сбора на основе логов за период с последней сборки до указанной даты.
+    """
+
+    def _prepare_collect_models_data_class(self, *args, **kwargs) -> BaseCollectModelsData:
+        return BaseCollectLatestModelsData(
+            models=kwargs.get('models'),
+            logs_period_started_at=kwargs.get('logs_period_started_at'),
+            logs_period_ended_at=kwargs.get('logs_period_ended_at'),
+        )

edu_rdm_integration/management/commands/export_latest_entities_data.py

@@ -0,0 +1,26 @@
+from edu_rdm_integration.export_data.export import (
+    BaseExportEntitiesData,
+    ExportLatestEntitiesData,
+)
+from edu_rdm_integration.management.general import (
+    BaseExportEntityDataCommand,
+)
+
+
+class Command(BaseExportEntityDataCommand):
+    """
+    Команда для экспорта данных за период с последней сборки до указанной даты.
+    """
+
+    # flake8: noqa: A003
+    help = 'Команда для запуска функции экспорта данных для интеграции с "Региональная витрина данных"'
+
+    def _prepare_export_entities_data_class(self, *args, **kwargs) -> BaseExportEntitiesData:
+        """Возвращает объект класса экспорта данных сущностей РВД."""
+        return ExportLatestEntitiesData(
+            entities=kwargs.get('entities'),
+            period_started_at=kwargs.get('period_started_at'),
+            period_ended_at=kwargs.get('period_ended_at'),
+            task_id=kwargs.get('task_id'),
+            update_modified=kwargs.get('update_modified'),
+        )

edu_rdm_integration/migrations/0008_transferredentity.py

@@ -0,0 +1,43 @@
+import django.db.models.deletion
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+    """Миграция."""
+
+    dependencies = [
+        ('edu_rdm_integration', '0007_delete_upload_status'),
+    ]
+
+    operations = [
+        migrations.CreateModel(
+            name='TransferredEntity',
+            fields=[
+                (
+                    'id',
+                    models.AutoField(
+                        auto_created=True,
+                        primary_key=True,
+                        serialize=False,
+                        verbose_name='ID',
+                    ),
+                ),
+                (
+                    'entity',
+                    models.OneToOneField(
+                        on_delete=django.db.models.deletion.CASCADE,
+                        to='edu_rdm_integration.RegionalDataMartEntityEnum',
+                        verbose_name='Сущность',
+                    ),
+                ),
+            ],
+            options={
+                'verbose_name': 'Сущность, по которой должен быть произведен сбор и экспорт данных',
+                'verbose_name_plural': 'Сущности, по которым должен быть произведен сбор и экспорт данных',
+                'db_table': 'rdm_transferred_entity',
+            },
+        ),
+    ]

edu_rdm_integration/models.py

@@ -24,6 +24,7 @@ from django.db.models import (
     FileField,
     ForeignKey,
     Manager,
+    OneToOneField,
     SmallIntegerField,
     UUIDField,
 )
@@ -895,3 +896,18 @@ class UploaderClientLog(Entry):
 
     class Meta:
         proxy = True
+
+
+class TransferredEntity(BaseObjectModel):
+    """Сущность, по которой должен быть произведен сбор и экспорт данных."""
+
+    entity = OneToOneField(
+        to=RegionalDataMartEntityEnum,
+        verbose_name='Сущность',
+        on_delete=CASCADE,
+    )
+
+    class Meta:
+        db_table = 'rdm_transferred_entity'
+        verbose_name = 'Сущность, по которой должен быть произведен сбор и экспорт данных'
+        verbose_name_plural = 'Сущности, по которым должен быть произведен сбор и экспорт данных'

edu_rdm_integration/registry/actions.py

@@ -0,0 +1,136 @@
+from m3 import (
+    OperationResult,
+)
+from m3.actions import (
+    ControllerCache,
+)
+from m3_ext.ui.containers import (
+    ExtGridCheckBoxSelModel,
+)
+from objectpack.actions import (
+    BaseAction,
+    ObjectPack,
+    SelectorWindowAction,
+)
+
+from edu_rdm_integration.models import (
+    RegionalDataMartEntityEnum,
+    TransferredEntity,
+)
+
+
+class EntitySelectPack(ObjectPack):
+    """Пак выбора сущностей для сбора и экспорта данных."""
+
+    title = 'Сущность РВД'
+    model = RegionalDataMartEntityEnum
+    _is_primary_for_model = False
+
+    list_sort_order = ('order_number', )
+
+    columns = [
+        {
+            'data_index': 'key',
+            'header': 'Сущность',
+        },
+        {
+            'data_index': 'title',
+            'header': 'Описание',
+        },
+    ]
+
+    def get_rows_query(self, request, context):
+        """Возвращает выборку из БД для получения списка данных.
+
+        Ранее выбранные сущности не отображаются в списке.
+        """
+        query = super().get_rows_query(request, context)
+
+        return query.filter(transferredentity__isnull=True)
+
+
+class TransferredEntityAddWindowAction(SelectorWindowAction):
+    """Экшн показа окна выбора сущностей для сбора и экспорта данных."""
+
+    def configure_action(self, request, context):
+        """Конфигурирует экшн."""
+        self.data_pack = ControllerCache.find_pack(EntitySelectPack)
+        self.callback_url = self.parent.save_action.absolute_url()
+
+    def configure_window(self, win, request, context):
+        """Конфигурирует окно выбора."""
+        win.grid.sm = ExtGridCheckBoxSelModel()
+        win.grid.store.id_property = 'key'
+
+        return win
+
+
+class TransferredEntitySaveAction(BaseAction):
+    """Экшн сохранения выбранных сущностей для сбора и экспорта данных."""
+
+    def context_declaration(self):
+        """Объявляет контекст экшна."""
+        return {
+            'id': {'type': 'str_list', 'default': []},
+        }
+
+    def run(self, request, context):
+        """Обеспечивает выполнение запроса."""
+        self.parent.model.objects.bulk_create([
+            self.parent.model(entity_id=key)
+            for key in context.id
+        ])
+
+        return OperationResult(success=True)
+
+
+class TransferredEntityPack(ObjectPack):
+    """Пак сущностей, по которым должен быть произведен сбор и экспорт данных."""
+
+    title = 'Сущности для сбора и экспорта данных'
+    model = TransferredEntity
+
+    can_delete = True
+
+    list_sort_order = ('entity__order_number', )
+
+    need_check_permission = True
+
+    columns = [
+        {
+            'data_index': 'entity.key',
+            'header': 'Сущность',
+        },
+        {
+            'data_index': 'entity.title',
+            'header': 'Описание',
+        },
+    ]
+
+    def __init__(self):
+        super().__init__()
+
+        self.add_window_action = TransferredEntityAddWindowAction()
+        self.replace_action('new_window_action', self.add_window_action)
+
+        self.save_entity_action = TransferredEntitySaveAction()
+        self.replace_action('save_action', self.save_entity_action)
+
+    def configure_grid(self, grid, *args, **kwargs):
+        """Конфигурирует грид."""
+        super().configure_grid(grid, *args, **kwargs)
+
+        grid.sm = ExtGridCheckBoxSelModel()
+
+    def extend_menu(self, menu):
+        """Расширяет главное меню."""
+        return menu.SubMenu(
+            'Администрирование',
+            menu.SubMenu(
+                'Региональная витрина данных',
+                menu.Item(
+                    self.title,
+                    self.list_window_action,
+                ),
+            ),
+        )

edu_rdm_integration/tasks.py

@@ -0,0 +1,94 @@
+from celery.schedules import (
+    crontab,
+)
+from django.conf import (
+    settings,
+)
+
+from educommon.async_task.models import (
+    AsyncTaskType,
+)
+from educommon.async_task.tasks import (
+    PeriodicAsyncTask,
+)
+
+from edu_rdm_integration.collect_data.helpers import (
+    set_failed_status_suspended_collecting_data_stages,
+)
+from edu_rdm_integration.consts import (
+    TASK_QUEUE_NAME,
+)
+from edu_rdm_integration.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.export_data.helpers import (
+    set_failed_status_suspended_exporting_data_stages,
+)
+from edu_rdm_integration.helpers import (
+    UploadStatusHelper,
+)
+from edu_rdm_integration.models import (
+    ExportingDataSubStageUploaderClientLog,
+)
+
+
+class RDMCheckUploadStatus(PeriodicAsyncTask):
+    """Периодическая задача для сбора статусов по загрузке файла в витрину."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Сбор статусов загрузки данных в витрину "Региональная витрина данных"'
+    task_type = AsyncTaskType.UNKNOWN
+    run_every = crontab(
+        minute=settings.RDM_UPLOAD_STATUS_TASK_MINUTE,
+        hour=settings.RDM_UPLOAD_STATUS_TASK_HOUR,
+        day_of_week=settings.RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK,
+    )
+
+    def process(self, *args, **kwargs):
+        """Выполнение."""
+        super().process(*args, **kwargs)
+
+        # Получаем незавершенные загрузки данных в витрину
+        in_progress_uploads = ExportingDataSubStageUploaderClientLog.objects.filter(
+            file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+            is_emulation=False,
+        )
+
+        UploadStatusHelper(in_progress_uploads).run()
+
+
+class CheckSuspendedExportedStagePeriodicTask(PeriodicAsyncTask):
+    """Периодическая задача поиска зависших этапов/подэтапов экспорта."""
+
+    queue = TASK_QUEUE_NAME
+    routing_key = TASK_QUEUE_NAME
+    description = 'Поиск зависших этапов/подэтапов экспорта в "Региональная витрина данных"'
+    task_type = AsyncTaskType.SYSTEM
+    run_every = crontab(
+        minute=settings.RDM_CHECK_SUSPEND_TASK_MINUTE,
+        hour=settings.RDM_CHECK_SUSPEND_TASK_HOUR,
+        day_of_week=settings.RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK,
+    )
+
+    def process(self, *args, **kwargs):
+        """Выполнение задачи."""
+        super().process(*args, **kwargs)
+
+        change_status_collecting_result = set_failed_status_suspended_collecting_data_stages()
+        change_status_exporting_result = set_failed_status_suspended_exporting_data_stages()
+
+        task_result = {
+            'Прервано сборок': (
+                f'Этапов {change_status_collecting_result["change_stage_count"]}'
+                f' и подэтапов {change_status_collecting_result["change_sub_stage_count"]}'
+            ),
+            'Прервано выгрузок': (
+                f'Этапов {change_status_exporting_result["change_stage_count"]}'
+                f' и подэтапов {change_status_exporting_result["change_sub_stage_count"]}'
+            ),
+        }
+
+        self.set_progress(
+            values=task_result
+        )

{edu_rdm_integration-0.8.6.dist-info → edu_rdm_integration-0.9.1.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 0.8.6
+Version: 0.9.1
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -28,7 +28,8 @@ Requires-Dist: setuptools <69,>=47.3.1
 Requires-Dist: wheel <0.42,>=0.37.1
 Requires-Dist: transliterate <2
 Requires-Dist: Django <2.3,>=1.11
-Requires-Dist: educommon <4,>=3.6.0
+Requires-Dist: celery ==4.4.7
+Requires-Dist: educommon <4,>=3.7.0
 Requires-Dist: function-tools <1,>=0.8.0
 Requires-Dist: m3-db-utils <1,>=0.3.10
 Requires-Dist: uploader-client <1,>=0.2.1
@@ -142,9 +143,7 @@ Requires-Dist: uploader-client <1,>=0.2.1
     RDM_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task', 'HOUR')
     RDM_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task', 'DAY_OF_WEEK')
     RDM_TRANSFER_TASK_TIMEDELTA = conf.get_int('rdm_transfer_task', 'TIMEDELTA')
-    # Сущности, по которым должен производиться сбор и выгрузка данных
-    RDM_TRANSFER_TASK_ENTITIES = conf.get_tuple('rdm_transfer_task', 'ENTITIES') or ()
-    
+
     # Настройка запуска периодической задачи статуса загрузки данных в витрину:
     RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
     RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
@@ -190,7 +189,6 @@ Requires-Dist: uploader-client <1,>=0.2.1
     | RDM_TRANSFER_TASK_HOUR                       | Настройка запуска периодической задачи выгрузки данных. Час                                                                        | '*/4'                   |
     | RDM_TRANSFER_TASK_DAY_OF_WEEK                | Настройка запуска периодической задачи выгрузки данных. День недели                                                                | '*'                     |
     | RDM_TRANSFER_TASK_TIMEDELTA                  | Дельта между предыдущим и следующим запуском периодической задачи в секундах                                                       | 3600                    |
-    | RDM_TRANSFER_TASK_ENTITIES                   | Сущности, по которым должен производиться сбор и выгрузка данных                                                                   | ''                      |
     | RDM_UPLOAD_STATUS_TASK_MINUTE                | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута                                                   | '*/30'                  |
     | RDM_UPLOAD_STATUS_TASK_HOUR                  | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час                                                      | '*'                     |
     | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK           | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели                                              | '*'                     |
@@ -289,6 +287,45 @@ Requires-Dist: uploader-client <1,>=0.2.1
 
 ### Удалено
 
+## [0.9.1] - 2024-01-11
+
+Добавлен реестр выбора сущностей для сбора и выгрузки данных.
+Удалена настройка RDM_TRANSFER_TASK_ENTITIES, вместо перечисления сущностей в конфиге используется реестр и модель
+  TransferredEntity.
+
+### Добавлено
+
+- [EDUSCHL-21112](https://jira.bars.group/browse/EDUSCHL-21112)
+  MINOR Добавлен реестр выбора сущностей для сбора и выгрузки данных.
+
+### Удалено
+
+- [EDUSCHL-21112](https://jira.bars.group/browse/EDUSCHL-21112)
+  MINOR Удалена настройка RDM_TRANSFER_TASK_ENTITIES.
+
+
+## [0.9.0] - 2023-12-29
+
+Из ЭШ перенесены периодические задачи по сбору статусов загрузки файлов в витрину, а также
+по поиску зависших этапов/подэтапов экспорта.
+
+Также из ЭШ перенесены менедж-команды: 
+- check_upload_status - проверка состояния отправленных данных в витрину,
+- collect_lastest_models_data - сбор на основе логов за период с последней сборки до указанной даты,
+- export_latest_entities_data - экспорт данных за период с последней сборки до указанной даты.
+
+Типы получаемых из log_change.fields полей соответствуют типам полей из логируемых моделей.  
+
+### Добавлено
+
+- [EDUSCHL-21013](https://jira.bars.group/browse/EDUSCHL-21013)
+  MINOR Перенесена часть асинхронных РВД задач из ЭШ, а также часть менедж-команд
+
+### Изменено
+
+- [EDUSCHL-20793](https://jira.bars.group/browse/EDUSCHL-20793)
+  MINOR Типы получаемых из log_change.fields полей должны соответствовать типам полей из логируемых моделей
+
 
 ## [0.8.6] - 2023-12-18
 

{edu_rdm_integration-0.8.6.dist-info → edu_rdm_integration-0.9.1.dist-info}/RECORD

@@ -1,14 +1,17 @@
 edu_rdm_integration/__init__.py,sha256=fVCvQ7QGI_iCyAeE8dMapyY8gOM617ye5GQqAVGPlZI,72
+edu_rdm_integration/app_meta.py,sha256=v5IU69yaeLbyHF0Ln6iPN_IfizbtF3rCWrz2n71m8dU,337
 edu_rdm_integration/app_settings.py,sha256=kideEO9SvYU8RXPB-8hTVosL4bAspPHNHtyz-R0F7v4,1822
 edu_rdm_integration/apps.py,sha256=5OgNdmuqe26fbu4wYb69haQJe-XFO_rDbnU1vPqJU-U,3571
 edu_rdm_integration/base.py,sha256=_G0qPTAXe6bXfgDHNiZMSsYt3sMuUhLKnHuQCWSFttU,1341
 edu_rdm_integration/consts.py,sha256=FFwcMHNsfjP_s9LfkccLAHjJMEMp7ppPmrRlJcgV88k,1104
 edu_rdm_integration/entities.py,sha256=mAjsYlcIbemo4xT5CSCr4payZubiBHB7Rb3Ow1CVsy0,14552
 edu_rdm_integration/enums.py,sha256=6Gv_hpYrC6v75ZtBA_xBrHqvza9NbJKhMa1TdTHkzys,4048
+edu_rdm_integration/helpers.py,sha256=-UjORR2Pj_zW9gcAz-Dqs2Qi-s8TIptKVUBJVUBjRus,4958
 edu_rdm_integration/mapping.py,sha256=bwa2fJCbV4YjQcAgRrgT3hgM6dJhr_uBtQgx3L3F2Ck,473
-edu_rdm_integration/models.py,sha256=NgUR_1uPzKSaj013T1ofPCmA8rhf4DBAwl-liY1oWns,28630
+edu_rdm_integration/models.py,sha256=Wg8NYj4C6Xqw-15AsQGU0TWNzUjdwBW_YZDzmPqx3GY,29327
 edu_rdm_integration/signals.py,sha256=3eRlpkDcFCF6TN80-QM8yBYLcyozzcmoPjz6r4_ApWg,73
 edu_rdm_integration/storages.py,sha256=o5WqUG7SnkeuMt-z8spUi-IraivST-7KHzfY-M3v7FA,6807
+edu_rdm_integration/tasks.py,sha256=XzRhcfv6u2LSANvWTNvocdw0UJZDKLn3MzenViYrAVE,3421
 edu_rdm_integration/utils.py,sha256=vjme0N6tEXnHt6SaqjavZshjwc-mVv4X3Pz37a5YgTw,7092
 edu_rdm_integration/adapters/__init__.py,sha256=cU0swn4Ny5ZQz5buWRcWsT1mpWuUFJaUlHf2l7TtEBo,83
 edu_rdm_integration/adapters/apps.py,sha256=TyJTkSPs2qAHJ11fqbwLGk3Ea7ujtqWwbxqmvYNQxG8,363
@@ -37,7 +40,7 @@ edu_rdm_integration/collect_data/base/caches.py,sha256=3BaJxYBk9fi0aiAVzym-Jz8aN
 edu_rdm_integration/collect_data/base/functions.py,sha256=HT23EyiD-H50p4NLx2_LtioktTHHFVLRmAgWdbuHErw,2379
 edu_rdm_integration/collect_data/base/helpers.py,sha256=ONbPEELI_9ImpqCLrdIL3kb9aIQ2xQcF6XMa2C5KlDw,1017
 edu_rdm_integration/collect_data/base/managers.py,sha256=s9eUpVlsTw58mFuDgSBO_EKUk9nXIWUqc_Dhc54Yhfw,6812
-edu_rdm_integration/collect_data/base/mixins.py,sha256=Rp3ECccl3vOWZH2QHR_ArAbibQMq92IMGPoP5XAfgVc,3180
+edu_rdm_integration/collect_data/base/mixins.py,sha256=-KpOg8yXeu4AEEJt26iruBEa8ErQd5XXNrUOuOL9VP8,3192
 edu_rdm_integration/collect_data/base/runners.py,sha256=OjhdTmMab6dCoIZp2zmXZTK4H5Haz__QHddwGxjOuB0,2829
 edu_rdm_integration/collect_data/calculated/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/collect_data/calculated/strategies.py,sha256=W9f-MlLENSoa9jHMLWTP7ktZL-7FVtkt2FLXrbmds-o,7629
@@ -58,7 +61,7 @@ edu_rdm_integration/collect_data/calculated/base/validators.py,sha256=xIaSIE9oKb
 edu_rdm_integration/collect_data/non_calculated/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/collect_data/non_calculated/strategies.py,sha256=eR-z94U0XN8BBuFS789PzxCPPfUoL3a2mcZb10Psqeg,7431
 edu_rdm_integration/collect_data/non_calculated/base/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/collect_data/non_calculated/base/caches.py,sha256=qRC92vy-oUcyokAF279CcZgWTl_x-PxsGAK-5Rb31-g,6821
+edu_rdm_integration/collect_data/non_calculated/base/caches.py,sha256=uGtNhqC-JVSJHYrY9JcFfdaUpe2t3F5jZSRodQBSzt4,6845
 edu_rdm_integration/collect_data/non_calculated/base/consts.py,sha256=pds1t4eHzovm7Yz2o5je3UHqRE8gqfT2sL-IwpoBN_o,66
 edu_rdm_integration/collect_data/non_calculated/base/enums.py,sha256=BSmwrkzYwEQhz9NbZCJsldY532PqgZJzxzsVk6ue0bM,93
 edu_rdm_integration/collect_data/non_calculated/base/errors.py,sha256=dGawEQ2ItTxlFt9ynhYhpqx40Qmrlg2rOskH0DsNVnQ,297
@@ -76,7 +79,7 @@ edu_rdm_integration/enum_register/mixins.py,sha256=shLb8-9ySoY9kK1Wzb46I9wRKglQI
 edu_rdm_integration/enum_register/register.py,sha256=5OWOjK-M0Erd_5CENpBaXhVtfL0pEaDl3Bev5QKNDJc,2218
 edu_rdm_integration/export_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/export_data/consts.py,sha256=Z6Uho8oViMc0t1tyQFZfrPFBwPx6KnhUf_iZ0qgob8o,16
-edu_rdm_integration/export_data/export.py,sha256=iR-eZbsU5gdWxxbB7jSrzAGlUdCrWd3VGdDD_vYWo8o,16478
+edu_rdm_integration/export_data/export.py,sha256=Axij_T66EX7I_VjLeVaELuKharDNAVAWDsFlZpqf9EY,16879
 edu_rdm_integration/export_data/generators.py,sha256=yLDOcHB1PoilJwXtKGxZQhDjpeKBzEWoosahbJJ4Ba4,4020
 edu_rdm_integration/export_data/helpers.py,sha256=hU346RmQ17Ra2etFvxXI7JQlLyp_0KxH1jm-eeCqejc,2933
 edu_rdm_integration/export_data/strategies.py,sha256=ocHskG-x54U-ESX56OlZPgOibkGkuv7VKmK7hVmqj_0,6725
@@ -129,10 +132,13 @@ edu_rdm_integration/function_templates/function_export_data_template/validators.
 edu_rdm_integration/management/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/management/general.py,sha256=Yem9IcU9es_xA6Ap8v2IpAjNL1CI5VkkvQffUoJhQhY,13381
 edu_rdm_integration/management/commands/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+edu_rdm_integration/management/commands/check_upload_status.py,sha256=jGqFMLMgrirG_H2OxzxNG3Z3d1xvORIzWqzKBUtr22Y,3843
+edu_rdm_integration/management/commands/collect_latest_models_data.py,sha256=4ObBFqYMkX5v1saV9V7PivYBm0RMcDCGNlMGx77UAjs,750
 edu_rdm_integration/management/commands/collect_models_data.py,sha256=11RshcQiXk6Flz-8oiFuM5KSZ_8_c1111qkqmyiu5sw,1022
 edu_rdm_integration/management/commands/datamart_status.py,sha256=ImpXHwRnbcgE5pcz2_QixfEQPSLU6WH1V8Vm7xnPidU,1211
 edu_rdm_integration/management/commands/datamart_upload.py,sha256=folrNInlhBP5yLSNXtujah-rfk8oWYi1Z8i5k3bsIKw,1487
 edu_rdm_integration/management/commands/export_entities_data.py,sha256=Mas1zwsH-zRl6exbzF81Y4KyLAOJo-uurkdb6sZccuc,920
+edu_rdm_integration/management/commands/export_latest_entities_data.py,sha256=LTMWvcp2if76kW4GD74x8fA5FAfdDnnuaUBFFGjqjVk,1146
 edu_rdm_integration/migrations/0001_initial.py,sha256=toNuYoHZePe5wJ6AKEW9oPOdt2OefmxDEDDJGYQIrFk,18719
 edu_rdm_integration/migrations/0002_init_data_uploadstatus.py,sha256=p8EtwowHesoRvnOxeVMPCclUaCw2aQJZ8y5Zz7xbb8Q,737
 edu_rdm_integration/migrations/0003_create_index_file_upload_status.py,sha256=TiLnqQ8bxkVI7sRa5-D3JQ6jopFYDoH1ytSxmU6USUo,735
@@ -140,16 +146,19 @@ edu_rdm_integration/migrations/0004_uploaderclientlog.py,sha256=Llw_cqPpYJSrbEuE
 edu_rdm_integration/migrations/0005_auto_20231204_1224.py,sha256=YXWiwTImGg8FAO_Er0qxcvaS6V9iF2rSy_7z5r--C_U,1782
 edu_rdm_integration/migrations/0006_request_status_data.py,sha256=g5JZtP0q0fOrbKCooGmCeGgtcqd9ZLIBP56h-ZH8IS8,3448
 edu_rdm_integration/migrations/0007_delete_upload_status.py,sha256=GAQKX6N1vDDWiCTXLGg--0gzLQr7VveAPFYzC9QpUpU,457
+edu_rdm_integration/migrations/0008_transferredentity.py,sha256=rE5av85AIYKGDy7nuFKLrHAhj0uaeUTRsFfIsXPtaxo,1427
 edu_rdm_integration/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+edu_rdm_integration/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+edu_rdm_integration/registry/actions.py,sha256=y84gsGz-ZpkOdG85dNwk-J3zmPeEqp894K55puJNDiI,4146
 edu_rdm_integration/uploader_log/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/uploader_log/actions.py,sha256=SGYYYNL4MdST1FYCZBCYAxj3_-PsJ8IcXBYwxpZqucg,6755
 edu_rdm_integration/uploader_log/apps.py,sha256=tYJj4-sDlq8fLOSvw18L_yys7SILpTKWNmE2Qug6GnE,265
 edu_rdm_integration/uploader_log/enums.py,sha256=rgSO3BL2rh2xpfm0Pt4waQW8fB1VMJLdsGmr3SXwH_U,266
 edu_rdm_integration/uploader_log/managers.py,sha256=y5wTSMzF9hpOpIU_A7nIafL_LBU3QEie6LAYWoB-pBQ,3203
 edu_rdm_integration/uploader_log/ui.py,sha256=YM9Buqp2wxE95Wf5gvAATBzuYzDOossK1sEmvFk07cI,2110
-edu_rdm_integration-0.8.6.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-0.8.6.dist-info/METADATA,sha256=4Zxa7ibaKf2vZmYGqYM8oYr0NcJGaHOJ8pn6O_2wJTE,48304
-edu_rdm_integration-0.8.6.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
-edu_rdm_integration-0.8.6.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
-edu_rdm_integration-0.8.6.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-0.8.6.dist-info/RECORD,,
+edu_rdm_integration-0.9.1.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-0.9.1.dist-info/METADATA,sha256=4dMio16uN6o1Y1WGWOL8EWMlYf8TgsLmF4kGBU14Id8,49997
+edu_rdm_integration-0.9.1.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
+edu_rdm_integration-0.9.1.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
+edu_rdm_integration-0.9.1.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-0.9.1.dist-info/RECORD,,