edu-rdm-integration 3.2.3__tar.gz → 3.2.8__tar.gz

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/CHANGELOG.md

@@ -28,6 +28,48 @@
 
 ### Удалено
 
+## 3.2.8 - 2024-08-02
+Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+
+## 3.2.7 - 2024-07-31
+Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
+
+
+## 3.2.6 - 2024-07-23
+Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
+Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Добавлен параметр export_off в модель TransferredEntity и изменен порядок запуска сбора и экспорта в
+  TransferLatestEntitiesDataPeriodicTask.
+
+
+## 3.2.5  - 2024-07-16
+Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
+
+### Изменено
+- [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
+  PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
+
+
+## 3.2.4 - 2024-07-16
+Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+
+### Изменено
+- [EDUSCHL-22217](https://jira.bars.group/browse/EDUSCHL-22217)
+  PATCH Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+  В подзапросах отсутствовало условие фильтрации по статусу.
+
 
 ## 3.2.3 - 2024-06-06
 Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/MANIFEST.in

@@ -1,4 +1,5 @@
 global-exclude *.pyc
+recursive-include src *.js
 recursive-include src *.py
 recursive-include src *.py-tpl
 recursive-include requirements *.txt

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.2.3
+Version: 3.2.8
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -301,6 +301,48 @@ Requires-Dist: uploader-client<1,>=0.2.1
 
 ### Удалено
 
+## 3.2.8 - 2024-08-02
+Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
+
+
+## 3.2.7 - 2024-07-31
+Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
+
+
+## 3.2.6 - 2024-07-23
+Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
+Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
+
+### Изменено
+- [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
+  PATCH Добавлен параметр export_off в модель TransferredEntity и изменен порядок запуска сбора и экспорта в
+  TransferLatestEntitiesDataPeriodicTask.
+
+
+## 3.2.5  - 2024-07-16
+Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
+
+### Изменено
+- [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
+  PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и  logs_period_ended_at
+
+
+## 3.2.4 - 2024-07-16
+Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+
+### Изменено
+- [EDUSCHL-22217](https://jira.bars.group/browse/EDUSCHL-22217)
+  PATCH Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
+  В подзапросах отсутствовало условие фильтрации по статусу.
+
 
 ## 3.2.3 - 2024-06-06
 Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '3.2.3'
+VERSION = '3.2.8'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/src/edu_rdm_integration/collect_data/collect.py

@@ -300,6 +300,13 @@ class BaseCollectLatestModelsData(BaseCollectModelsData):
     Сбор данных моделей РВД на основе логов за период с последней сборки до указанной даты.
     """
 
+    def __init__(self, *args,  use_times_limit: bool = False, **kwargs):
+        super().__init__(*args, **kwargs)
+
+        # Если этот параметр не указан - то высчитываем временные рамки по менеджеру, не учитывая переданные
+        # logs_period_started_at и  logs_period_ended_at
+        self.use_times_limit = use_times_limit
+
     def _has_stage_created_or_in_progress(self, manager_id: str, model: str) -> bool:
         """Проверяет есть ли готовый к работе stage или в работе для данной модели."""
         stage_created_or_in_progress = CollectingExportedDataStage.objects.filter(
@@ -326,8 +333,9 @@ class BaseCollectLatestModelsData(BaseCollectModelsData):
             model_logs = logs.get(model_key) if logs else None
             manager_last_period_ended_at = managers_last_period_ended_at.get(manager_class.uuid)
 
-            kwargs['logs_period_started_at'] = manager_last_period_ended_at or get_today_min_datetime()
-            kwargs['logs_period_ended_at'] = timezone.now()
+            kwargs['logs_period_started_at'] = self.logs_period_started_at if self.use_times_limit else (
+                    manager_last_period_ended_at or get_today_min_datetime())
+            kwargs['logs_period_ended_at'] = self.logs_period_ended_at if self.use_times_limit else timezone.now()
 
             manager = manager_class(*args, logs=model_logs, **kwargs)
 

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/src/edu_rdm_integration/helpers.py

@@ -309,11 +309,11 @@ def get_collecting_managers_max_period_ended_dates(
 ) -> Dict[str, 'datetime']:
     """Возвращает дату и время завершения последнего успешного этапа сбора для менеджеров Функций сбора."""
     managers_last_period_ended = CollectingExportedDataStage.objects.filter(
-        status_id=CollectingDataStageStatus.FINISHED.key,
         manager_id__in=[manager.uuid for manager in collecting_managers],
         id=Subquery(
             CollectingExportedDataStage.objects.filter(
-                manager_id=OuterRef('manager_id')
+                manager_id=OuterRef('manager_id'),
+                status_id=CollectingDataStageStatus.FINISHED.key,
             ).order_by('-id').values('id')[:1]
         ),
     ).annotate(
@@ -334,11 +334,11 @@ def get_exporting_managers_max_period_ended_dates(
 ) -> Dict[str, 'datetime']:
     """Возвращает дату и время последнего успешного этапа экспорта для менеджеров Функций экспорта."""
     managers_last_period_ended = ExportingDataStage.objects.filter(
-        status_id=ExportingDataStageStatus.FINISHED.key,
         manager_id__in=[manager.uuid for manager in exporting_managers],
         id=Subquery(
             ExportingDataStage.objects.filter(
-                manager_id=OuterRef('manager_id')
+                manager_id=OuterRef('manager_id'),
+                status_id=ExportingDataStageStatus.FINISHED.key,
             ).order_by('-id').values('id')[:1]
         ),
     ).annotate(

edu-rdm-integration-3.2.8/src/edu_rdm_integration/migrations/0009_transferredentity_export_enabled.py

@@ -0,0 +1,21 @@
+# Generated by Django 3.1.14 on 2024-07-24 09:14
+
+from django.db import (
+    migrations,
+    models,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('edu_rdm_integration', '0008_transferredentity'),
+    ]
+
+    operations = [
+        migrations.AddField(
+            model_name='transferredentity',
+            name='export_enabled',
+            field=models.BooleanField(default=True, verbose_name='Включение экспорта для сущности'),
+        ),
+    ]

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/src/edu_rdm_integration/models.py

@@ -34,6 +34,9 @@ from django.utils import (
 from django.utils.functional import (
     cached_property,
 )
+from m3 import (
+    json_encode,
+)
 from m3.db import (
     BaseObjectModel,
 )
@@ -906,8 +909,16 @@ class TransferredEntity(BaseObjectModel):
         verbose_name='Сущность',
         on_delete=CASCADE,
     )
+    export_enabled = BooleanField(
+        verbose_name='Включение экспорта для сущности',
+        default=True,
+    )
 
     class Meta:
         db_table = 'rdm_transferred_entity'
         verbose_name = 'Сущность, по которой должен быть произведен сбор и экспорт данных'
         verbose_name_plural = 'Сущности, по которым должен быть произведен сбор и экспорт данных'
+
+    @json_encode
+    def no_export(self):
+        return 'Нет' if self.export_enabled else 'Да'

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/src/edu_rdm_integration/registry/actions.py

@@ -17,6 +17,9 @@ from edu_rdm_integration.models import (
     RegionalDataMartEntityEnum,
     TransferredEntity,
 )
+from edu_rdm_integration.registry.ui import (
+    TransferredEntityListWindow,
+)
 
 
 class EntitySelectPack(ObjectPack):
@@ -65,6 +68,25 @@ class TransferredEntityAddWindowAction(SelectorWindowAction):
         return win
 
 
+class TransferredEntityExportChangeAction(BaseAction):
+    """Экшен смены статуса экспорта выбранных сущностей."""
+
+    def context_declaration(self):
+        """Объявляет контекст экшна."""
+        return {
+            'ids': {'type': 'int_list', 'default': []},
+            'export_enabled': {'type': 'boolean', 'default': True}
+        }
+
+    def run(self, request, context):
+        """Обеспечивает выполнение запроса."""
+        self.parent.model.objects.filter(
+            id__in=context.ids
+        ).update(export_enabled=context.export_enabled)
+
+        return OperationResult(success=True)
+
+
 class TransferredEntitySaveAction(BaseAction):
     """Экшн сохранения выбранных сущностей для сбора и экспорта данных."""
 
@@ -95,6 +117,7 @@ class TransferredEntityPack(ObjectPack):
     list_sort_order = ('entity__order_number', )
 
     need_check_permission = True
+    list_window = TransferredEntityListWindow
 
     columns = [
         {
@@ -105,6 +128,10 @@ class TransferredEntityPack(ObjectPack):
             'data_index': 'entity.title',
             'header': 'Описание',
         },
+        {
+            'data_index': 'no_export',
+            'header': 'Отключение экспорта',
+        }
     ]
 
     def __init__(self):
@@ -116,6 +143,10 @@ class TransferredEntityPack(ObjectPack):
         self.save_entity_action = TransferredEntitySaveAction()
         self.replace_action('save_action', self.save_entity_action)
 
+        self.export_change_action = TransferredEntityExportChangeAction()
+
+        self.actions.append(self.export_change_action)
+
     def configure_grid(self, grid, *args, **kwargs):
         """Конфигурирует грид."""
         super().configure_grid(grid, *args, **kwargs)

edu-rdm-integration-3.2.8/src/edu_rdm_integration/registry/ui.py

@@ -0,0 +1,39 @@
+from objectpack.ui import (
+    BaseListWindow,
+)
+from m3_ext.ui.all_components import (
+    ExtButton,
+)
+from educommon.utils.ui import (
+    append_template_globals,
+)
+
+class TransferredEntityListWindow(BaseListWindow):
+    """Окно реестра сущностей для сбора и экспорта данных."""
+
+    def _init_components(self):
+        """Инициализация компонентов окна."""
+        super()._init_components()
+
+        self.export_off_button = ExtButton(
+            text='Отключить экспорт', handler='offExport'
+        )
+        self.export_on_button = ExtButton(
+            text='Включить экспорт', handler='onExport'
+        )
+
+    def _do_layout(self):
+        """Размещение компонентов окна на форме."""
+        super()._do_layout()
+
+        self.grid.top_bar.items.extend((self.export_off_button, self.export_on_button))
+
+    def set_params(self, params, *args, **kwargs):
+        """Настройка окна."""
+        super().set_params(params, *args, **kwargs)
+
+        append_template_globals(self, 'ui-js/transferred-entity-list.js')
+        self.export_change_action_url = (
+            params['pack'].export_change_action.get_absolute_url()
+        )
+        self.pack = params['pack']

{edu-rdm-integration-3.2.3 → edu-rdm-integration-3.2.8}/src/edu_rdm_integration/tasks.py

@@ -1,5 +1,5 @@
-from itertools import (
-    chain,
+from collections import (
+    defaultdict,
 )
 from typing import (
     TYPE_CHECKING,
@@ -18,16 +18,10 @@ from celery.schedules import (
 from django.conf import (
     settings,
 )
-from django.db.models import (
-    CharField,
-    Max,
-)
-from django.db.models.functions import (
-    Cast,
-)
 from django.utils import (
     timezone,
 )
+
 from educommon.async_task.locker import (
     TaskLocker,
 )
@@ -71,9 +65,9 @@ from edu_rdm_integration.export_data.helpers import (
     set_failed_status_suspended_exporting_data_stages,
 )
 from edu_rdm_integration.helpers import (
+    UploadStatusHelper,
     get_collecting_managers_max_period_ended_dates,
     get_exporting_managers_max_period_ended_dates,
-    UploadStatusHelper,
     save_command_log_link,
 )
 from edu_rdm_integration.models import (
@@ -85,6 +79,7 @@ from edu_rdm_integration.storages import (
     RegionalDataMartEntityStorage,
 )
 
+
 if TYPE_CHECKING:
     from datetime import (
         datetime,
@@ -216,6 +211,7 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
         self._exporting_data_manager_to_period_end: Dict[str, 'datetime'] = {}
 
         self._transferred_entities = []
+        self._entites_models_map = defaultdict(list)
 
     def process(self, *args, **kwargs):
         """Выполняет задачу."""
@@ -230,17 +226,22 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             pk=self.request.id,
         ).values_list('pk', flat=True).first()
 
-        model_enum_values = RegionalDataMartEntityEnum.get_entities_model_enums(
-            entity_enums=self._transferred_entities,
-            is_sorted=True,
-        )
+        collected_entity_models = set()
 
-        filtered_model_enum_values = filter(lambda model: model.order_number != DEFAULT_ORDER_NUMBER, model_enum_values)
-        for model_enum_value in filtered_model_enum_values:
-            self._run_collect_model_data(model_enum_value.key, task_id)
+        for entity_enum, export_enabled in sorted(
+            self._transferred_entities, key=lambda entity: entity[0].order_number
+        ):
+            entity_models = self._entites_models_map.get(entity_enum.key, ())
+            for model_enum_value in entity_models:
+                if model_enum_value.key not in collected_entity_models:
+                    self._run_collect_model_data(model_enum_value.key, task_id)
+                    collected_entity_models.add(model_enum_value.key)
 
-        for entity_enum_value in sorted(self._transferred_entities, key=lambda entity: entity.order_number):
-            self._run_export_entity_data(entity_enum_value.key, task_id)
+            try:
+                if export_enabled:
+                    self._run_export_entity_data(entity_enum.key, task_id)
+            except Exception:
+                continue
 
     def _run_collect_model_data(self, model: str, task_id: str) -> None:
         """Запускает сбор данных модели РВД."""
@@ -264,10 +265,17 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
     def _collect_transferred_entities(self) -> None:
         """Собирает сущности РВД, по которым будет произведен сбор и экспорт данных."""
         self._transferred_entities = [
-            RegionalDataMartEntityEnum.get_model_enum_value(key=entity)
-            for entity in TransferredEntity.objects.values_list('entity', flat=True)
+            (RegionalDataMartEntityEnum.get_model_enum_value(key=entity), export_enabled)
+            for entity, export_enabled in TransferredEntity.objects.values_list('entity', 'export_enabled')
         ]
 
+        # Собираем словарь по сущностям с моделями для сборки
+        for entity, _ in self._transferred_entities:
+            self._entites_models_map[entity.key].extend(
+                (model_enum for model_enum in (entity.main_model_enum, *entity.additional_model_enums)
+                 if model_enum.order_number != DEFAULT_ORDER_NUMBER)
+            )
+
     def _collect_managers(self) -> None:
         """Собирает менеджеры Функций для сбора и выгрузки данных."""
         entity_storage = RegionalDataMartEntityStorage()
@@ -280,15 +288,16 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             tags={REGIONAL_DATA_MART_INTEGRATION_EXPORTING_DATA},
         )
 
-        for transferred_entity in self._transferred_entities:
-            for model in chain((transferred_entity.main_model_enum, ), transferred_entity.additional_model_enums):
-                collect_manager_class = collecting_models_data_managers_map.get(model.key)
+        for entity_key, entity_models in self._entites_models_map.items():
+            for entity_model in entity_models:
+                collect_manager_class = collecting_models_data_managers_map.get(entity_model.key)
                 if collect_manager_class:
-                    self._collecting_data_managers[model.key] = collect_manager_class
+                    self._collecting_data_managers[entity_model.key] = collect_manager_class
 
-            export_manager_class = exporting_entities_data_managers_map.get(transferred_entity.key)
+            export_manager_class = exporting_entities_data_managers_map.get(entity_key)
             if export_manager_class:
-                self._exporting_data_managers[transferred_entity.key] = export_manager_class
+                self._exporting_data_managers[entity_key] = export_manager_class
+
 
     def _calculate_collecting_managers_logs_period_ended_at(self) -> None:
         """Определяет дату последнего успешного этапа сбора у менеджеров Функций сбора."""
@@ -348,6 +357,7 @@ class TransferLatestEntitiesDataPeriodicTask(UniquePeriodicAsyncTask):
             logs_period_started_at=command.logs_period_started_at,
             logs_period_ended_at=command.logs_period_ended_at,
             command_id=command.id,
+            use_times_limit=True,
         )
 
     def _prepare_export_entity_data_class(self, command: EduRdmExportDataCommandProgress) -> ExportLatestEntitiesData:

edu-rdm-integration-3.2.8/src/edu_rdm_integration/templates/ui-js/transferred-entity-list.js

@@ -0,0 +1,37 @@
+var grid = Ext.getCmp('{{component.grid.client_id}}');
+
+function changeExport(bool_value){
+    var selections = grid.selModel.getSelections();
+    var selections_len = selections.length;
+
+    if (selections_len){
+        var selected_ids = [];
+        for (var i = 0; i < selections_len; i += 1) {
+            selected_ids.push(selections[i].id);
+        }
+        var params =  {'export_enabled': bool_value};
+        params['ids'] = selected_ids.join(',');
+        Ext.Ajax.request({
+            url: '{{component.export_change_action_url}}',
+            method: 'POST',
+            params: params,
+            success: function(res, opt){
+                if (Ext.util.JSON.decode(res.responseText).success) {
+                   grid.refreshStore();
+                }
+                smart_eval(res.responseText);
+        },
+            failure: Ext.emptyFn
+        });
+    } else {
+         Ext.Msg.alert('Внимание!', 'Выберите Сущность для выключения экспорта!');
+    }
+}
+
+function offExport(){
+    changeExport(false)
+}
+
+function onExport(){
+    changeExport(true)
+}