edu-rdm-integration 3.4.2__py3-none-any.whl → 3.4.4__py3-none-any.whl

edu_rdm_integration/management/commands/async_fix_attachment_size.py

@@ -0,0 +1,254 @@
+"""
+Команда для проставления расчетов файла . По умолчанию собирается за месяц. Обновление работает асинхронно.
+
+Выполнение:
+django-admin async_fix_attachment_size --chunk_size=50 --count_store_size --connection_pool_size=5
+ --async_workers_count=10 --date_begin='01-01-2023'
+
+Параметры:
+ --date_begin: дата начала сбора данных по сгенерированным файлам в формате ДД-ММ-ГГГГ (по умолчанию месяц назад).
+ --date_end: дата окончания сбора данных по сгенерированным файлам в формате ДД-ММ-ГГГГ (по умолчанию текущая дата).
+ --chunk_size: количество файлов в одной итерации, по умолчанию 500
+ --count_store_size: при указании этого флага, будет произведен расчет размера файла (
+ запрос через оs и вычисление размера) - не рекомендуется при большом количестве данных и на дампах с прода
+--connection_pool_size: количество одновременных коннектов к базе по умолчанию 10
+--async_workers_count количество одновременных асинхронных воркеров-исполнителей по умолчанию 20
+"""
+
+
+import asyncio
+from datetime import (
+    date,
+    datetime,
+    timedelta,
+)
+from typing import (
+    List,
+    Tuple,
+)
+
+import asyncpg
+from django.conf import (
+    settings,
+)
+from django.core.management import (
+    BaseCommand,
+    CommandError,
+)
+
+from educommon import (
+    logger,
+)
+from educommon.utils.seqtools import (
+    make_chunks,
+)
+
+from edu_rdm_integration.enums import (
+    FileUploadStatusEnum,
+)
+from edu_rdm_integration.models import (
+    ExportingDataSubStageAttachment,
+)
+
+
+DEFAULT_QUERYSET_CHUNK_SIZE = 500
+DEFAULT_FILE_SIZE = 10_485_760
+DEFAULT_ASYNC_WORKERS_COUNT = 20
+DEFAULT_POOL_SIZE = 10
+DB_SETTINGS = settings.DATABASES['default']
+
+
+class Command(BaseCommand):
+    """Команда для проставления размера по умолчанию (в байтах) для отправленных файлов."""
+
+    help = (  # noqa: A003
+        'Команда для проставления размера по умолчанию (в байтах) для отправленных файлов.'
+    )
+
+    def __init__(self,  *args, **kwargs):
+        super().__init__(*args, **kwargs)
+
+        self.result = {
+            'initial_count_rows_to_fix': 0,
+            'errors': [],
+            'fixed_rows_count': 0,
+        }
+
+    def add_arguments(self, parser):
+        """Добавление аргументов запуска команды."""
+        parser.add_argument(
+            '--chunk_size',
+            type=int,
+            default=DEFAULT_QUERYSET_CHUNK_SIZE,
+            help='Кол-во единовременно изменяемых элементов в запросе'
+        )
+        parser.add_argument(
+            '--count_store_size',
+            action='store_true',
+            default=False,
+            help='Рассчитать размер файлов'
+        ),
+        parser.add_argument(
+            '--connection_pool_size',
+            type=int,
+            default=DEFAULT_POOL_SIZE,
+            help='Кол-во одновременных коннектов к базе'
+        )
+        parser.add_argument(
+            '--async_workers_count',
+            type=int,
+            default=DEFAULT_ASYNC_WORKERS_COUNT,
+            help='Кол-во одновременных асинхронных воркеров-исполнителей'
+        )
+        parser.add_argument(
+            '--date_begin',
+            type=lambda d: datetime.strptime(d, '%d-%m-%Y').date(),
+            help='Дата начала поиска сгенерированных файлов в формате %%d-%%m-%%Y.',
+        )
+        parser.add_argument(
+            '--date_end',
+            type=lambda d: datetime.strptime(d, '%d-%m-%Y').date(),
+            help='Дата окончания поиска сгенерированных файлов в формате %%d-%%m-%%Y.',
+        )
+
+    def get_attachments_fix_query(
+        self,
+        chunk_size: int,
+        date_begin: date,
+        date_end: date,
+        count_store_size: bool
+    ) -> List[Tuple[int, int]]:
+        """Формирование id файлов, которым надо обновить размер."""
+        logger.info('Определение файлов, которым надо обновить размер.')
+        attachment_query = ExportingDataSubStageAttachment.objects.filter(
+            exportingdatasubstageuploaderclientlog__file_upload_status=FileUploadStatusEnum.IN_PROGRESS,
+            exportingdatasubstageuploaderclientlog__is_emulation=False,
+            attachment_size__isnull=True,
+            modified__gte=date_begin,
+            modified__lte=date_end,
+        )
+        update_attachments = []
+
+        for chunk in make_chunks(attachment_query.iterator(), chunk_size):
+            if count_store_size:
+                update_attachments.append(
+                   [
+                       (
+                           attachment.id, attachment.attachment.size
+                           if attachment.attachment.field.storage.exists(attachment.attachment.name)
+                           else DEFAULT_FILE_SIZE
+                       )
+                       for attachment in chunk
+                   ]
+                )
+            else:
+                update_attachments.append([(attachment.id, DEFAULT_FILE_SIZE) for attachment in chunk])
+
+        return update_attachments
+
+    async def execute_update_sql(
+        self,
+        pool: asyncpg.Pool,
+        data: List[Tuple[int, int]]
+    ) -> None:
+        """Метод для исполнения сгенерированного UPDATE sql запроса."""
+        self.result['initial_count_rows_to_fix'] += len(data)
+        logger.info('Обновление размера файлов')
+        async with pool.acquire() as connection:
+            try:
+                await connection.executemany(
+                    """
+                    UPDATE rdm_exporting_data_sub_stage_attachment
+                    set attachment_size = $2
+                    where id = $1;
+                    """, data,
+                )
+                self.result['fixed_rows_count'] += len(data)
+            except Exception as ex:
+                self.result['errors'].append(str(ex))
+
+    async def fix_attachment_size(
+        self,
+        fix_queries: List,
+        pool_size: int = None,
+        workers_count: int = None
+    ) -> None:
+        """Асинхронное обновление размера файлов."""
+        pool = await asyncpg.create_pool(
+            max_size=pool_size,
+            min_size=pool_size,
+            host=DB_SETTINGS['HOST'],
+            port=DB_SETTINGS['PORT'],
+            user=DB_SETTINGS['USER'],
+            password=DB_SETTINGS['PASSWORD'],
+            database=DB_SETTINGS['NAME']
+        )
+        if len(fix_queries) > workers_count:
+            for chunk in make_chunks(fix_queries, workers_count):
+                tasks = [self.execute_update_sql(pool, query) for query in chunk]
+                await asyncio.gather(*tasks)
+        else:
+            tasks = [self.execute_update_sql(pool, query) for query in fix_queries]
+            await asyncio.gather(*tasks)
+
+    def update_attachment_size(
+        self,
+        connection_pool_size: int,
+        chunk_size: int,
+        date_begin: date,
+        date_end:date,
+        async_workers_count: int,
+        count_store_size: bool
+    ):
+        """Обновление размеров файла."""
+        fix_queries = self.get_attachments_fix_query(chunk_size, date_begin, date_end, count_store_size)
+        if fix_queries:
+            event_loop = asyncio.get_event_loop()
+            try:
+                event_loop.run_until_complete(
+                    self.fix_attachment_size(fix_queries, connection_pool_size, async_workers_count)
+                )
+            finally:
+                event_loop.close()
+
+    def handle(self, *args, **options):
+        """Выполнение команды."""
+        time_start = datetime.now()
+
+        chunk_size = options['chunk_size']
+        connection_pool_size = options['connection_pool_size']
+        async_workers_count = options['async_workers_count']
+        count_store_size = options['count_store_size']
+
+        date_begin = options.get('date_begin')
+        date_end = options.get('date_end') or date.today()
+
+        if not date_begin:
+            date_begin = date_end - timedelta(days=30)
+
+        elif date_begin > date_end:
+            raise CommandError('Дата начала сборки больше, чем дата окончания')
+
+        logger.info('Обновление размеров файла\n')
+
+        self.update_attachment_size(
+            connection_pool_size,
+            chunk_size,
+            date_begin,
+            date_end,
+            async_workers_count,
+            count_store_size
+        )
+
+        delta = datetime.now() - time_start
+
+        logger.info(f'Время выполнения: {delta}\n')
+
+        logger.info(
+            f'Начальное кол-во записей для исправления: {self.result["initial_count_rows_to_fix"]}\n'
+            f'Исправлено: {self.result["fixed_rows_count"]}\n'
+        )
+
+        errors = self.result['errors']
+        for error in errors:
+            logger.error(error)

edu_rdm_integration/migrations/0013_set_attachment_size.py

@@ -7,33 +7,42 @@ from django.db import (
 from edu_rdm_integration.enums import (
     FileUploadStatusEnum,
 )
+from educommon.utils.seqtools import (
+    make_chunks,
+)
 
 
 # Значение размера файла по умолчанию (если файл не найден)
 ATTACHMENT_SIZES = 10_485_760
+CHUNK_SIZE = 500
 
 
 def set_attachment_size(apps, schema_editor):
     """Установка размера файла по умолчанию."""
-    ExportingDataSubStageAttachment = apps.get_model('edu_rdm_integration', 'ExportingDataSubStageAttachment')  # noqa: N806
-    ExportingDataSubStageUploaderClientLog = apps.get_model('edu_rdm_integration', 'ExportingDataSubStageUploaderClientLog')  # noqa: N806
+    ExportingDataSubStageAttachment = apps.get_model(
+        'edu_rdm_integration', 'ExportingDataSubStageAttachment'
+    )  # noqa: N806
+    ExportingDataSubStageUploaderClientLog = apps.get_model(
+        'edu_rdm_integration', 'ExportingDataSubStageUploaderClientLog'
+    )  # noqa: N806
 
     attachment_ids = ExportingDataSubStageUploaderClientLog.objects.filter(
         file_upload_status=FileUploadStatusEnum.IN_PROGRESS
-    ).values_list('attachment_id', flat=True)
+    ).values_list('attachment_id', flat=True).iterator()
 
     sub_stage_with_deleted_attachments = []
-    for sub_stage_attachment in ExportingDataSubStageAttachment.objects.filter(
-        attachment_size__isnull=True,
-        id__in=attachment_ids
-    ):
-        if sub_stage_attachment.attachment.field.storage.exists(sub_stage_attachment.attachment.name):
-            sub_stage_attachment.attachment_size = sub_stage_attachment.attachment.size
-        else:
-            sub_stage_attachment.attachment_size = ATTACHMENT_SIZES
-        sub_stage_with_deleted_attachments.append(sub_stage_attachment)
-
-    ExportingDataSubStageAttachment.objects.bulk_update(sub_stage_with_deleted_attachments, ['attachment_size'])
+    for chunked_attachment_ids in make_chunks(attachment_ids, CHUNK_SIZE):
+        for sub_stage_attachment in ExportingDataSubStageAttachment.objects.filter(
+            attachment_size__isnull=True,
+            id__in=chunked_attachment_ids,
+        ):
+            if sub_stage_attachment.attachment.field.storage.exists(sub_stage_attachment.attachment.name):
+                sub_stage_attachment.attachment_size = sub_stage_attachment.attachment.size
+            else:
+                sub_stage_attachment.attachment_size = ATTACHMENT_SIZES
+            sub_stage_with_deleted_attachments.append(sub_stage_attachment)
+
+        ExportingDataSubStageAttachment.objects.bulk_update(sub_stage_with_deleted_attachments, ['attachment_size'])
 
 
 class Migration(migrations.Migration):

{edu_rdm_integration-3.4.2.dist-info → edu_rdm_integration-3.4.4.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.4.2
+Version: 3.4.4
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -28,6 +28,7 @@ Requires-Dist: wheel <0.42,>=0.37.1
 Requires-Dist: transliterate <2
 Requires-Dist: Django <3.3,>=2.2
 Requires-Dist: celery <5.3,>=4.4.7
+Requires-Dist: asyncpg ==0.23.0
 Requires-Dist: educommon <4,>=3.11.0
 Requires-Dist: function-tools <1,>=0.9.0
 Requires-Dist: m3-db-utils <1,>=0.3.10
@@ -302,6 +303,23 @@ Requires-Dist: uploader-client <1,>=0.2.1
 ### Удалено
 
 
+## 3.4.4 - 2024-10-23
+Добавлена ассинхронная менедж-команда простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+## Исправлено
+- [EDUSCHL-22651](https://jira.bars.group/browse/EDUSCHL-22651)
+  Добавлена ассинхронная менедж-команда простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
+## 3.4.3 - 2024-10-17
+Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
+## Исправлено
+- [EDUSCHL-22651](https://jira.bars.group/browse/EDUSCHL-22651)
+  Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
+
+
 ## 3.4.2 - 2024-10-15
 Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
 

{edu_rdm_integration-3.4.2.dist-info → edu_rdm_integration-3.4.4.dist-info}/RECORD

@@ -143,6 +143,7 @@ edu_rdm_integration/function_templates/function_export_data_template/validators.
 edu_rdm_integration/management/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/management/general.py,sha256=hmZGp9EKpSAm-VuhXNpW_ETA5TWi3Y-caSj7XB2vtuM,12957
 edu_rdm_integration/management/commands/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+edu_rdm_integration/management/commands/async_fix_attachment_size.py,sha256=4bit6jKuTfw-wF9QfatAcQg29hyGpJzYQ4RHXuAaA9U,9882
 edu_rdm_integration/management/commands/check_upload_status.py,sha256=jGqFMLMgrirG_H2OxzxNG3Z3d1xvORIzWqzKBUtr22Y,3843
 edu_rdm_integration/management/commands/collect_latest_models_data.py,sha256=4ObBFqYMkX5v1saV9V7PivYBm0RMcDCGNlMGx77UAjs,750
 edu_rdm_integration/management/commands/collect_models_data.py,sha256=11RshcQiXk6Flz-8oiFuM5KSZ_8_c1111qkqmyiu5sw,1022
@@ -162,7 +163,7 @@ edu_rdm_integration/migrations/0009_auto_20240522_1619.py,sha256=hz8cBq6m18XK5Pb
 edu_rdm_integration/migrations/0010_transferredentity_export_enabled.py,sha256=LJH7QY_1GLWSHLRPB--9PPypPiQd4pAT2-oIOEF84DY,507
 edu_rdm_integration/migrations/0011_exportingdatasubstageentity.py,sha256=2BfIif_hkFv1h6VEfe0Ys4J_uk6LR9YtO711ocDYPso,1263
 edu_rdm_integration/migrations/0012_exportingdatasubstageattachment_attachment_size.py,sha256=y_JQO69k9pEfrJyimaRiAOBmhaJmssIyepCGd-Sy9hs,511
-edu_rdm_integration/migrations/0013_set_attachment_size.py,sha256=Pj_n-ytsC0lhyU67qvH8UHHQ-c-TH5MZFfy-UF6y6M4,1809
+edu_rdm_integration/migrations/0013_set_attachment_size.py,sha256=8-AJpnIViGUh9Q2aMegUPqyw-fthcL-7Ppbm7IvlRms,2047
 edu_rdm_integration/migrations/0014_uploaddatacommand.py,sha256=Hh0vKKiGgKOvY1kBAcmway4dSYUXwVArHAc9YrsjCIU,2079
 edu_rdm_integration/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/registry/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
@@ -176,9 +177,9 @@ edu_rdm_integration/uploader_log/enums.py,sha256=rgSO3BL2rh2xpfm0Pt4waQW8fB1VMJL
 edu_rdm_integration/uploader_log/managers.py,sha256=y5wTSMzF9hpOpIU_A7nIafL_LBU3QEie6LAYWoB-pBQ,3203
 edu_rdm_integration/uploader_log/ui.py,sha256=YM9Buqp2wxE95Wf5gvAATBzuYzDOossK1sEmvFk07cI,2110
 edu_rdm_integration/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.4.2.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.4.2.dist-info/METADATA,sha256=MyujvyOvHWMyJpk9lZTwTeWORxzV_fMisjEO_DEDvIA,74646
-edu_rdm_integration-3.4.2.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
-edu_rdm_integration-3.4.2.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
-edu_rdm_integration-3.4.2.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.4.2.dist-info/RECORD,,
+edu_rdm_integration-3.4.4.dist-info/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.4.4.dist-info/METADATA,sha256=bomV5xAghSNXhNvPbmxH7X_VQUt-DcaY_b23Ff6mp0g,75601
+edu_rdm_integration-3.4.4.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
+edu_rdm_integration-3.4.4.dist-info/namespace_packages.txt,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
+edu_rdm_integration-3.4.4.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.4.4.dist-info/RECORD,,