educommon 3.16.0__py3-none-any.whl → 3.18.0__py3-none-any.whl

educommon/audit_log/management/commands/audit_log_migrate_data.py

@@ -0,0 +1,357 @@
+"""
+Команда переноса данных из локального AuditLog'а в educommon'овский.
+"""
+import sys
+from datetime import (
+    datetime as dt,
+)
+from typing import (
+    TYPE_CHECKING,
+    Generator,
+    Optional,
+    Type,
+)
+
+from dateutil.relativedelta import (
+    relativedelta,
+)
+from django.apps import (
+    apps,
+)
+from django.core.management.base import (
+    BaseCommand,
+    OutputWrapper,
+)
+from django.db.models import (
+    ManyToManyField,
+    Model,
+)
+
+from educommon.audit_log.models import (
+    AuditLog,
+    Table,
+)
+from educommon.audit_log.utils import (
+    get_model_by_table,
+)
+
+
+if TYPE_CHECKING:
+    from django.db.models.query import (
+        QuerySet,
+    )
+
+
+PROJECT_LOCAL_AUDIT_LOG_APP = {
+    'eduschl': 'web_edu_audit_log',
+    'edussuz': 'audit_log_ssuz',
+    'edukndg': 'audit_log_kndg'
+}
+LOG_OPERATION_MAP = {
+    'N': AuditLog.OPERATION_CREATE,
+    'I': AuditLog.OPERATION_CREATE,
+    'U': AuditLog.OPERATION_UPDATE,
+    'D': AuditLog.OPERATION_DELETE,
+}
+LOCAL_AUDIT_LOG_MODEL_NAME = 'Log'
+DEFAULT_DATE_YEAR_RANGE = 1
+
+
+class BulkSaver:
+    """Контекстный менеджер для группового сохранения записей."""
+
+    def __init__(self, bulk_size: int) -> None:
+        self._bulk_size = bulk_size
+        self._bulk_list = []
+
+    def __enter__(self):
+        return self
+
+    def __exit__(self, *exc):
+        self._bulk_save()
+
+    def save(self, audit_log: AuditLog):
+        self._bulk_list.append(audit_log)
+        if len(self._bulk_list) >= self._bulk_size:
+            self._bulk_save()
+
+    def _bulk_save(self):
+        AuditLog.objects.bulk_create(self._bulk_list)
+        self._bulk_list.clear()
+
+
+class LogMigrator:
+    """Класс для миграции логов из локального AuditLog'а в educommon'овский."""
+
+    def __init__(self, stdout: OutputWrapper):
+        """Инициализация."""
+        self._stdout = stdout
+
+    @staticmethod
+    def get_model(model_name: str) -> Optional[Type[Model]]:
+        """Bозвращает класс модели по имени."""
+        for mod in apps.get_models():
+            if mod.__name__ == model_name and mod.__module__.find('django') == -1:
+                return mod
+
+        return None
+
+    def _get_educommon_table(self, model_name: str, create: bool = False) -> tuple[Optional[Table], str]:
+        """Возвращает таблицу, отслеживаемую системой аудита."""
+        model_cls = self.get_model(model_name)
+
+        if not model_cls:
+            return None, f'Не найдено Django моделей с именем {model_name}'
+        try:
+            return Table.objects.get(name=model_cls._meta.db_table), ''
+        except Table.DoesNotExist:
+            is_loggable_mixin_use = getattr(model_cls, 'need_to_log', False)
+
+            if not is_loggable_mixin_use:
+                return None, (
+                    f'В таблицу {model_name} не добавлен LoggableModelMixin'
+                )
+
+            if create:
+                return Table.objects.create(
+                    name=model_cls._meta.db_table,
+                    schema='public',
+                    logged=True,
+                ), ''
+
+        return None, (
+            f'В educommon не найдено таблицы с именем {model_cls._meta.db_table}. '
+            'Таблицу можно создать, указав флаг force_create_educommon_table'
+        )
+
+    @staticmethod
+    def _get_fields_map(table: Table) -> dict[str, str]:
+        """Возвращает словарь соответствия поля модели и его названия."""
+        return {
+            field.name: field.attname
+            for field in get_model_by_table(table)._meta.get_fields()
+            if field.concrete and not isinstance(field, ManyToManyField)
+        }
+
+    def _get_local_audit_log_query(
+        self,
+        project: str,
+        model_name: str,
+        date_from: dt,
+        date_to: dt
+    ) -> tuple[Optional['QuerySet'], str]:
+        """Возвращает QuerySet с локальными логами."""
+        if not (audit_log_app_name := PROJECT_LOCAL_AUDIT_LOG_APP.get(project)):
+            return None, 'Неизвестное название проекта.'
+
+        audit_log_model = apps.get_model(audit_log_app_name, LOCAL_AUDIT_LOG_MODEL_NAME)
+
+        if not audit_log_model:
+            return None, 'Не найдена локальная модель логов.'
+
+        return audit_log_model.objects.filter(
+            model=model_name,
+            date__lt=date_to,
+            date__gte=date_from,
+        ), ''
+
+    @staticmethod
+    def _prepare_local_logs(query: 'QuerySet') -> Generator[tuple, None, None]:
+        """Подготавливает данные логов для дальнейшего использования."""
+        query = query.values_list(
+            'user_id',
+            'date',
+            'model_id',
+            'object_json',
+            'ip',
+            'operation',
+        ).order_by(
+            'date',
+        )
+        for user_id, date_, model_id, object_json, ip, operation in query.iterator():
+            yield user_id, date_, model_id, ip, operation, object_json
+
+    @staticmethod
+    def _prepare_object_dict(fields_map: dict, object_dict: Optional[dict]) -> dict[str, str]:
+        """Подготавливает данные о объекте для AuditLog.
+
+        В основном требуется только для переименования ForeignKey-полей вида
+        `period` в `period_id`
+        """
+        if not object_dict:
+            return {}
+
+        filled_field_names = set(fields_map).intersection(object_dict)
+        return {
+            fields_map[field_name]: object_dict[field_name]
+            for field_name in filled_field_names
+        }
+
+    def process(
+        self,
+        model_name: str,
+        project: str,
+        bulk_save_size: int,
+        date_from: Optional[dt] = None,
+        date_to: Optional[dt] = None,
+        force_create_educommon_table: bool = False,
+    ):
+        """Перенос записей из локального AuditLog'а в educommon."""
+        table, error = self._get_educommon_table(model_name, force_create_educommon_table)
+        if error:
+            self._stdout.write(error)
+            return
+
+        fields_map = self._get_fields_map(table)
+
+        first_audit_log_date = self._get_first_audit_log_date(table)
+        date_to = dt.combine((date_to or dt.today()), dt.max.time())
+
+        date_to = min(date_to, first_audit_log_date)
+        date_from = date_from or (date_to - relativedelta(years=DEFAULT_DATE_YEAR_RANGE))
+
+        self._stdout.write(
+            f'Поиск записей в локальном Auditlog с {date_from} по {date_to}... ',
+            ending='',
+        )
+
+        local_audit_log_query, error = self._get_local_audit_log_query(
+            project=project,
+            model_name=model_name,
+            date_from=date_from,
+            date_to=date_to,
+        )
+        if error:
+            self._stdout.write(error)
+            return
+
+        total_count = local_audit_log_query.count()
+        self._stdout.write(f'Найдено {total_count} запись(ей).')
+
+        local_logs = self._prepare_local_logs(local_audit_log_query)
+        self._stdout.write(f'Подготовка к работе... (занимает некоторое время)', ending='\r',)
+        with BulkSaver(bulk_save_size) as bulk:
+            for count, (user_id, date_, object_id, ip, operation, data_dict) in enumerate(local_logs, start=1):
+                object_dict = self._prepare_object_dict(fields_map, data_dict[0].get('fields', {}))
+
+                operation = LOG_OPERATION_MAP[operation]
+
+                if operation == AuditLog.OPERATION_UPDATE:
+                    changes = object_dict
+                else:
+                    # Если объект быз создан или удалён, то изменений нет.
+                    changes = {}
+
+                bulk.save(AuditLog(
+                    user_id=user_id,
+                    ip=ip,
+                    time=date_,
+                    table_id=table.id,
+                    data=object_dict,
+                    changes=changes,
+                    object_id=object_id,
+                    operation=operation,
+                ))
+
+                self._stdout.write(
+                    f'Обработано {(count / total_count) * 100:5.2f}% запись(ей)... (Последняя от {date_})',
+                    ending='\r',
+                )
+
+    def _get_first_audit_log_date(self, table: str) -> dt:
+        """Возвращает первую дату/время появления audit_log по переданной таблице.
+
+        В случае отсуствия логов прекращает выполнение команды за отсутствием данных для переноса.
+        """
+        first_log = AuditLog.objects.filter(
+            table=table,
+        ).order_by('time').first()
+
+        if not first_log:
+            self._stdout.write('Не найдены локальные логи переданной модели. Завершение команды.')
+            sys.exit()
+
+        return first_log.time
+
+
+class Command(BaseCommand):
+    """Команда переноса данных из локального AuditLog'а в educommon'овский."""
+
+    help = (
+        'Команда для переноса данных из локального AuditLog`а в educommon.audit_log.models.AuditLog.\n'
+        'Пример использования:\n'
+        'audit_log_migrate_data --project eduschl --model_name Mark --date_from 10.10.2024'
+    )
+
+    @staticmethod
+    def _get_date(date_string: str) -> dt:
+        return dt.strptime(date_string, '%d.%m.%Y')
+
+    def add_arguments(self, parser):
+        parser.add_argument(
+            '--model_name',
+            type=str,
+            help='Название модели из локального лога',
+        )
+        parser.add_argument(
+            '--project',
+            type=str,
+            help='Наименование (код) продукта, в котором применяется команда',
+        )
+        parser.add_argument(
+            '--date_from',
+            type=self._get_date,
+            required=False,
+            help=(
+                'Дата, с которой будут переноситься логи в формате ДД.ММ.ГГГГ. '
+                'Значение по умолчанию - на год раньше даты, указанной в --date_to'
+            ),
+        )
+        parser.add_argument(
+            '--date_to',
+            type=self._get_date,
+            required=False,
+            help=(
+                'Дата, по которую будут переноситься логи в формате ДД.ММ.ГГГГ.'
+                'Значение по умолчанию - текущая дата.'
+            ),
+        )
+        parser.add_argument(
+            '--force_create_educommon_table',
+            action='store_true',
+            default=False,
+            help=(
+                'Создание отслеживаемой таблицы (educommon.audit_log.models.Table), '
+                'если она еще не была создана'
+            ),
+        )
+        parser.add_argument(
+            '--bulk_save_size',
+            type=int,
+            default=500,
+            help='По сколько записей за раз будет сохраняться. По умолчанию 500',
+        )
+
+    def handle(
+        self,
+        model_name: str,
+        project: str,
+        date_from: Optional[dt],
+        date_to: Optional[dt],
+        force_create_educommon_table: bool,
+        bulk_save_size: int,
+        *args,
+        **options,
+    ):
+        """Выполнение переноса записей."""
+        self.stdout.write('Начало работы команды.')
+        LogMigrator(self.stdout).process(
+            model_name=model_name,
+            project=project,
+            date_from=date_from,
+            date_to=date_to,
+            force_create_educommon_table=force_create_educommon_table,
+            bulk_save_size=bulk_save_size,
+        )
+
+        self.stdout.write(self.style.SUCCESS('Выполнение команды завершено.'))

educommon/audit_log/migrations/0010_alter_auditlog_time.py

@@ -0,0 +1,24 @@
+# Generated by Django 3.2.24 on 2025-05-16 12:04
+
+from django.db import (
+    migrations,
+    models,
+)
+from django.utils import (
+    timezone,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('audit_log', '0009_reinstall_audit_log'),
+    ]
+
+    operations = [
+        migrations.AlterField(
+            model_name='auditlog',
+            name='time',
+            field=models.DateTimeField(db_index=True, default=timezone.now, verbose_name='Дата, время'),
+        ),
+    ]

educommon/audit_log/models.py

@@ -41,6 +41,9 @@ from django.db.backends.signals import (
 from django.dispatch.dispatcher import (
     receiver,
 )
+from django.utils import (
+    timezone,
+)
 
 from educommon.audit_log.utils import (
     get_audit_log_context,
@@ -115,7 +118,7 @@ class AuditLog(ReadOnlyMixin, BaseModel):
         verbose_name='Тип пользователя',
     )
     ip = models.GenericIPAddressField(null=True, verbose_name='IP адрес')
-    time = models.DateTimeField(auto_now_add=True, db_index=True, verbose_name='Дата, время')
+    time = models.DateTimeField(default=timezone.now, db_index=True, verbose_name='Дата, время')
     table = models.ForeignKey(
         Table,
         verbose_name='Таблица',

educommon/audit_log/utils/__init__.py

@@ -40,6 +40,7 @@ from django.db.transaction import (
 from django.http import (
     HttpRequest,
 )
+
 from m3_django_compat import (
     get_related,
 )
@@ -52,6 +53,9 @@ from educommon.audit_log.constants import (
     PG_LOCK_ID,
     SQL_FILES_DIR,
 )
+from educommon.logger import (
+    error as logger_error,
+)
 from educommon.utils.misc import (
     cached_property,
 )
@@ -99,6 +103,19 @@ def get_need_to_log_table_names() -> Set[str]:
     return table_names
 
 
+def get_table_names_for_app_labels(app_labels: Iterable[str]) -> Set[str]:
+    """Возвращает множество с именами таблиц для указанных приложений."""
+    tables = set()
+    for app_label in app_labels:
+        try:
+            app_config = apps.get_app_config(app_label)
+            tables.update(model._meta.db_table for model in app_config.get_models())
+        except LookupError:
+            continue
+
+    return tables
+
+
 def update_or_create_tables(need_to_log_table_names: Iterable[str]) -> bool:
     """Создаёт записи Table для отслеживаемых таблиц, либо меняет флаг logged.
 
@@ -109,6 +126,21 @@ def update_or_create_tables(need_to_log_table_names: Iterable[str]) -> bool:
     need_to_log_table_names = set(need_to_log_table_names)
     existed_table_names = set(Table.objects.filter(schema='public').values_list('name', flat=True))
 
+    # Таблицы сервисных приложений, которые не должны отслеживаться аудит-логом
+    allowed_service_apps_labels = getattr(settings, 'ALLOWED_SERVICE_APPS_LABELS', [])
+    service_table_names = get_table_names_for_app_labels(allowed_service_apps_labels)
+
+    # Проверка конфликтных таблиц: должны логироваться, но находятся в сервисных приложениях
+    conflicting_tables = need_to_log_table_names & service_table_names
+    if conflicting_tables:
+        tables = ', '.join(sorted(conflicting_tables))
+        error_msg = (
+            f'Невозможно включить логирование для сервисных таблиц: {tables}. '
+            'Исключите их из отслеживания или перенесите таблицы в основную БД.'
+        )
+        logger_error(error_msg)
+        raise ValueError(error_msg)
+
     to_create_table_names = need_to_log_table_names - existed_table_names
     to_disable_table_names = existed_table_names - need_to_log_table_names
 

{educommon-3.16.0.dist-info → educommon-3.18.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: educommon
-Version: 3.16.0
+Version: 3.18.0
 Summary: Общая кодовая база для проектов БЦ Образование
 Author-email: BARS Group <education_dev@bars-open.ru>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/educommon/browse

{educommon-3.16.0.dist-info → educommon-3.18.0.dist-info}/RECORD

@@ -48,7 +48,7 @@ educommon/audit_log/apps.py,sha256=A27iSAEWAVr7LmBmexVDrbWm3eQ-zFq1FYGQRClMJVM,6
 educommon/audit_log/constants.py,sha256=8C1SCiwD1s_ED9C3Hh50LMAnToGvZmF21nrv18hRLEg,903
 educommon/audit_log/helpers.py,sha256=Dp1DvuzVkhD-P37yoXGd1tvXKPJz2ZQzROS97VURrcY,727
 educommon/audit_log/middleware.py,sha256=HkxBh-1RQJnhKqckkXaMbFjJ34WgZGJssbk04wiS3ts,1140
-educommon/audit_log/models.py,sha256=LLKbnpvz89ZzZ__ZDYBXqh_Klp3z_XfSo69s-MsX-6g,13066
+educommon/audit_log/models.py,sha256=wWVJAb7EsluER4FiZQjk3Povw5N__F-X9iCcZNFNjGY,13112
 educommon/audit_log/permissions.py,sha256=_0ntlLKUbJ1kYR2_YpgOxYMJNopZkrdIgxgPiHgL780,1273
 educommon/audit_log/proxies.py,sha256=IVZSKpeTDTV8AXdblLo1u9yOmecPdzSvVNrgmf-sxBQ,8750
 educommon/audit_log/routers.py,sha256=FF3KLvf6_WWFuZ9VRI8AZyKDfWp_lyd0i6bcVFfIehQ,204
@@ -57,6 +57,7 @@ educommon/audit_log/error_log/__init__.py,sha256=lfAIm5GTGQ1-kRFxH1s0agSt2Oeguwj
 educommon/audit_log/error_log/actions.py,sha256=-KSy3RrBsbPWCML-gl5Hl5UGQdEsPZhoKrHq16LRmm8,2305
 educommon/audit_log/management/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 educommon/audit_log/management/commands/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+educommon/audit_log/management/commands/audit_log_migrate_data.py,sha256=J_ZIpamGVBcotc-6cYsz37AJADEEyuiUs-VVyKON47o,12695
 educommon/audit_log/management/commands/reinstall_audit_log.py,sha256=HHpUeQwG_SuSsaxwZIq66piNhip_GHHQmAzpEzOFgaM,3573
 educommon/audit_log/migrations/0001_initial.py,sha256=HDhvBNyVSx_NlFmyA-t_ooFo_TiKf0UHNCZp1GOpLA8,6115
 educommon/audit_log/migrations/0002_install_audit_log.py,sha256=kAhtd1Xz8b6g33wmxBQyRBJIl-LGJdOc7yFy5yhoRJ8,2825
@@ -67,10 +68,11 @@ educommon/audit_log/migrations/0006_auto_20200806_1707.py,sha256=as1GDzH6UBF8_8g
 educommon/audit_log/migrations/0007_create_selective_tables_function.py,sha256=h65nZHknxORAArKXTtblaRHH9iEmUMT8t4dAtEp6ii0,871
 educommon/audit_log/migrations/0008_table_logged.py,sha256=mvBPtLGxgtwOIImIZ616yifmcUsEFbCjWo5NkhTX3Q4,476
 educommon/audit_log/migrations/0009_reinstall_audit_log.py,sha256=c95H2yamWyrCoGDby6M_VGh41p2MuftC_xjmk_nqqQ8,286
+educommon/audit_log/migrations/0010_alter_auditlog_time.py,sha256=XmujmdgNADMy4OhL4O7CIK6KDKtW2sSyfxLYWEGmtvI,509
 educommon/audit_log/migrations/__init__.py,sha256=AbpHGcgLb-kRsJGnwFEktk7uzpZOCcBY74-YBdrKVGs,1
 educommon/audit_log/sql/configure_audit_log.sql,sha256=M3QxNKTZbn-uNRxGDvNxE9iJh1EOQUTIho7rvc3yhlY,1511
 educommon/audit_log/sql/install_audit_log.sql,sha256=SHrZ7WaYxawUKQEpZnj9k4HTU25NvBlxX_POqZ95HU0,14107
-educommon/audit_log/utils/__init__.py,sha256=FSq-L4wNOrCTqve16c4KruIxTwHZuTh1lNLNgznAcv8,14843
+educommon/audit_log/utils/__init__.py,sha256=14BHRbKdnvHNgomM-R__GqLk1N32ww_GN2xy81Ph_gs,16388
 educommon/audit_log/utils/operations.py,sha256=skxL7wE4Jx1XlNdPx-Pl3SfiZ1G9jBmcZrXKSQDUGzw,2555
 educommon/auth/__init__.py,sha256=xkGJgqQ5QaEU86n6tJV77ux-2bMTAKbjpVYBCDhcS0E,79
 educommon/auth/rbac/__init__.py,sha256=guO7sOX6e1Z-dqptsqXjbnMdgbSdKp2suDKJa5_pdVU,317
@@ -349,7 +351,7 @@ educommon/ws_log/smev/exceptions.py,sha256=VNfzNHlj5Pz8D4979d_msTkxC-RQVoMctsgoJ
 educommon/ws_log/templates/report/smev_logs.xlsx,sha256=nnYgB0Z_ix8HoxsRICjsZfFRQBdra-5Gd8nWhCxTjYg,10439
 educommon/ws_log/templates/ui-js/smev-logs-list-window.js,sha256=AGup3D8GTJSY9WdDPj0zBJeYQBFOmGgcbxPOJbKK-nY,513
 educommon/ws_log/templates/ui-js/smev-logs-report-setting-window.js,sha256=nQ7QYK9frJcE7g7kIt6INg9TlEEJAPPayBJgRaoTePA,1103
-educommon-3.16.0.dist-info/METADATA,sha256=ZYDGTR3SSXHFsU4TUGcu2hlppLguZu2-ZbEx1kXk17M,2380
-educommon-3.16.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
-educommon-3.16.0.dist-info/top_level.txt,sha256=z5fbW7bz_0V1foUm_FGcZ9_MTpW3N1dBN7-kEmMowl4,10
-educommon-3.16.0.dist-info/RECORD,,
+educommon-3.18.0.dist-info/METADATA,sha256=cKDmyFTkng12PZ-N2rVp62H3esRyCz9mHRLwenDTlLU,2380
+educommon-3.18.0.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
+educommon-3.18.0.dist-info/top_level.txt,sha256=z5fbW7bz_0V1foUm_FGcZ9_MTpW3N1dBN7-kEmMowl4,10
+educommon-3.18.0.dist-info/RECORD,,