educommon 3.16.0__tar.gz → 3.18.0__tar.gz

{educommon-3.16.0 → educommon-3.18.0}/CHANGELOG.md

@@ -28,6 +28,30 @@
 ### Удалено
 
 
+# [3.18.0] - 2025-06-05
+
+### Добавлено
+
+- [EDUSCHL-23442](https://jira.bars.group/browse/EDUSCHL-23442)
+  MINOR Добавлена manage-команда переноса логов из локальных приложений в educommon.audit_log
+
+### Изменено
+
+- [EDUSCHL-23442](https://jira.bars.group/browse/EDUSCHL-23442)
+  PATCH В поле AuditLog.time auto_now_add заменен на default
+
+
+# [3.17.0] - 2025-05-28
+
+Добавлена проверка конфликтующих таблиц которые должны логироваться, но находятся в сервисных приложениях.
+
+### Добавлено
+
+- [EDUSCHL-23590](https://jira.bars.group/browse/EDUSCHL-23590)
+  MINOR Добавлена функция get_table_names_for_app_labels для получения множества с именами таблиц для указанных приложений.
+  Добавлена проверка конфликтующих таблиц которые должны логироваться, но находятся в сервисных приложениях.
+
+
 # [3.16.0] - 2025-05-15
 
 Добавлена настройка передачи дополнительных SQL файлов для выполнения в МК reinstall_audit_log.
@@ -72,9 +96,9 @@
 ### Изменено
 
 - [EDUSCHL-23386](https://jira.bars.group/browse/EDUSCHL-23386)
-  MINOR Классы LogProxy, AuditLogPack преобразованы в абстрактные с добавлением абстрактных методов для 
+  MINOR Классы LogProxy, AuditLogPack преобразованы в абстрактные с добавлением абстрактных методов для
   извлечения исходных данных необходимых при: отображении ФИО пользователя в журнале изменений; фильтрации по ФИО;
-  отображении ФИО, организации в окне редактирования записи журнала изменений. 
+  отображении ФИО, организации в окне редактирования записи журнала изменений.
   Подробнее о необходимых настройках в audit_log/README.rst.
 
 
@@ -83,7 +107,7 @@
 Небольшой рефакторинг для корректной сборки пакета.
 
 ### Изменено
-  
+
   - MINOR Удалены ненужные файлы, актуализирована сборка пакета.
 
 
@@ -106,14 +130,14 @@
   PATCH Заменено устаревшее строковое форматирование `%` на f-строки и `.format()`.
   PATCH Проведён широкий рефакторинг кода с использованием `ruff`: улучшена читаемость, устранены потенциальные ошибки и упрощена структура модулей.
 - [EDUKNDG-15346](https://jira.bars.group/browse/EDUKNDG-15346)
-  PATCH Исправлена минимальная дата для валидатора поля RangedDateField и BirthDateField. 
+  PATCH Исправлена минимальная дата для валидатора поля RangedDateField и BirthDateField.
 - [EDUSCHL-23422](https://jira.bars.group/browse/EDUSCHL-23422)
   PATCH Тип сообщения о предотвращении доступа к БД, по которой не проводистя миграция,
   с `warning` изменён на `debug`
 
 ### Удалено
 
-- [EDUDEVOPS-28](https://jira.bars.group/browse/EDUDEVOPS-28)  
+- [EDUDEVOPS-28](https://jira.bars.group/browse/EDUDEVOPS-28)
   PATCH Удалены остатки поддержки Python2: директивы `__future__`, проверки `sys.version_info`, типы `unicode`, `basestring` и др.
 
 

{educommon-3.16.0 → educommon-3.18.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: educommon
-Version: 3.16.0
+Version: 3.18.0
 Summary: Общая кодовая база для проектов БЦ Образование
 Author-email: BARS Group <education_dev@bars-open.ru>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/educommon/browse

educommon-3.18.0/src/educommon/audit_log/management/commands/audit_log_migrate_data.py

@@ -0,0 +1,357 @@
+"""
+Команда переноса данных из локального AuditLog'а в educommon'овский.
+"""
+import sys
+from datetime import (
+    datetime as dt,
+)
+from typing import (
+    TYPE_CHECKING,
+    Generator,
+    Optional,
+    Type,
+)
+
+from dateutil.relativedelta import (
+    relativedelta,
+)
+from django.apps import (
+    apps,
+)
+from django.core.management.base import (
+    BaseCommand,
+    OutputWrapper,
+)
+from django.db.models import (
+    ManyToManyField,
+    Model,
+)
+
+from educommon.audit_log.models import (
+    AuditLog,
+    Table,
+)
+from educommon.audit_log.utils import (
+    get_model_by_table,
+)
+
+
+if TYPE_CHECKING:
+    from django.db.models.query import (
+        QuerySet,
+    )
+
+
+PROJECT_LOCAL_AUDIT_LOG_APP = {
+    'eduschl': 'web_edu_audit_log',
+    'edussuz': 'audit_log_ssuz',
+    'edukndg': 'audit_log_kndg'
+}
+LOG_OPERATION_MAP = {
+    'N': AuditLog.OPERATION_CREATE,
+    'I': AuditLog.OPERATION_CREATE,
+    'U': AuditLog.OPERATION_UPDATE,
+    'D': AuditLog.OPERATION_DELETE,
+}
+LOCAL_AUDIT_LOG_MODEL_NAME = 'Log'
+DEFAULT_DATE_YEAR_RANGE = 1
+
+
+class BulkSaver:
+    """Контекстный менеджер для группового сохранения записей."""
+
+    def __init__(self, bulk_size: int) -> None:
+        self._bulk_size = bulk_size
+        self._bulk_list = []
+
+    def __enter__(self):
+        return self
+
+    def __exit__(self, *exc):
+        self._bulk_save()
+
+    def save(self, audit_log: AuditLog):
+        self._bulk_list.append(audit_log)
+        if len(self._bulk_list) >= self._bulk_size:
+            self._bulk_save()
+
+    def _bulk_save(self):
+        AuditLog.objects.bulk_create(self._bulk_list)
+        self._bulk_list.clear()
+
+
+class LogMigrator:
+    """Класс для миграции логов из локального AuditLog'а в educommon'овский."""
+
+    def __init__(self, stdout: OutputWrapper):
+        """Инициализация."""
+        self._stdout = stdout
+
+    @staticmethod
+    def get_model(model_name: str) -> Optional[Type[Model]]:
+        """Bозвращает класс модели по имени."""
+        for mod in apps.get_models():
+            if mod.__name__ == model_name and mod.__module__.find('django') == -1:
+                return mod
+
+        return None
+
+    def _get_educommon_table(self, model_name: str, create: bool = False) -> tuple[Optional[Table], str]:
+        """Возвращает таблицу, отслеживаемую системой аудита."""
+        model_cls = self.get_model(model_name)
+
+        if not model_cls:
+            return None, f'Не найдено Django моделей с именем {model_name}'
+        try:
+            return Table.objects.get(name=model_cls._meta.db_table), ''
+        except Table.DoesNotExist:
+            is_loggable_mixin_use = getattr(model_cls, 'need_to_log', False)
+
+            if not is_loggable_mixin_use:
+                return None, (
+                    f'В таблицу {model_name} не добавлен LoggableModelMixin'
+                )
+
+            if create:
+                return Table.objects.create(
+                    name=model_cls._meta.db_table,
+                    schema='public',
+                    logged=True,
+                ), ''
+
+        return None, (
+            f'В educommon не найдено таблицы с именем {model_cls._meta.db_table}. '
+            'Таблицу можно создать, указав флаг force_create_educommon_table'
+        )
+
+    @staticmethod
+    def _get_fields_map(table: Table) -> dict[str, str]:
+        """Возвращает словарь соответствия поля модели и его названия."""
+        return {
+            field.name: field.attname
+            for field in get_model_by_table(table)._meta.get_fields()
+            if field.concrete and not isinstance(field, ManyToManyField)
+        }
+
+    def _get_local_audit_log_query(
+        self,
+        project: str,
+        model_name: str,
+        date_from: dt,
+        date_to: dt
+    ) -> tuple[Optional['QuerySet'], str]:
+        """Возвращает QuerySet с локальными логами."""
+        if not (audit_log_app_name := PROJECT_LOCAL_AUDIT_LOG_APP.get(project)):
+            return None, 'Неизвестное название проекта.'
+
+        audit_log_model = apps.get_model(audit_log_app_name, LOCAL_AUDIT_LOG_MODEL_NAME)
+
+        if not audit_log_model:
+            return None, 'Не найдена локальная модель логов.'
+
+        return audit_log_model.objects.filter(
+            model=model_name,
+            date__lt=date_to,
+            date__gte=date_from,
+        ), ''
+
+    @staticmethod
+    def _prepare_local_logs(query: 'QuerySet') -> Generator[tuple, None, None]:
+        """Подготавливает данные логов для дальнейшего использования."""
+        query = query.values_list(
+            'user_id',
+            'date',
+            'model_id',
+            'object_json',
+            'ip',
+            'operation',
+        ).order_by(
+            'date',
+        )
+        for user_id, date_, model_id, object_json, ip, operation in query.iterator():
+            yield user_id, date_, model_id, ip, operation, object_json
+
+    @staticmethod
+    def _prepare_object_dict(fields_map: dict, object_dict: Optional[dict]) -> dict[str, str]:
+        """Подготавливает данные о объекте для AuditLog.
+
+        В основном требуется только для переименования ForeignKey-полей вида
+        `period` в `period_id`
+        """
+        if not object_dict:
+            return {}
+
+        filled_field_names = set(fields_map).intersection(object_dict)
+        return {
+            fields_map[field_name]: object_dict[field_name]
+            for field_name in filled_field_names
+        }
+
+    def process(
+        self,
+        model_name: str,
+        project: str,
+        bulk_save_size: int,
+        date_from: Optional[dt] = None,
+        date_to: Optional[dt] = None,
+        force_create_educommon_table: bool = False,
+    ):
+        """Перенос записей из локального AuditLog'а в educommon."""
+        table, error = self._get_educommon_table(model_name, force_create_educommon_table)
+        if error:
+            self._stdout.write(error)
+            return
+
+        fields_map = self._get_fields_map(table)
+
+        first_audit_log_date = self._get_first_audit_log_date(table)
+        date_to = dt.combine((date_to or dt.today()), dt.max.time())
+
+        date_to = min(date_to, first_audit_log_date)
+        date_from = date_from or (date_to - relativedelta(years=DEFAULT_DATE_YEAR_RANGE))
+
+        self._stdout.write(
+            f'Поиск записей в локальном Auditlog с {date_from} по {date_to}... ',
+            ending='',
+        )
+
+        local_audit_log_query, error = self._get_local_audit_log_query(
+            project=project,
+            model_name=model_name,
+            date_from=date_from,
+            date_to=date_to,
+        )
+        if error:
+            self._stdout.write(error)
+            return
+
+        total_count = local_audit_log_query.count()
+        self._stdout.write(f'Найдено {total_count} запись(ей).')
+
+        local_logs = self._prepare_local_logs(local_audit_log_query)
+        self._stdout.write(f'Подготовка к работе... (занимает некоторое время)', ending='\r',)
+        with BulkSaver(bulk_save_size) as bulk:
+            for count, (user_id, date_, object_id, ip, operation, data_dict) in enumerate(local_logs, start=1):
+                object_dict = self._prepare_object_dict(fields_map, data_dict[0].get('fields', {}))
+
+                operation = LOG_OPERATION_MAP[operation]
+
+                if operation == AuditLog.OPERATION_UPDATE:
+                    changes = object_dict
+                else:
+                    # Если объект быз создан или удалён, то изменений нет.
+                    changes = {}
+
+                bulk.save(AuditLog(
+                    user_id=user_id,
+                    ip=ip,
+                    time=date_,
+                    table_id=table.id,
+                    data=object_dict,
+                    changes=changes,
+                    object_id=object_id,
+                    operation=operation,
+                ))
+
+                self._stdout.write(
+                    f'Обработано {(count / total_count) * 100:5.2f}% запись(ей)... (Последняя от {date_})',
+                    ending='\r',
+                )
+
+    def _get_first_audit_log_date(self, table: str) -> dt:
+        """Возвращает первую дату/время появления audit_log по переданной таблице.
+
+        В случае отсуствия логов прекращает выполнение команды за отсутствием данных для переноса.
+        """
+        first_log = AuditLog.objects.filter(
+            table=table,
+        ).order_by('time').first()
+
+        if not first_log:
+            self._stdout.write('Не найдены локальные логи переданной модели. Завершение команды.')
+            sys.exit()
+
+        return first_log.time
+
+
+class Command(BaseCommand):
+    """Команда переноса данных из локального AuditLog'а в educommon'овский."""
+
+    help = (
+        'Команда для переноса данных из локального AuditLog`а в educommon.audit_log.models.AuditLog.\n'
+        'Пример использования:\n'
+        'audit_log_migrate_data --project eduschl --model_name Mark --date_from 10.10.2024'
+    )
+
+    @staticmethod
+    def _get_date(date_string: str) -> dt:
+        return dt.strptime(date_string, '%d.%m.%Y')
+
+    def add_arguments(self, parser):
+        parser.add_argument(
+            '--model_name',
+            type=str,
+            help='Название модели из локального лога',
+        )
+        parser.add_argument(
+            '--project',
+            type=str,
+            help='Наименование (код) продукта, в котором применяется команда',
+        )
+        parser.add_argument(
+            '--date_from',
+            type=self._get_date,
+            required=False,
+            help=(
+                'Дата, с которой будут переноситься логи в формате ДД.ММ.ГГГГ. '
+                'Значение по умолчанию - на год раньше даты, указанной в --date_to'
+            ),
+        )
+        parser.add_argument(
+            '--date_to',
+            type=self._get_date,
+            required=False,
+            help=(
+                'Дата, по которую будут переноситься логи в формате ДД.ММ.ГГГГ.'
+                'Значение по умолчанию - текущая дата.'
+            ),
+        )
+        parser.add_argument(
+            '--force_create_educommon_table',
+            action='store_true',
+            default=False,
+            help=(
+                'Создание отслеживаемой таблицы (educommon.audit_log.models.Table), '
+                'если она еще не была создана'
+            ),
+        )
+        parser.add_argument(
+            '--bulk_save_size',
+            type=int,
+            default=500,
+            help='По сколько записей за раз будет сохраняться. По умолчанию 500',
+        )
+
+    def handle(
+        self,
+        model_name: str,
+        project: str,
+        date_from: Optional[dt],
+        date_to: Optional[dt],
+        force_create_educommon_table: bool,
+        bulk_save_size: int,
+        *args,
+        **options,
+    ):
+        """Выполнение переноса записей."""
+        self.stdout.write('Начало работы команды.')
+        LogMigrator(self.stdout).process(
+            model_name=model_name,
+            project=project,
+            date_from=date_from,
+            date_to=date_to,
+            force_create_educommon_table=force_create_educommon_table,
+            bulk_save_size=bulk_save_size,
+        )
+
+        self.stdout.write(self.style.SUCCESS('Выполнение команды завершено.'))

educommon-3.18.0/src/educommon/audit_log/migrations/0010_alter_auditlog_time.py

@@ -0,0 +1,24 @@
+# Generated by Django 3.2.24 on 2025-05-16 12:04
+
+from django.db import (
+    migrations,
+    models,
+)
+from django.utils import (
+    timezone,
+)
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('audit_log', '0009_reinstall_audit_log'),
+    ]
+
+    operations = [
+        migrations.AlterField(
+            model_name='auditlog',
+            name='time',
+            field=models.DateTimeField(db_index=True, default=timezone.now, verbose_name='Дата, время'),
+        ),
+    ]

{educommon-3.16.0 → educommon-3.18.0}/src/educommon/audit_log/models.py

@@ -41,6 +41,9 @@ from django.db.backends.signals import (
 from django.dispatch.dispatcher import (
     receiver,
 )
+from django.utils import (
+    timezone,
+)
 
 from educommon.audit_log.utils import (
     get_audit_log_context,
@@ -115,7 +118,7 @@ class AuditLog(ReadOnlyMixin, BaseModel):
         verbose_name='Тип пользователя',
     )
     ip = models.GenericIPAddressField(null=True, verbose_name='IP адрес')
-    time = models.DateTimeField(auto_now_add=True, db_index=True, verbose_name='Дата, время')
+    time = models.DateTimeField(default=timezone.now, db_index=True, verbose_name='Дата, время')
     table = models.ForeignKey(
         Table,
         verbose_name='Таблица',

{educommon-3.16.0 → educommon-3.18.0}/src/educommon/audit_log/utils/__init__.py

@@ -40,6 +40,7 @@ from django.db.transaction import (
 from django.http import (
     HttpRequest,
 )
+
 from m3_django_compat import (
     get_related,
 )
@@ -52,6 +53,9 @@ from educommon.audit_log.constants import (
     PG_LOCK_ID,
     SQL_FILES_DIR,
 )
+from educommon.logger import (
+    error as logger_error,
+)
 from educommon.utils.misc import (
     cached_property,
 )
@@ -99,6 +103,19 @@ def get_need_to_log_table_names() -> Set[str]:
     return table_names
 
 
+def get_table_names_for_app_labels(app_labels: Iterable[str]) -> Set[str]:
+    """Возвращает множество с именами таблиц для указанных приложений."""
+    tables = set()
+    for app_label in app_labels:
+        try:
+            app_config = apps.get_app_config(app_label)
+            tables.update(model._meta.db_table for model in app_config.get_models())
+        except LookupError:
+            continue
+
+    return tables
+
+
 def update_or_create_tables(need_to_log_table_names: Iterable[str]) -> bool:
     """Создаёт записи Table для отслеживаемых таблиц, либо меняет флаг logged.
 
@@ -109,6 +126,21 @@ def update_or_create_tables(need_to_log_table_names: Iterable[str]) -> bool:
     need_to_log_table_names = set(need_to_log_table_names)
     existed_table_names = set(Table.objects.filter(schema='public').values_list('name', flat=True))
 
+    # Таблицы сервисных приложений, которые не должны отслеживаться аудит-логом
+    allowed_service_apps_labels = getattr(settings, 'ALLOWED_SERVICE_APPS_LABELS', [])
+    service_table_names = get_table_names_for_app_labels(allowed_service_apps_labels)
+
+    # Проверка конфликтных таблиц: должны логироваться, но находятся в сервисных приложениях
+    conflicting_tables = need_to_log_table_names & service_table_names
+    if conflicting_tables:
+        tables = ', '.join(sorted(conflicting_tables))
+        error_msg = (
+            f'Невозможно включить логирование для сервисных таблиц: {tables}. '
+            'Исключите их из отслеживания или перенесите таблицы в основную БД.'
+        )
+        logger_error(error_msg)
+        raise ValueError(error_msg)
+
     to_create_table_names = need_to_log_table_names - existed_table_names
     to_disable_table_names = existed_table_names - need_to_log_table_names
 

{educommon-3.16.0 → educommon-3.18.0}/src/educommon.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: educommon
-Version: 3.16.0
+Version: 3.18.0
 Summary: Общая кодовая база для проектов БЦ Образование
 Author-email: BARS Group <education_dev@bars-open.ru>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/educommon/browse

{educommon-3.16.0 → educommon-3.18.0}/src/educommon.egg-info/SOURCES.txt

@@ -68,6 +68,7 @@ src/educommon/audit_log/error_log/__init__.py
 src/educommon/audit_log/error_log/actions.py
 src/educommon/audit_log/management/__init__.py
 src/educommon/audit_log/management/commands/__init__.py
+src/educommon/audit_log/management/commands/audit_log_migrate_data.py
 src/educommon/audit_log/management/commands/reinstall_audit_log.py
 src/educommon/audit_log/migrations/0001_initial.py
 src/educommon/audit_log/migrations/0002_install_audit_log.py
@@ -78,6 +79,7 @@ src/educommon/audit_log/migrations/0006_auto_20200806_1707.py
 src/educommon/audit_log/migrations/0007_create_selective_tables_function.py
 src/educommon/audit_log/migrations/0008_table_logged.py
 src/educommon/audit_log/migrations/0009_reinstall_audit_log.py
+src/educommon/audit_log/migrations/0010_alter_auditlog_time.py
 src/educommon/audit_log/migrations/__init__.py
 src/educommon/audit_log/sql/configure_audit_log.sql
 src/educommon/audit_log/sql/install_audit_log.sql