educommon 3.19.1__tar.gz → 3.20.0__tar.gz

{educommon-3.19.1 → educommon-3.20.0}/CHANGELOG.md

@@ -28,6 +28,16 @@
 ### Удалено
 
 
+# [3.20.0] - 2025-06-23
+
+Добавлена manage-команда удаления ложных логов в таблицах audit_log_auditlog и state_log_all.
+
+### Добавлено
+
+- [EDUDEVOPS-90](https://jira.bars.group/browse/EDUDEVOPS-90)
+  MINOR Добавлена manage-команда удаления ложных логов в таблицах audit_log_auditlog и state_log_all. 
+
+
 ## [3.19.1] - 2025-06-20
 
 Добавлен базовый класс для внутренних справочников `NamedIntEnum`.

{educommon-3.19.1 → educommon-3.20.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: educommon
-Version: 3.19.1
+Version: 3.20.0
 Summary: Общая кодовая база для проектов БЦ Образование
 Author-email: BARS Group <education_dev@bars-open.ru>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/educommon/browse

educommon-3.20.0/src/educommon/audit_log/management/commands/removing_false_logs.py

@@ -0,0 +1,162 @@
+"""
+Команда удаления ложных логов в таблицах audit_log_auditlog и state_log_all.
+"""
+import codecs
+import os
+
+import psycopg2
+from django.apps import (
+    apps,
+)
+from django.core.management.base import (
+    BaseCommand,
+)
+from django.utils.functional import (
+    cached_property,
+)
+
+from psycopg2.extras import (
+    Json,
+)
+
+from educommon.audit_log.constants import (
+    SQL_FILES_DIR,
+)
+from educommon.audit_log.utils import (
+    get_db_connection_params,
+    get_auto_now_fields_by_model,
+)
+
+
+NEW_AUDIT_LOG_REMOVING_FALSE_LOGS_SQL_FILE_NAME = 'new_audit_log_removing_false_logs.sql'
+OLD_AUDIT_LOG_REMOVING_FALSE_LOGS_SQL_FILE_NAME = 'old_audit_log_removing_false_logs.sql'
+NEW_AUDIT_LOG_TABLE_NAME = 'audit_log_auditlog'
+OLD_AUDIT_LOG_TABLE_NAME = 'state_log_all'
+
+
+class Command(BaseCommand):
+    """Команда удаления ложных логов в таблицах audit_log_auditlog и state_log_all."""
+
+    help = 'Команда удаления ложных логов в таблицах audit_log_auditlog и state_log_all..'
+
+    @cached_property
+    def auto_now_fields_new_audit_log(self) -> dict[str, list[str]]:
+        """Возвращает словарь с полями, имеющими auto_now=True, для моделей с флагом need_to_log = True.
+
+        Returns:
+            Словарь, где ключ это название таблицы, а значение это список названий полей имеющими auto_now=True.
+        """
+
+        return get_auto_now_fields_by_model()
+
+    @cached_property
+    def auto_now_fields_old_audit_log(self) -> dict[str, list[str]]:
+        """Возвращает словарь с полями, имеющими auto_now=True, для моделей с флагом need_to_log = True.
+
+        Returns:
+            Словарь, где ключ это название модели, а значение это список названий полей имеющими auto_now=True.
+        """
+
+        return {
+            model.__name__: fields
+            for model in apps.get_models()
+            if (fields := self.auto_now_fields_new_audit_log.get(model._meta.db_table))
+        }
+
+    def _check_exists_table(self, cursor, table_name: str) -> bool:
+        """Запуск SQL-скрипта для проверки существования таблицы.
+
+        Args:
+            cursor: Объект-курсор для работы с базой данных.
+            table_name: Название таблицы БД.
+
+        Returns:
+            Флаг существования таблицы.
+        """
+        exists_table = """
+            SELECT 1 
+            FROM INFORMATION_SCHEMA.TABLES 
+            WHERE TABLE_SCHEMA = 'public' AND TABLE_NAME = '{table_name}';
+        """.format(table_name=table_name)
+
+        cursor.execute(exists_table)
+
+        return bool(cursor.fetchone())
+
+    def _delete_log(self, cursor, table_name: str, sql_file_name: str, auto_now_fields) -> None:
+        """Запуск SQL-скрипта по удалению ложных логов.
+
+        Args:
+            cursor: Объект-курсор для работы с базой данных.
+            table_name: Название таблицы БД.
+            sql_file_name: Название SQL файла.
+            auto_now_fields: Словарь с полями, имеющими auto_now=True, для моделей с флагом need_to_log = True.
+        """
+        if self._check_exists_table(cursor, table_name):
+            self.stdout.write(f'Удаление ложных записей в таблице {table_name}.')
+            cursor.execute(self._prepare_sql(sql_file_name, auto_now_fields, table_name))
+            self.stdout.write(self.style.SUCCESS(f'Успешно удалены ложные записи в таблице {table_name}.'))
+        else:
+            self.stdout.write(self.style.ERROR(f'Таблица {table_name} не найдена.'))
+
+    def _read_sql(self, sql_file_name: str) -> str:
+        """Чтение SQL-кода из файла.
+
+        Args:
+            sql_file_name: Название SQL файла.
+
+        Returns:
+            SQL-кода из файла.
+        """
+        sql_file_path = os.path.join(SQL_FILES_DIR, sql_file_name)
+
+        with codecs.open(sql_file_path, 'r', 'utf-8') as sql_file:
+            sql = sql_file.read()
+
+        self.stdout.write(f'Выполнение {sql_file_name}.')
+
+        return sql
+
+    def _prepare_sql(self, sql_file_name: str, auto_now_fields: dict[str, list[str]], table_name: str) -> str:
+        """Подготовка SQL-кода.
+
+        Args:
+            sql_file_name: Название SQL файла.
+            auto_now_fields: Словарь с полями, имеющими auto_now=True, для моделей с флагом need_to_log = True.
+            table_name: Название таблицы БД.
+
+        Returns:
+            SQL-кода из файла, с добавленными параметрами.
+        """
+        self.stdout.write(f'Подготовка SQL-кода для удаления ложных логов в таблице {table_name}.')
+
+        params = {
+            'auto_now_fields': Json(auto_now_fields),
+        }
+
+        return self._read_sql(sql_file_name).format(**params)
+
+    def handle(self, *args, **options) -> None:
+        """Формирование SQL-кода и его исполнение."""
+        self.stdout.write('Начало работы команды.')
+
+        connection = psycopg2.connect(**get_db_connection_params())
+        cursor = connection.cursor()
+
+        # Удаление ложных записей в таблице audit_log_auditlog.
+        self._delete_log(
+            cursor=cursor,
+            table_name=NEW_AUDIT_LOG_TABLE_NAME,
+            sql_file_name=NEW_AUDIT_LOG_REMOVING_FALSE_LOGS_SQL_FILE_NAME,
+            auto_now_fields=self.auto_now_fields_new_audit_log,
+        )
+        # Удаление ложных записей в таблице state_log_all.
+        self._delete_log(
+            cursor=cursor,
+            table_name=OLD_AUDIT_LOG_TABLE_NAME,
+            sql_file_name=OLD_AUDIT_LOG_REMOVING_FALSE_LOGS_SQL_FILE_NAME,
+            auto_now_fields=self.auto_now_fields_old_audit_log,
+        )
+
+        connection.commit()
+        self.stdout.write(self.style.SUCCESS('Выполнение команды завершено.'))

educommon-3.20.0/src/educommon/audit_log/sql/new_audit_log_removing_false_logs.sql

@@ -0,0 +1,25 @@
+DO $$
+DECLARE
+    chunk_size INT := 1000;
+    deleted_count INT := 0;
+BEGIN
+    LOOP
+        DELETE FROM audit_log_auditlog
+        WHERE id IN (
+            SELECT a.id
+            FROM audit_log_auditlog a
+            LEFT JOIN audit_log_table t ON a.table_id = t.id
+            WHERE EXISTS (
+                SELECT 1
+                FROM jsonb_each({auto_now_fields}) AS mapping(table_name, keys)
+                WHERE
+                    t.name = mapping.table_name::text AND
+                    akeys(a.changes) <@ ARRAY(SELECT jsonb_array_elements_text(mapping.keys))
+            )
+            LIMIT chunk_size
+        );
+
+        GET DIAGNOSTICS deleted_count = ROW_COUNT;
+        EXIT WHEN deleted_count = 0;
+    END LOOP;
+END $$;

educommon-3.20.0/src/educommon/audit_log/sql/old_audit_log_removing_false_logs.sql

@@ -0,0 +1,78 @@
+-- Функция нахождения разницы между двумя jsonb.
+CREATE OR REPLACE FUNCTION jsonb_diff(val1 JSONB, val2 JSONB)
+RETURNS JSONB AS $$
+DECLARE
+    result JSONB;
+BEGIN
+    SELECT jsonb_object_agg(
+        COALESCE(a.key, b.key),
+        COALESCE(b.value, a.value)
+    )
+    INTO result
+    FROM (
+        SELECT key, value FROM jsonb_each(val1)
+    ) a
+    FULL JOIN (
+        SELECT key, value FROM jsonb_each(val2)
+    ) b ON a.key = b.key
+    WHERE a.value IS DISTINCT FROM b.value
+        OR a.value IS NULL
+        OR b.value IS NULL;
+
+    RETURN result;
+END;
+$$ LANGUAGE plpgsql;
+
+-- Функция проверки, что текстовое поле можно преобразовать в jsonb.
+CREATE OR REPLACE FUNCTION is_valid_jsonb(input_text TEXT)
+RETURNS BOOLEAN AS $$
+BEGIN
+    PERFORM input_text::jsonb;
+    RETURN TRUE;
+EXCEPTION
+    WHEN others THEN
+        RETURN FALSE;
+END;
+$$ LANGUAGE plpgsql IMMUTABLE;
+
+DO $$
+DECLARE
+    chunk_size INT := 1000;
+    deleted_count INT := 0;
+BEGIN
+    LOOP
+        DELETE FROM state_log_all
+        WHERE id IN (
+            SELECT object_previous_and_current.id
+            FROM (
+                SELECT *,
+                    LAG(object) OVER (
+                        PARTITION BY model_id, model
+                        ORDER BY date
+                    ) AS previous_object
+                    FROM state_log_all
+            ) AS object_previous_and_current
+            WHERE previous_object IS NOT NULL
+            AND EXISTS (
+                SELECT 1
+                FROM jsonb_each({auto_now_fields}) AS mapping(table_name, keys)
+                WHERE
+                    is_valid_jsonb(previous_object) AND
+                    is_valid_jsonb(object) AND
+                    model = mapping.table_name::text AND
+                    ARRAY(
+                        SELECT jsonb_object_keys(
+                            jsonb_diff(
+                                COALESCE(previous_object::jsonb -> 0 -> 'fields', jsonb_build_object()),
+                                COALESCE(object::jsonb -> 0 -> 'fields', jsonb_build_object())
+                            )
+                        )
+                    ) <@ ARRAY(SELECT jsonb_array_elements_text(mapping.keys))
+            )
+            LIMIT chunk_size
+        );
+
+        GET DIAGNOSTICS deleted_count = ROW_COUNT;
+        EXIT WHEN deleted_count = 0;
+    END LOOP;
+END $$;

{educommon-3.19.1 → educommon-3.20.0}/src/educommon.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: educommon
-Version: 3.19.1
+Version: 3.20.0
 Summary: Общая кодовая база для проектов БЦ Образование
 Author-email: BARS Group <education_dev@bars-open.ru>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/educommon/browse

{educommon-3.19.1 → educommon-3.20.0}/src/educommon.egg-info/SOURCES.txt

@@ -70,6 +70,7 @@ src/educommon/audit_log/management/__init__.py
 src/educommon/audit_log/management/commands/__init__.py
 src/educommon/audit_log/management/commands/audit_log_migrate_data.py
 src/educommon/audit_log/management/commands/reinstall_audit_log.py
+src/educommon/audit_log/management/commands/removing_false_logs.py
 src/educommon/audit_log/migrations/0001_initial.py
 src/educommon/audit_log/migrations/0002_install_audit_log.py
 src/educommon/audit_log/migrations/0003_logproxy.py
@@ -83,6 +84,8 @@ src/educommon/audit_log/migrations/0010_alter_auditlog_time.py
 src/educommon/audit_log/migrations/__init__.py
 src/educommon/audit_log/sql/configure_audit_log.sql
 src/educommon/audit_log/sql/install_audit_log.sql
+src/educommon/audit_log/sql/new_audit_log_removing_false_logs.sql
+src/educommon/audit_log/sql/old_audit_log_removing_false_logs.sql
 src/educommon/audit_log/utils/__init__.py
 src/educommon/audit_log/utils/operations.py
 src/educommon/auth/__init__.py