edu-rdm-integration 3.3.8__tar.gz → 3.4.2__tar.gz

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/CHANGELOG.md

@@ -29,6 +29,37 @@
 ### Удалено
 
 
+## 3.4.2 - 2024-10-15
+Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+## Добавлено
+- [EDUSCHL-22166](https://jira.bars.group/browse/EDUSCHL-22166)
+  Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+
+## 3.4.1 - 2024-09-26
+Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+## Добавлено
+- [EDUKNDG-14518](https://jira.bars.group/browse/EDUKNDG-14518)
+  Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+
+## 3.4.0 - 2024-09-25
+В базовый класс тестирования функций сбора добавлена поддержка формата PhoneNumber для формирования
+экземпляра модели AuditLog.
+Повышена версия зависимости educommon >= 3.11.0.
+Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
+
+## Добавлено
+- [EDUSCHL-22378](https://jira.bars.group/browse/EDUSCHL-22378)
+  Реализация поля моделей Django содержащего номер телефона
+
+### Изменено
+- [EDUKNDG-14516](https://jira.bars.group/browse/EDUKNDG-14516)
+   PATCH Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
+
+
 ## 3.3.8 - 2024-10-14
 Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
 - [EDUSCHL-22519]https://jira.bars.group/browse/EDUSCHL-22519

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.3.8
+Version: 3.4.2
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -28,7 +28,7 @@ Requires-Dist: wheel<0.42,>=0.37.1
 Requires-Dist: transliterate<2
 Requires-Dist: Django<3.3,>=2.2
 Requires-Dist: celery<5.3,>=4.4.7
-Requires-Dist: educommon<4,>=3.10.0
+Requires-Dist: educommon<4,>=3.11.0
 Requires-Dist: function-tools<1,>=0.9.0
 Requires-Dist: m3-db-utils<1,>=0.3.10
 Requires-Dist: m3-django-compat<2,>=1.10.2
@@ -302,6 +302,37 @@ Requires-Dist: uploader-client<1,>=0.2.1
 ### Удалено
 
 
+## 3.4.2 - 2024-10-15
+Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+## Добавлено
+- [EDUSCHL-22166](https://jira.bars.group/browse/EDUSCHL-22166)
+  Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+
+## 3.4.1 - 2024-09-26
+Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+## Добавлено
+- [EDUKNDG-14518](https://jira.bars.group/browse/EDUKNDG-14518)
+  Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+
+## 3.4.0 - 2024-09-25
+В базовый класс тестирования функций сбора добавлена поддержка формата PhoneNumber для формирования
+экземпляра модели AuditLog.
+Повышена версия зависимости educommon >= 3.11.0.
+Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
+
+## Добавлено
+- [EDUSCHL-22378](https://jira.bars.group/browse/EDUSCHL-22378)
+  Реализация поля моделей Django содержащего номер телефона
+
+### Изменено
+- [EDUKNDG-14516](https://jira.bars.group/browse/EDUKNDG-14516)
+   PATCH Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
+
+
 ## 3.3.8 - 2024-10-14
 Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
 - [EDUSCHL-22519]https://jira.bars.group/browse/EDUSCHL-22519

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/requirements/dependencies/internal_packages.txt

@@ -1,4 +1,4 @@
-educommon>=3.10.0,<4
+educommon>=3.11.0,<4
 function-tools>=0.9.0,<1
 m3-db-utils>=0.3.10,<1
 m3-django-compat>=1.10.2,<2

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/requirements/dependencies/internal_sources.txt

@@ -1,4 +1,4 @@
--e git+ssh://git@stash.bars-open.ru:7999/edubase/educommon.git@release/3.9#egg=educommon
+-e git+ssh://git@stash.bars-open.ru:7999/edubase/educommon.git@release/3.11#egg=educommon
 -e git+ssh://git@stash.bars-open.ru:7999/m3/function-tools.git@release/0.9#egg=function_tools
 -e git+ssh://git@stash.bars-open.ru:7999/m3/m3_db_utils.git@release/0.3#egg=m3_db_utils
 -e git+ssh://git@stash.bars-open.ru:7999/eduschl/uploader-client.git@release/0.2#egg=uploader-client

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/setup.py

@@ -17,7 +17,7 @@ from setuptools import (
 
 PROJECT = 'edu_rdm_integration'
 
-VERSION = '3.3.8'
+VERSION = '3.4.2'
 
 current_dir_path = Path().resolve()
 

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration/app_settings.py

@@ -48,3 +48,9 @@ RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 2
 RDM_UPLOAD_QUEUE_MAX_SIZE = 500_000_000
 # Таймаут для сохранения параметров в общем кеш
 RDM_REDIS_CACHE_TIMEOUT_SECONDS = 60 * 60 * 2
+
+# Настройка запуска периодической задачи отправки csv-файлов в витрину:
+RDM_UPLOAD_DATA_TASK_MINUTE = '0'
+RDM_UPLOAD_DATA_TASK_HOUR = '*/2'
+RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK = '*'
+RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS = 60 * 60 * 2

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration/collect_data/tests.py

@@ -32,6 +32,9 @@ from educommon.audit_log.models import (
 from educommon.integration_entities.enums import (
     EntityLogOperation,
 )
+from educommon.utils.phone_number.phone_number import (
+    PhoneNumber,
+)
 from function_tools.models import (
     Entity,
     EntityType,
@@ -166,6 +169,8 @@ class BaseCollectingFunctionTestCase(TestCase):
                 fields[key] = value.name
             elif isinstance(value, list):
                 fields[key] = f'{{{",".join(map(str, value))}}}'
+            elif isinstance(value, PhoneNumber):
+                fields[key] = value.cleaned
             else:
                 fields[key] = value
 

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration/enum_register/mixins.py

@@ -1,7 +1,9 @@
 from typing import (
     Any,
     Dict,
+    NamedTuple,
     Optional,
+    Type,
     Tuple,
 )
 
@@ -23,6 +25,9 @@ from edu_rdm_integration.models import (
     RegionalDataMartEntityEnum,
     RegionalDataMartModelEnum,
 )
+from edu_rdm_integration.typing import (
+    MODEL_TYPE_VAR,
+)
 from edu_rdm_integration.utils import (
     camel_to_underscore,
 )
@@ -108,3 +113,17 @@ class ModelEnumRegisterMixin(BaseEnumRegisterMixin):
         register_params['loggable_models'] = cls.loggable_models
 
         return register_params
+
+
+class FromNamedTupleMixin:
+    """Миксин получения экземпляра модели из получаемого кэша значений."""
+
+    @classmethod
+    def from_namedtuple(cls: Type[MODEL_TYPE_VAR], namedtuple: NamedTuple) -> MODEL_TYPE_VAR:
+        """Создает экземпляр класса из NamedTuple."""
+        return cls(
+            **{
+                field: getattr(namedtuple, field)
+                for field in [f.column for f in cls._meta.get_fields()]
+            }
+        )

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration/mapping.py

@@ -14,3 +14,6 @@ MODEL_FIELDS_LOG_FILTER: Dict[EntityLogOperation, Dict[str, Tuple]] = {
     EntityLogOperation.UPDATE: {},
     EntityLogOperation.DELETE: {}
 }
+
+# Маппинг операций логов моделей и сущностей по умолчанию
+DEFAULT_ENTITY_LOG_OPERATION_MAP = {op: op for op in EntityLogOperation.values}

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration/tasks.py

@@ -350,12 +350,12 @@ class UploadDataAsyncTask(UniquePeriodicAsyncTask):
     queue = TASK_QUEUE_NAME
     routing_key = TASK_QUEUE_NAME
     description = 'Отправка данных в витрину "Региональная витрина данных"'
-    lock_expire_seconds = settings.RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS
+    lock_expire_seconds = settings.RDM_UPLOAD_DATA_TASK_LOCK_EXPIRE_SECONDS
     task_type = AsyncTaskType.SYSTEM
     run_every = crontab(
-        minute=settings.RDM_UPLOAD_STATUS_TASK_MINUTE,
-        hour=settings.RDM_UPLOAD_STATUS_TASK_HOUR,
-        day_of_week=settings.RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK,
+        minute=settings.RDM_UPLOAD_DATA_TASK_MINUTE,
+        hour=settings.RDM_UPLOAD_DATA_TASK_HOUR,
+        day_of_week=settings.RDM_UPLOAD_DATA_TASK_DAY_OF_WEEK,
     )
 
     def process(self, *args, **kwargs):

edu-rdm-integration-3.4.2/src/edu_rdm_integration/typing.py

@@ -0,0 +1,28 @@
+from typing import (
+    Sequence,
+    TypeVar,
+    Union,
+)
+
+from django.db.models import (
+    Expression,
+    Model,
+)
+
+
+# Тип, обозначающий любую модель. При указании в качестве type annotation
+# можно указать, что аргументом может быть любая модель или тип модели (через
+# Type[MODEL_TYPE_VAR]), а сама функция возвращает инстанс этой
+# конкретной модели
+MODEL_TYPE_VAR = TypeVar('MODEL_TYPE_VAR', bound=Model)
+
+# Аннотация типов для id записи в БД
+RECORD_IDS = Union[
+    tuple[int, ...],
+    tuple[str, ...],
+    list[int],
+    list[str],
+    Sequence[int],
+    Sequence[str],
+    Expression,
+]

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration/utils.py

@@ -1,5 +1,6 @@
 import os
 from datetime import (
+    date,
     datetime,
     time,
     timedelta,
@@ -11,12 +12,30 @@ from typing import (
     List,
     Optional,
     Set,
+    Type,
+    TypeVar,
     Union,
 )
 
 from django.conf import (
     settings,
 )
+from django.db.models import (
+    DateField,
+    DateTimeField,
+    Expression,
+    F,
+)
+from django.db.models.expressions import (
+    Func,
+)
+from django.db.models.functions import (
+    Cast,
+    Now,
+)
+from educommon.integration_entities.enums import (
+    EntityLogOperation,
+)
 
 from edu_rdm_integration.apps import (
     EduRDMIntegrationConfig,
@@ -285,3 +304,59 @@ def get_data_command_progress_attachment_path(
         str(instance.type),
         filename
     )
+
+
+class MakeInterval(Func):
+    """Функция обработки даты/времени."""
+
+    template = 'make_interval(%(expressions)s)'
+
+    def __init__(
+        self, *,
+        years: Union[int, F] = 0,
+        months: Union[int, F] = 0,
+        weeks: Union[int, F] = 0,
+        days: Union[int, F] = 0,
+        hours: Union[int, F] = 0,
+        minutes: Union[int, F] = 0,
+        seconds: Union[float, F] = 0.0,
+        output_field=None,
+    ) -> None:
+        self.years = years
+        self.months = months
+        self.weeks = weeks
+        self.days = days
+        self.hours = hours
+        self.minutes = minutes
+        self.seconds = seconds
+
+        super().__init__(
+            self.years,
+            self.months,
+            self.weeks,
+            self.days,
+            self.hours,
+            self.minutes,
+            self.seconds,
+            output_field=output_field or DateTimeField(),
+        )
+
+
+def make_passed_datetime_from_today(
+    *,
+    years: int = 0,
+    months: int = 0,
+    days: int = 0,
+) -> Union[datetime, Expression, F]:
+    """Возвращает выражение на лет/месяцев/дней меньше относительно сегодня."""
+    now_expr = Now()
+
+    return now_expr - MakeInterval(years=years, months=months, days=days)
+
+
+TODAY_EXPR: Union[date, Expression, F] = Cast(make_passed_datetime_from_today(), output_field=DateField())
+
+THREE_YEARS_AGO_DATE_EXPR: Union[date, Expression, F] = Cast(
+    make_passed_datetime_from_today(years=3),
+    output_field=DateField()
+)

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: edu-rdm-integration
-Version: 3.3.8
+Version: 3.4.2
 Summary: Интеграция с Региональной витриной данных
 Home-page: 
 Download-URL: 
@@ -28,7 +28,7 @@ Requires-Dist: wheel<0.42,>=0.37.1
 Requires-Dist: transliterate<2
 Requires-Dist: Django<3.3,>=2.2
 Requires-Dist: celery<5.3,>=4.4.7
-Requires-Dist: educommon<4,>=3.10.0
+Requires-Dist: educommon<4,>=3.11.0
 Requires-Dist: function-tools<1,>=0.9.0
 Requires-Dist: m3-db-utils<1,>=0.3.10
 Requires-Dist: m3-django-compat<2,>=1.10.2
@@ -302,6 +302,37 @@ Requires-Dist: uploader-client<1,>=0.2.1
 ### Удалено
 
 
+## 3.4.2 - 2024-10-15
+Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+## Добавлено
+- [EDUSCHL-22166](https://jira.bars.group/browse/EDUSCHL-22166)
+  Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
+
+
+## 3.4.1 - 2024-09-26
+Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+## Добавлено
+- [EDUKNDG-14518](https://jira.bars.group/browse/EDUKNDG-14518)
+  Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
+
+
+## 3.4.0 - 2024-09-25
+В базовый класс тестирования функций сбора добавлена поддержка формата PhoneNumber для формирования
+экземпляра модели AuditLog.
+Повышена версия зависимости educommon >= 3.11.0.
+Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
+
+## Добавлено
+- [EDUSCHL-22378](https://jira.bars.group/browse/EDUSCHL-22378)
+  Реализация поля моделей Django содержащего номер телефона
+
+### Изменено
+- [EDUKNDG-14516](https://jira.bars.group/browse/EDUKNDG-14516)
+   PATCH Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
+
+
 ## 3.3.8 - 2024-10-14
 Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
 - [EDUSCHL-22519]https://jira.bars.group/browse/EDUSCHL-22519

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration.egg-info/SOURCES.txt

@@ -31,6 +31,7 @@ src/edu_rdm_integration/redis_cache.py
 src/edu_rdm_integration/signals.py
 src/edu_rdm_integration/storages.py
 src/edu_rdm_integration/tasks.py
+src/edu_rdm_integration/typing.py
 src/edu_rdm_integration/utils.py
 src/edu_rdm_integration.egg-info/PKG-INFO
 src/edu_rdm_integration.egg-info/SOURCES.txt

{edu-rdm-integration-3.3.8 → edu-rdm-integration-3.4.2}/src/edu_rdm_integration.egg-info/requires.txt

@@ -5,7 +5,7 @@ wheel<0.42,>=0.37.1
 transliterate<2
 Django<3.3,>=2.2
 celery<5.3,>=4.4.7
-educommon<4,>=3.10.0
+educommon<4,>=3.11.0
 function-tools<1,>=0.9.0
 m3-db-utils<1,>=0.3.10
 m3-django-compat<2,>=1.10.2