fast-clean 0.4.0__py3-none-any.whl

fast_clean/repositories/storage/local.py

@@ -0,0 +1,118 @@
+"""
+Модуль, содержащий репозиторий локального файлового хранилища.
+"""
+
+import asyncio
+import os
+from collections.abc import AsyncGenerator, Awaitable, Callable
+from contextlib import asynccontextmanager
+from logging import getLogger
+from pathlib import Path
+from typing import Self, cast
+
+from aiofiles import open
+from aiofiles import os as aos
+
+from .reader import AiofilesStreamReader, StreamReaderProtocol, StreamReadProtocol
+from .schemas import LocalStorageParamsSchema
+
+
+class LocalStorageRepository:
+    """
+    Репозиторий локального файлового хранилища.
+    """
+
+    def __init__(self: Self, params: LocalStorageParamsSchema) -> None:
+        self.work_dir = Path(params.path)
+        if not os.path.exists(self.work_dir):
+            os.makedirs(self.work_dir)
+        self.logger = getLogger(__name__)
+
+    async def exists(self: Self, path: str | Path) -> bool:
+        """
+        Проверяем существует ли файл.
+        """
+        path = self.work_dir / path
+        return await aos.path.exists(path)
+
+    async def listdir(self: Self, path: str | Path) -> list[str]:
+        """
+        Получаем список файлов и директорий в заданной директории.
+        """
+        paths: list[str] = []
+        for item in await aos.listdir(self.work_dir / path):
+            item_path = str(Path(path) / item)
+            if await aos.path.isdir(self.work_dir / item_path):
+                item_path += '/'
+            paths.append(item_path)
+        return paths
+
+    async def is_file(self: Self, path: str | Path) -> bool:
+        """
+        Проверяем находится ли файл по пути.
+        """
+        path = self.work_dir / path
+        return await aos.path.isfile(path)
+
+    async def is_dir(self: Self, path: str | Path) -> bool:
+        """
+        Проверяем находится ли директория по пути.
+        """
+        path = self.work_dir / path
+        return await aos.path.isdir(path)
+
+    async def read(self: Self, path: str | Path) -> bytes:
+        """
+        Читаем содержимое файла.
+        """
+        path = self.work_dir / path
+        async with open(path, 'rb') as f:
+            return await f.read()
+
+    @asynccontextmanager
+    async def stream_read(self: Self, path: str | Path) -> AsyncGenerator[StreamReaderProtocol, None]:
+        """
+        Читаем содержимое файла в потоковом режиме.
+        """
+        path = self.work_dir / path
+        async with open(path, 'rb') as f:
+            yield AiofilesStreamReader(f)
+
+    async def write(self: Self, path: str | Path, content: str | bytes) -> None:
+        """
+        Создаем файл или переписываем существующий.
+        """
+        path = self.work_dir / path
+        await aos.makedirs(path.parent, exist_ok=True)
+        async with open(path, mode='wb') as f:
+            await f.write(content.encode('utf-8') if isinstance(content, str) else content)
+
+    async def stream_write(
+        self: Self,
+        path: str | Path,
+        stream: StreamReadProtocol,
+        length: int = -1,
+        part_size: int = 0,
+    ) -> None:
+        """
+        Создаем файл или переписываем существующий в потоковом режиме.
+        """
+        if length != -1:
+            self.logger.warning('Параметр length не используется для LocalStorage.')
+        part_size = part_size or 1024
+        path = self.work_dir / path
+        is_co_function = asyncio.iscoroutinefunction(stream.read)
+        async with open(path, 'wb') as f:
+            while chunk := (
+                await cast(Callable[[int], Awaitable[bytes]], stream.read)(part_size)
+                if is_co_function
+                else cast(Callable[[int], bytes], stream.read)(part_size)
+            ):
+                await f.write(chunk)
+
+    async def delete(self: Self, path: str | Path) -> None:
+        """
+        Удаляем файл.
+        """
+        path = self.work_dir / path
+        await aos.remove(path)

fast_clean/repositories/storage/reader.py

@@ -0,0 +1,122 @@
+"""
+Модуль, содержащий классы для потокового чтения данных.
+"""
+
+from collections.abc import AsyncIterator
+from typing import Protocol, Self
+
+from aiofiles.threadpool.binary import AsyncBufferedReader
+from aiohttp import ClientResponse
+
+READ_SIZE = 5 * 1024 * 1024
+
+
+class StreamReadSyncProtocol(Protocol):
+    """
+    Синхронный протокол потокового чтения данных.
+    """
+
+    def read(self: Self, size: int | None = READ_SIZE) -> bytes:
+        """
+        Читаем данные.
+        """
+        ...
+
+
+class StreamReadAsyncProtocol(Protocol):
+    """
+    Асинхронный протокол потокового чтения данных.
+    """
+
+    async def read(self: Self, size: int | None = READ_SIZE) -> bytes:
+        """
+        Читаем данные.
+        """
+        ...
+
+
+StreamReadProtocol = StreamReadAsyncProtocol | StreamReadSyncProtocol
+
+
+class StreamReaderProtocol(Protocol):
+    """
+    Протокол потокового чтения данных с контекстным менеджером.
+    """
+
+    async def read(self: Self, size: int = READ_SIZE) -> bytes:
+        """
+        Читаем данные.
+        """
+        ...
+
+    def __aiter__(self: Self) -> AsyncIterator[bytes]:
+        """
+        Заходим в контекстный менеджер.
+        """
+        ...
+
+    async def __anext__(self: Self) -> bytes:
+        """
+        Читаем следующую порцию данных.
+        """
+        ...
+
+
+class AiofilesStreamReader:
+    """
+    Реализация потокового чтения данных для библиотеки `aiofiles`.
+    """
+
+    def __init__(self, reader: AsyncBufferedReader) -> None:
+        self.reader = reader
+
+    async def read(self: Self, size: int = READ_SIZE) -> bytes:
+        """
+        Читаем данные.
+        """
+        return await self.reader.read(size)
+
+    def __aiter__(self: Self) -> AsyncIterator[bytes]:
+        """
+        Заходим в контекстный менеджер.
+        """
+        return self
+
+    async def __anext__(self: Self) -> bytes:
+        """
+        Читаем следующую порцию данных.
+        """
+        chunk = await self.reader.read(READ_SIZE)
+        if chunk:
+            return chunk
+        raise StopAsyncIteration()
+
+
+class AiohttpStreamReader:
+    """
+    Реализация потокового чтения данных для библиотеки `aiohttp`.
+    """
+
+    def __init__(self, response: ClientResponse) -> None:
+        self.response = response
+
+    async def read(self: Self, size: int = READ_SIZE) -> bytes:
+        """
+        Читаем данные.
+        """
+        return await self.response.content.read(size)
+
+    def __aiter__(self: Self) -> AsyncIterator[bytes]:
+        """
+        Заходим в контекстный менеджер.
+        """
+        return self
+
+    async def __anext__(self: Self) -> bytes:
+        """
+        Читаем следующую порцию данных.
+        """
+        chunk = await self.response.content.read(READ_SIZE)
+        if chunk:
+            return chunk
+        raise StopAsyncIteration()

fast_clean/repositories/storage/s3.py

@@ -0,0 +1,118 @@
+"""
+Модуль, содержащий репозиторий хранилища S3.
+"""
+
+import io
+from collections.abc import AsyncGenerator
+from contextlib import asynccontextmanager
+from pathlib import Path
+from typing import Self
+
+import aiohttp
+import miniopy_async
+from miniopy_async.error import S3Error
+
+from .reader import AiohttpStreamReader, StreamReaderProtocol, StreamReadProtocol
+from .schemas import S3StorageParamsSchema
+
+
+class S3StorageRepository:
+    """
+    Репозиторий хранилища S3.
+    """
+
+    def __init__(self: Self, params: S3StorageParamsSchema):
+        self.params = params
+        self.bucket = self.params.bucket
+        self.client = miniopy_async.Minio(
+            f'{self.params.endpoint}:{self.params.port}',
+            access_key=self.params.access_key,
+            secret_key=self.params.secret_key,
+            secure=self.params.secure,
+        )
+
+    async def exists(self: Self, path: str | Path) -> bool:
+        """
+        Проверяем существует ли файл.
+        """
+        try:
+            await self.client.stat_object(self.bucket, self.get_str_path(path))
+            return True
+        except S3Error:
+            return False
+
+    async def listdir(self: Self, path: str | Path) -> list[str]:
+        """
+        Получаем список файлов и директорий в заданной директории.
+        """
+        str_path = self.get_str_path(path)
+        if not str_path or str_path[-1] != '/':
+            str_path += '/'
+        objects = await self.client.list_objects(self.bucket, prefix=str_path if str_path != '/' else None)
+        return [str(obj.object_name) for obj in objects] if objects else []
+
+    async def is_file(self: Self, path: str | Path) -> bool:
+        """
+        Проверяем находится ли файл по пути.
+        """
+        return not await self.is_dir(path)
+
+    async def is_dir(self: Self, path: str | Path) -> bool:
+        """
+        Проверяем находится ли директория по пути.
+        """
+        return len(await self.listdir(path)) > 0
+
+    async def read(self: Self, path: str | Path) -> bytes:
+        """
+        Читаем содержимое файла.
+        """
+        async with aiohttp.ClientSession() as session:
+            response: aiohttp.ClientResponse = await self.client.get_object(
+                self.bucket, self.get_str_path(path), session
+            )
+            return await response.read()
+
+    @asynccontextmanager
+    async def stream_read(self: Self, path: str | Path) -> AsyncGenerator[StreamReaderProtocol, None]:
+        """
+        Читаем содержимое файла в потоковом режиме.
+        """
+        async with aiohttp.ClientSession() as session:
+            reader = await self.client.get_object(self.bucket, self.get_str_path(path), session)
+            yield AiohttpStreamReader(reader)
+
+    async def write(self: Self, path: str | Path, content: str | bytes) -> None:
+        """
+        Создаем файл или переписываем существующий.
+        """
+        content = content.encode('utf-8') if isinstance(content, str) else content
+        data = io.BytesIO(content)
+        await self.client.put_object(self.bucket, self.get_str_path(path), data, len(content))
+
+    async def stream_write(
+        self: Self,
+        path: str | Path,
+        stream: StreamReadProtocol,
+        length: int = -1,
+        part_size: int = 0,
+    ) -> None:
+        """
+        Создаем файл или переписываем существующий в потоковом режиме.
+        """
+        await self.client.put_object(self.bucket, self.get_str_path(path), stream, length=length, part_size=part_size)
+
+    async def delete(self: Self, path: str | Path) -> None:
+        """
+        Удаляем файл.
+        """
+        await self.client.remove_object(self.bucket, self.get_str_path(path))
+
+    @staticmethod
+    def get_str_path(path: str | Path) -> str:
+        """
+        Получаем путь в виде строки.
+        """
+        if isinstance(path, Path):
+            return '/' if path == Path('') else str(path)
+        return path

fast_clean/repositories/storage/schemas.py

@@ -0,0 +1,31 @@
+"""
+Модуль, содержащий схемы файлового хранилища.
+"""
+
+from pathlib import Path
+
+from pydantic import BaseModel
+
+
+class S3StorageParamsSchema(BaseModel):
+    """
+    Параметры настроек для S3Storage.
+    """
+
+    endpoint: str
+    access_key: str
+    secret_key: str
+    port: int
+    bucket: str
+    secure: bool = False
+
+
+class LocalStorageParamsSchema(BaseModel):
+    """
+    Параметры настроек для LocalStorage.
+    """
+
+    path: Path
+
+
+StorageParamsSchema = S3StorageParamsSchema | LocalStorageParamsSchema

fast_clean/schemas/__init__.py

@@ -0,0 +1,25 @@
+"""
+Пакет, содержащий схемы.
+"""
+
+from .exceptions import BusinessLogicExceptionSchema as BusinessLogicExceptionSchema
+from .exceptions import ModelAlreadyExistsErrorSchema as ModelAlreadyExistsErrorSchema
+from .exceptions import ValidationErrorSchema as ValidationErrorSchema
+from .pagination import (
+    AppliedPaginationResponseSchema as AppliedPaginationResponseSchema,
+)
+from .pagination import PaginationRequestSchema as PaginationRequestSchema
+from .pagination import PaginationResponseSchema as PaginationResponseSchema
+from .pagination import PaginationResultSchema as PaginationResultSchema
+from .pagination import PaginationSchema as PaginationSchema
+from .repository import CreateSchema as CreateSchema
+from .repository import CreateSchemaOld as CreateSchemaOld
+from .repository import ReadSchema as ReadSchema
+from .repository import ReadSchemaOld as ReadSchemaOld
+from .repository import UpdateSchema as UpdateSchema
+from .repository import UpdateSchemaOld as UpdateSchemaOld
+from .request_response import RemoteRequestSchema as RemoteRequestSchema
+from .request_response import RemoteResponseSchema as RemoteResponseSchema
+from .request_response import RequestSchema as RequestSchema
+from .request_response import ResponseSchema as ResponseSchema
+from .status_response import StatusOkResponseSchema as StatusOkResponseSchema

fast_clean/schemas/exceptions.py

@@ -0,0 +1,32 @@
+"""
+Модуль, содержащий схемы исключений.
+"""
+
+from pydantic import BaseModel
+
+
+class BusinessLogicExceptionSchema(BaseModel):
+    """
+    Схема базового исключения бизнес-логики.
+    """
+
+    type: str
+    msg: str
+    traceback: str | None
+
+
+class ModelAlreadyExistsErrorSchema(BusinessLogicExceptionSchema):
+    """
+    Схема ошибки, возникающей при попытке создать модель с существующим уникальным
+    полем.
+    """
+
+    field: str
+
+
+class ValidationErrorSchema(BusinessLogicExceptionSchema):
+    """
+    Схема ошибки валидации.
+    """
+
+    fields: list[str]

fast_clean/schemas/pagination.py

@@ -0,0 +1,65 @@
+"""
+Модуль, содержащий схемы пагинации.
+"""
+
+from __future__ import annotations
+
+from typing import Generic, Self, TypeVar
+
+from pydantic import BaseModel, Field
+
+from .request_response import ResponseSchema
+
+
+class PaginationRequestSchema(BaseModel):
+    """
+    Схема запроса пагинации.
+    """
+
+    page: int = Field(gt=0)
+    page_size: int = Field(gt=0)
+
+    def to_pagination_schema(self: Self) -> PaginationSchema:
+        """
+        Преобразуем к схеме пагинации с помощью limit и offset.
+        """
+        return PaginationSchema(limit=self.page_size, offset=(self.page - 1) * self.page_size)
+
+
+class AppliedPaginationResponseSchema(ResponseSchema):
+    """
+    Схема ответа примененной пагинации.
+    """
+
+    page: int
+    page_size: int
+    count: int
+
+
+class PaginationResponseSchema(ResponseSchema):
+    """
+    Схема ответа пагинации.
+    """
+
+    pagination: AppliedPaginationResponseSchema
+
+
+class PaginationSchema(BaseModel):
+    """
+    Схема пагинации с помощью limit и offset.
+    """
+
+    limit: int
+    offset: int
+
+
+T = TypeVar('T')
+
+
+class PaginationResultSchema(BaseModel, Generic[T]):
+    """
+    Схема результата пагинации.
+    """
+
+    objects: list[T]
+    count: int

fast_clean/schemas/repository.py

@@ -0,0 +1,43 @@
+"""
+Модуль, содержащий схемы репозиториев.
+"""
+
+import uuid
+from typing import Generic, TypeVar
+
+from pydantic import BaseModel
+
+IdType = TypeVar('IdType')
+
+
+class CreateSchemaGeneric(BaseModel, Generic[IdType]):
+    """
+    Схема для создания модели.
+    """
+
+    id: IdType | None = None
+
+
+class ReadSchemaGeneric(BaseModel, Generic[IdType]):
+    """
+    Схема для чтения модели.
+    """
+
+    id: IdType
+
+
+class UpdateSchemaGeneric(BaseModel, Generic[IdType]):
+    """
+    Схема для обновления модели.
+    """
+
+    id: IdType
+
+
+CreateSchemaOld = CreateSchemaGeneric[int]
+ReadSchemaOld = ReadSchemaGeneric[int]
+UpdateSchemaOld = UpdateSchemaGeneric[int]
+
+CreateSchema = CreateSchemaGeneric[uuid.UUID]
+ReadSchema = ReadSchemaGeneric[uuid.UUID]
+UpdateSchema = UpdateSchemaGeneric[uuid.UUID]

fast_clean/schemas/request_response.py

@@ -0,0 +1,36 @@
+"""
+Модуль, содержащий схемы запросов и ответов.
+"""
+
+from pydantic import AliasGenerator, BaseModel, ConfigDict
+from pydantic.alias_generators import to_camel
+
+
+class RequestSchema(BaseModel):
+    """
+    Схема запроса.
+    """
+
+    model_config = ConfigDict(
+        alias_generator=AliasGenerator(
+            validation_alias=to_camel,
+        )
+    )
+
+
+RemoteResponseSchema = RequestSchema
+
+
+class ResponseSchema(BaseModel):
+    """
+    Схема ответа.
+    """
+
+    model_config = ConfigDict(
+        alias_generator=AliasGenerator(
+            serialization_alias=to_camel,
+        )
+    )
+
+
+RemoteRequestSchema = ResponseSchema

fast_clean/schemas/status_response.py

@@ -0,0 +1,13 @@
+"""
+Модуль, содержащий схемы ответов статусов.
+"""
+
+from .request_response import ResponseSchema
+
+
+class StatusOkResponseSchema(ResponseSchema):
+    """
+    Схема успешного ответа.
+    """
+
+    status: str = 'ok'

fast_clean/services/__init__.py

@@ -0,0 +1,16 @@
+"""
+Пакет, содержащий сервисы.
+"""
+
+from .cryptography import AesCbcCryptographyService as AesCbcCryptographyService
+from .cryptography import AesGcmCryptographyService as AesGcmCryptographyService
+from .cryptography import CryptographicAlgorithmEnum as CryptographicAlgorithmEnum
+from .cryptography import CryptographyServiceFactoryImpl as CryptographyServiceFactoryImpl
+from .cryptography import CryptographyServiceFactoryProtocol as CryptographyServiceFactoryProtocol
+from .cryptography import CryptographyServiceProtocol as CryptographyServiceProtocol
+from .lock import LockServiceProtocol as LockServiceProtocol
+from .lock import RedisLockService as RedisLockService
+from .seed import SeedServiceImpl as SeedServiceImpl
+from .seed import SeedServiceProtocol as SeedServiceProtocol
+from .transaction import TransactionServiceImpl as TransactionServiceImpl
+from .transaction import TransactionServiceProtocol as TransactionServiceProtocol

fast_clean/services/cryptography/__init__.py

@@ -0,0 +1,57 @@
+"""
+Пакет, содержащий сервис криптографии для шифрования секретных параметров.
+"""
+
+from typing import Protocol, Self
+
+from .aes import AesCbcCryptographyService, AesGcmCryptographyService
+from .enums import CryptographicAlgorithmEnum
+
+
+class CryptographyServiceProtocol(Protocol):
+    """
+    Протокол сервиса криптографии для шифрования секретных параметров.
+    """
+
+    def encrypt(self: Self, data: str) -> str:
+        """
+        Зашифровываем данные.
+        """
+        ...
+
+    def decrypt(self: Self, encrypted_data: str) -> str:
+        """
+        Расшифровываем данные.
+        """
+        ...
+
+
+class CryptographyServiceFactoryProtocol(Protocol):
+    """
+    Протокол фабрики сервисов криптографии для шифрования секретных параметров.
+    """
+
+    async def make(self: Self, algorithm: CryptographicAlgorithmEnum) -> CryptographyServiceProtocol:
+        """
+        Создаем сервис криптографии для шифрования секретных параметров.
+        """
+        ...
+
+
+class CryptographyServiceFactoryImpl:
+    """
+    Реализация фабрики сервисов криптографии для шифрования секретных параметров.
+    """
+
+    def __init__(self, secret_key: str) -> None:
+        self.secret_key = secret_key
+
+    async def make(self: Self, algorithm: CryptographicAlgorithmEnum) -> CryptographyServiceProtocol:
+        """
+        Создаем сервис криптографии для шифрования секретных параметров.
+        """
+        match algorithm:
+            case CryptographicAlgorithmEnum.AES_GCM:
+                return AesGcmCryptographyService(self.secret_key)
+            case CryptographicAlgorithmEnum.AES_CBC:
+                return AesCbcCryptographyService(self.secret_key)