s3-upload-manager 0.1.0__tar.gz

s3_upload_manager-0.1.0/PKG-INFO

@@ -0,0 +1,8 @@
+Metadata-Version: 2.4
+Name: s3-upload-manager
+Version: 0.1.0
+Requires-Python: >=3.9
+Requires-Dist: pydantic-settings>=2.0.0
+Requires-Dist: botocore>=1.42.36
+Dynamic: requires-dist
+Dynamic: requires-python

s3_upload_manager-0.1.0/README.md

@@ -0,0 +1,35 @@
+# s3-manager
+
+Библиотека для основных операций с s3-хранилищем
+
+
+## Installation
+
+Установка из PyPi
+
+```commandline
+pip install s3-manager
+```
+
+## Configuration
+
+
+Для конфигурации необходимо добавить в .env файл следующие переменные с вашими значениями
+
+
+```
+APP_S3_SECRET_KEY=your_secret_key
+APP_S3_ACCESS_KEY=your_access_key
+APP_S3_BUCKET=your_bucket
+APP_S3_ENDPOINT=http://localhost:9000
+```
+
+## License
+Распространяется под лицензией MIT.
+
+Поддержка
+Issues: GitLab Issues
+
+Вопросы и обсуждения: Открывайте issue для багов и запросов функций
+
+Проект в активной разработке. API может меняться 

s3_upload_manager-0.1.0/s3_manager/exception/main.py

@@ -0,0 +1,35 @@
+"""
+Вспомогательные методы для обработки исключений
+"""
+from typing import Callable
+
+from typing_extensions import Coroutine
+
+from infrastructure.logger.presenter import logger
+
+
+class ExceptionHandler:
+    """
+    Обработчик исключений
+    """
+
+    def __init__(self, ex_handler_map: dict[type[Exception], Callable | Coroutine | None]):
+        self.ex_handler_map = ex_handler_map
+
+    def __call__(self, func: Callable | Coroutine):
+        self.func = func
+
+        return self.wrapper
+
+    async def wrapper(self, *args, **kwargs):
+        """
+        Обертка
+        """
+        try:
+            await self.func(*args, **kwargs)
+        except Exception as exception:
+            handler = self.ex_handler_map.get(exception.__class__, None)
+            logger.info(f"Обработано исключение {exception}. Передаю обработку обработчику {handler}.")
+
+            if handler:
+                await handler(exception, *args, **kwargs)

s3_upload_manager-0.1.0/s3_manager/s3storage/config.py

@@ -0,0 +1,39 @@
+"""
+Конфигурация взаимодействия с S3
+"""
+
+from functools import lru_cache
+
+from pydantic_settings import BaseSettings, SettingsConfigDict
+
+
+class S3Config(BaseSettings):
+    """
+    S3 main config
+    """
+
+    model_config = SettingsConfigDict(env_prefix="APP_S3_")
+
+    ACCESS_KEY: str
+    SECRET_KEY: str
+    ENDPOINT: str = "http://minio:9000"
+    BUCKET: str
+
+    SSL_CA_BUNDLE_PATH: str | None = None
+
+
+@lru_cache
+def get_s3_client_config(params: dict = None) -> S3Config:
+    """Получение конфига"""
+    if params is None:
+        return S3Config()
+    return S3Config(**params)
+
+
+OPERATIONS_NEEDING_MD5_HEADER = {
+    "PutObject",
+    "DeleteObjects",
+    "CopyObject",
+    "CompleteMultipartUpload",
+    "UploadPart",
+}

s3_upload_manager-0.1.0/s3_manager/s3storage/content_hash.py

@@ -0,0 +1,37 @@
+from base64 import b64encode
+from hashlib import md5
+
+from botocore.awsrequest import AWSRequest
+
+from s3_manager.s3storage.config import OPERATIONS_NEEDING_MD5_HEADER
+
+
+def add_md5_header(request: AWSRequest, **kwargs: dict) -> None:
+    """
+    Добавляет Content-MD5 заголовок для операций, изменяющих данные в S3.
+    """
+    if (
+        kwargs.get("operation_name") not in OPERATIONS_NEEDING_MD5_HEADER
+        or not request.body
+    ):
+        return
+
+    # Получаем содержимое тела
+    body = request.body
+    if hasattr(body, "read"):
+        pos = body.tell()
+        body.seek(0)
+        content = body.read()
+        body.seek(pos)
+    elif isinstance(body, bytes):
+        content = body
+    elif isinstance(body, str):
+        content = body.encode("utf-8")
+    else:
+        try:
+            content = str(body).encode("utf-8")
+        except Exception:
+            return
+
+    # Вычисляем и добавляем MD5
+    request.headers["Content-MD5"] = b64encode(md5(content).digest()).decode("utf-8")

s3_upload_manager-0.1.0/s3_manager/s3storage/delete.py

@@ -0,0 +1,26 @@
+from botocore.client import BaseClient, logger
+
+from s3_manager.s3storage.session import s3_client_wrapper
+
+
+@s3_client_wrapper
+def s3_delete_files_mass(s3_client: BaseClient, keys: list[str], s3bucket: str):
+    """
+    Массовое удаление из S3 хранилища
+    """
+    if not keys:
+        return None
+
+    response = s3_client.delete_objects(
+        Bucket=s3bucket,
+        Delete={
+            "Objects": [{"Key": key} for key in keys],
+            "Quiet": True,
+        },
+    )
+
+    status = (response.get("ResponseMetadata") or dict()).get("HTTPStatusCode")
+
+    logger.info(f"Файлы удалены. Статус ответа от s3 - {status}.")
+
+    return response

s3_upload_manager-0.1.0/s3_manager/s3storage/list.py

@@ -0,0 +1,18 @@
+from typing import Any
+
+from botocore.client import BaseClient
+
+from s3_manager.s3storage.session import s3_client_wrapper
+
+
+@s3_client_wrapper
+def s3_get_list(s3_client: BaseClient, folder_path: str, s3bucket: str) -> list[Any]:
+    """
+    Получить список файлов
+    """
+    paginator = s3_client.get_paginator("list_objects")
+    prefix = folder_path if folder_path.endswith("/") else f"{folder_path}/"
+
+    paginate_iterator = paginator.paginate(Bucket=s3bucket, Prefix=prefix)
+
+    return [prefix for prefix in paginate_iterator.search("Contents")]

s3_upload_manager-0.1.0/s3_manager/s3storage/read.py

@@ -0,0 +1,49 @@
+from io import BytesIO
+
+from botocore.client import BaseClient
+
+from s3_manager.s3storage.schema import FileMetaData
+from s3_manager.s3storage.session import s3_client_wrapper
+
+
+@s3_client_wrapper
+def s3_get_file_chunk(
+    s3_client: BaseClient,
+    obj_key: str,
+    s3bucket: str,
+    start_byte: int,
+    end_byte: int,
+) -> BytesIO:
+    """
+    Прочитать файл
+    """
+    try:
+        response = s3_client.get_object(
+            Bucket=s3bucket,
+            Key=obj_key,
+            Range=f"bytes={start_byte}-{end_byte}",
+        )
+        return BytesIO(response["Body"].read())
+    except Exception:
+        return BytesIO(b"")
+
+
+@s3_client_wrapper
+def s3_get_file_metadata(
+    s3_client: BaseClient,
+    obj_key: str,
+    s3bucket: str,
+) -> FileMetaData:
+    """
+    Получить метаданные объека s3
+    """
+    obj = s3_client.head_object(
+        Bucket=s3bucket,
+        Key=obj_key,
+    )
+
+    return FileMetaData(
+        file_size=obj.get("ContentLength"),
+        content_type=obj.get("ContentType"),
+        last_modified=obj.get("LastModified"),
+    )

s3_upload_manager-0.1.0/s3_manager/s3storage/schema.py

@@ -0,0 +1,14 @@
+from datetime import datetime
+
+from pydantic import BaseModel
+
+
+class PartMetadataSchema(BaseModel):
+    PartNumber: int
+    ETag: str
+
+
+class FileMetaData(BaseModel):
+    file_size: int
+    content_type: str
+    last_modified: datetime

s3_upload_manager-0.1.0/s3_manager/s3storage/session.py

@@ -0,0 +1,60 @@
+"""
+Работа с сессиями s3 хранилища
+"""
+
+from asyncio import to_thread
+from functools import wraps
+from typing import Callable
+
+from botocore.client import BaseClient, Config
+from botocore.session import Session
+
+from s3_manager.s3storage.config import get_s3_client_config
+from s3_manager.s3storage.content_hash import add_md5_header
+
+
+def get_s3_client() -> BaseClient:
+    """
+    Инверсия на получение сессиии S3
+
+    :return:
+    """
+    session: Session = Session()
+
+    cfg = get_s3_client_config()
+
+    client = session.create_client(
+        service_name="s3",
+        aws_access_key_id=cfg.ACCESS_KEY,
+        aws_secret_access_key=cfg.SECRET_KEY,
+        endpoint_url=cfg.ENDPOINT,
+        region_name="spb99",
+        config=Config(
+            signature_version="s3v4",
+            s3={
+                "addressing_style": "path",
+                "payload_signing_enabled": True,
+            },
+        ),
+        verify=cfg.SSL_CA_BUNDLE_PATH,
+    )
+
+    client.meta.events.register("request-created.s3", add_md5_header)
+
+    return client
+
+
+def s3_client_wrapper(func: Callable) -> Callable:
+    """
+    Декоратор клиента s3
+    """
+
+    @wraps(func)
+    async def wrapper(*args, **kwargs) -> Callable:
+        s3_client = get_s3_client()
+        try:
+            return await to_thread(func, s3_client=s3_client, *args, **kwargs)
+        finally:
+            s3_client.close()
+
+    return wrapper

s3_upload_manager-0.1.0/s3_manager/s3storage/write.py

@@ -0,0 +1,85 @@
+from base64 import b64encode
+from datetime import datetime, timedelta
+from hashlib import sha256
+
+from botocore.client import BaseClient, logger
+from pydantic import TypeAdapter
+
+from s3_manager.exception.main import ExceptionHandler
+from s3_manager.s3storage.schema import PartMetadataSchema
+from s3_manager.s3storage.session import s3_client_wrapper
+
+
+@s3_client_wrapper
+def create(s3_client: BaseClient, s3bucket: str, obj_key: str) -> dict:
+    """
+    Создает объект с экспайром
+    """
+    logger.info("Создаю объект для привязки к чанкам.")
+    return s3_client.create_multipart_upload(
+        Bucket=s3bucket,
+        Key=obj_key,
+        Expires=datetime.now() + timedelta(minutes=30),
+    )
+
+
+@s3_client_wrapper
+def upload_part(
+    s3_client: BaseClient,
+    s3bucket: str,
+    obj_key: str,
+    chunk: bytes,
+    upload_id: str,
+    chunk_num: int,
+) -> PartMetadataSchema:
+    """
+    Загружает чанк объекта
+    """
+    logger.info("Отправляю буфер на s3.")
+    res = s3_client.upload_part(
+        Bucket=s3bucket,
+        Body=chunk,  # чанки не могут быть меньше 5 мегабайт, нужно копить их в буфер
+        UploadId=upload_id,
+        PartNumber=chunk_num,
+        Key=obj_key,
+        ChecksumAlgorithm="SHA256",
+        ChecksumSHA256=b64encode(sha256(chunk).digest()).decode("utf-8"),
+    )
+    logger.info("Отправил буфер на s3.")
+    return PartMetadataSchema(PartNumber=chunk_num, ETag=res.get("ETag"))
+
+
+@s3_client_wrapper
+def complete(
+    s3_client: BaseClient,
+    s3bucket: str,
+    obj_key: str,
+    upload_id: str,
+    parts: list[PartMetadataSchema],
+):
+    """
+    Помечает, что все чанки загружены
+    """
+    logger.info("Комитим чанки.")
+    parts: list[dict] = TypeAdapter(list[PartMetadataSchema]).dump_python(parts)
+
+    return s3_client.complete_multipart_upload(
+        Bucket=s3bucket,
+        Key=obj_key,
+        UploadId=upload_id,
+        MultipartUpload={"Parts": sorted(parts, key=lambda k: k.get("PartNumber"))},
+    )
+
+
+@ExceptionHandler(ex_handler_map={Exception: None})
+@s3_client_wrapper
+def abort(s3_client: BaseClient, s3bucket: str, obj_key: str, upload_id: str):
+    """
+    Откатывает все загруженные чанки и созданный объект
+    """
+    logger.info("Откатываем чанки.")
+    s3_client.abort_multipart_upload(
+        Bucket=s3bucket,
+        Key=obj_key,
+        UploadId=upload_id,
+    )

s3_upload_manager-0.1.0/s3_upload_manager.egg-info/PKG-INFO

@@ -0,0 +1,8 @@
+Metadata-Version: 2.4
+Name: s3-upload-manager
+Version: 0.1.0
+Requires-Python: >=3.9
+Requires-Dist: pydantic-settings>=2.0.0
+Requires-Dist: botocore>=1.42.36
+Dynamic: requires-dist
+Dynamic: requires-python

s3_upload_manager-0.1.0/s3_upload_manager.egg-info/SOURCES.txt

@@ -0,0 +1,19 @@
+README.md
+setup.py
+s3_manager/__init__.py
+s3_manager/exception/__init__.py
+s3_manager/exception/main.py
+s3_manager/s3storage/__init__.py
+s3_manager/s3storage/config.py
+s3_manager/s3storage/content_hash.py
+s3_manager/s3storage/delete.py
+s3_manager/s3storage/list.py
+s3_manager/s3storage/read.py
+s3_manager/s3storage/schema.py
+s3_manager/s3storage/session.py
+s3_manager/s3storage/write.py
+s3_upload_manager.egg-info/PKG-INFO
+s3_upload_manager.egg-info/SOURCES.txt
+s3_upload_manager.egg-info/dependency_links.txt
+s3_upload_manager.egg-info/requires.txt
+s3_upload_manager.egg-info/top_level.txt

s3_upload_manager-0.1.0/s3_upload_manager.egg-info/dependency_links.txt

@@ -0,0 +1 @@
+

s3_upload_manager-0.1.0/s3_upload_manager.egg-info/requires.txt

@@ -0,0 +1,2 @@
+pydantic-settings>=2.0.0
+botocore>=1.42.36

s3_upload_manager-0.1.0/s3_upload_manager.egg-info/top_level.txt

@@ -0,0 +1 @@
+s3_manager

s3_upload_manager-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

s3_upload_manager-0.1.0/setup.py

@@ -0,0 +1,9 @@
+from setuptools import find_packages, setup
+
+setup(
+    name="s3-upload-manager",
+    version="0.1.0",
+    packages=find_packages(exclude=["tests*"]),
+    install_requires=["pydantic-settings>=2.0.0", "botocore>=1.42.36"],
+    python_requires=">=3.9",
+)