amochka 0.3.1__tar.gz → 0.3.3__tar.gz

{amochka-0.3.1 → amochka-0.3.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: amochka
-Version: 0.3.1
+Version: 0.3.3
 Summary: Python library for working with amoCRM API with ETL capabilities
 Author-email: Timur <timurdt@gmail.com>
 License: MIT
@@ -26,7 +26,6 @@ Classifier: Topic :: Internet :: WWW/HTTP
 Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 Requires-Dist: requests>=2.25.0
-Requires-Dist: ratelimit>=2.2.0
 Requires-Dist: psycopg2-binary>=2.9.0
 Requires-Dist: python-dotenv>=1.0.0
 

{amochka-0.3.1 → amochka-0.3.3}/amochka/client.py

@@ -5,7 +5,7 @@ import requests
 import logging
 from datetime import datetime
 from typing import Iterator, List, Optional, Sequence, Union
-from ratelimit import limits, sleep_and_retry
+# ratelimit больше не используется - rate limiting реализован вручную через self.rate_limit
 
 # Создаём базовый логгер
 logger = logging.getLogger(__name__)
@@ -15,7 +15,7 @@ if not logger.handlers:
     ch.setFormatter(formatter)
     logger.addHandler(ch)
 
-RATE_LIMIT = 7  # Максимум 7 запросов в секунду
+DEFAULT_RATE_LIMIT = 7  # Максимум запросов в секунду по умолчанию
 
 class Deal(dict):
     """
@@ -262,12 +262,15 @@ class AmoCRMClient:
     либо полностью отключить логирование, установив disable_logging=True.
     """
     def __init__(
-        self, 
-        base_url, 
-        token_file=None, 
-        cache_config=None, 
-        log_level=logging.INFO, 
+        self,
+        base_url,
+        token_file=None,
+        cache_config=None,
+        log_level=logging.INFO,
         disable_logging=False,
+        rate_limit: Optional[int] = None,
+        max_retries: int = 3,
+        retry_delay: float = 1.0,
         *,
         client_id: Optional[str] = None,
         client_secret: Optional[str] = None,
@@ -275,14 +278,21 @@ class AmoCRMClient:
     ):
         """
         Инициализирует клиента, задавая базовый URL, токен авторизации и настройки кэша для кастомных полей.
-        
+
         :param base_url: Базовый URL API amoCRM.
         :param token_file: Файл, содержащий токен авторизации.
         :param cache_config: Конфигурация кэширования (объект CacheConfig или None для значений по умолчанию)
         :param log_level: Уровень логирования (например, logging.DEBUG, logging.INFO).
         :param disable_logging: Если True, логирование будет отключено.
+        :param rate_limit: Максимальное количество запросов в секунду (по умолчанию 7).
+        :param max_retries: Максимальное количество повторных попыток при ошибках (по умолчанию 3).
+        :param retry_delay: Базовая задержка между попытками в секундах (по умолчанию 1.0).
         """
         self.base_url = base_url.rstrip('/')
+        self.rate_limit = rate_limit if rate_limit is not None else DEFAULT_RATE_LIMIT
+        self.max_retries = max_retries
+        self.retry_delay = retry_delay
+        self._request_times: List[float] = []  # Для отслеживания времени запросов
         domain = self.base_url.split("//")[-1].split(".")[0]
         self.domain = domain
         self.token_file = token_file or os.path.join(os.path.expanduser('~'), '.amocrm_token.json')
@@ -378,11 +388,27 @@ class AmoCRMClient:
 
         raise Exception("Токен истёк или некорректен, и нет данных для refresh_token. Обновите токен.")
 
-    @sleep_and_retry
-    @limits(calls=RATE_LIMIT, period=1)
+    def _wait_for_rate_limit(self):
+        """Ожидает, если превышен лимит запросов в секунду."""
+        now = time.time()
+        # Удаляем запросы старше 1 секунды
+        self._request_times = [t for t in self._request_times if now - t < 1.0]
+
+        if len(self._request_times) >= self.rate_limit:
+            # Ждём до освобождения слота
+            sleep_time = 1.0 - (now - self._request_times[0])
+            if sleep_time > 0:
+                self.logger.debug(f"Rate limit: ожидание {sleep_time:.3f}с (лимит {self.rate_limit} req/s)")
+                time.sleep(sleep_time)
+            # Очищаем старые записи после ожидания
+            now = time.time()
+            self._request_times = [t for t in self._request_times if now - t < 1.0]
+
+        self._request_times.append(time.time())
+
     def _make_request(self, method, endpoint, params=None, data=None, timeout=10):
         """
-        Выполняет HTTP-запрос к API amoCRM с учетом ограничения по скорости (rate limit).
+        Выполняет HTTP-запрос к API amoCRM с учетом ограничения по скорости (rate limit) и retry.
 
         :param method: HTTP-метод (GET, PATCH, POST, DELETE и т.д.).
         :param endpoint: Конечная точка API (начинается с /api/v4/).
@@ -390,28 +416,88 @@ class AmoCRMClient:
         :param data: Данные, отправляемые в JSON-формате.
         :param timeout: Тайм‑аут запроса в секундах (по умолчанию 10).
         :return: Ответ в формате JSON или None (если статус 204).
-        :raises Exception: При получении кода ошибки, отличного от 200/204.
+        :raises Exception: При получении кода ошибки, отличного от 200/204 после всех retry.
         """
         url = f"{self.base_url}{endpoint}"
         headers = {
             "Authorization": f"Bearer {self.token}",
             "Content-Type": "application/json"
         }
-        self.logger.debug(f"Making {method} request to {url} with params {params} and data {data}")
-        response = requests.request(method, url, headers=headers, params=params, json=data, timeout=timeout)
-
-        if response.status_code == 401 and self.refresh_token:
-            self.logger.info("Получен 401, пробую обновить токен и повторить запрос…")
-            self._refresh_access_token()
-            headers["Authorization"] = f"Bearer {self.token}"
-            response = requests.request(method, url, headers=headers, params=params, json=data, timeout=timeout)
-
-        if response.status_code not in (200, 204):
-            self.logger.error(f"Request error {response.status_code}: {response.text}")
-            raise Exception(f"Ошибка запроса: {response.status_code}, {response.text}")
-        if response.status_code == 204:
-            return None
-        return response.json()
+
+        last_exception = None
+        retryable_status_codes = {429, 500, 502, 503, 504}
+
+        for attempt in range(self.max_retries + 1):
+            # Ручной rate limiting перед каждой попыткой
+            self._wait_for_rate_limit()
+
+            try:
+                self.logger.debug(f"Making {method} request to {url} (attempt {attempt + 1})")
+                response = requests.request(method, url, headers=headers, params=params, json=data, timeout=timeout)
+
+                # 401 - пробуем refresh токена (один раз)
+                if response.status_code == 401 and self.refresh_token and attempt == 0:
+                    self.logger.info("Получен 401, пробую обновить токен и повторить запрос…")
+                    self._refresh_access_token()
+                    headers["Authorization"] = f"Bearer {self.token}"
+                    continue
+
+                # Успех
+                if response.status_code in (200, 204):
+                    if response.status_code == 204:
+                        return None
+                    return response.json()
+
+                # Retryable ошибки (429, 5xx)
+                if response.status_code in retryable_status_codes:
+                    delay = self._calculate_retry_delay(attempt, response)
+                    self.logger.warning(
+                        f"Получен {response.status_code}, retry через {delay:.1f}с (попытка {attempt + 1}/{self.max_retries + 1})"
+                    )
+                    last_exception = Exception(f"Ошибка запроса: {response.status_code}, {response.text}")
+                    if attempt < self.max_retries:
+                        time.sleep(delay)
+                        continue
+                    raise last_exception
+
+                # Не-retryable ошибка (400, 403, 404 и т.д.)
+                self.logger.error(f"Request error {response.status_code}: {response.text}")
+                raise Exception(f"Ошибка запроса: {response.status_code}, {response.text}")
+
+            except requests.exceptions.Timeout as e:
+                last_exception = e
+                delay = self._calculate_retry_delay(attempt)
+                self.logger.warning(f"Timeout, retry через {delay:.1f}с (попытка {attempt + 1}/{self.max_retries + 1})")
+                if attempt < self.max_retries:
+                    time.sleep(delay)
+                    continue
+                raise Exception(f"Timeout после {self.max_retries + 1} попыток: {e}")
+
+            except requests.exceptions.ConnectionError as e:
+                last_exception = e
+                delay = self._calculate_retry_delay(attempt)
+                self.logger.warning(f"Connection error, retry через {delay:.1f}с (попытка {attempt + 1}/{self.max_retries + 1})")
+                if attempt < self.max_retries:
+                    time.sleep(delay)
+                    continue
+                raise Exception(f"Connection error после {self.max_retries + 1} попыток: {e}")
+
+        # Если дошли сюда — исчерпали все попытки
+        raise last_exception or Exception("Неизвестная ошибка после всех retry")
+
+    def _calculate_retry_delay(self, attempt: int, response=None) -> float:
+        """Вычисляет задержку перед retry с exponential backoff."""
+        # Проверяем Retry-After header (для 429)
+        if response is not None:
+            retry_after = response.headers.get("Retry-After")
+            if retry_after:
+                try:
+                    return float(retry_after)
+                except ValueError:
+                    pass
+
+        # Exponential backoff: delay * 2^attempt (1, 2, 4, 8...)
+        return self.retry_delay * (2 ** attempt)
 
     def _refresh_access_token(self):
         """Обновляет access_token по refresh_token и сохраняет его в token_file."""

{amochka-0.3.1 → amochka-0.3.3}/amochka.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: amochka
-Version: 0.3.1
+Version: 0.3.3
 Summary: Python library for working with amoCRM API with ETL capabilities
 Author-email: Timur <timurdt@gmail.com>
 License: MIT
@@ -26,7 +26,6 @@ Classifier: Topic :: Internet :: WWW/HTTP
 Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 Requires-Dist: requests>=2.25.0
-Requires-Dist: ratelimit>=2.2.0
 Requires-Dist: psycopg2-binary>=2.9.0
 Requires-Dist: python-dotenv>=1.0.0
 

{amochka-0.3.1 → amochka-0.3.3}/amochka.egg-info/requires.txt

@@ -1,4 +1,3 @@
 requests>=2.25.0
-ratelimit>=2.2.0
 psycopg2-binary>=2.9.0
 python-dotenv>=1.0.0

{amochka-0.3.1 → amochka-0.3.3}/etl/config.py

@@ -107,6 +107,7 @@ class AmoCRMAccount:
     mybi_account_id: int  # Внутренний account_id как в mybi.ru (для совместимости)
     pipeline_ids: Optional[List[int]] = None  # None = все воронки
     cache_dir: Optional[Path] = None
+    rate_limit: int = 7  # Максимум запросов в секунду (по умолчанию 7)
 
     def __post_init__(self):
         if isinstance(self.token_path, str):
@@ -125,6 +126,7 @@ class AmoCRMAccount:
             mybi_account_id=int(d.get("mybi_account_id", 0)),
             pipeline_ids=d.get("pipeline_ids"),
             cache_dir=Path(d.get("cache_dir", ".cache")) if d.get("cache_dir") else None,
+            rate_limit=int(d.get("rate_limit", 7)),
         )
 
 

{amochka-0.3.1 → amochka-0.3.3}/etl/extractors.py

@@ -48,6 +48,7 @@ class AmoCRMExtractor:
                 base_url=self.account.base_url,
                 token_file=str(self.account.token_path),
                 cache_config=cache_config,
+                rate_limit=self.account.rate_limit,
             )
 
     @property

{amochka-0.3.1 → amochka-0.3.3}/etl/loaders.py

@@ -234,19 +234,23 @@ class PostgresLoader:
             (account_id, leads_id),
         )
 
-        # Вставляем новые
-        inserted = 0
-        for attr in attributes:
-            cursor.execute(
-                """
-                INSERT INTO amocrm_leads_attributes (account_id, leads_id, attribute_id, name, value)
-                VALUES (%s, %s, %s, %s, %s)
-                """,
-                (account_id, leads_id, attr["attribute_id"], attr["name"], attr.get("value")),
-            )
-            inserted += 1
+        # Вставляем новые (batch insert)
+        if not attributes:
+            return 0
+
+        values = [
+            (account_id, leads_id, attr["attribute_id"], attr["name"], attr.get("value"))
+            for attr in attributes
+        ]
+        cursor.executemany(
+            """
+            INSERT INTO amocrm_leads_attributes (account_id, leads_id, attribute_id, name, value)
+            VALUES (%s, %s, %s, %s, %s)
+            """,
+            values,
+        )
 
-        return inserted
+        return len(values)
 
     def upsert_lead_tags(self, cursor, tags: List[Dict[str, Any]], leads_id: int) -> int:
         """Вставляет теги сделки (полная замена)."""
@@ -261,19 +265,20 @@ class PostgresLoader:
             (account_id, leads_id),
         )
 
-        # Вставляем новые
-        inserted = 0
-        for tag in tags:
-            cursor.execute(
-                """
-                INSERT INTO amocrm_leads_tags (account_id, leads_id, tag_id, name)
-                VALUES (%s, %s, %s, %s)
-                """,
-                (account_id, leads_id, tag["tag_id"], tag["name"]),
-            )
-            inserted += 1
+        # Вставляем новые (batch insert)
+        values = [
+            (account_id, leads_id, tag["tag_id"], tag["name"])
+            for tag in tags
+        ]
+        cursor.executemany(
+            """
+            INSERT INTO amocrm_leads_tags (account_id, leads_id, tag_id, name)
+            VALUES (%s, %s, %s, %s)
+            """,
+            values,
+        )
 
-        return inserted
+        return len(values)
 
     def upsert_lead_contacts(self, cursor, contacts: List[Dict[str, Any]], leads_id: int) -> int:
         """Вставляет связи сделки с контактами (полная замена)."""
@@ -288,19 +293,20 @@ class PostgresLoader:
             (account_id, leads_id),
         )
 
-        # Вставляем новые
-        inserted = 0
-        for contact in contacts:
-            cursor.execute(
-                """
-                INSERT INTO amocrm_leads_contacts (account_id, leads_id, contacts_id, main)
-                VALUES (%s, %s, %s, %s)
-                """,
-                (account_id, leads_id, contact["contacts_id"], contact.get("main", False)),
-            )
-            inserted += 1
+        # Вставляем новые (batch insert)
+        values = [
+            (account_id, leads_id, contact["contacts_id"], contact.get("main", False))
+            for contact in contacts
+        ]
+        cursor.executemany(
+            """
+            INSERT INTO amocrm_leads_contacts (account_id, leads_id, contacts_id, main)
+            VALUES (%s, %s, %s, %s)
+            """,
+            values,
+        )
 
-        return inserted
+        return len(values)
 
     def load_transformed_lead(
         self,
@@ -441,26 +447,24 @@ class PostgresLoader:
             ),
         )
 
-        # Атрибуты контакта
+        # Атрибуты контакта (batch insert)
         if transformed.attributes:
+            account_id = transformed.contact["account_id"]
             cursor.execute(
                 "DELETE FROM amocrm_contacts_attributes WHERE account_id = %s AND contacts_id = %s",
-                (transformed.contact["account_id"], contacts_id),
+                (account_id, contacts_id),
+            )
+            values = [
+                (account_id, contacts_id, attr["attribute_id"], attr["name"], attr.get("value"))
+                for attr in transformed.attributes
+            ]
+            cursor.executemany(
+                """
+                INSERT INTO amocrm_contacts_attributes (account_id, contacts_id, attribute_id, name, value)
+                VALUES (%s, %s, %s, %s, %s)
+                """,
+                values,
             )
-            for attr in transformed.attributes:
-                cursor.execute(
-                    """
-                    INSERT INTO amocrm_contacts_attributes (account_id, contacts_id, attribute_id, name, value)
-                    VALUES (%s, %s, %s, %s, %s)
-                    """,
-                    (
-                        transformed.contact["account_id"],
-                        contacts_id,
-                        attr["attribute_id"],
-                        attr["name"],
-                        attr.get("value"),
-                    ),
-                )
 
         return contacts_id
 

{amochka-0.3.1 → amochka-0.3.3}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "amochka"
-version = "0.3.1"
+version = "0.3.3"
 description = "Python library for working with amoCRM API with ETL capabilities"
 readme = "README.md"
 authors = [
@@ -31,7 +31,6 @@ keywords = ["amocrm", "crm", "api", "client", "automation", "etl"]
 requires-python = ">=3.6"
 dependencies = [
     "requests>=2.25.0",
-    "ratelimit>=2.2.0",
     "psycopg2-binary>=2.9.0",
     "python-dotenv>=1.0.0"
 ]