amochka 0.3.2__tar.gz → 0.3.4__tar.gz

{amochka-0.3.2 → amochka-0.3.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: amochka
-Version: 0.3.2
+Version: 0.3.4
 Summary: Python library for working with amoCRM API with ETL capabilities
 Author-email: Timur <timurdt@gmail.com>
 License: MIT

{amochka-0.3.2 → amochka-0.3.4}/amochka/client.py

@@ -269,6 +269,8 @@ class AmoCRMClient:
         log_level=logging.INFO,
         disable_logging=False,
         rate_limit: Optional[int] = None,
+        max_retries: int = 3,
+        retry_delay: float = 1.0,
         *,
         client_id: Optional[str] = None,
         client_secret: Optional[str] = None,
@@ -283,9 +285,13 @@ class AmoCRMClient:
         :param log_level: Уровень логирования (например, logging.DEBUG, logging.INFO).
         :param disable_logging: Если True, логирование будет отключено.
         :param rate_limit: Максимальное количество запросов в секунду (по умолчанию 7).
+        :param max_retries: Максимальное количество повторных попыток при ошибках (по умолчанию 3).
+        :param retry_delay: Базовая задержка между попытками в секундах (по умолчанию 1.0).
         """
         self.base_url = base_url.rstrip('/')
         self.rate_limit = rate_limit if rate_limit is not None else DEFAULT_RATE_LIMIT
+        self.max_retries = max_retries
+        self.retry_delay = retry_delay
         self._request_times: List[float] = []  # Для отслеживания времени запросов
         domain = self.base_url.split("//")[-1].split(".")[0]
         self.domain = domain
@@ -402,7 +408,7 @@ class AmoCRMClient:
 
     def _make_request(self, method, endpoint, params=None, data=None, timeout=10):
         """
-        Выполняет HTTP-запрос к API amoCRM с учетом ограничения по скорости (rate limit).
+        Выполняет HTTP-запрос к API amoCRM с учетом ограничения по скорости (rate limit) и retry.
 
         :param method: HTTP-метод (GET, PATCH, POST, DELETE и т.д.).
         :param endpoint: Конечная точка API (начинается с /api/v4/).
@@ -410,31 +416,88 @@ class AmoCRMClient:
         :param data: Данные, отправляемые в JSON-формате.
         :param timeout: Тайм‑аут запроса в секундах (по умолчанию 10).
         :return: Ответ в формате JSON или None (если статус 204).
-        :raises Exception: При получении кода ошибки, отличного от 200/204.
+        :raises Exception: При получении кода ошибки, отличного от 200/204 после всех retry.
         """
-        # Ручной rate limiting
-        self._wait_for_rate_limit()
-
         url = f"{self.base_url}{endpoint}"
         headers = {
             "Authorization": f"Bearer {self.token}",
             "Content-Type": "application/json"
         }
-        self.logger.debug(f"Making {method} request to {url} with params {params} and data {data}")
-        response = requests.request(method, url, headers=headers, params=params, json=data, timeout=timeout)
-
-        if response.status_code == 401 and self.refresh_token:
-            self.logger.info("Получен 401, пробую обновить токен и повторить запрос…")
-            self._refresh_access_token()
-            headers["Authorization"] = f"Bearer {self.token}"
-            response = requests.request(method, url, headers=headers, params=params, json=data, timeout=timeout)
-
-        if response.status_code not in (200, 204):
-            self.logger.error(f"Request error {response.status_code}: {response.text}")
-            raise Exception(f"Ошибка запроса: {response.status_code}, {response.text}")
-        if response.status_code == 204:
-            return None
-        return response.json()
+
+        last_exception = None
+        retryable_status_codes = {429, 500, 502, 503, 504}
+
+        for attempt in range(self.max_retries + 1):
+            # Ручной rate limiting перед каждой попыткой
+            self._wait_for_rate_limit()
+
+            try:
+                self.logger.debug(f"Making {method} request to {url} (attempt {attempt + 1})")
+                response = requests.request(method, url, headers=headers, params=params, json=data, timeout=timeout)
+
+                # 401 - пробуем refresh токена (один раз)
+                if response.status_code == 401 and self.refresh_token and attempt == 0:
+                    self.logger.info("Получен 401, пробую обновить токен и повторить запрос…")
+                    self._refresh_access_token()
+                    headers["Authorization"] = f"Bearer {self.token}"
+                    continue
+
+                # Успех
+                if response.status_code in (200, 204):
+                    if response.status_code == 204:
+                        return None
+                    return response.json()
+
+                # Retryable ошибки (429, 5xx)
+                if response.status_code in retryable_status_codes:
+                    delay = self._calculate_retry_delay(attempt, response)
+                    self.logger.warning(
+                        f"Получен {response.status_code}, retry через {delay:.1f}с (попытка {attempt + 1}/{self.max_retries + 1})"
+                    )
+                    last_exception = Exception(f"Ошибка запроса: {response.status_code}, {response.text}")
+                    if attempt < self.max_retries:
+                        time.sleep(delay)
+                        continue
+                    raise last_exception
+
+                # Не-retryable ошибка (400, 403, 404 и т.д.)
+                self.logger.error(f"Request error {response.status_code}: {response.text}")
+                raise Exception(f"Ошибка запроса: {response.status_code}, {response.text}")
+
+            except requests.exceptions.Timeout as e:
+                last_exception = e
+                delay = self._calculate_retry_delay(attempt)
+                self.logger.warning(f"Timeout, retry через {delay:.1f}с (попытка {attempt + 1}/{self.max_retries + 1})")
+                if attempt < self.max_retries:
+                    time.sleep(delay)
+                    continue
+                raise Exception(f"Timeout после {self.max_retries + 1} попыток: {e}")
+
+            except requests.exceptions.ConnectionError as e:
+                last_exception = e
+                delay = self._calculate_retry_delay(attempt)
+                self.logger.warning(f"Connection error, retry через {delay:.1f}с (попытка {attempt + 1}/{self.max_retries + 1})")
+                if attempt < self.max_retries:
+                    time.sleep(delay)
+                    continue
+                raise Exception(f"Connection error после {self.max_retries + 1} попыток: {e}")
+
+        # Если дошли сюда — исчерпали все попытки
+        raise last_exception or Exception("Неизвестная ошибка после всех retry")
+
+    def _calculate_retry_delay(self, attempt: int, response=None) -> float:
+        """Вычисляет задержку перед retry с exponential backoff."""
+        # Проверяем Retry-After header (для 429)
+        if response is not None:
+            retry_after = response.headers.get("Retry-After")
+            if retry_after:
+                try:
+                    return float(retry_after)
+                except ValueError:
+                    pass
+
+        # Exponential backoff: delay * 2^attempt (1, 2, 4, 8...)
+        return self.retry_delay * (2 ** attempt)
 
     def _refresh_access_token(self):
         """Обновляет access_token по refresh_token и сохраняет его в token_file."""

{amochka-0.3.2 → amochka-0.3.4}/amochka.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: amochka
-Version: 0.3.2
+Version: 0.3.4
 Summary: Python library for working with amoCRM API with ETL capabilities
 Author-email: Timur <timurdt@gmail.com>
 License: MIT

{amochka-0.3.2 → amochka-0.3.4}/etl/extractors.py

@@ -206,10 +206,10 @@ class AmoCRMExtractor:
 
         count = 0
         for event in self.client.iter_events(
-            entity_type=entity_type,
+            entity=entity_type,  # client.py использует 'entity', не 'entity_type'
             event_type=event_types[0] if event_types and len(event_types) == 1 else None,
-            start=created_from,
-            end=created_to,
+            created_from=created_from,
+            created_to=created_to,
         ):
             # Фильтруем по типам если указано несколько
             if event_types and len(event_types) > 1:

{amochka-0.3.2 → amochka-0.3.4}/etl/loaders.py

@@ -234,19 +234,23 @@ class PostgresLoader:
             (account_id, leads_id),
         )
 
-        # Вставляем новые
-        inserted = 0
-        for attr in attributes:
-            cursor.execute(
-                """
-                INSERT INTO amocrm_leads_attributes (account_id, leads_id, attribute_id, name, value)
-                VALUES (%s, %s, %s, %s, %s)
-                """,
-                (account_id, leads_id, attr["attribute_id"], attr["name"], attr.get("value")),
-            )
-            inserted += 1
+        # Вставляем новые (batch insert)
+        if not attributes:
+            return 0
+
+        values = [
+            (account_id, leads_id, attr["attribute_id"], attr["name"], attr.get("value"))
+            for attr in attributes
+        ]
+        cursor.executemany(
+            """
+            INSERT INTO amocrm_leads_attributes (account_id, leads_id, attribute_id, name, value)
+            VALUES (%s, %s, %s, %s, %s)
+            """,
+            values,
+        )
 
-        return inserted
+        return len(values)
 
     def upsert_lead_tags(self, cursor, tags: List[Dict[str, Any]], leads_id: int) -> int:
         """Вставляет теги сделки (полная замена)."""
@@ -261,19 +265,20 @@ class PostgresLoader:
             (account_id, leads_id),
         )
 
-        # Вставляем новые
-        inserted = 0
-        for tag in tags:
-            cursor.execute(
-                """
-                INSERT INTO amocrm_leads_tags (account_id, leads_id, tag_id, name)
-                VALUES (%s, %s, %s, %s)
-                """,
-                (account_id, leads_id, tag["tag_id"], tag["name"]),
-            )
-            inserted += 1
+        # Вставляем новые (batch insert)
+        values = [
+            (account_id, leads_id, tag["tag_id"], tag["name"])
+            for tag in tags
+        ]
+        cursor.executemany(
+            """
+            INSERT INTO amocrm_leads_tags (account_id, leads_id, tag_id, name)
+            VALUES (%s, %s, %s, %s)
+            """,
+            values,
+        )
 
-        return inserted
+        return len(values)
 
     def upsert_lead_contacts(self, cursor, contacts: List[Dict[str, Any]], leads_id: int) -> int:
         """Вставляет связи сделки с контактами (полная замена)."""
@@ -288,19 +293,20 @@ class PostgresLoader:
             (account_id, leads_id),
         )
 
-        # Вставляем новые
-        inserted = 0
-        for contact in contacts:
-            cursor.execute(
-                """
-                INSERT INTO amocrm_leads_contacts (account_id, leads_id, contacts_id, main)
-                VALUES (%s, %s, %s, %s)
-                """,
-                (account_id, leads_id, contact["contacts_id"], contact.get("main", False)),
-            )
-            inserted += 1
+        # Вставляем новые (batch insert)
+        values = [
+            (account_id, leads_id, contact["contacts_id"], contact.get("main", False))
+            for contact in contacts
+        ]
+        cursor.executemany(
+            """
+            INSERT INTO amocrm_leads_contacts (account_id, leads_id, contacts_id, main)
+            VALUES (%s, %s, %s, %s)
+            """,
+            values,
+        )
 
-        return inserted
+        return len(values)
 
     def load_transformed_lead(
         self,
@@ -441,26 +447,24 @@ class PostgresLoader:
             ),
         )
 
-        # Атрибуты контакта
+        # Атрибуты контакта (batch insert)
         if transformed.attributes:
+            account_id = transformed.contact["account_id"]
             cursor.execute(
                 "DELETE FROM amocrm_contacts_attributes WHERE account_id = %s AND contacts_id = %s",
-                (transformed.contact["account_id"], contacts_id),
+                (account_id, contacts_id),
+            )
+            values = [
+                (account_id, contacts_id, attr["attribute_id"], attr["name"], attr.get("value"))
+                for attr in transformed.attributes
+            ]
+            cursor.executemany(
+                """
+                INSERT INTO amocrm_contacts_attributes (account_id, contacts_id, attribute_id, name, value)
+                VALUES (%s, %s, %s, %s, %s)
+                """,
+                values,
             )
-            for attr in transformed.attributes:
-                cursor.execute(
-                    """
-                    INSERT INTO amocrm_contacts_attributes (account_id, contacts_id, attribute_id, name, value)
-                    VALUES (%s, %s, %s, %s, %s)
-                    """,
-                    (
-                        transformed.contact["account_id"],
-                        contacts_id,
-                        attr["attribute_id"],
-                        attr["name"],
-                        attr.get("value"),
-                    ),
-                )
 
         return contacts_id
 

{amochka-0.3.2 → amochka-0.3.4}/etl/run_etl.py

@@ -199,6 +199,8 @@ def mark_deleted_leads(
     loader: PostgresLoader,
     mybi_account_id: int,
     pipeline_ids: Optional[List[int]] = None,
+    updated_from: Optional[datetime] = None,
+    updated_to: Optional[datetime] = None,
 ) -> int:
     """
     Помечает удалённые сделки в БД (is_deleted = true).
@@ -206,12 +208,18 @@ def mark_deleted_leads(
     Выгружает список удалённых сделок из amoCRM (корзина) и обновляет
     соответствующие записи в БД.
 
+    Args:
+        updated_from: Начало периода (фильтр по deleted_at)
+        updated_to: Конец периода (фильтр по deleted_at)
+
     Returns:
         Количество помеченных сделок
     """
     # Выгружаем ID удалённых сделок из amoCRM
     deleted_lead_ids = []
     for lead in extractor.iter_leads(
+        updated_from=updated_from,
+        updated_to=updated_to,
         pipeline_ids=pipeline_ids,
         only_deleted=True,
     ):
@@ -538,6 +546,8 @@ def run_etl_for_account(
             loader,
             mybi_id,
             pipeline_ids=account.pipeline_ids,
+            updated_from=leads_updated_from,
+            updated_to=updated_to,
         )
         stats["leads_marked_deleted"] = deleted_count
 

{amochka-0.3.2 → amochka-0.3.4}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "amochka"
-version = "0.3.2"
+version = "0.3.4"
 description = "Python library for working with amoCRM API with ETL capabilities"
 readme = "README.md"
 authors = [

{amochka-0.3.2 → amochka-0.3.4}/tests/test_client.py

@@ -22,9 +22,11 @@ from amochka import (
 
 class DummyClient(AmoCRMClient):
     def __init__(self):
+        import time
+        # expires_at как числовой timestamp (через 1 час)
         token_data = {
             "access_token": "x",
-            "expires_at": str(int(datetime.utcnow().timestamp()) + 3600)
+            "expires_at": str(time.time() + 3600)
         }
         super().__init__(
             base_url="https://example.com",
@@ -249,7 +251,8 @@ def test_export_helpers_write_expected_files(tmp_path):
     assert pipelines_lines[0]["entity"] == "pipeline"
 
     contacts_call = next(item for item in client.calls if item[1] == "/api/v4/contacts")
-    assert contacts_call[2]["filter[id]"] == "11,12"
+    # API использует filter[id][] для массивов
+    assert contacts_call[2].get("filter[id][]") == ["11", "12"] or contacts_call[2].get("filter[id]") == "11,12"
     assert "filter[updated_at][from]" not in contacts_call[2]
 
     events_call = next(item for item in client.calls if item[1] == "/api/v4/events")