amochka 0.3.0__tar.gz → 0.3.2__tar.gz

{amochka-0.3.0 → amochka-0.3.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: amochka
-Version: 0.3.0
+Version: 0.3.2
 Summary: Python library for working with amoCRM API with ETL capabilities
 Author-email: Timur <timurdt@gmail.com>
 License: MIT
@@ -26,7 +26,6 @@ Classifier: Topic :: Internet :: WWW/HTTP
 Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 Requires-Dist: requests>=2.25.0
-Requires-Dist: ratelimit>=2.2.0
 Requires-Dist: psycopg2-binary>=2.9.0
 Requires-Dist: python-dotenv>=1.0.0
 
@@ -39,88 +38,167 @@ Requires-Dist: python-dotenv>=1.0.0
 - Редактирование сделок, включая обновление стандартных и кастомных полей
 - Поддержку нескольких amoCRM-аккаунтов с персистентным кэшированием кастомных полей для каждого аккаунта отдельно
 - Ограничение запросов (7 запросов в секунду) с использованием декораторов из библиотеки `ratelimit`
+- **Полнофункциональный ETL модуль** для синхронизации данных amoCRM в PostgreSQL
 
-### Основные функции
+## Возможности
+
+### API клиент
 
 - `get_deal_by_id(deal_id)` — получение детальной информации по сделке
 - `get_pipelines()` — список воронок и статусов
 - `fetch_updated_leads_raw(pipeline_id, updated_from, ...)` — выгрузка необработанных сделок за период
 
+### ETL модуль
+
+- **Extractors**: извлечение данных из amoCRM (сделки, контакты, события, примечания)
+- **Transformers**: преобразование в табличный формат для БД
+- **Loaders**: загрузка в PostgreSQL с UPSERT логикой и сохранением внутренних ID
+- **Migrations**: автоматическое создание таблиц и схем
+- **Incremental sync**: инкрементальная синхронизация по updated_at
+- Интеграция с **Apache Airflow** для автоматизации ETL процессов
+
 ## Требования к окружению
 
-Python 3.8 или новее. Потребуются пакеты `requests` и `ratelimit`.
+Python 3.6 или новее.
 
 ## Установка
 
-Установите зависимости командой:
-
 ```bash
-pip install requests ratelimit
+pip install amochka
 ```
 
-Затем скопируйте репозиторий или установите пакет из PyPI (после публикации):
+Для использования ETL модуля установите дополнительные зависимости:
 
 ```bash
-pip install amochka
+pip install amochka psycopg2-binary python-dotenv
 ```
 
 ## Кэширование кастомных полей
 
 Для уменьшения количества запросов к API кастомные поля кэшируются персистентно. Если параметр cache_file не указан, имя файла кэша генерируется автоматически на основе домена amoCRM-аккаунта. Вы можете обновлять кэш принудительно, передавая параметр force_update=True в метод get_custom_fields_mapping() или настроить время жизни кэша (по умолчанию — 24 часа).
 
-## Выгрузка обновленных сделок
+## Примеры использования
 
-Метод `fetch_updated_leads_raw()` позволяет получить все сделки из указанной воронки, которые были изменены в заданный промежуток времени. Результат можно сохранить в JSON-файл без какой‑либо обработки:
+### Быстрый старт: выгрузка обновленных сделок
 
 ```python
 from datetime import datetime, timedelta
 from amochka import AmoCRMClient, CacheConfig
 
 client = AmoCRMClient(
-    base_url="https://bneginskogo.amocrm.ru",
-    token_file="/path/to/token.json",
+    base_url="https://example.amocrm.ru",
+    token_file="token.json",
     cache_config=CacheConfig.disabled(),
     disable_logging=True
 )
 
 three_hours_ago = datetime.utcnow() - timedelta(hours=3)
-client.fetch_updated_leads_raw(6241334, updated_from=three_hours_ago, save_to_file="leads.json")
+leads = client.fetch_updated_leads_raw(
+    pipeline_id=123456,
+    updated_from=three_hours_ago,
+    save_to_file="leads.json",
+    include_contacts=True
+)
 ```
 
-Пример получаемого JSON (укороченный):
+### ETL: синхронизация в PostgreSQL
+
+```python
+from etl.config import DatabaseConfig, AmoCRMAccount
+from etl.extractors import AmoCRMExtractor
+from etl.loaders import PostgresLoader
+from etl.run_etl import sync_leads_with_contacts
+from datetime import datetime, timezone
+
+# Настройка БД
+db_config = DatabaseConfig(
+    host="localhost",
+    port=5432,
+    dbname="amocrm",
+    user="postgres",
+    password="password",
+    schema="public"
+)
+
+# Настройка amoCRM аккаунта
+account = AmoCRMAccount(
+    id=1,
+    name="main",
+    base_url="https://example.amocrm.ru",
+    token_path="token.json",
+    mybi_account_id=1,
+    pipeline_ids=[123456]
+)
+
+# ETL процесс
+loader = PostgresLoader(db_config)
+extractor = AmoCRMExtractor(account)
+
+result = sync_leads_with_contacts(
+    extractor=extractor,
+    loader=loader,
+    mybi_account_id=1,
+    updated_from=datetime(2025, 1, 1, tzinfo=timezone.utc),
+    updated_to=datetime.now(timezone.utc),
+    pipeline_ids=[123456]
+)
+
+print(f"Загружено сделок: {result['leads_count']}")
+print(f"Загружено контактов: {result['contacts_count']}")
+```
+
+### Пример структуры данных
 
 ```json
 [
   {
-    "id": 26282337,
-    "name": "Автосделка: Заявка от (Максим Брокер Дубай Бюро Негинского)",
+    "id": 12345678,
+    "name": "Сделка: Заявка от клиента",
     "custom_fields_values": [
       {
-        "field_name": "roistat",
-        "values": [{"value": "2026"}]
+        "field_name": "utm_source",
+        "values": [{"value": "google"}]
       }
     ],
     "_embedded": {
       "tags": [
-        {"id": 179813, "name": "WZ (Федор 971568113315)"}
+        {"id": 123, "name": "Приоритетный клиент"}
       ]
     }
   }
 ]
 ```
 
-Для подключения к реальному аккаунту сохраните JSON с OAuth‑токеном и укажите его путь в параметре `token_file` при создании клиента. Базовый URL можно взять из переменной окружения `AMO_BASE_URL`.
+## Интеграция с Apache Airflow
+
+Модуль ETL разработан для использования в Airflow DAG. Пример минимального DAG:
+
+```python
+from airflow.decorators import dag, task
+from etl.config import DatabaseConfig, AmoCRMAccount
+from etl.run_etl import sync_leads_with_contacts
+
+@dag(schedule_interval=None)
+def amocrm_sync():
+    @task
+    def sync_data():
+        db_config = DatabaseConfig.from_env()
+        account = AmoCRMAccount.from_env()
+        # ... ETL процесс
+
+amocrm_sync()
+```
 
 ## Тесты
 
-Файл `tests/test_client.py` содержит небольшой набор автоматических тестов, написанных на [pytest](https://docs.pytest.org/). Они запускают методы клиента на подставном классе `DummyClient` и проверяют, что функции работают так, как ожидается. Запустить тесты можно командой:
+Запустить тесты можно командой:
 
 ```bash
 pytest -q
 ```
 
-Эти тесты помогают убедиться, что изменения в коде не ломают основную функциональность.
+Тесты проверяют основную функциональность API клиента и помогают убедиться, что изменения в коде не ломают работу библиотеки.
 
-## Пример использования `fetch_updated_leads_raw`
+## Лицензия
 
-Кроме примера в разделе выше, код из `example_fetch.py` демонстрирует полный процесс получения сделок и сохранения их в файл.
+MIT

amochka-0.3.2/README.md

@@ -0,0 +1,173 @@
+# amochka
+
+Официальная документация API amocrm - https://www.amocrm.ru/developers/content/crm_platform/api-reference
+
+**amochka** — библиотека для работы с API amoCRM на Python. Она поддерживает:
+- Получение данных сделок с вложенными сущностями (контакты, компании, теги, и т.д.)
+- Редактирование сделок, включая обновление стандартных и кастомных полей
+- Поддержку нескольких amoCRM-аккаунтов с персистентным кэшированием кастомных полей для каждого аккаунта отдельно
+- Ограничение запросов (7 запросов в секунду) с использованием декораторов из библиотеки `ratelimit`
+- **Полнофункциональный ETL модуль** для синхронизации данных amoCRM в PostgreSQL
+
+## Возможности
+
+### API клиент
+
+- `get_deal_by_id(deal_id)` — получение детальной информации по сделке
+- `get_pipelines()` — список воронок и статусов
+- `fetch_updated_leads_raw(pipeline_id, updated_from, ...)` — выгрузка необработанных сделок за период
+
+### ETL модуль
+
+- **Extractors**: извлечение данных из amoCRM (сделки, контакты, события, примечания)
+- **Transformers**: преобразование в табличный формат для БД
+- **Loaders**: загрузка в PostgreSQL с UPSERT логикой и сохранением внутренних ID
+- **Migrations**: автоматическое создание таблиц и схем
+- **Incremental sync**: инкрементальная синхронизация по updated_at
+- Интеграция с **Apache Airflow** для автоматизации ETL процессов
+
+## Требования к окружению
+
+Python 3.6 или новее.
+
+## Установка
+
+```bash
+pip install amochka
+```
+
+Для использования ETL модуля установите дополнительные зависимости:
+
+```bash
+pip install amochka psycopg2-binary python-dotenv
+```
+
+## Кэширование кастомных полей
+
+Для уменьшения количества запросов к API кастомные поля кэшируются персистентно. Если параметр cache_file не указан, имя файла кэша генерируется автоматически на основе домена amoCRM-аккаунта. Вы можете обновлять кэш принудительно, передавая параметр force_update=True в метод get_custom_fields_mapping() или настроить время жизни кэша (по умолчанию — 24 часа).
+
+## Примеры использования
+
+### Быстрый старт: выгрузка обновленных сделок
+
+```python
+from datetime import datetime, timedelta
+from amochka import AmoCRMClient, CacheConfig
+
+client = AmoCRMClient(
+    base_url="https://example.amocrm.ru",
+    token_file="token.json",
+    cache_config=CacheConfig.disabled(),
+    disable_logging=True
+)
+
+three_hours_ago = datetime.utcnow() - timedelta(hours=3)
+leads = client.fetch_updated_leads_raw(
+    pipeline_id=123456,
+    updated_from=three_hours_ago,
+    save_to_file="leads.json",
+    include_contacts=True
+)
+```
+
+### ETL: синхронизация в PostgreSQL
+
+```python
+from etl.config import DatabaseConfig, AmoCRMAccount
+from etl.extractors import AmoCRMExtractor
+from etl.loaders import PostgresLoader
+from etl.run_etl import sync_leads_with_contacts
+from datetime import datetime, timezone
+
+# Настройка БД
+db_config = DatabaseConfig(
+    host="localhost",
+    port=5432,
+    dbname="amocrm",
+    user="postgres",
+    password="password",
+    schema="public"
+)
+
+# Настройка amoCRM аккаунта
+account = AmoCRMAccount(
+    id=1,
+    name="main",
+    base_url="https://example.amocrm.ru",
+    token_path="token.json",
+    mybi_account_id=1,
+    pipeline_ids=[123456]
+)
+
+# ETL процесс
+loader = PostgresLoader(db_config)
+extractor = AmoCRMExtractor(account)
+
+result = sync_leads_with_contacts(
+    extractor=extractor,
+    loader=loader,
+    mybi_account_id=1,
+    updated_from=datetime(2025, 1, 1, tzinfo=timezone.utc),
+    updated_to=datetime.now(timezone.utc),
+    pipeline_ids=[123456]
+)
+
+print(f"Загружено сделок: {result['leads_count']}")
+print(f"Загружено контактов: {result['contacts_count']}")
+```
+
+### Пример структуры данных
+
+```json
+[
+  {
+    "id": 12345678,
+    "name": "Сделка: Заявка от клиента",
+    "custom_fields_values": [
+      {
+        "field_name": "utm_source",
+        "values": [{"value": "google"}]
+      }
+    ],
+    "_embedded": {
+      "tags": [
+        {"id": 123, "name": "Приоритетный клиент"}
+      ]
+    }
+  }
+]
+```
+
+## Интеграция с Apache Airflow
+
+Модуль ETL разработан для использования в Airflow DAG. Пример минимального DAG:
+
+```python
+from airflow.decorators import dag, task
+from etl.config import DatabaseConfig, AmoCRMAccount
+from etl.run_etl import sync_leads_with_contacts
+
+@dag(schedule_interval=None)
+def amocrm_sync():
+    @task
+    def sync_data():
+        db_config = DatabaseConfig.from_env()
+        account = AmoCRMAccount.from_env()
+        # ... ETL процесс
+
+amocrm_sync()
+```
+
+## Тесты
+
+Запустить тесты можно командой:
+
+```bash
+pytest -q
+```
+
+Тесты проверяют основную функциональность API клиента и помогают убедиться, что изменения в коде не ломают работу библиотеки.
+
+## Лицензия
+
+MIT

{amochka-0.3.0 → amochka-0.3.2}/amochka/client.py

@@ -5,7 +5,7 @@ import requests
 import logging
 from datetime import datetime
 from typing import Iterator, List, Optional, Sequence, Union
-from ratelimit import limits, sleep_and_retry
+# ratelimit больше не используется - rate limiting реализован вручную через self.rate_limit
 
 # Создаём базовый логгер
 logger = logging.getLogger(__name__)
@@ -15,7 +15,7 @@ if not logger.handlers:
     ch.setFormatter(formatter)
     logger.addHandler(ch)
 
-RATE_LIMIT = 7  # Максимум 7 запросов в секунду
+DEFAULT_RATE_LIMIT = 7  # Максимум запросов в секунду по умолчанию
 
 class Deal(dict):
     """
@@ -262,12 +262,13 @@ class AmoCRMClient:
     либо полностью отключить логирование, установив disable_logging=True.
     """
     def __init__(
-        self, 
-        base_url, 
-        token_file=None, 
-        cache_config=None, 
-        log_level=logging.INFO, 
+        self,
+        base_url,
+        token_file=None,
+        cache_config=None,
+        log_level=logging.INFO,
         disable_logging=False,
+        rate_limit: Optional[int] = None,
         *,
         client_id: Optional[str] = None,
         client_secret: Optional[str] = None,
@@ -275,14 +276,17 @@ class AmoCRMClient:
     ):
         """
         Инициализирует клиента, задавая базовый URL, токен авторизации и настройки кэша для кастомных полей.
-        
+
         :param base_url: Базовый URL API amoCRM.
         :param token_file: Файл, содержащий токен авторизации.
         :param cache_config: Конфигурация кэширования (объект CacheConfig или None для значений по умолчанию)
         :param log_level: Уровень логирования (например, logging.DEBUG, logging.INFO).
         :param disable_logging: Если True, логирование будет отключено.
+        :param rate_limit: Максимальное количество запросов в секунду (по умолчанию 7).
         """
         self.base_url = base_url.rstrip('/')
+        self.rate_limit = rate_limit if rate_limit is not None else DEFAULT_RATE_LIMIT
+        self._request_times: List[float] = []  # Для отслеживания времени запросов
         domain = self.base_url.split("//")[-1].split(".")[0]
         self.domain = domain
         self.token_file = token_file or os.path.join(os.path.expanduser('~'), '.amocrm_token.json')
@@ -378,8 +382,24 @@ class AmoCRMClient:
 
         raise Exception("Токен истёк или некорректен, и нет данных для refresh_token. Обновите токен.")
 
-    @sleep_and_retry
-    @limits(calls=RATE_LIMIT, period=1)
+    def _wait_for_rate_limit(self):
+        """Ожидает, если превышен лимит запросов в секунду."""
+        now = time.time()
+        # Удаляем запросы старше 1 секунды
+        self._request_times = [t for t in self._request_times if now - t < 1.0]
+
+        if len(self._request_times) >= self.rate_limit:
+            # Ждём до освобождения слота
+            sleep_time = 1.0 - (now - self._request_times[0])
+            if sleep_time > 0:
+                self.logger.debug(f"Rate limit: ожидание {sleep_time:.3f}с (лимит {self.rate_limit} req/s)")
+                time.sleep(sleep_time)
+            # Очищаем старые записи после ожидания
+            now = time.time()
+            self._request_times = [t for t in self._request_times if now - t < 1.0]
+
+        self._request_times.append(time.time())
+
     def _make_request(self, method, endpoint, params=None, data=None, timeout=10):
         """
         Выполняет HTTP-запрос к API amoCRM с учетом ограничения по скорости (rate limit).
@@ -392,6 +412,9 @@ class AmoCRMClient:
         :return: Ответ в формате JSON или None (если статус 204).
         :raises Exception: При получении кода ошибки, отличного от 200/204.
         """
+        # Ручной rate limiting
+        self._wait_for_rate_limit()
+
         url = f"{self.base_url}{endpoint}"
         headers = {
             "Authorization": f"Bearer {self.token}",

{amochka-0.3.0 → amochka-0.3.2}/amochka.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: amochka
-Version: 0.3.0
+Version: 0.3.2
 Summary: Python library for working with amoCRM API with ETL capabilities
 Author-email: Timur <timurdt@gmail.com>
 License: MIT
@@ -26,7 +26,6 @@ Classifier: Topic :: Internet :: WWW/HTTP
 Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 Requires-Dist: requests>=2.25.0
-Requires-Dist: ratelimit>=2.2.0
 Requires-Dist: psycopg2-binary>=2.9.0
 Requires-Dist: python-dotenv>=1.0.0
 
@@ -39,88 +38,167 @@ Requires-Dist: python-dotenv>=1.0.0
 - Редактирование сделок, включая обновление стандартных и кастомных полей
 - Поддержку нескольких amoCRM-аккаунтов с персистентным кэшированием кастомных полей для каждого аккаунта отдельно
 - Ограничение запросов (7 запросов в секунду) с использованием декораторов из библиотеки `ratelimit`
+- **Полнофункциональный ETL модуль** для синхронизации данных amoCRM в PostgreSQL
 
-### Основные функции
+## Возможности
+
+### API клиент
 
 - `get_deal_by_id(deal_id)` — получение детальной информации по сделке
 - `get_pipelines()` — список воронок и статусов
 - `fetch_updated_leads_raw(pipeline_id, updated_from, ...)` — выгрузка необработанных сделок за период
 
+### ETL модуль
+
+- **Extractors**: извлечение данных из amoCRM (сделки, контакты, события, примечания)
+- **Transformers**: преобразование в табличный формат для БД
+- **Loaders**: загрузка в PostgreSQL с UPSERT логикой и сохранением внутренних ID
+- **Migrations**: автоматическое создание таблиц и схем
+- **Incremental sync**: инкрементальная синхронизация по updated_at
+- Интеграция с **Apache Airflow** для автоматизации ETL процессов
+
 ## Требования к окружению
 
-Python 3.8 или новее. Потребуются пакеты `requests` и `ratelimit`.
+Python 3.6 или новее.
 
 ## Установка
 
-Установите зависимости командой:
-
 ```bash
-pip install requests ratelimit
+pip install amochka
 ```
 
-Затем скопируйте репозиторий или установите пакет из PyPI (после публикации):
+Для использования ETL модуля установите дополнительные зависимости:
 
 ```bash
-pip install amochka
+pip install amochka psycopg2-binary python-dotenv
 ```
 
 ## Кэширование кастомных полей
 
 Для уменьшения количества запросов к API кастомные поля кэшируются персистентно. Если параметр cache_file не указан, имя файла кэша генерируется автоматически на основе домена amoCRM-аккаунта. Вы можете обновлять кэш принудительно, передавая параметр force_update=True в метод get_custom_fields_mapping() или настроить время жизни кэша (по умолчанию — 24 часа).
 
-## Выгрузка обновленных сделок
+## Примеры использования
 
-Метод `fetch_updated_leads_raw()` позволяет получить все сделки из указанной воронки, которые были изменены в заданный промежуток времени. Результат можно сохранить в JSON-файл без какой‑либо обработки:
+### Быстрый старт: выгрузка обновленных сделок
 
 ```python
 from datetime import datetime, timedelta
 from amochka import AmoCRMClient, CacheConfig
 
 client = AmoCRMClient(
-    base_url="https://bneginskogo.amocrm.ru",
-    token_file="/path/to/token.json",
+    base_url="https://example.amocrm.ru",
+    token_file="token.json",
     cache_config=CacheConfig.disabled(),
     disable_logging=True
 )
 
 three_hours_ago = datetime.utcnow() - timedelta(hours=3)
-client.fetch_updated_leads_raw(6241334, updated_from=three_hours_ago, save_to_file="leads.json")
+leads = client.fetch_updated_leads_raw(
+    pipeline_id=123456,
+    updated_from=three_hours_ago,
+    save_to_file="leads.json",
+    include_contacts=True
+)
 ```
 
-Пример получаемого JSON (укороченный):
+### ETL: синхронизация в PostgreSQL
+
+```python
+from etl.config import DatabaseConfig, AmoCRMAccount
+from etl.extractors import AmoCRMExtractor
+from etl.loaders import PostgresLoader
+from etl.run_etl import sync_leads_with_contacts
+from datetime import datetime, timezone
+
+# Настройка БД
+db_config = DatabaseConfig(
+    host="localhost",
+    port=5432,
+    dbname="amocrm",
+    user="postgres",
+    password="password",
+    schema="public"
+)
+
+# Настройка amoCRM аккаунта
+account = AmoCRMAccount(
+    id=1,
+    name="main",
+    base_url="https://example.amocrm.ru",
+    token_path="token.json",
+    mybi_account_id=1,
+    pipeline_ids=[123456]
+)
+
+# ETL процесс
+loader = PostgresLoader(db_config)
+extractor = AmoCRMExtractor(account)
+
+result = sync_leads_with_contacts(
+    extractor=extractor,
+    loader=loader,
+    mybi_account_id=1,
+    updated_from=datetime(2025, 1, 1, tzinfo=timezone.utc),
+    updated_to=datetime.now(timezone.utc),
+    pipeline_ids=[123456]
+)
+
+print(f"Загружено сделок: {result['leads_count']}")
+print(f"Загружено контактов: {result['contacts_count']}")
+```
+
+### Пример структуры данных
 
 ```json
 [
   {
-    "id": 26282337,
-    "name": "Автосделка: Заявка от (Максим Брокер Дубай Бюро Негинского)",
+    "id": 12345678,
+    "name": "Сделка: Заявка от клиента",
     "custom_fields_values": [
       {
-        "field_name": "roistat",
-        "values": [{"value": "2026"}]
+        "field_name": "utm_source",
+        "values": [{"value": "google"}]
       }
     ],
     "_embedded": {
       "tags": [
-        {"id": 179813, "name": "WZ (Федор 971568113315)"}
+        {"id": 123, "name": "Приоритетный клиент"}
       ]
     }
   }
 ]
 ```
 
-Для подключения к реальному аккаунту сохраните JSON с OAuth‑токеном и укажите его путь в параметре `token_file` при создании клиента. Базовый URL можно взять из переменной окружения `AMO_BASE_URL`.
+## Интеграция с Apache Airflow
+
+Модуль ETL разработан для использования в Airflow DAG. Пример минимального DAG:
+
+```python
+from airflow.decorators import dag, task
+from etl.config import DatabaseConfig, AmoCRMAccount
+from etl.run_etl import sync_leads_with_contacts
+
+@dag(schedule_interval=None)
+def amocrm_sync():
+    @task
+    def sync_data():
+        db_config = DatabaseConfig.from_env()
+        account = AmoCRMAccount.from_env()
+        # ... ETL процесс
+
+amocrm_sync()
+```
 
 ## Тесты
 
-Файл `tests/test_client.py` содержит небольшой набор автоматических тестов, написанных на [pytest](https://docs.pytest.org/). Они запускают методы клиента на подставном классе `DummyClient` и проверяют, что функции работают так, как ожидается. Запустить тесты можно командой:
+Запустить тесты можно командой:
 
 ```bash
 pytest -q
 ```
 
-Эти тесты помогают убедиться, что изменения в коде не ломают основную функциональность.
+Тесты проверяют основную функциональность API клиента и помогают убедиться, что изменения в коде не ломают работу библиотеки.
 
-## Пример использования `fetch_updated_leads_raw`
+## Лицензия
 
-Кроме примера в разделе выше, код из `example_fetch.py` демонстрирует полный процесс получения сделок и сохранения их в файл.
+MIT

{amochka-0.3.0 → amochka-0.3.2}/amochka.egg-info/requires.txt

@@ -1,4 +1,3 @@
 requests>=2.25.0
-ratelimit>=2.2.0
 psycopg2-binary>=2.9.0
 python-dotenv>=1.0.0

{amochka-0.3.0 → amochka-0.3.2}/etl/config.py

@@ -107,6 +107,7 @@ class AmoCRMAccount:
     mybi_account_id: int  # Внутренний account_id как в mybi.ru (для совместимости)
     pipeline_ids: Optional[List[int]] = None  # None = все воронки
     cache_dir: Optional[Path] = None
+    rate_limit: int = 7  # Максимум запросов в секунду (по умолчанию 7)
 
     def __post_init__(self):
         if isinstance(self.token_path, str):
@@ -125,6 +126,7 @@ class AmoCRMAccount:
             mybi_account_id=int(d.get("mybi_account_id", 0)),
             pipeline_ids=d.get("pipeline_ids"),
             cache_dir=Path(d.get("cache_dir", ".cache")) if d.get("cache_dir") else None,
+            rate_limit=int(d.get("rate_limit", 7)),
         )
 
 

{amochka-0.3.0 → amochka-0.3.2}/etl/extractors.py

@@ -48,6 +48,7 @@ class AmoCRMExtractor:
                 base_url=self.account.base_url,
                 token_file=str(self.account.token_path),
                 cache_config=cache_config,
+                rate_limit=self.account.rate_limit,
             )
 
     @property

{amochka-0.3.0 → amochka-0.3.2}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "amochka"
-version = "0.3.0"
+version = "0.3.2"
 description = "Python library for working with amoCRM API with ETL capabilities"
 readme = "README.md"
 authors = [
@@ -31,7 +31,6 @@ keywords = ["amocrm", "crm", "api", "client", "automation", "etl"]
 requires-python = ">=3.6"
 dependencies = [
     "requests>=2.25.0",
-    "ratelimit>=2.2.0",
     "psycopg2-binary>=2.9.0",
     "python-dotenv>=1.0.0"
 ]

amochka-0.3.0/README.md

@@ -1,94 +0,0 @@
-# amochka
-
-Официальная документация API amocrm - https://www.amocrm.ru/developers/content/crm_platform/api-reference
-
-**amochka** — библиотека для работы с API amoCRM на Python. Она поддерживает:
-- Получение данных сделок с вложенными сущностями (контакты, компании, теги, и т.д.)
-- Редактирование сделок, включая обновление стандартных и кастомных полей
-- Поддержку нескольких amoCRM-аккаунтов с персистентным кэшированием кастомных полей для каждого аккаунта отдельно
-- Ограничение запросов (7 запросов в секунду) с использованием декораторов из библиотеки `ratelimit`
-
-### Основные функции
-
-- `get_deal_by_id(deal_id)` — получение детальной информации по сделке
-- `get_pipelines()` — список воронок и статусов
-- `fetch_updated_leads_raw(pipeline_id, updated_from, ...)` — выгрузка необработанных сделок за период
-
-## Требования к окружению
-
-Python 3.8 или новее. Потребуются пакеты `requests` и `ratelimit`.
-
-## Установка
-
-Установите зависимости командой:
-
-```bash
-pip install requests ratelimit
-```
-
-Затем скопируйте репозиторий или установите пакет из PyPI (после публикации):
-
-```bash
-pip install amochka
-```
-
-## Кэширование кастомных полей
-
-Для уменьшения количества запросов к API кастомные поля кэшируются персистентно. Если параметр cache_file не указан, имя файла кэша генерируется автоматически на основе домена amoCRM-аккаунта. Вы можете обновлять кэш принудительно, передавая параметр force_update=True в метод get_custom_fields_mapping() или настроить время жизни кэша (по умолчанию — 24 часа).
-
-## Выгрузка обновленных сделок
-
-Метод `fetch_updated_leads_raw()` позволяет получить все сделки из указанной воронки, которые были изменены в заданный промежуток времени. Результат можно сохранить в JSON-файл без какой‑либо обработки:
-
-```python
-from datetime import datetime, timedelta
-from amochka import AmoCRMClient, CacheConfig
-
-client = AmoCRMClient(
-    base_url="https://bneginskogo.amocrm.ru",
-    token_file="/path/to/token.json",
-    cache_config=CacheConfig.disabled(),
-    disable_logging=True
-)
-
-three_hours_ago = datetime.utcnow() - timedelta(hours=3)
-client.fetch_updated_leads_raw(6241334, updated_from=three_hours_ago, save_to_file="leads.json")
-```
-
-Пример получаемого JSON (укороченный):
-
-```json
-[
-  {
-    "id": 26282337,
-    "name": "Автосделка: Заявка от (Максим Брокер Дубай Бюро Негинского)",
-    "custom_fields_values": [
-      {
-        "field_name": "roistat",
-        "values": [{"value": "2026"}]
-      }
-    ],
-    "_embedded": {
-      "tags": [
-        {"id": 179813, "name": "WZ (Федор 971568113315)"}
-      ]
-    }
-  }
-]
-```
-
-Для подключения к реальному аккаунту сохраните JSON с OAuth‑токеном и укажите его путь в параметре `token_file` при создании клиента. Базовый URL можно взять из переменной окружения `AMO_BASE_URL`.
-
-## Тесты
-
-Файл `tests/test_client.py` содержит небольшой набор автоматических тестов, написанных на [pytest](https://docs.pytest.org/). Они запускают методы клиента на подставном классе `DummyClient` и проверяют, что функции работают так, как ожидается. Запустить тесты можно командой:
-
-```bash
-pytest -q
-```
-
-Эти тесты помогают убедиться, что изменения в коде не ломают основную функциональность.
-
-## Пример использования `fetch_updated_leads_raw`
-
-Кроме примера в разделе выше, код из `example_fetch.py` демонстрирует полный процесс получения сделок и сохранения их в файл.