avito-sdk 0.1.0__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- avito_sdk-0.1.0/.github/workflows/ci.yml +47 -0
- avito_sdk-0.1.0/.github/workflows/publish.yml +38 -0
- avito_sdk-0.1.0/.gitignore +32 -0
- avito_sdk-0.1.0/CHANGELOG.md +32 -0
- avito_sdk-0.1.0/LICENSE +21 -0
- avito_sdk-0.1.0/PKG-INFO +237 -0
- avito_sdk-0.1.0/README.md +185 -0
- avito_sdk-0.1.0/pyproject.toml +94 -0
- avito_sdk-0.1.0/src/avito_sdk/__init__.py +77 -0
- avito_sdk-0.1.0/src/avito_sdk/async_client.py +213 -0
- avito_sdk-0.1.0/src/avito_sdk/cli.py +123 -0
- avito_sdk-0.1.0/src/avito_sdk/client.py +264 -0
- avito_sdk-0.1.0/src/avito_sdk/export.py +203 -0
- avito_sdk-0.1.0/src/avito_sdk/extractors.py +428 -0
- avito_sdk-0.1.0/src/avito_sdk/http.py +210 -0
- avito_sdk-0.1.0/src/avito_sdk/models.py +115 -0
- avito_sdk-0.1.0/src/avito_sdk/py.typed +1 -0
- avito_sdk-0.1.0/src/avito_sdk/tracker.py +185 -0
- avito_sdk-0.1.0/src/avito_sdk/url.py +97 -0
- avito_sdk-0.1.0/tests/test_cli.py +46 -0
- avito_sdk-0.1.0/tests/test_client.py +88 -0
- avito_sdk-0.1.0/tests/test_export.py +77 -0
- avito_sdk-0.1.0/tests/test_extractors.py +208 -0
- avito_sdk-0.1.0/tests/test_models.py +43 -0
- avito_sdk-0.1.0/tests/test_tracker.py +64 -0
- avito_sdk-0.1.0/tests/test_url.py +50 -0
- avito_sdk-0.1.0/uv.lock +1618 -0
|
@@ -0,0 +1,47 @@
|
|
|
1
|
+
name: CI
|
|
2
|
+
|
|
3
|
+
on:
|
|
4
|
+
push:
|
|
5
|
+
branches: [main, master]
|
|
6
|
+
pull_request:
|
|
7
|
+
branches: [main, master]
|
|
8
|
+
|
|
9
|
+
jobs:
|
|
10
|
+
test:
|
|
11
|
+
name: Python ${{ matrix.python-version }} on ${{ matrix.os }}
|
|
12
|
+
runs-on: ${{ matrix.os }}
|
|
13
|
+
strategy:
|
|
14
|
+
fail-fast: false
|
|
15
|
+
matrix:
|
|
16
|
+
os: [ubuntu-latest, windows-latest, macos-latest]
|
|
17
|
+
python-version:
|
|
18
|
+
- "3.8"
|
|
19
|
+
- "3.9"
|
|
20
|
+
- "3.10"
|
|
21
|
+
- "3.11"
|
|
22
|
+
- "3.12"
|
|
23
|
+
- "3.13"
|
|
24
|
+
- "3.14"
|
|
25
|
+
include:
|
|
26
|
+
- os: ubuntu-latest
|
|
27
|
+
python-version: "3.13-nogil"
|
|
28
|
+
- os: ubuntu-latest
|
|
29
|
+
python-version: "pypy3.10"
|
|
30
|
+
|
|
31
|
+
steps:
|
|
32
|
+
- uses: actions/checkout@v4
|
|
33
|
+
|
|
34
|
+
- name: Set up Python ${{ matrix.python-version }}
|
|
35
|
+
uses: actions/setup-python@v5
|
|
36
|
+
with:
|
|
37
|
+
python-version: ${{ matrix.python-version }}
|
|
38
|
+
allow-prereleases: true
|
|
39
|
+
|
|
40
|
+
- name: Install dependencies
|
|
41
|
+
run: |
|
|
42
|
+
python -m pip install --upgrade pip
|
|
43
|
+
python -m pip install ".[dev,excel]"
|
|
44
|
+
|
|
45
|
+
- name: Run pytest
|
|
46
|
+
run: |
|
|
47
|
+
pytest -v
|
|
@@ -0,0 +1,38 @@
|
|
|
1
|
+
name: Publish to PyPI
|
|
2
|
+
|
|
3
|
+
on:
|
|
4
|
+
release:
|
|
5
|
+
types: [published]
|
|
6
|
+
workflow_dispatch:
|
|
7
|
+
|
|
8
|
+
jobs:
|
|
9
|
+
build-and-publish:
|
|
10
|
+
runs-on: ubuntu-latest
|
|
11
|
+
permissions:
|
|
12
|
+
id-token: write
|
|
13
|
+
contents: read
|
|
14
|
+
|
|
15
|
+
steps:
|
|
16
|
+
- uses: actions/checkout@v4
|
|
17
|
+
|
|
18
|
+
- name: Set up Python
|
|
19
|
+
uses: actions/setup-python@v5
|
|
20
|
+
with:
|
|
21
|
+
python-version: "3.12"
|
|
22
|
+
|
|
23
|
+
- name: Install build tools
|
|
24
|
+
run: |
|
|
25
|
+
python -m pip install --upgrade pip build twine
|
|
26
|
+
|
|
27
|
+
- name: Build sdist and wheel
|
|
28
|
+
run: |
|
|
29
|
+
python -m build
|
|
30
|
+
|
|
31
|
+
- name: Check package
|
|
32
|
+
run: |
|
|
33
|
+
twine check dist/*
|
|
34
|
+
|
|
35
|
+
- name: Publish to PyPI
|
|
36
|
+
uses: pypa/gh-action-pypi-publish@release/v1
|
|
37
|
+
with:
|
|
38
|
+
skip-existing: true
|
|
@@ -0,0 +1,32 @@
|
|
|
1
|
+
# Byte-compiled / optimized / DLL files
|
|
2
|
+
__pycache__/
|
|
3
|
+
*.py[cod]
|
|
4
|
+
*$py.class
|
|
5
|
+
|
|
6
|
+
# Distribution / packaging
|
|
7
|
+
dist/
|
|
8
|
+
build/
|
|
9
|
+
*.egg-info/
|
|
10
|
+
.eggs/
|
|
11
|
+
|
|
12
|
+
# Virtual environments
|
|
13
|
+
.venv/
|
|
14
|
+
env/
|
|
15
|
+
venv/
|
|
16
|
+
ENV/
|
|
17
|
+
|
|
18
|
+
# Testing and coverage
|
|
19
|
+
.pytest_cache/
|
|
20
|
+
.coverage
|
|
21
|
+
htmlcov/
|
|
22
|
+
|
|
23
|
+
# Local databases and output
|
|
24
|
+
*.db
|
|
25
|
+
*.sqlite3
|
|
26
|
+
*.xlsx
|
|
27
|
+
*.csv
|
|
28
|
+
result/
|
|
29
|
+
storage/
|
|
30
|
+
logs/
|
|
31
|
+
.DS_Store
|
|
32
|
+
Thumbs.db
|
|
@@ -0,0 +1,32 @@
|
|
|
1
|
+
# Changelog
|
|
2
|
+
|
|
3
|
+
All notable changes to `avito-sdk` will be documented in this file.
|
|
4
|
+
|
|
5
|
+
## [0.1.0] - 2026-10-05
|
|
6
|
+
|
|
7
|
+
### Added
|
|
8
|
+
- **Core SDK & Clients**:
|
|
9
|
+
- `AvitoClient`: intuitive synchronous client for search, enrichment, and export.
|
|
10
|
+
- `AsyncAvitoClient`: native asyncio streaming client for bot and web frameworks (Aiogram 3, FastAPI, aiohttp).
|
|
11
|
+
- Headless execution with zero desktop GUI dependencies.
|
|
12
|
+
- **Price Tracking Engine (PR #334 / Issue #214)**:
|
|
13
|
+
- `PriceTracker` backed by SQLite and in-memory engine.
|
|
14
|
+
- Automatic detection of price changes, drops (`price_drop`), and full price history log.
|
|
15
|
+
- **Seller Information Extraction (PR #334 / Issue #333)**:
|
|
16
|
+
- Extraction of seller display name (`seller_name`) from API payloads and HTML markers.
|
|
17
|
+
- Extraction of seller profile/brand slug (`seller_id`).
|
|
18
|
+
- **Item Parameters & Characteristics (PR #337 / Issue #335)**:
|
|
19
|
+
- Deep parser for Beduin scenario widget structures and Mobile API properties.
|
|
20
|
+
- Full support for real estate («О помещении», этаж, площадь), auto specs, electronics, and goods.
|
|
21
|
+
- **Full Description Extraction (PR #329 / Issue #305)**:
|
|
22
|
+
- Support for multi-line description parsing from JSON scenarios and Schema.org microdata.
|
|
23
|
+
- **Exporters**:
|
|
24
|
+
- Styled Excel (`.xlsx`) export via openpyxl with auto-sized columns.
|
|
25
|
+
- JSON and JSON Lines (`.jsonl`) streaming export.
|
|
26
|
+
- CSV export with utf-8-sig encoding.
|
|
27
|
+
- Pandas / Polars DataFrame conversion.
|
|
28
|
+
- **CLI Tool**:
|
|
29
|
+
- Built-in `avito-sdk` and `avito-parser` command-line interfaces.
|
|
30
|
+
- **Anti-Bot & Transport**:
|
|
31
|
+
- TLS browser impersonation via `curl_cffi` with graceful fallback to `httpx` and `requests`.
|
|
32
|
+
- Automatic retry logic on 429/403 with exponential backoff and jitter.
|
avito_sdk-0.1.0/LICENSE
ADDED
|
@@ -0,0 +1,21 @@
|
|
|
1
|
+
MIT License
|
|
2
|
+
|
|
3
|
+
Copyright (c) 2026 eminsk (M_N_N@tut.by)
|
|
4
|
+
|
|
5
|
+
Permission is hereby granted, free of charge, to any person obtaining a copy
|
|
6
|
+
of this software and associated documentation files (the "Software"), to deal
|
|
7
|
+
in the Software without restriction, including without limitation the rights
|
|
8
|
+
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
|
|
9
|
+
copies of the Software, and to permit persons to whom the Software is
|
|
10
|
+
furnished to do so, subject to the following conditions:
|
|
11
|
+
|
|
12
|
+
The above copyright notice and this permission notice shall be included in all
|
|
13
|
+
copies or substantial portions of the Software.
|
|
14
|
+
|
|
15
|
+
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
|
|
16
|
+
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
|
|
17
|
+
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
|
|
18
|
+
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
|
|
19
|
+
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
|
|
20
|
+
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
|
|
21
|
+
SOFTWARE.
|
avito_sdk-0.1.0/PKG-INFO
ADDED
|
@@ -0,0 +1,237 @@
|
|
|
1
|
+
Metadata-Version: 2.5
|
|
2
|
+
Name: avito-sdk
|
|
3
|
+
Version: 0.1.0
|
|
4
|
+
Summary: High-performance headless Avito scraping & data extraction SDK with price tracking, parameters parsing, and async support
|
|
5
|
+
Project-URL: Homepage, https://github.com/eminsk/avito-sdk
|
|
6
|
+
Project-URL: Documentation, https://github.com/eminsk/avito-sdk#readme
|
|
7
|
+
Project-URL: Repository, https://github.com/eminsk/avito-sdk
|
|
8
|
+
Project-URL: Issues, https://github.com/eminsk/avito-sdk/issues
|
|
9
|
+
Author-email: eminsk <M_N_N@tut.by>
|
|
10
|
+
License: MIT
|
|
11
|
+
License-File: LICENSE
|
|
12
|
+
Keywords: api,avito,crawler,e-commerce,headless,parser,price-tracker,scraper,sdk
|
|
13
|
+
Classifier: Development Status :: 4 - Beta
|
|
14
|
+
Classifier: Intended Audience :: Developers
|
|
15
|
+
Classifier: License :: OSI Approved :: MIT License
|
|
16
|
+
Classifier: Operating System :: OS Independent
|
|
17
|
+
Classifier: Programming Language :: Python :: 3
|
|
18
|
+
Classifier: Programming Language :: Python :: 3.8
|
|
19
|
+
Classifier: Programming Language :: Python :: 3.9
|
|
20
|
+
Classifier: Programming Language :: Python :: 3.10
|
|
21
|
+
Classifier: Programming Language :: Python :: 3.11
|
|
22
|
+
Classifier: Programming Language :: Python :: 3.12
|
|
23
|
+
Classifier: Programming Language :: Python :: 3.13
|
|
24
|
+
Classifier: Programming Language :: Python :: 3.14
|
|
25
|
+
Classifier: Programming Language :: Python :: 3.15
|
|
26
|
+
Classifier: Programming Language :: Python :: 3.16
|
|
27
|
+
Classifier: Programming Language :: Python :: Implementation :: CPython
|
|
28
|
+
Classifier: Programming Language :: Python :: Implementation :: PyPy
|
|
29
|
+
Classifier: Topic :: Internet :: WWW/HTTP :: Indexing/Search
|
|
30
|
+
Classifier: Topic :: Software Development :: Libraries :: Python Modules
|
|
31
|
+
Requires-Python: >=3.8
|
|
32
|
+
Requires-Dist: beautifulsoup4>=4.10.0
|
|
33
|
+
Requires-Dist: requests>=2.28.0
|
|
34
|
+
Provides-Extra: all
|
|
35
|
+
Requires-Dist: curl-cffi>=0.7.0; extra == 'all'
|
|
36
|
+
Requires-Dist: httpx>=0.24.0; extra == 'all'
|
|
37
|
+
Requires-Dist: openpyxl>=3.0.0; extra == 'all'
|
|
38
|
+
Requires-Dist: pandas>=1.5.0; extra == 'all'
|
|
39
|
+
Provides-Extra: async
|
|
40
|
+
Requires-Dist: httpx>=0.24.0; extra == 'async'
|
|
41
|
+
Provides-Extra: dataframe
|
|
42
|
+
Requires-Dist: pandas>=1.5.0; extra == 'dataframe'
|
|
43
|
+
Provides-Extra: dev
|
|
44
|
+
Requires-Dist: openpyxl>=3.0.0; extra == 'dev'
|
|
45
|
+
Requires-Dist: pytest-asyncio>=0.21.0; extra == 'dev'
|
|
46
|
+
Requires-Dist: pytest>=7.0.0; extra == 'dev'
|
|
47
|
+
Provides-Extra: excel
|
|
48
|
+
Requires-Dist: openpyxl>=3.0.0; extra == 'excel'
|
|
49
|
+
Provides-Extra: tls
|
|
50
|
+
Requires-Dist: curl-cffi>=0.7.0; extra == 'tls'
|
|
51
|
+
Description-Content-Type: text/markdown
|
|
52
|
+
|
|
53
|
+
# avito-sdk
|
|
54
|
+
|
|
55
|
+
[](https://pypi.org/project/avito-sdk/)
|
|
56
|
+
[](https://pypi.org/project/avito-sdk/)
|
|
57
|
+
[](https://opensource.org/licenses/MIT)
|
|
58
|
+
[](https://anaconda.org/conda-forge/avito-sdk)
|
|
59
|
+
[](https://peps.python.org/pep-0703/)
|
|
60
|
+
[](https://github.com/eminsk/avito-sdk/actions)
|
|
61
|
+
|
|
62
|
+
> **Высокопроизводительная библиотека и SDK для работы с Avito без GUI.**
|
|
63
|
+
> Разработана ключевым контрибьютором [`Duff89/parser_avito`](https://github.com/Duff89/parser_avito).
|
|
64
|
+
|
|
65
|
+
---
|
|
66
|
+
|
|
67
|
+
## 🚀 Возможности
|
|
68
|
+
|
|
69
|
+
- 🚀 **100% Headless и легкий вес**: Никаких оконных библиотек (Tkinter, CustomTkinter, Flet, PyInstaller). Работает прямо в Linux, Docker, AWS, Raspberry Pi, macOS и Windows.
|
|
70
|
+
- ⚡ **Asyncio и Синхронный режим**: `AsyncAvitoClient` для высоконагруженных Telegram-ботов (Aiogram 3, Telethon), FastAPI, и `AvitoClient` для простых скриптов.
|
|
71
|
+
- 📉 **Отслеживание изменения цен (PR #334 / Issue #214)**: Автоматическая фиксация старой цены, вычисление снижения цены (`price_drop`) и ведение истории в SQLite.
|
|
72
|
+
- 👤 **Извлечение данных продавца (PR #334 / Issue #333)**: Сбор имени продавца (`seller_name`) и slug/ID профиля/магазина (`seller_id`).
|
|
73
|
+
- 📋 **Глубокий сбор характеристик (PR #337 / Issue #335)**: Извлечение всех параметров («О помещении», площадь, этаж, тех. характеристики авто и электроники) из Beduin-сценариев и Mobile API.
|
|
74
|
+
- 📝 **Полный текст описания (PR #329 / Issue #305)**: Извлечение многострочного описания из микроразметки Schema.org и сценариев Avito.
|
|
75
|
+
- 🛡️ **Обход TLS-fingerprinting**: Имитация сетевого отпечатка Chrome/Safari через `curl_cffi` с автоматическим фолбэком на стандартный HTTP-транспорт.
|
|
76
|
+
- 📊 **Экспорт данных**: В Excel (`.xlsx` со стилями), CSV, JSON, JSONL, а также в Pandas и Polars DataFrame.
|
|
77
|
+
- 💻 **Консольная утилита (CLI)**: Быстрый поиск прямо из терминала через `avito-sdk search` или `avito-parser`.
|
|
78
|
+
- 🌐 **Мультиплатформенность**: Поддержка Python 3.8 – 3.16+, Free-Threaded No-GIL (3.13t–3.15t) и PyPy.
|
|
79
|
+
|
|
80
|
+
---
|
|
81
|
+
|
|
82
|
+
## 📦 Установка
|
|
83
|
+
|
|
84
|
+
```bash
|
|
85
|
+
# Базовая установка
|
|
86
|
+
pip install avito-sdk
|
|
87
|
+
|
|
88
|
+
# С поддержкой обхода анти-бот защиты (рекомендуется)
|
|
89
|
+
pip install "avito-sdk[tls]"
|
|
90
|
+
|
|
91
|
+
# Полная установка (Excel, TLS, Async, DataFrames)
|
|
92
|
+
pip install "avito-sdk[all]"
|
|
93
|
+
```
|
|
94
|
+
|
|
95
|
+
Или через Conda / Mamba:
|
|
96
|
+
```bash
|
|
97
|
+
conda install -c conda-forge avito-sdk
|
|
98
|
+
```
|
|
99
|
+
|
|
100
|
+
---
|
|
101
|
+
|
|
102
|
+
## ⚡ Быстрый старт
|
|
103
|
+
|
|
104
|
+
### 1. Синхронный поиск объявлений
|
|
105
|
+
|
|
106
|
+
```python
|
|
107
|
+
from avito_sdk import AvitoClient
|
|
108
|
+
|
|
109
|
+
client = AvitoClient()
|
|
110
|
+
|
|
111
|
+
# Поиск ноутбуков в Москве до 80 000 ₽
|
|
112
|
+
for item in client.search("ноутбук thinkpad", region="Москва", max_price=80000, limit=10):
|
|
113
|
+
print(f"[{item.id}] {item.title} — {item.price:,} ₽ | Продавец: {item.seller_name}")
|
|
114
|
+
if item.has_price_changed:
|
|
115
|
+
print(f" 🔥 Цена изменилась! Старая: {item.old_price:,} ₽ (Снижение: {item.price_drop:,} ₽)")
|
|
116
|
+
```
|
|
117
|
+
|
|
118
|
+
---
|
|
119
|
+
|
|
120
|
+
### 2. Асинхронный стриминг (для Telegram-ботов и FastAPI)
|
|
121
|
+
|
|
122
|
+
```python
|
|
123
|
+
import asyncio
|
|
124
|
+
from avito_sdk import AsyncAvitoClient
|
|
125
|
+
|
|
126
|
+
async def main():
|
|
127
|
+
async with AsyncAvitoClient() as client:
|
|
128
|
+
async for item in client.search("rtx 4070", region="Санкт-Петербург", limit=20):
|
|
129
|
+
print(f"Найдено: {item.title} ({item.price:,} ₽) -> {item.url}")
|
|
130
|
+
|
|
131
|
+
asyncio.run(main())
|
|
132
|
+
```
|
|
133
|
+
|
|
134
|
+
---
|
|
135
|
+
|
|
136
|
+
### 3. Получение полных параметров и характеристик (PR #337)
|
|
137
|
+
|
|
138
|
+
```python
|
|
139
|
+
from avito_sdk import AvitoClient
|
|
140
|
+
|
|
141
|
+
client = AvitoClient()
|
|
142
|
+
|
|
143
|
+
# Получаем карточку объявления со всеми характеристиками
|
|
144
|
+
item = client.get_item(1234567890)
|
|
145
|
+
|
|
146
|
+
print("Название:", item.title)
|
|
147
|
+
print("Цена:", item.price)
|
|
148
|
+
print("Продавец:", item.seller_name)
|
|
149
|
+
print("Просмотры:", f"{item.total_views} всего, {item.today_views} сегодня")
|
|
150
|
+
|
|
151
|
+
print("\nХарактеристики (PR #337):")
|
|
152
|
+
for param_name, param_val in item.params.items():
|
|
153
|
+
print(f" • {param_name}: {param_val}")
|
|
154
|
+
|
|
155
|
+
print("\nОписание (PR #329):")
|
|
156
|
+
print(item.description)
|
|
157
|
+
```
|
|
158
|
+
|
|
159
|
+
---
|
|
160
|
+
|
|
161
|
+
### 4. Отслеживание падения цен (PR #334)
|
|
162
|
+
|
|
163
|
+
```python
|
|
164
|
+
from avito_sdk import AvitoClient, PriceTracker
|
|
165
|
+
|
|
166
|
+
client = AvitoClient(tracker_db="prices.db")
|
|
167
|
+
|
|
168
|
+
# Запускаем сбор и авто-трекинг
|
|
169
|
+
items = list(client.search("iPhone 15 Pro", region="Москва", limit=50))
|
|
170
|
+
|
|
171
|
+
# Получаем список объявлений, у которых цена упала:
|
|
172
|
+
tracker = client.tracker
|
|
173
|
+
drops = tracker.get_price_drops()
|
|
174
|
+
for drop in drops:
|
|
175
|
+
diff = drop["initial_price"] - drop["current_price"]
|
|
176
|
+
print(f"📉 Скидка! {drop['title']}: {drop['initial_price']:,} -> {drop['current_price']:,} ₽ (-{diff:,} ₽)")
|
|
177
|
+
```
|
|
178
|
+
|
|
179
|
+
---
|
|
180
|
+
|
|
181
|
+
### 5. Экспорт в Excel / JSON / Pandas
|
|
182
|
+
|
|
183
|
+
```python
|
|
184
|
+
from avito_sdk import AvitoClient, to_excel, to_json, to_dataframe
|
|
185
|
+
|
|
186
|
+
client = AvitoClient()
|
|
187
|
+
items = list(client.search("PlayStation 5", limit=30, enrich_details=True))
|
|
188
|
+
|
|
189
|
+
# 1. Красивый Excel с автошириной колонок и форматированием
|
|
190
|
+
to_excel(items, "ps5_listings.xlsx")
|
|
191
|
+
|
|
192
|
+
# 2. JSON Lines для ML и потоковой обработки
|
|
193
|
+
to_json(items, "ps5_listings.json")
|
|
194
|
+
|
|
195
|
+
# 3. Pandas DataFrame
|
|
196
|
+
df = to_dataframe(items)
|
|
197
|
+
print(df[["id", "title", "price", "seller_name"]].head())
|
|
198
|
+
```
|
|
199
|
+
|
|
200
|
+
---
|
|
201
|
+
|
|
202
|
+
## 🖥️ Использование из консоли (CLI)
|
|
203
|
+
|
|
204
|
+
Библиотека включает встроенную консольную команду `avito-sdk` (или `avito-parser`):
|
|
205
|
+
|
|
206
|
+
```bash
|
|
207
|
+
# Поиск с выводом на экран и сохранением в Excel:
|
|
208
|
+
avito-sdk search "MacBook M2" --region moskva --max-price 90000 --output macbooks.xlsx
|
|
209
|
+
|
|
210
|
+
# Просмотр детальной карточки объявления:
|
|
211
|
+
avito-sdk item 3854129841
|
|
212
|
+
|
|
213
|
+
# Просмотр всех зафиксированных снижений цен:
|
|
214
|
+
avito-sdk drops --db prices.db
|
|
215
|
+
```
|
|
216
|
+
|
|
217
|
+
---
|
|
218
|
+
|
|
219
|
+
## 🛠️ Сравнение: `parser_avito` (GUI) vs `avito-sdk` (Библиотека)
|
|
220
|
+
|
|
221
|
+
| Функция | Duff89/parser_avito | **avito-sdk** |
|
|
222
|
+
| :--- | :---: | :---: |
|
|
223
|
+
| Назначение | Десктопное приложение для пользователей | Автономная Python-библиотека & SDK |
|
|
224
|
+
| Графический интерфейс | ✅ Есть (CustomTkinter / GUI) | ❌ Отсутствует (100% Headless) |
|
|
225
|
+
| Запуск на сервере / Docker / VPS | Требует виртуальный дисплей (xvfb) | ✅ Из коробки без зависимостей |
|
|
226
|
+
| Асинхронный API (`asyncio`) | ❌ Нет | ✅ `AsyncAvitoClient` |
|
|
227
|
+
| Использование в Telegram-ботах | Сложно | ✅ `pip install avito-sdk` |
|
|
228
|
+
| Отслеживание цен (PR #334) | ✅ Есть | ✅ Встроенный `PriceTracker` |
|
|
229
|
+
| Характеристики товара (PR #337) | ✅ Есть | ✅ Глубокий парсер Beduin & Mobile |
|
|
230
|
+
| Поддержка Python 3.8 – 3.16+ | 3.11 – 3.13 | ✅ 3.8 – 3.16, No-GIL, PyPy |
|
|
231
|
+
|
|
232
|
+
---
|
|
233
|
+
|
|
234
|
+
## 📄 Лицензия
|
|
235
|
+
|
|
236
|
+
Распространяется под свободной лицензией **MIT**.
|
|
237
|
+
Автор: **eminsk** ([M_N_N@tut.by](mailto:M_N_N@tut.by))
|
|
@@ -0,0 +1,185 @@
|
|
|
1
|
+
# avito-sdk
|
|
2
|
+
|
|
3
|
+
[](https://pypi.org/project/avito-sdk/)
|
|
4
|
+
[](https://pypi.org/project/avito-sdk/)
|
|
5
|
+
[](https://opensource.org/licenses/MIT)
|
|
6
|
+
[](https://anaconda.org/conda-forge/avito-sdk)
|
|
7
|
+
[](https://peps.python.org/pep-0703/)
|
|
8
|
+
[](https://github.com/eminsk/avito-sdk/actions)
|
|
9
|
+
|
|
10
|
+
> **Высокопроизводительная библиотека и SDK для работы с Avito без GUI.**
|
|
11
|
+
> Разработана ключевым контрибьютором [`Duff89/parser_avito`](https://github.com/Duff89/parser_avito).
|
|
12
|
+
|
|
13
|
+
---
|
|
14
|
+
|
|
15
|
+
## 🚀 Возможности
|
|
16
|
+
|
|
17
|
+
- 🚀 **100% Headless и легкий вес**: Никаких оконных библиотек (Tkinter, CustomTkinter, Flet, PyInstaller). Работает прямо в Linux, Docker, AWS, Raspberry Pi, macOS и Windows.
|
|
18
|
+
- ⚡ **Asyncio и Синхронный режим**: `AsyncAvitoClient` для высоконагруженных Telegram-ботов (Aiogram 3, Telethon), FastAPI, и `AvitoClient` для простых скриптов.
|
|
19
|
+
- 📉 **Отслеживание изменения цен (PR #334 / Issue #214)**: Автоматическая фиксация старой цены, вычисление снижения цены (`price_drop`) и ведение истории в SQLite.
|
|
20
|
+
- 👤 **Извлечение данных продавца (PR #334 / Issue #333)**: Сбор имени продавца (`seller_name`) и slug/ID профиля/магазина (`seller_id`).
|
|
21
|
+
- 📋 **Глубокий сбор характеристик (PR #337 / Issue #335)**: Извлечение всех параметров («О помещении», площадь, этаж, тех. характеристики авто и электроники) из Beduin-сценариев и Mobile API.
|
|
22
|
+
- 📝 **Полный текст описания (PR #329 / Issue #305)**: Извлечение многострочного описания из микроразметки Schema.org и сценариев Avito.
|
|
23
|
+
- 🛡️ **Обход TLS-fingerprinting**: Имитация сетевого отпечатка Chrome/Safari через `curl_cffi` с автоматическим фолбэком на стандартный HTTP-транспорт.
|
|
24
|
+
- 📊 **Экспорт данных**: В Excel (`.xlsx` со стилями), CSV, JSON, JSONL, а также в Pandas и Polars DataFrame.
|
|
25
|
+
- 💻 **Консольная утилита (CLI)**: Быстрый поиск прямо из терминала через `avito-sdk search` или `avito-parser`.
|
|
26
|
+
- 🌐 **Мультиплатформенность**: Поддержка Python 3.8 – 3.16+, Free-Threaded No-GIL (3.13t–3.15t) и PyPy.
|
|
27
|
+
|
|
28
|
+
---
|
|
29
|
+
|
|
30
|
+
## 📦 Установка
|
|
31
|
+
|
|
32
|
+
```bash
|
|
33
|
+
# Базовая установка
|
|
34
|
+
pip install avito-sdk
|
|
35
|
+
|
|
36
|
+
# С поддержкой обхода анти-бот защиты (рекомендуется)
|
|
37
|
+
pip install "avito-sdk[tls]"
|
|
38
|
+
|
|
39
|
+
# Полная установка (Excel, TLS, Async, DataFrames)
|
|
40
|
+
pip install "avito-sdk[all]"
|
|
41
|
+
```
|
|
42
|
+
|
|
43
|
+
Или через Conda / Mamba:
|
|
44
|
+
```bash
|
|
45
|
+
conda install -c conda-forge avito-sdk
|
|
46
|
+
```
|
|
47
|
+
|
|
48
|
+
---
|
|
49
|
+
|
|
50
|
+
## ⚡ Быстрый старт
|
|
51
|
+
|
|
52
|
+
### 1. Синхронный поиск объявлений
|
|
53
|
+
|
|
54
|
+
```python
|
|
55
|
+
from avito_sdk import AvitoClient
|
|
56
|
+
|
|
57
|
+
client = AvitoClient()
|
|
58
|
+
|
|
59
|
+
# Поиск ноутбуков в Москве до 80 000 ₽
|
|
60
|
+
for item in client.search("ноутбук thinkpad", region="Москва", max_price=80000, limit=10):
|
|
61
|
+
print(f"[{item.id}] {item.title} — {item.price:,} ₽ | Продавец: {item.seller_name}")
|
|
62
|
+
if item.has_price_changed:
|
|
63
|
+
print(f" 🔥 Цена изменилась! Старая: {item.old_price:,} ₽ (Снижение: {item.price_drop:,} ₽)")
|
|
64
|
+
```
|
|
65
|
+
|
|
66
|
+
---
|
|
67
|
+
|
|
68
|
+
### 2. Асинхронный стриминг (для Telegram-ботов и FastAPI)
|
|
69
|
+
|
|
70
|
+
```python
|
|
71
|
+
import asyncio
|
|
72
|
+
from avito_sdk import AsyncAvitoClient
|
|
73
|
+
|
|
74
|
+
async def main():
|
|
75
|
+
async with AsyncAvitoClient() as client:
|
|
76
|
+
async for item in client.search("rtx 4070", region="Санкт-Петербург", limit=20):
|
|
77
|
+
print(f"Найдено: {item.title} ({item.price:,} ₽) -> {item.url}")
|
|
78
|
+
|
|
79
|
+
asyncio.run(main())
|
|
80
|
+
```
|
|
81
|
+
|
|
82
|
+
---
|
|
83
|
+
|
|
84
|
+
### 3. Получение полных параметров и характеристик (PR #337)
|
|
85
|
+
|
|
86
|
+
```python
|
|
87
|
+
from avito_sdk import AvitoClient
|
|
88
|
+
|
|
89
|
+
client = AvitoClient()
|
|
90
|
+
|
|
91
|
+
# Получаем карточку объявления со всеми характеристиками
|
|
92
|
+
item = client.get_item(1234567890)
|
|
93
|
+
|
|
94
|
+
print("Название:", item.title)
|
|
95
|
+
print("Цена:", item.price)
|
|
96
|
+
print("Продавец:", item.seller_name)
|
|
97
|
+
print("Просмотры:", f"{item.total_views} всего, {item.today_views} сегодня")
|
|
98
|
+
|
|
99
|
+
print("\nХарактеристики (PR #337):")
|
|
100
|
+
for param_name, param_val in item.params.items():
|
|
101
|
+
print(f" • {param_name}: {param_val}")
|
|
102
|
+
|
|
103
|
+
print("\nОписание (PR #329):")
|
|
104
|
+
print(item.description)
|
|
105
|
+
```
|
|
106
|
+
|
|
107
|
+
---
|
|
108
|
+
|
|
109
|
+
### 4. Отслеживание падения цен (PR #334)
|
|
110
|
+
|
|
111
|
+
```python
|
|
112
|
+
from avito_sdk import AvitoClient, PriceTracker
|
|
113
|
+
|
|
114
|
+
client = AvitoClient(tracker_db="prices.db")
|
|
115
|
+
|
|
116
|
+
# Запускаем сбор и авто-трекинг
|
|
117
|
+
items = list(client.search("iPhone 15 Pro", region="Москва", limit=50))
|
|
118
|
+
|
|
119
|
+
# Получаем список объявлений, у которых цена упала:
|
|
120
|
+
tracker = client.tracker
|
|
121
|
+
drops = tracker.get_price_drops()
|
|
122
|
+
for drop in drops:
|
|
123
|
+
diff = drop["initial_price"] - drop["current_price"]
|
|
124
|
+
print(f"📉 Скидка! {drop['title']}: {drop['initial_price']:,} -> {drop['current_price']:,} ₽ (-{diff:,} ₽)")
|
|
125
|
+
```
|
|
126
|
+
|
|
127
|
+
---
|
|
128
|
+
|
|
129
|
+
### 5. Экспорт в Excel / JSON / Pandas
|
|
130
|
+
|
|
131
|
+
```python
|
|
132
|
+
from avito_sdk import AvitoClient, to_excel, to_json, to_dataframe
|
|
133
|
+
|
|
134
|
+
client = AvitoClient()
|
|
135
|
+
items = list(client.search("PlayStation 5", limit=30, enrich_details=True))
|
|
136
|
+
|
|
137
|
+
# 1. Красивый Excel с автошириной колонок и форматированием
|
|
138
|
+
to_excel(items, "ps5_listings.xlsx")
|
|
139
|
+
|
|
140
|
+
# 2. JSON Lines для ML и потоковой обработки
|
|
141
|
+
to_json(items, "ps5_listings.json")
|
|
142
|
+
|
|
143
|
+
# 3. Pandas DataFrame
|
|
144
|
+
df = to_dataframe(items)
|
|
145
|
+
print(df[["id", "title", "price", "seller_name"]].head())
|
|
146
|
+
```
|
|
147
|
+
|
|
148
|
+
---
|
|
149
|
+
|
|
150
|
+
## 🖥️ Использование из консоли (CLI)
|
|
151
|
+
|
|
152
|
+
Библиотека включает встроенную консольную команду `avito-sdk` (или `avito-parser`):
|
|
153
|
+
|
|
154
|
+
```bash
|
|
155
|
+
# Поиск с выводом на экран и сохранением в Excel:
|
|
156
|
+
avito-sdk search "MacBook M2" --region moskva --max-price 90000 --output macbooks.xlsx
|
|
157
|
+
|
|
158
|
+
# Просмотр детальной карточки объявления:
|
|
159
|
+
avito-sdk item 3854129841
|
|
160
|
+
|
|
161
|
+
# Просмотр всех зафиксированных снижений цен:
|
|
162
|
+
avito-sdk drops --db prices.db
|
|
163
|
+
```
|
|
164
|
+
|
|
165
|
+
---
|
|
166
|
+
|
|
167
|
+
## 🛠️ Сравнение: `parser_avito` (GUI) vs `avito-sdk` (Библиотека)
|
|
168
|
+
|
|
169
|
+
| Функция | Duff89/parser_avito | **avito-sdk** |
|
|
170
|
+
| :--- | :---: | :---: |
|
|
171
|
+
| Назначение | Десктопное приложение для пользователей | Автономная Python-библиотека & SDK |
|
|
172
|
+
| Графический интерфейс | ✅ Есть (CustomTkinter / GUI) | ❌ Отсутствует (100% Headless) |
|
|
173
|
+
| Запуск на сервере / Docker / VPS | Требует виртуальный дисплей (xvfb) | ✅ Из коробки без зависимостей |
|
|
174
|
+
| Асинхронный API (`asyncio`) | ❌ Нет | ✅ `AsyncAvitoClient` |
|
|
175
|
+
| Использование в Telegram-ботах | Сложно | ✅ `pip install avito-sdk` |
|
|
176
|
+
| Отслеживание цен (PR #334) | ✅ Есть | ✅ Встроенный `PriceTracker` |
|
|
177
|
+
| Характеристики товара (PR #337) | ✅ Есть | ✅ Глубокий парсер Beduin & Mobile |
|
|
178
|
+
| Поддержка Python 3.8 – 3.16+ | 3.11 – 3.13 | ✅ 3.8 – 3.16, No-GIL, PyPy |
|
|
179
|
+
|
|
180
|
+
---
|
|
181
|
+
|
|
182
|
+
## 📄 Лицензия
|
|
183
|
+
|
|
184
|
+
Распространяется под свободной лицензией **MIT**.
|
|
185
|
+
Автор: **eminsk** ([M_N_N@tut.by](mailto:M_N_N@tut.by))
|