oniscrape 0.1.0__tar.gz

oniscrape-0.1.0/.gitignore

@@ -0,0 +1,43 @@
+# Python
+__pycache__/
+*.py[cod]
+*$py.class
+*.so
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+
+# Virtual Environments
+.env
+.venv
+env/
+venv/
+ENV/
+
+# Testing & Coverage
+.pytest_cache/
+.coverage
+htmlcov/
+
+# Linter & Typecheck
+.ruff_cache/
+.mypy_cache/
+.pyright/
+
+# IDE
+.vscode/
+.idea/
+*.swp

oniscrape-0.1.0/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 FastScraper Authors
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

oniscrape-0.1.0/PKG-INFO

@@ -0,0 +1,261 @@
+Metadata-Version: 2.5
+Name: oniscrape
+Version: 0.1.0
+Summary: High-performance async scraping engine powered by curl_cffi, selectolax, orjson, and Pydantic v2. Extracts Next.js SSR, RSC Flight streams, and Meta Relay states without headless browsers.
+Author: FastScraper Team
+License-Expression: MIT
+License-File: LICENSE
+Keywords: anti-bot,crawler,curl-cffi,ja3,nextjs,pydantic,react-server-components,rsc,scraper,selectolax,tls-fingerprint
+Classifier: Development Status :: 4 - Beta
+Classifier: Intended Audience :: Developers
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Programming Language :: Python :: 3.14
+Classifier: Topic :: Internet :: WWW/HTTP
+Classifier: Topic :: Software Development :: Libraries :: Python Modules
+Classifier: Typing :: Typed
+Requires-Python: >=3.11
+Requires-Dist: curl-cffi>=0.7.4
+Requires-Dist: jmespath>=1.0.1
+Requires-Dist: orjson>=3.10.0
+Requires-Dist: pydantic>=2.7.0
+Requires-Dist: selectolax>=0.3.21
+Requires-Dist: tenacity>=8.3.0
+Provides-Extra: dev
+Requires-Dist: pyright>=1.1.350; extra == 'dev'
+Requires-Dist: pytest-asyncio>=0.23.0; extra == 'dev'
+Requires-Dist: pytest>=8.0.0; extra == 'dev'
+Requires-Dist: ruff>=0.4.0; extra == 'dev'
+Provides-Extra: redis
+Requires-Dist: redis>=5.0.0; extra == 'redis'
+Description-Content-Type: text/markdown
+
+# fast-scraper 🚀
+
+> **Высокопроизводительный асинхронный скрапинг-движок для Python на базе `curl_cffi`, `selectolax` (Lexbor), `orjson` и `Pydantic v2`.**
+
+Специализированный инструмент для сверхбыстрого парсинга современных веб-приложений (Next.js, React Server Components, Meta Threads/Instagram, Nuxt) и статических сайтов **без запуска тяжелых headless-браузеров**.
+
+---
+
+## ⚡ Почему не Playwright / Selenium?
+
+| Параметр | Headless Браузер (Playwright / Puppeteer) | `fast-scraper` (No-JS / State Engine) |
+| :--- | :--- | :--- |
+| **Потребление RAM** | ~300 - 600 МБ на поток/вкладку | **~15 - 30 МБ на процесс** |
+| **Время ответа** | 3.0 - 8.0 секунд (рендеринг DOM + JS) | **0.1 - 0.4 секунды** (чистый сетевой I/O) |
+| **Устойчивость к редизайнам** | Низкая (CSS-классы React меняются при каждом билде) | **Высокая** (структура данных в State/API стабильна годами) |
+| **Обход TLS-проверок** | Зависит от stealth-патчей Chromium | **Нативный JA3/JA4 / HTTP2 спуфинг через `curl_cffi`** |
+| **Утечки IP при смене прокси** | Частая проблема из-за общего пула сокетов | **Гарантированная изоляция сокетов на уровне сессий** |
+
+---
+
+## 📦 Установка
+
+### Базовая установка:
+```bash
+pip install fast-scraper
+```
+или через `uv`:
+```bash
+uv add fast-scraper
+```
+
+### С поддержкой Redis (для распределенного хранения куки):
+```bash
+pip install fast-scraper[redis]
+```
+
+### Локальная разработка:
+```bash
+git clone https://github.com/your-org/fast-scraper.git
+cd fast-scraper
+uv pip install -e .[dev]
+```
+
+---
+
+## 🛠️ Быстрый старт и примеры
+
+### 1. Парсинг Next.js SSR (__NEXT_DATA__) напрямую в Pydantic v2
+
+Вместо того чтобы искать элементы на странице, `fast-scraper` мгновенно забирает сырое JSON-состояние гидратации, вшитое сервером в страницу:
+
+```python
+import asyncio
+from pydantic import BaseModel, Field
+from fast_scraper import ScraperClient, extract_next_data, map_state_to_model
+
+class CryptoMetric(BaseModel):
+    num_cryptos: int = Field(alias="numCryptocurrencies")
+    num_markets: int = Field(alias="numMarkets")
+    active_exchanges: int = Field(alias="activeExchanges")
+
+async def main():
+    async with ScraperClient() as client:
+        response = await client.get("https://coinmarketcap.com/")
+        
+        # 1. Мгновенно достаем JSON-дерево гидратации (без выполнения JS)
+        state = extract_next_data(response.text)
+        
+        # 2. Извлекаем нужные ветки по JMESPath и валидируем через Pydantic v2
+        metrics = map_state_to_model(
+            state=state,
+            query="props.dehydratedState.queries[?queryKey[0]=='global-metric'].state.data | [0]",
+            model_cls=CryptoMetric,
+            strict=False,
+        )
+        print(metrics)
+
+asyncio.run(main())
+```
+
+---
+
+### 2. Парсинг React Server Components (RSC Flight stream) в Next.js 14 / 15 / 19
+
+Next.js App Router не использует `__NEXT_DATA__`, а отдает потоковые чанки `self.__next_f.push` по протоколу React Flight (`id:tag:payload`). `fast-scraper` декодирует этот протокол "из коробки":
+
+```python
+import asyncio
+from fast_scraper import ScraperClient, extract_rsc_flight
+
+async def main():
+    async with ScraperClient() as client:
+        response = await client.get("https://nextjs.org/")
+        
+        # Декодирует все потоковые слоты wire-протокола
+        flight_tree = extract_rsc_flight(response.text)
+        
+        # flight_tree содержит разобранные слоты вида {'0_J': [...], '1_I': [...]}
+        print(f"Декодировано слотов RSC: {len(flight_tree)}")
+
+asyncio.run(main())
+```
+
+---
+
+### 3. Парсинг закрытых данных Threads / Instagram (Meta Relay Cache)
+
+```python
+import asyncio
+from fast_scraper import ScraperClient, extract_meta_relay, extract_meta_tokens
+
+async def main():
+    async with ScraperClient() as client:
+        response = await client.get("https://www.threads.net/@zuck")
+        
+        # 1. Извлечение токенов для последующих прямых POST-запросов к /api/graphql
+        tokens = extract_meta_tokens(response.text)
+        print("LSD Token:", tokens["lsd"])
+        print("App ID:", tokens["app_id"])
+        
+        # 2. Извлечение префетч-кэша GraphQL (RelayPrefetchedStreamCache)
+        relay_data = extract_meta_relay(response.text)
+        print(f"Найдено блоков Relay Cache: {len(relay_data)}")
+
+asyncio.run(main())
+```
+
+---
+
+### 4. C-уровень DOM-парсинга через Selectolax Lexbor
+
+Для сайтов с чистым HTML используется движок Lexbor на чистом Си (в 20 раз быстрее BeautifulSoup и потребляет минимум RAM):
+
+```python
+from fast_scraper import parse_html, css_text, css_all_text, css_all_attr
+
+tree = parse_html(html_content)
+
+# Быстрое извлечение первого найденного текста с авто-strip
+title = css_text(tree, "h1.product-title", default="Без названия")
+
+# Извлечение всех элементов
+items = css_all_text(tree, "ul.features li")
+
+# Извлечение атрибутов
+image_urls = css_all_attr(tree, "div.gallery img", "src")
+```
+
+---
+
+### 5. Пул прокси с авто-кулдауном и предотвращением утечек сокетов
+
+`fast-scraper` изолирует `AsyncSession` под каждый конкретный запрос/прокси, что гарантирует закрытие Keep-Alive сокетов `libcurl` и предотвращает утечки реального IP при ротации:
+
+```python
+from fast_scraper import ScraperClient, ScraperConfig, ProxyConfig
+
+config = ScraperConfig(
+    default_impersonate="chrome124",
+    timeout_seconds=15.0,
+    proxy=ProxyConfig(
+        urls=[
+            "socks5://127.0.0.1:40000", # Например, локальный Cloudflare WARP
+            "socks5://127.0.0.1:40001",
+            "http://user:pass@proxy3.net:8080",
+        ],
+        strategy="least_failed", # "round_robin" | "random" | "least_failed"
+        cooldown_seconds=120.0,  # Время отстоя прокси при получении 403/429
+        max_fails_before_cooldown=2,
+    )
+)
+
+async with ScraperClient(config=config) as client:
+    response = await client.get("https://httpbin.org/ip")
+    print(response.json())
+```
+
+---
+
+## 🏛️ Архитектура пакета
+
+```text
+src/fast_scraper/
+├── __init__.py           # Публичный API
+├── client.py             # ScraperClient с изоляцией сессий и ретраями (tenacity)
+├── config.py             # Pydantic v2 конфигурация (ScraperConfig, ProxyConfig, RetryConfig)
+├── py.typed              # Маркер типизации PEP 561
+├── extractors/           # Движки извлечения состояний гидратации
+│   ├── nextjs.py         # __NEXT_DATA__ и React Server Components (RSC Flight)
+│   ├── meta.py           # Threads / Instagram Relay Cache и токены (lsd, app_id)
+│   ├── nuxt.py           # Nuxt 2 / 3 (__NUXT_DATA__)
+│   └── generic.py        # Schema.org JSON-LD и <script type="application/json">
+├── dom/                  # C-уровень DOM-парсинга
+│   └── parser.py         # Обертки над Selectolax Lexbor
+├── proxy/                # Ротация и мониторинг прокси
+│   ├── manager.py        # ProxyManager (Round-Robin, Random, Least-Failed)
+│   └── health.py         # Отслеживание сбоев и таймеры кулдауна
+├── cookies/              # Управление сессиями и куки
+│   ├── memory.py         # InMemoryCookieStorage
+│   └── redis_storage.py  # RedisCookieStorage
+└── pipeline/             # Трансформация данных
+    └── schema_mapper.py  # JMESPath -> Pydantic v2 TypeAdapter
+```
+
+---
+
+## 🧪 Тестирование и верификация
+
+Все тесты и проверки запускаются одной командой:
+
+```bash
+# Запуск тестов
+uv run --with pytest --with pytest-asyncio pytest -v
+
+# Проверка типов
+uv run --with pyright --with pytest pyright src tests
+
+# Проверка линтером
+uv run --with ruff ruff check src tests
+```
+
+---
+
+## 📄 Лицензия
+
+Проект распространяется под свободной лицензией **MIT**. Подробнее см. в файле [LICENSE](LICENSE).

oniscrape-0.1.0/README.md

@@ -0,0 +1,226 @@
+# fast-scraper 🚀
+
+> **Высокопроизводительный асинхронный скрапинг-движок для Python на базе `curl_cffi`, `selectolax` (Lexbor), `orjson` и `Pydantic v2`.**
+
+Специализированный инструмент для сверхбыстрого парсинга современных веб-приложений (Next.js, React Server Components, Meta Threads/Instagram, Nuxt) и статических сайтов **без запуска тяжелых headless-браузеров**.
+
+---
+
+## ⚡ Почему не Playwright / Selenium?
+
+| Параметр | Headless Браузер (Playwright / Puppeteer) | `fast-scraper` (No-JS / State Engine) |
+| :--- | :--- | :--- |
+| **Потребление RAM** | ~300 - 600 МБ на поток/вкладку | **~15 - 30 МБ на процесс** |
+| **Время ответа** | 3.0 - 8.0 секунд (рендеринг DOM + JS) | **0.1 - 0.4 секунды** (чистый сетевой I/O) |
+| **Устойчивость к редизайнам** | Низкая (CSS-классы React меняются при каждом билде) | **Высокая** (структура данных в State/API стабильна годами) |
+| **Обход TLS-проверок** | Зависит от stealth-патчей Chromium | **Нативный JA3/JA4 / HTTP2 спуфинг через `curl_cffi`** |
+| **Утечки IP при смене прокси** | Частая проблема из-за общего пула сокетов | **Гарантированная изоляция сокетов на уровне сессий** |
+
+---
+
+## 📦 Установка
+
+### Базовая установка:
+```bash
+pip install fast-scraper
+```
+или через `uv`:
+```bash
+uv add fast-scraper
+```
+
+### С поддержкой Redis (для распределенного хранения куки):
+```bash
+pip install fast-scraper[redis]
+```
+
+### Локальная разработка:
+```bash
+git clone https://github.com/your-org/fast-scraper.git
+cd fast-scraper
+uv pip install -e .[dev]
+```
+
+---
+
+## 🛠️ Быстрый старт и примеры
+
+### 1. Парсинг Next.js SSR (__NEXT_DATA__) напрямую в Pydantic v2
+
+Вместо того чтобы искать элементы на странице, `fast-scraper` мгновенно забирает сырое JSON-состояние гидратации, вшитое сервером в страницу:
+
+```python
+import asyncio
+from pydantic import BaseModel, Field
+from fast_scraper import ScraperClient, extract_next_data, map_state_to_model
+
+class CryptoMetric(BaseModel):
+    num_cryptos: int = Field(alias="numCryptocurrencies")
+    num_markets: int = Field(alias="numMarkets")
+    active_exchanges: int = Field(alias="activeExchanges")
+
+async def main():
+    async with ScraperClient() as client:
+        response = await client.get("https://coinmarketcap.com/")
+        
+        # 1. Мгновенно достаем JSON-дерево гидратации (без выполнения JS)
+        state = extract_next_data(response.text)
+        
+        # 2. Извлекаем нужные ветки по JMESPath и валидируем через Pydantic v2
+        metrics = map_state_to_model(
+            state=state,
+            query="props.dehydratedState.queries[?queryKey[0]=='global-metric'].state.data | [0]",
+            model_cls=CryptoMetric,
+            strict=False,
+        )
+        print(metrics)
+
+asyncio.run(main())
+```
+
+---
+
+### 2. Парсинг React Server Components (RSC Flight stream) в Next.js 14 / 15 / 19
+
+Next.js App Router не использует `__NEXT_DATA__`, а отдает потоковые чанки `self.__next_f.push` по протоколу React Flight (`id:tag:payload`). `fast-scraper` декодирует этот протокол "из коробки":
+
+```python
+import asyncio
+from fast_scraper import ScraperClient, extract_rsc_flight
+
+async def main():
+    async with ScraperClient() as client:
+        response = await client.get("https://nextjs.org/")
+        
+        # Декодирует все потоковые слоты wire-протокола
+        flight_tree = extract_rsc_flight(response.text)
+        
+        # flight_tree содержит разобранные слоты вида {'0_J': [...], '1_I': [...]}
+        print(f"Декодировано слотов RSC: {len(flight_tree)}")
+
+asyncio.run(main())
+```
+
+---
+
+### 3. Парсинг закрытых данных Threads / Instagram (Meta Relay Cache)
+
+```python
+import asyncio
+from fast_scraper import ScraperClient, extract_meta_relay, extract_meta_tokens
+
+async def main():
+    async with ScraperClient() as client:
+        response = await client.get("https://www.threads.net/@zuck")
+        
+        # 1. Извлечение токенов для последующих прямых POST-запросов к /api/graphql
+        tokens = extract_meta_tokens(response.text)
+        print("LSD Token:", tokens["lsd"])
+        print("App ID:", tokens["app_id"])
+        
+        # 2. Извлечение префетч-кэша GraphQL (RelayPrefetchedStreamCache)
+        relay_data = extract_meta_relay(response.text)
+        print(f"Найдено блоков Relay Cache: {len(relay_data)}")
+
+asyncio.run(main())
+```
+
+---
+
+### 4. C-уровень DOM-парсинга через Selectolax Lexbor
+
+Для сайтов с чистым HTML используется движок Lexbor на чистом Си (в 20 раз быстрее BeautifulSoup и потребляет минимум RAM):
+
+```python
+from fast_scraper import parse_html, css_text, css_all_text, css_all_attr
+
+tree = parse_html(html_content)
+
+# Быстрое извлечение первого найденного текста с авто-strip
+title = css_text(tree, "h1.product-title", default="Без названия")
+
+# Извлечение всех элементов
+items = css_all_text(tree, "ul.features li")
+
+# Извлечение атрибутов
+image_urls = css_all_attr(tree, "div.gallery img", "src")
+```
+
+---
+
+### 5. Пул прокси с авто-кулдауном и предотвращением утечек сокетов
+
+`fast-scraper` изолирует `AsyncSession` под каждый конкретный запрос/прокси, что гарантирует закрытие Keep-Alive сокетов `libcurl` и предотвращает утечки реального IP при ротации:
+
+```python
+from fast_scraper import ScraperClient, ScraperConfig, ProxyConfig
+
+config = ScraperConfig(
+    default_impersonate="chrome124",
+    timeout_seconds=15.0,
+    proxy=ProxyConfig(
+        urls=[
+            "socks5://127.0.0.1:40000", # Например, локальный Cloudflare WARP
+            "socks5://127.0.0.1:40001",
+            "http://user:pass@proxy3.net:8080",
+        ],
+        strategy="least_failed", # "round_robin" | "random" | "least_failed"
+        cooldown_seconds=120.0,  # Время отстоя прокси при получении 403/429
+        max_fails_before_cooldown=2,
+    )
+)
+
+async with ScraperClient(config=config) as client:
+    response = await client.get("https://httpbin.org/ip")
+    print(response.json())
+```
+
+---
+
+## 🏛️ Архитектура пакета
+
+```text
+src/fast_scraper/
+├── __init__.py           # Публичный API
+├── client.py             # ScraperClient с изоляцией сессий и ретраями (tenacity)
+├── config.py             # Pydantic v2 конфигурация (ScraperConfig, ProxyConfig, RetryConfig)
+├── py.typed              # Маркер типизации PEP 561
+├── extractors/           # Движки извлечения состояний гидратации
+│   ├── nextjs.py         # __NEXT_DATA__ и React Server Components (RSC Flight)
+│   ├── meta.py           # Threads / Instagram Relay Cache и токены (lsd, app_id)
+│   ├── nuxt.py           # Nuxt 2 / 3 (__NUXT_DATA__)
+│   └── generic.py        # Schema.org JSON-LD и <script type="application/json">
+├── dom/                  # C-уровень DOM-парсинга
+│   └── parser.py         # Обертки над Selectolax Lexbor
+├── proxy/                # Ротация и мониторинг прокси
+│   ├── manager.py        # ProxyManager (Round-Robin, Random, Least-Failed)
+│   └── health.py         # Отслеживание сбоев и таймеры кулдауна
+├── cookies/              # Управление сессиями и куки
+│   ├── memory.py         # InMemoryCookieStorage
+│   └── redis_storage.py  # RedisCookieStorage
+└── pipeline/             # Трансформация данных
+    └── schema_mapper.py  # JMESPath -> Pydantic v2 TypeAdapter
+```
+
+---
+
+## 🧪 Тестирование и верификация
+
+Все тесты и проверки запускаются одной командой:
+
+```bash
+# Запуск тестов
+uv run --with pytest --with pytest-asyncio pytest -v
+
+# Проверка типов
+uv run --with pyright --with pytest pyright src tests
+
+# Проверка линтером
+uv run --with ruff ruff check src tests
+```
+
+---
+
+## 📄 Лицензия
+
+Проект распространяется под свободной лицензией **MIT**. Подробнее см. в файле [LICENSE](LICENSE).

oniscrape-0.1.0/demo.py

@@ -0,0 +1,103 @@
+import asyncio
+
+from pydantic import BaseModel, Field
+
+from fast_scraper import (
+    ScraperClient,
+    css_all_attr,
+    css_all_text,
+    extract_next_data,
+    extract_rsc_flight,
+    map_state_to_model,
+    parse_html,
+)
+
+
+# --- Схемы данных Pydantic v2 ---
+class CryptoMetric(BaseModel):
+    num_cryptos: int = Field(alias="numCryptocurrencies", description="Всего криптовалют в мире")
+    num_markets: int = Field(alias="numMarkets", description="Количество активных рынков")
+    active_exchanges: int = Field(alias="activeExchanges", description="Активных бирж")
+
+
+class HackerNewsItem(BaseModel):
+    title: str
+    link: str
+
+
+async def demo_live_nextjs_state():
+    print("\n--- [1] РЕАЛЬНЫЙ ЗАПРОС: Next.js SSR гидратация (CoinMarketCap) ---")
+    print("Отправка HTTP/2 GET-запроса через curl_cffi с TLS-фингерпринтом Chrome124...")
+
+    async with ScraperClient() as client:
+        response = await client.get("https://coinmarketcap.com/")
+        print(f"Статус ответа: {response.status_code}, размер HTML: {len(response.text)} байт")
+
+        # 1. Извлекаем реальное сырое Next.js состояние без запуска браузера
+        state = extract_next_data(response.text)
+        print(f"Состояние __NEXT_DATA__ успешно извлечено (ключей в props: {len(state.get('props', {}))})")
+
+        # 2. Ищем глобальные метрики крипторынка через JMESPath и маппим в Pydantic v2
+        metrics = map_state_to_model(
+            state=state,
+            query="props.dehydratedState.queries[?queryKey[0]=='global-metric'].state.data | [0]",
+            model_cls=CryptoMetric,
+            strict=False,
+        )
+
+        if isinstance(metrics, CryptoMetric):
+            print("\nИзвлеченные в реальном времени данные:")
+            print(f" -> Всего криптовалют в листинге: {metrics.num_cryptos:,}")
+            print(f" -> Всего активных рынков: {metrics.num_markets:,}")
+            print(f" -> Активных бирж: {metrics.active_exchanges}")
+
+
+async def demo_live_rsc_flight():
+    print("\n--- [2] РЕАЛЬНЫЙ ЗАПРОС: React Server Components (Nextjs.org App Router) ---")
+    print("Запрос к Next.js сайту с потоковыми RSC Flight чанками (React 19)...")
+
+    async with ScraperClient() as client:
+        response = await client.get("https://nextjs.org/")
+        print(f"Статус ответа: {response.status_code}")
+
+        # Разбор wire-протокола self.__next_f.push
+        flight_tree = extract_rsc_flight(response.text)
+        print(f"Успешно декодировано {len(flight_tree)} слотов состояния React Server Components!")
+
+        sample_keys = list(flight_tree.keys())[:4]
+        print(f"Примеры идентификаторов слотов: {sample_keys}")
+
+
+async def demo_live_lexbor_dom():
+    print("\n--- [3] РЕАЛЬНЫЙ ЗАПРОС: DOM-парсинг Hacker News через Selectolax Lexbor ---")
+
+    async with ScraperClient() as client:
+        response = await client.get("https://news.ycombinator.com/")
+        print(f"Статус ответа: {response.status_code}")
+
+        tree = parse_html(response.text)
+        titles = css_all_text(tree, ".titleline > a")
+        links = css_all_attr(tree, ".titleline > a", "href")
+
+        print(f"Извлечено {len(titles)} актуальных новостей:")
+        for idx, (t, link) in enumerate(zip(titles[:5], links[:5], strict=False), 1):
+            print(f" {idx}. {t}")
+            print(f"    URL: {link}")
+
+
+async def main():
+    print("==================================================================")
+    print("   РЕАЛЬНАЯ ДЕМОНСТРАЦИЯ: LIVE ПАРСИНГ БЕЗ HEADLESS БРАУЗЕРОВ     ")
+    print("==================================================================")
+
+    await demo_live_nextjs_state()
+    await demo_live_rsc_flight()
+    await demo_live_lexbor_dom()
+
+    print("\n==================================================================")
+    print("   Все РЕАЛЬНЫЕ сетевые сценарии успешно выполнены!              ")
+    print("==================================================================")
+
+
+if __name__ == "__main__":
+    asyncio.run(main())