graph-crawler 5.4.1__tar.gz → 5.4.3__tar.gz

graph_crawler-5.4.3/PKG-INFO

@@ -0,0 +1,130 @@
+Metadata-Version: 2.4
+Name: graph-crawler
+Version: 5.4.3
+Summary: Web crawler that builds a graph of a site. HTTP → TLS → browser escalation with pluggable browser engines.
+Author: 0-EternalJunior-0
+Maintainer: 0-EternalJunior-0
+License-Expression: MIT
+Project-URL: Homepage, https://gitlab.com/demoprogrammer/web_graf
+Project-URL: Documentation, https://gitlab.com/demoprogrammer/web_graf/-/blob/main/web_graf/README.md
+Project-URL: Repository, https://gitlab.com/demoprogrammer/web_graf
+Project-URL: Changelog, https://gitlab.com/demoprogrammer/web_graf/-/blob/main/web_graf/CHANGELOG.md
+Project-URL: Bug Tracker, https://gitlab.com/demoprogrammer/web_graf/-/issues
+Keywords: web,crawler,scraper,graph,spider,playwright,anti-bot,tls-fingerprint
+Classifier: Development Status :: 4 - Beta
+Classifier: Intended Audience :: Developers
+Classifier: Topic :: Software Development :: Libraries :: Python Modules
+Classifier: Topic :: Internet :: WWW/HTTP :: Indexing/Search
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Programming Language :: Python :: 3.14
+Classifier: Operating System :: OS Independent
+Requires-Python: >=3.11
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: aiohttp>=3.13.0
+Requires-Dist: backports.zstd>=1.6.0; python_version < "3.14"
+Requires-Dist: Brotli
+Requires-Dist: selectolax<1.0.0,>=0.4.0
+Requires-Dist: defusedxml>=0.7.0
+Requires-Dist: pydantic>=2.12.0
+Requires-Dist: orjson>=3.11.0
+Requires-Dist: aiofiles>=24.1.0
+Requires-Dist: aiosqlite>=0.20.0
+Requires-Dist: typing_extensions>=4.5; python_version < "3.12"
+Requires-Dist: xxhash>=3.0.0
+Requires-Dist: resilix<2,>=1.1
+Provides-Extra: native
+Requires-Dist: cython>=3.0.0; extra == "native"
+Requires-Dist: mmh3>=5.0.0; extra == "native"
+Provides-Extra: browser
+Requires-Dist: playwright>=1.58.0; extra == "browser"
+Provides-Extra: playwright
+Requires-Dist: graph-crawler[browser]; extra == "playwright"
+Provides-Extra: tls
+Requires-Dist: curl_cffi>=0.7; extra == "tls"
+Provides-Extra: stealth
+Requires-Dist: patchright>=1.52; extra == "stealth"
+Requires-Dist: playwright-stealth>=1.0; extra == "stealth"
+Provides-Extra: cloak
+Requires-Dist: cloakbrowser>=0.5; extra == "cloak"
+Requires-Dist: playwright>=1.58.0; extra == "cloak"
+Provides-Extra: undetected
+Requires-Dist: nodriver>=0.38; extra == "undetected"
+Provides-Extra: antidetect
+Requires-Dist: graph-crawler[browser,cloak,stealth,tls,undetected]; extra == "antidetect"
+Provides-Extra: server
+Requires-Dist: fastapi>=0.135.0; extra == "server"
+Requires-Dist: uvicorn>=0.30; extra == "server"
+Requires-Dist: websockets>=13; extra == "server"
+Provides-Extra: text
+Requires-Dist: tiktoken>=0.13.0; extra == "text"
+Requires-Dist: stop-words>=2018.7.23; extra == "text"
+Provides-Extra: captcha
+Provides-Extra: mongodb
+Requires-Dist: pymongo[srv]>=4.9.0; extra == "mongodb"
+Provides-Extra: postgresql
+Requires-Dist: asyncpg>=0.30.0; extra == "postgresql"
+Provides-Extra: newspaper
+Requires-Dist: newspaper3k>=0.2.8; extra == "newspaper"
+Provides-Extra: goose
+Requires-Dist: goose3>=3.1.0; extra == "goose"
+Provides-Extra: readability
+Requires-Dist: readability-lxml>=0.8.0; extra == "readability"
+Provides-Extra: markdown
+Requires-Dist: html2md-clean>=0.5.0; extra == "markdown"
+Requires-Dist: markdown-it-py>=4.0.0; extra == "markdown"
+Provides-Extra: sitemap-fast
+Requires-Dist: lxml>=5.1.0; extra == "sitemap-fast"
+Provides-Extra: articles
+Requires-Dist: newspaper3k>=0.2.8; extra == "articles"
+Requires-Dist: goose3>=3.1.0; extra == "articles"
+Requires-Dist: readability-lxml>=0.8.0; extra == "articles"
+Provides-Extra: viz
+Requires-Dist: pyvis>=0.3.0; extra == "viz"
+Requires-Dist: networkx>=3.6; extra == "viz"
+Provides-Extra: celery
+Requires-Dist: celery>=5.5.0; extra == "celery"
+Requires-Dist: redis>=5.2.0; extra == "celery"
+Provides-Extra: performance
+Requires-Dist: aiodns>=3.6.0; extra == "performance"
+Requires-Dist: uvloop>=0.22.0; platform_system != "Windows" and extra == "performance"
+Provides-Extra: fuzzy
+Requires-Dist: rapidfuzz>=3.6.0; extra == "fuzzy"
+Provides-Extra: dev
+Requires-Dist: pytest>=9.0.0; extra == "dev"
+Requires-Dist: pytest-asyncio>=0.24.0; extra == "dev"
+Requires-Dist: pytest-cov>=7.0.0; extra == "dev"
+Requires-Dist: black>=24.0.0; extra == "dev"
+Requires-Dist: ruff>=0.8.0; extra == "dev"
+Requires-Dist: mypy>=1.13.0; extra == "dev"
+Requires-Dist: psutil; extra == "dev"
+Requires-Dist: rapidfuzz>=3.6.0; extra == "dev"
+Requires-Dist: pytest-timeout>=2.3.0; extra == "dev"
+Requires-Dist: pytest-xdist>=3.5.0; extra == "dev"
+Requires-Dist: build>=1.2.0; extra == "dev"
+Requires-Dist: twine>=5.0.0; extra == "dev"
+Requires-Dist: playwright>=1.58.0; extra == "dev"
+Requires-Dist: curl_cffi>=0.7; extra == "dev"
+Requires-Dist: html2md-clean>=0.5.0; extra == "dev"
+Requires-Dist: markdown-it-py>=4.0.0; extra == "dev"
+Requires-Dist: tiktoken>=0.13.0; extra == "dev"
+Requires-Dist: stop-words>=2018.7.23; extra == "dev"
+Requires-Dist: fastapi>=0.135.0; extra == "dev"
+Requires-Dist: httpx>=0.28; extra == "dev"
+Provides-Extra: system
+Requires-Dist: psutil>=5.9.0; extra == "system"
+Provides-Extra: all
+Requires-Dist: graph-crawler[antidetect,articles,celery,fuzzy,markdown,mongodb,performance,postgresql,server,sitemap-fast,system,text,viz]; extra == "all"
+Dynamic: license-file
+
+# graph-crawler
+
+Веб-краулер, що будує граф сайту (сторінки — ноди, посилання — ребра) з ескалацією HTTP → TLS-fingerprint → браузер.
+
+```bash
+pip install graph-crawler            # лише HTTP
+pip install "graph-crawler[browser]"  # + Playwright
+```

graph_crawler-5.4.3/README.md

@@ -0,0 +1,8 @@
+# graph-crawler
+
+Веб-краулер, що будує граф сайту (сторінки — ноди, посилання — ребра) з ескалацією HTTP → TLS-fingerprint → браузер.
+
+```bash
+pip install graph-crawler            # лише HTTP
+pip install "graph-crawler[browser]"  # + Playwright
+```

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/application/use_cases/crawling/crawl_coordinator.py

@@ -42,6 +42,7 @@ from graph_crawler.shared.constants import (
     BROWSER_PAGE_RAM_ESTIMATE_MB,
     BROWSER_RAM_BASELINE_MB,
     DEFAULT_BATCH_SIZE,
+    DEFAULT_NODE_ENRICH_TIMEOUT,
     MAX_PAGES_LIMIT,
 )
 from graph_crawler.shared.utils.cgroup_limits import (
@@ -85,6 +86,12 @@ logger = logging.getLogger(__name__)
 # Скільки секунд після crawl-level timeout даємо in-flight нодам дозавершитись.
 TIMEOUT_DRAIN_GRACE_S = 1.0
 
+# NEW-3-5: браузерний пул «завис», якщо жодна нода не завершилась за
+# 2 × fetch_timeout + enrich-таймаут + запас (найдовший законний шлях однієї ноди).
+STALL_FETCH_TIMEOUT_MULTIPLIER = 2.0
+STALL_GRACE_S = 10.0
+STALL_CHECK_INTERVAL_S = 5.0
+
 
 def _stats_for_log(stats: dict) -> dict:
     """Копія stats для логу без шумового ``redirect_deduped_scanned=0``.
@@ -425,6 +432,14 @@ class CrawlCoordinator:
             asyncio.create_task(self._worker_loop(i, state), name=f"crawl-worker-{i}")
             for i in range(pool_size)
         ]
+        stall_timeout = self._resolve_stall_timeout()
+        watchdog = (
+            asyncio.create_task(
+                self._stall_watchdog(workers, state, stall_timeout), name="crawl-stall-watchdog"
+            )
+            if stall_timeout
+            else None
+        )
         try:
             await self._await_workers(workers, state)
         except asyncio.CancelledError:
@@ -436,6 +451,9 @@ class CrawlCoordinator:
             await asyncio.gather(*workers, return_exceptions=True)
             raise
         finally:
+            if watchdog is not None:
+                watchdog.cancel()
+                await asyncio.gather(watchdog, return_exceptions=True)
             self._pool_state = None
 
         if state.stop_reason == "timeout":
@@ -444,6 +462,8 @@ class CrawlCoordinator:
             self.spider, "stop_reason", None
         ):
             self._record_stop(state.stop_reason, "limit")
+        if state.stop_reason == "stalled" and not self.scheduler.is_empty():
+            self._record_stop("stalled", "limit")
 
         logger.debug(
             "Worker pool finished: %d nodes processed, reason=%s, %.1fs",
@@ -457,7 +477,8 @@ class CrawlCoordinator:
     async def _await_workers(self, workers: list[asyncio.Task], state: PoolState) -> None:
         """Чекає воркерів; при crawl-level timeout скасовує in-flight (інакше ретраї тягнуть хвіст)."""
         if self.timeout is None or not self.start_time:
-            await asyncio.gather(*workers)
+            done, _ = await asyncio.wait(workers)
+            self._raise_worker_errors(done)
             return
         deadline = self.start_time + self.timeout + TIMEOUT_DRAIN_GRACE_S
         done, pending = await asyncio.wait(workers, timeout=max(0.0, deadline - time.time()))
@@ -478,10 +499,53 @@ class CrawlCoordinator:
             for task in pending:
                 task.cancel()
             await asyncio.gather(*pending, return_exceptions=True)
+        self._raise_worker_errors(done)
+
+    @staticmethod
+    def _raise_worker_errors(done: set[asyncio.Task]) -> None:
+        """Скасований сторожем простою воркер — не помилка; справжню помилку воркера прокидаємо."""
         for task in done:
             if not task.cancelled() and task.exception() is not None:
                 raise task.exception()
 
+    def _resolve_stall_timeout(self) -> float | None:
+        """Поріг «пул завис» (NEW-3-5): лише для браузерних драйверів, що мають ``fetch_timeout``."""
+        if not _is_js_heavy_driver(self.driver):
+            return None
+        fetch_timeout = getattr(self.driver, "fetch_timeout", None)
+        if isinstance(fetch_timeout, bool) or not isinstance(fetch_timeout, (int, float)):
+            return None
+        if fetch_timeout <= 0:
+            return None
+        enrich_timeout = (
+            getattr(self.config, "node_enrich_timeout", None) or DEFAULT_NODE_ENRICH_TIMEOUT
+        )
+        return STALL_FETCH_TIMEOUT_MULTIPLIER * fetch_timeout + enrich_timeout + STALL_GRACE_S
+
+    async def _stall_watchdog(
+        self, workers: list[asyncio.Task], state: PoolState, stall_timeout: float
+    ) -> None:
+        """Жодна нода не завершилась за ``stall_timeout`` — вкладки зависли: скасовуємо їх, фаза завершується."""
+        interval = min(STALL_CHECK_INTERVAL_S, stall_timeout / 4)
+        while not state.stop:
+            await asyncio.sleep(interval)
+            idle = time.monotonic() - state.last_progress_at
+            if state.in_flight == 0 or idle < stall_timeout:
+                continue
+            logger.warning(
+                "Worker pool stalled: no page finished for %.0fs (limit %.0fs), in_flight=%d, "
+                "queue=%d, stuck=%s - cancelling stuck workers",
+                idle,
+                stall_timeout,
+                state.in_flight,
+                self.scheduler.size() if hasattr(self.scheduler, "size") else 0,
+                list(state.in_flight_urls)[:5],
+            )
+            state.request_stop("stalled")
+            for task in workers:
+                task.cancel()
+            return
+
     def _resolve_worker_pool_size(self) -> int:
         """N воркерів: override з конфігу → конкурентність драйвера → кап для JS-heavy.
 

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/application/use_cases/crawling/worker_pool.py

@@ -15,6 +15,7 @@ from __future__ import annotations
 
 import asyncio
 import logging
+import time
 from collections import defaultdict
 from urllib.parse import urlsplit
 
@@ -119,6 +120,8 @@ class PoolState:
         self.stop = False
         self.stop_reason: str | None = None
         self.wakeup = asyncio.Event()
+        # NEW-3-5: час останньої завершеної ноди — сторож простою пулу.
+        self.last_progress_at = time.monotonic()
 
     def request_stop(self, reason: str) -> None:
         if not self.stop:
@@ -141,6 +144,7 @@ class PoolState:
         """Повертає True, якщо eviction-watermark просунувся."""
         self.in_flight -= 1
         self.completed += 1
+        self.last_progress_at = time.monotonic()
         if node_id:
             self.in_flight_node_ids.discard(node_id)
         self.in_flight_urls.pop(url, None)

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/data/backends/memory.py

@@ -182,6 +182,8 @@ class MemoryBackend:
         async with self._lock:
             count = 0
             for node in nodes:
+                if getattr(node, "_removed_from_graph", False):
+                    continue
                 normalized_url = self._normalize_url(node.url)
                 node.url = normalized_url
                 new_scanned = bool(getattr(node, "scanned", False))

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/data/backends/sqlite.py

@@ -235,6 +235,11 @@ class SQLiteBackend:
         """
         self.db_path = db_path
         self.journal_mode = journal_mode
+        # Скільки відкладених insert-ів пропущено через tombstone (діагностика).
+        self.tombstone_skips = 0
+        # URL нод, видалених з графа (remove_node): відкладений insert_nodes_batch
+        # їх не воскрешає; явний insert_node/insert_node_sync tombstone знімає.
+        self._tombstoned_urls: set[str] = set()
         self._conn = None
         self._is_open = False
 
@@ -895,6 +900,7 @@ class SQLiteBackend:
         # Normalize URL
         original_url = node.url
         normalized_url = self._normalize_url(original_url)
+        self._tombstoned_urls.discard(normalized_url)
 
         if original_url != normalized_url:
             node.url = normalized_url
@@ -1002,7 +1008,16 @@ class SQLiteBackend:
             for node in nodes:
                 from graph_crawler.shared.utils.id_generator import generate_node_id
 
+                # Tombstone: нода вже видалена з графа (редірект на існуючу) —
+                # відкладений write-through не повинен її воскресити.
+                if getattr(node, "_removed_from_graph", False):
+                    self.tombstone_skips += 1
+                    continue
+
                 normalized_url = self._normalize_url(node.url)
+                if normalized_url in self._tombstoned_urls:
+                    self.tombstone_skips += 1
+                    continue
                 node.url = normalized_url
 
                 # BUGFIX /: пере-обчислити node_id після
@@ -1241,6 +1256,7 @@ class SQLiteBackend:
             else:
                 url = node.url
 
+            self._tombstoned_urls.add(self._normalize_url(url))
             # Delete from DB
             await self._conn.execute("DELETE FROM nodes WHERE node_id = ?", (node_id,))
             await self._conn.execute(
@@ -1647,6 +1663,7 @@ class SQLiteBackend:
         from graph_crawler.shared.utils.id_generator import generate_node_id
 
         normalized_url = self._normalize_url(node.url)
+        self._tombstoned_urls.discard(normalized_url)
         cached = self._cache_get_by_url(normalized_url)
         if cached is not None:
             return cached
@@ -1690,6 +1707,7 @@ class SQLiteBackend:
             if not rows:
                 return False
             url = rows[0][0]
+        self._tombstoned_urls.add(self._normalize_url(url))
         deleted = self._sync_execute(
             [
                 ("DELETE FROM nodes WHERE node_id = ?", (node_id,)),

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/domain/entities/graph.py

@@ -124,6 +124,21 @@ from graph_crawler.shared.exceptions import GraphIntegrityError
 logger = logging.getLogger(__name__)
 
 
+
+def _set_removed_flag(node: Any, value: bool) -> None:
+    try:
+        node._removed_from_graph = value
+    except (AttributeError, ValueError, TypeError):
+        pass
+
+
+def is_removed_from_graph(node: Any) -> bool:
+    """Чи нода видалена з графа (tombstone від ``Graph.remove_node``)."""
+    try:
+        return bool(getattr(node, "_removed_from_graph", False))
+    except Exception:  # noqa: BLE001
+        return False
+
 class Graph:
     """Менеджер графу: CRUD над вузлами/ребрами, URL-дедуплікація, evict у RAM/на диск.
 
@@ -759,6 +774,8 @@ class Graph:
             self._stale_node_id_map[node.node_id] = expected_id
             node.node_id = expected_id
 
+        # Явне повторне додавання знімає tombstone.
+        _set_removed_flag(node, False)
         return node
 
     def add_node(self, node: Node, overwrite: bool = False) -> Node:
@@ -1339,6 +1356,10 @@ class Graph:
         if not node:
             return False
 
+        # Tombstone до видалення з backend: drain write-through, що тримає посилання
+        # на цей об'єкт, після DELETE не має зробити INSERT (зомбі-нода).
+        _set_removed_flag(node, True)
+
         # BUGFIX: у backend-режимі backend — джерело правди для
         # edges/adjacency. Делегуємо йому видалення (він почистить БД + власний
         # кеш edges + adjacency), інакше лишаються "мертві" edges у backend →

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/domain/entities/node.py

@@ -358,6 +358,8 @@ class Node(BaseModel):
     _lifecycle_lock: threading.Lock = PrivateAttr(default_factory=threading.Lock)
     # Лінки з ON_HTML_PARSED поточного enrich_node: переживають його переривання (per-node timeout).
     _discovered_links: list[str] = PrivateAttr(default_factory=list)
+    # Tombstone: Graph.remove_node видалив ноду — відкладений write-through не має її воскресити.
+    _removed_from_graph: bool = PrivateAttr(default=False)
 
     # Контент і обхід: хеші рахує enrich_node (дедуплікація, near-duplicates);
     # priority — з URL-правил для черги; lifecycle_stage змінює лише transition_state.

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/infrastructure/transport/playwright/browser_profile.py

@@ -1,6 +1,6 @@
 """BrowserProfile — єдине джерело істини для fingerprint.
 
-ANTIBOT_AUDIT_pooled_driver.md §1.6/§1.7/§2: раніше UA, platform, screen,
+UA, platform, screen,
 viewport, WebGL, hardwareConcurrency, languages, locale/timezone задавались у
 різних місцях (constants, StealthPlugin, EnhancedStealthPlugin, UserProfilePlugin)
 і між собою НЕ узгоджувались — це головна причина детекту. Тепер усе виводиться

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/infrastructure/transport/playwright/net/__init__.py

@@ -1,6 +1,6 @@
 """Мережевий шар для Playwright-гілки.
 
-ANTIBOT_AUDIT_pooled_driver.md §4.4: proxy не підтримується в
+proxy не підтримується в
 `PooledPlaywrightDriver` жодним чином → увесь флот сидить на одному IP,
 а locale/timezone/Accept-Language не пов'язані з GeoIP.
 

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/infrastructure/transport/playwright/net/geoip.py

@@ -1,6 +1,5 @@
 """GeoResolver — виведення locale/timezone з проксі-запису (Крок 3).
 
-ANTIBOT_AUDIT_pooled_driver.md §2.6:
 IP з Німеччини + `timeZone: "UTC"` + `Accept-Language: en-US` +
 Windows-UA на Linux — чотири незалежні суперечності в ОДНОМУ запиті.
 Для Cloudflare/DataDome достатньо challenge без JS-аналізу.

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/infrastructure/transport/playwright/net/proxy_pool.py

@@ -1,6 +1,5 @@
 """ProxyPool — sticky-прив'язка «домен ↔ proxy».
 
-ANTIBOT_AUDIT_pooled_driver.md §4.4 / §5.4:
 Правильна архітектура:
 
     ProxyPool → обраний proxy → GeoIP → BrowserProfile → new_context()

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/infrastructure/transport/playwright/net/rate_limiter.py

@@ -1,6 +1,5 @@
 """DomainRateLimiter — per-domain concurrency + мінімальний інтервал (Крок 3).
 
-ANTIBOT_AUDIT_pooled_driver.md §3.2:
 Наявний `calculate_optimal_jitter` збільшує затримку між стартами,
 але **не обмежує concurrency per-domain**: 25 URL одного домену
 підуть у 25 паралельних вкладок з одного IP → 429/challenge раніше,

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/infrastructure/transport/playwright/page_fetch.py

@@ -28,6 +28,7 @@ from graph_crawler.infrastructure.transport.core.redirect_utils import (
 )
 from graph_crawler.infrastructure.transport.playwright.context import BrowserContext
 from graph_crawler.infrastructure.transport.playwright.stages import BrowserStage
+from graph_crawler.shared.utils.best_effort import close_quietly
 from graph_crawler.shared.utils.shadow_dom import expose_shadow_roots
 
 logger = logging.getLogger(__name__)
@@ -49,6 +50,11 @@ logger = logging.getLogger(__name__)
 # =============================================================================
 PARTIAL_TIMEOUT_STATUS = 504
 
+# NEW-3-5: після fetch_timeout вкладку ще питають про частковий HTML і адресу; зависла вкладка
+# (скрипт сторінки тримає її) не відповідає ніколи — без ліміту воркер чекав до кінця фази.
+TIMEOUT_RECOVERY_S = 5.0
+FROZEN_PAGE_CLOSE_S = 3.0
+
 # ``page.content()`` серіалізує лише light DOM: вміст відкритих shadow root'ів (веб-компоненти,
 # Lit/Stencil/Salesforce LWC, вбудовані віджети цін) у HTML не потрапляє, і парсер «не бачить»
 # того, що бачить користувач. Якщо на сторінці є відкриті shadow root'и, серіалізуємо DOM
@@ -228,12 +234,7 @@ class PageFetcher:
                 timeout=float(self.fetch_timeout),
             )
         except asyncio.TimeoutError:
-            # Спробувати отримати частковий HTML що вже завантажився
-            partial_html = None
-            async with protect.suppress(
-                Exception, log=logger.debug, message="_fetch_with_page_impl"
-            ):
-                partial_html = await page.content()
+            partial_html, frozen = await self._partial_html_after_timeout(page, url)
             partial_html = self._drop_oversized_partial(partial_html, url)
 
             error_msg = f"Fetch timeout ({self.fetch_timeout}s) for {url}"
@@ -261,8 +262,18 @@ class PageFetcher:
             )
             # Навіть у fetch-timeout page.url може містити final URL.
             # Зберігаємо провенанс, щоб graph.handle_redirect() спрацював
-            # для timeout-нод з JS-редіректом.
-            ft_final, ft_chain, ft_hops = await self._build_playwright_provenance(url, page, None)
+            # для timeout-нод з JS-редіректом. Завислу вкладку не питаємо (NEW-3-5).
+            ft_final, ft_chain, ft_hops = url, [], []
+            if not frozen:
+                try:
+                    ft_final, ft_chain, ft_hops = await asyncio.wait_for(
+                        self._build_playwright_provenance(url, page, None),
+                        timeout=TIMEOUT_RECOVERY_S,
+                    )
+                except asyncio.TimeoutError:
+                    frozen = True
+            if frozen:
+                await self._close_frozen_page(page, url)
             return self._finalize_response(
                 FetchResponse(
                     url=url,
@@ -282,6 +293,27 @@ class PageFetcher:
             logger.error(error_msg)
             return FetchResponse(url=url, html=None, status_code=None, headers={}, error=error_msg)
 
+    @staticmethod
+    async def _partial_html_after_timeout(page: Any, url: str) -> tuple[str | None, bool]:
+        """Частковий HTML після fetch_timeout і ознака «вкладка зависла» (не відповіла за ``TIMEOUT_RECOVERY_S``)."""
+        try:
+            return await asyncio.wait_for(page.content(), timeout=TIMEOUT_RECOVERY_S), False
+        except asyncio.TimeoutError:
+            logger.warning(
+                "Browser tab frozen after fetch timeout: page.content() did not answer in %.0fs for %s",
+                TIMEOUT_RECOVERY_S,
+                url,
+            )
+            return None, True
+        except Exception as e:  # noqa: BLE001 — сторінка закрилась/переходить
+            logger.debug("partial content after timeout unavailable for %s: %s", url, e)
+            return None, False
+
+    @staticmethod
+    async def _close_frozen_page(page: Any, url: str) -> None:
+        """Закрита вкладка не повертається в пул — пул відкриє нову замість завислої."""
+        await close_quietly(page.close(), name=f"frozen page {url}", timeout=FROZEN_PAGE_CLOSE_S)
+
     @staticmethod
     def _log_fetch_timeout(
         error_msg: str,

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/infrastructure/transport/playwright/plugins/human_bezier.py

@@ -1,6 +1,5 @@
 """BezierHumanBehaviorPlugin.
 
-ANTIBOT_AUDIT_pooled_driver.md §3.3:
 Існуючий `HumanBehaviorPlugin` виконує рухи миші прямолінійно
 (steps=3-5), а `_scroll_page()` у драйвері викликає
 `page.evaluate("window.scrollTo(...)")` — але події, ініційовані з

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/infrastructure/transport/playwright/pooled_driver.py

@@ -570,7 +570,7 @@ class PooledPlaywrightDriver(PageFetcher, BrowserPool, BatchScheduler, BaseDrive
     ) -> list[FetchResponse]:
         """Async паралельне завантаження багатьох сторінок.
 
-        Аудит §1.9 (ANTIBOT_AUDIT_pooled_driver.md): раніше ці параметри
+        Ці параметри
         мовчки ігнорувались — тепер `referer` передається у `page.goto`
         per-URL, а `cookies` / `extra_headers` мержаться і застосовуються
         на рівні контексту (Playwright не дає per-URL headers/cookies при

{graph_crawler-5.4.1 → graph_crawler-5.4.3}/graph_crawler/shared/constants.py

@@ -660,7 +660,6 @@ DEFAULT_POST_NAVIGATION_WAIT_NETWORKIDLE_MS = 5000
 """
 
 # Playwright Stealth Mode Arguments
-# Аудит ANTIBOT_AUDIT_pooled_driver.md §1.3 / §1.14 / Крок 0:
 # прибрано `--disable-web-security` та `--disable-features=IsolateOrigins,site-per-process`
 # (вимкнення Site Isolation детектується як anti-stealth сигнал у реальному Chrome
 # такої конфігурації не буває) та `--disable-background-networking`
@@ -747,7 +746,6 @@ F15 (§11.2): 600 → 500 за реальним заміром — PSS дере
 Перевизначається env ``GRAPH_CRAWLER_BROWSER_RAM_BASELINE_MB``."""
 
 # Дефолтні ресурси для блокування (економія трафіку та RAM)
-# Аудит ANTIBOT_AUDIT_pooled_driver.md §2.5 / §3.5 / Крок 0:
 # прибрано "font" і "stylesheet" — жоден реальний браузер не вантажить HTML
 # без CSS/шрифтів; порожній network waterfall (нуль .css/.woff2) + зламаний
 # layout під getBoundingClientRect() = поведінковий маркер рівня «скрапер».