bathys 0.8.0__tar.gz → 0.9.0__tar.gz

{bathys-0.8.0 → bathys-0.9.0}/.remember/logs/memory-2026-09-09.log

@@ -140,3 +140,44 @@
 13:14:06 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
 13:14:28 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
 13:14:43 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:15:04 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:15:20 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:36:02 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:36:14 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:44:58 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:45:07 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:45:15 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:45:28 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:45:46 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:46:06 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:46:18 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:46:27 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:46:38 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:46:47 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:46:56 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:47:04 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:47:14 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:47:14 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:47:31 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:47:41 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:47:51 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:48:02 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:48:11 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:48:20 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:48:30 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:48:40 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:48:52 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:49:00 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:49:11 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:49:11 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:49:22 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:49:32 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:49:43 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:49:53 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:50:05 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:50:13 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:50:28 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:50:39 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:50:50 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:51:03 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember
+13:51:16 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/.remember

{bathys-0.8.0 → bathys-0.9.0}/CHANGELOG.md

@@ -2,6 +2,20 @@
 
 Формат: Keep a Changelog; версии — semver. Дата — дата выпуска версии.
 
+## [0.9.0] — 2026-09-09
+
+Тема: «Borrowed Ideas» — три фичи, заимствованные из pi-web-access (реализация наша; разведка самого источника проведена живьём через Bathys).
+
+### Добавлено
+
+- **`find` в `read_url`** — точный поиск по кэшу сырца без сети (заимствовано из `get_search_content`/`findText`): счётчики совпадений, позиции и контекст; live: 25 совпадений «self-attention» по кэшу PDF за 0.0 с. Работает и по PDF-кэшу.
+- **PDF text-layer в HTTP-ярусе** (`pymupdf`, локально, без ML/облака; заимствовано из их PDF-обработки): PDF-URL читается первым ярусом, `content-type: application/pdf` → текст → обычная дистилляция. Live: «Attention Is All You Need» (2.2 МБ) → 1489 симв. под запрос за 1.1 с. Сканы без текстового слоя — честный отказ (OCR-инициатива остаётся paused); отдельные PDF-ошибки не эскалируют в браузер (`_FinalTierError`) — браузер на PDF всё равно падает с «Download is starting».
+- **Типизация fallback-причин F-102** (заимствовано из их `fallbackOn`): captcha/suspended весят ×3 (липкое состояние), timeout ×1, прочее ×2 — капчевые движки исключаются из fallback-наборов быстрее.
+
+### Исправлено
+
+- JS-shell-детектор больше не срабатывает на PDF/извлечённых страницах (пустой raw-html по дизайну ≠ оболочка) — ранее это маскировало PDF-результат ошибкой браузера.
+
 ## [0.8.0] — 2026-09-09
 
 Тема: «Engine Orchestration» — вердикт архкома №4 + безключевая оркестрация движков.

{bathys-0.8.0 → bathys-0.9.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: bathys
-Version: 0.8.0
+Version: 0.9.0
 Summary: Unified local deep-research search service for AI agents — one pipeline (search → extraction → query distillation → cache), zero cloud quotas. MCP stdio server with native harness integration (bathys install).
 Project-URL: Homepage, https://github.com/Korrnals/bathys
 Project-URL: Repository, https://github.com/Korrnals/bathys
@@ -33,7 +33,7 @@ Description-Content-Type: text/markdown
 Сонар находит координаты, батискаф ныряет за полными текстами, дистиллятор поднимает на палубу только то, что отвечает на вопрос.
 
 ![python](https://img.shields.io/badge/python-3.10%2B-blue)
-![version](https://img.shields.io/badge/version-0.8.0-9cf)
+![version](https://img.shields.io/badge/version-0.9.0-9cf)
 ![mcp](https://img.shields.io/badge/MCP-stdio%20server-6f42c1)
 ![license](https://img.shields.io/badge/license-MIT-green)
 
@@ -171,7 +171,7 @@ Bathys — stdio MCP-сервер: блок `mcpServers` один и тот же
 |---|---|
 | `deep_research(query, max_sources=3, …)` | ищет, параллельно читает топ-источники, возвращает слитый дистиллят под запрос. Первый вызов для любого ресёрч-вопроса. |
 | `web_search(query, max_results=8, …)` | ранжированный список ссылок со сниппетами без содержимого страниц; `as_json=true` — чистый JSON для программ. |
-| `read_url(url, query=None, max_chars=8000)` | читает одну страницу; с `query` — только релевантные пассажи. |
+| `read_url(url, query=None, find=None)` | читает страницу (включая текстовые PDF); с `query` — релевантные пассажи; с `find` — точный поиск по кэшу сырца без сети. |
 | `read_urls(urls, query=None, total_chars=12000)` | пакетно читает до 10 известных страниц; бюджет делится между успешными, сбой страницы — одна строка, не сорванный вызов. |
 
 Поиск сужается общими фильтрами `time_range`, `category`, `engines`, `language`. Живой футер ответа показывает сжатие и кэш: `[bathys: 41 raw hits, top 3 considered · dove 3 pages · 35669 ch fetched → 7508 ch returned · 3.2s]`.
@@ -210,7 +210,7 @@ Bathys — stdio MCP-сервер: блок `mcpServers` один и тот же
 
 ## 📍 Статус
 
-**0.8.0.** Выпускная история: v0.2 «Качество выдачи» (ретраи, здоровье движков), v0.3 «Паритет с Tavily» (`read_urls`, JSON-режим), v0.4 «Эксплуатация» (robots-этика, метрики, `bathys-doctor`), v0.5 «Identity & Harness» (репозиционирование, промпты, субагент), v0.6 «Native Install» (`bathys install`), v0.7 «Ship & Setup» (двухъярусное извлечение, `bathys setup`, однострочник, uninstall) — итоги в [CHANGELOG.md](CHANGELOG.md).
+**0.9.0.** Выпускная история: v0.2 «Качество выдачи» (ретраи, здоровье движков), v0.3 «Паритет с Tavily» (`read_urls`, JSON-режим), v0.4 «Эксплуатация» (robots-этика, метрики, `bathys-doctor`), v0.5 «Identity & Harness» (репозиционирование, промпты, субагент), v0.6 «Native Install» (`bathys install`), v0.7 «Ship & Setup» (двухъярусное извлечение, `bathys setup`, однострочник, uninstall) — итоги в [CHANGELOG.md](CHANGELOG.md).
 
 Репозиторий: `github.com/Korrnals/bathys`. Пакет опубликован: [PyPI `bathys`](https://pypi.org/project/bathys/) (pip install), однострочник установки — выше. До 1.0: публикация npm-обёртки `bathys-mcp` и первый прогон Docker-образа; CI (matrix 3.10–3.12 + shellcheck) уже в репозитории.
 

{bathys-0.8.0 → bathys-0.9.0}/README.md

@@ -7,7 +7,7 @@
 Сонар находит координаты, батискаф ныряет за полными текстами, дистиллятор поднимает на палубу только то, что отвечает на вопрос.
 
 ![python](https://img.shields.io/badge/python-3.10%2B-blue)
-![version](https://img.shields.io/badge/version-0.8.0-9cf)
+![version](https://img.shields.io/badge/version-0.9.0-9cf)
 ![mcp](https://img.shields.io/badge/MCP-stdio%20server-6f42c1)
 ![license](https://img.shields.io/badge/license-MIT-green)
 
@@ -145,7 +145,7 @@ Bathys — stdio MCP-сервер: блок `mcpServers` один и тот же
 |---|---|
 | `deep_research(query, max_sources=3, …)` | ищет, параллельно читает топ-источники, возвращает слитый дистиллят под запрос. Первый вызов для любого ресёрч-вопроса. |
 | `web_search(query, max_results=8, …)` | ранжированный список ссылок со сниппетами без содержимого страниц; `as_json=true` — чистый JSON для программ. |
-| `read_url(url, query=None, max_chars=8000)` | читает одну страницу; с `query` — только релевантные пассажи. |
+| `read_url(url, query=None, find=None)` | читает страницу (включая текстовые PDF); с `query` — релевантные пассажи; с `find` — точный поиск по кэшу сырца без сети. |
 | `read_urls(urls, query=None, total_chars=12000)` | пакетно читает до 10 известных страниц; бюджет делится между успешными, сбой страницы — одна строка, не сорванный вызов. |
 
 Поиск сужается общими фильтрами `time_range`, `category`, `engines`, `language`. Живой футер ответа показывает сжатие и кэш: `[bathys: 41 raw hits, top 3 considered · dove 3 pages · 35669 ch fetched → 7508 ch returned · 3.2s]`.
@@ -184,7 +184,7 @@ Bathys — stdio MCP-сервер: блок `mcpServers` один и тот же
 
 ## 📍 Статус
 
-**0.8.0.** Выпускная история: v0.2 «Качество выдачи» (ретраи, здоровье движков), v0.3 «Паритет с Tavily» (`read_urls`, JSON-режим), v0.4 «Эксплуатация» (robots-этика, метрики, `bathys-doctor`), v0.5 «Identity & Harness» (репозиционирование, промпты, субагент), v0.6 «Native Install» (`bathys install`), v0.7 «Ship & Setup» (двухъярусное извлечение, `bathys setup`, однострочник, uninstall) — итоги в [CHANGELOG.md](CHANGELOG.md).
+**0.9.0.** Выпускная история: v0.2 «Качество выдачи» (ретраи, здоровье движков), v0.3 «Паритет с Tavily» (`read_urls`, JSON-режим), v0.4 «Эксплуатация» (robots-этика, метрики, `bathys-doctor`), v0.5 «Identity & Harness» (репозиционирование, промпты, субагент), v0.6 «Native Install» (`bathys install`), v0.7 «Ship & Setup» (двухъярусное извлечение, `bathys setup`, однострочник, uninstall) — итоги в [CHANGELOG.md](CHANGELOG.md).
 
 Репозиторий: `github.com/Korrnals/bathys`. Пакет опубликован: [PyPI `bathys`](https://pypi.org/project/bathys/) (pip install), однострочник установки — выше. До 1.0: публикация npm-обёртки `bathys-mcp` и первый прогон Docker-образа; CI (matrix 3.10–3.12 + shellcheck) уже в репозитории.
 

bathys-0.9.0/docs/product/ideas-borrowed.md

@@ -0,0 +1,69 @@
+# Заимствованные идеи: pi-web-access → Bathys
+
+| Поле | Значение |
+|---|---|
+| Источник | [pi-web-access](https://github.com/nicobailon/pi-web-access) (Pi coding agent extension, 1399★, активен 2026-09) — разведано живьём через Bathys 2026-09-09 |
+| Принцип | Реализация всегда наша; заимствуются **проверенные продуктовой практикой** решения. Pi — Extension для агента (TypeScript, полный системный доступ), Bathys — единый локальный поисковый сервис (MCP, слой данных). Контексты разные — переносим только то, что усиливает наш конвейер, не ломая хартию (без LLM внутри, без облака по умолчанию). |
+| Статус | Кандидаты в роадмап; приоритизация ниже |
+
+## Что переносим (сильные идеи, ранжировано)
+
+### 1. `source_check` — верификация утверждения как machine-readable артефакт ★★★
+
+У них: `source_check({claim, queries?, fetchContent?, domainFilter?})` → артефакт: статус `supported | contradicted | unclear | missing-evidence`, цитаты пассажей с оффсетами, SHA-256 хэши контента, качество источников; **ошибки поиска/фетча остаются в артефекте, не выбрасываются молча**.
+
+Почему нам: у Bathys уже есть промпт `bathys_source_audit` (текстовая стратегия) и скилл — но статус-вердикты у вызывающего агента остаются текстом, который модель может исказить. Детерминированная часть (сбор источников, пассажи с оффсетами, хэши, «1 источник vs 2 независимых») может считать **движок Bathys** — вердикты `supported/contradicted` по правилу «2 независимых домена» — а синтез остаётся агенту. Это углубление нашего же принципа «слой данных без LLM»: верификация фактуры детерминирована, интерпретация — у харнесса.
+
+Реализация: новый инструмент `source_check` (5-й) ИЛИ расширение `read_urls` параметром `claim`; артефакт — наш строковый формат с блоками `[bathys: …]`-статистикой.
+
+### 2. `get_search_content` — пагинация по кэшу с `findText` ★★★
+
+У них: сохранённый контент извлекается позже по `responseId` с `offset/limit` или `findText` (exact/case-insensitive/fuzzy, кап 20k, счётчики совпадений и контекст).
+
+Почему нам: у Bathys кэш сырца **уже есть** (до дистилляции — это наше преимущество), но агент может получить только повторный дистиллят. Дать `find_text(url, pattern)` — поиск по сырому кэшу без сети: «найди в той статье точную цитату про X». Дёшево (кэш уже лежит), идеально для аудита и точных цитат.
+
+Реализация: параметр `find` в `read_url` при cache-HIT или отдельный инструмент; поиск по сырому тексту с контекстом ±N символов.
+
+### 3. GitHub-специализация: клон вместо скрейпа ★★
+
+У них: GitHub-URL → локальный `git clone` (кэш на сессию, >350MB → API-вид); PR/issue → приоритизированный markdown-документ (статус, чеки, ревью, комменты, `gh`-CLI) вместо HTML-скрейпа.
+
+Почему нам: наш HTTP-ярус на GitHub получает HTML-мусор, браузерный — тяжёлый. Спец-обработчик GitHub-URL (детект по хосту) → `gh api` для PR/issues (структура, а не парсинг) и README+дерево для репо — это **та же двухъярусная философия, но ярус-1 специализируется по типу URL**. `gh` уже есть в системе; без `gh` — фолбэк на HTTP-ярус.
+
+Реализация: в `crawler._fetch_http` — редирект на GitHub-ветку (детект: github.com/{owner}/{repo}[/pull|/issues/|N]).
+
+### 4. PDF → Markdown-конверсия ★★
+
+У них: PDF-URL → конверсия и сохранение в temp-каталог (агент читает секции `read`-ом, не грузя весь документ в контекст); три движка: datalab (layout-aware), gemini (LLM), unpdf (локально, без ключа).
+
+Почему нам: OCR-инициатива у нас **приостановлена** (VLM = GPU-боль), но unpdf-путь — это **локальная конверсия текстовых PDF без ML** (`pip install pymupdf` уже был в плане OCR-инициативы как text-layer). Наш двухъярусный HTTP-ярус сейчас на PDF просто падает («unsupported content-type» — сам видел в коде). Текстовый PDF без ML — честное закрытие 80% PDF-кейса без разморозки OCR.
+
+Реализация: детект `content-type: application/pdf` в HTTP-ярусе → pymupdf → текст в тот же конвейер дистилляции. Сканы — честный отказ с указанием на OCR-инициативу.
+
+### 5. Routing/fallback-конфигурация ★ (у нас уже частично есть)
+
+У них: `searchRouting: {providers: [...], fallbackOn: [transient, quota, network, invalid-response]}` — типизированные причины фолбэка; `provider: "all"` — параллельный мульти-поиск; `proxy` per-call.
+
+Что берём: (а) **типизация причин фолбэка** — наш F-101 ретраится по «пустой выдаче», но не различает `captcha` vs `timeout` vs `quota` на уровне retry-решения (unresponsive_engines это содержит! — парсить причину); (б) `provider: "all"`-режим для `web_search` — параллельный опрос всех активных движков с дедупликацией (у SearXNG это уже есть в `!format=json` — нам нужно просто НЕ передавать engines и объединить) — **дешёво, у нас почти есть**.
+
+Не берём: их 25+ облачных провайдеров (против нашей хартии), browser-cookies Gemini Web (приватность-риск, у нас robots-этика), curator-UI (UI = Not-doing).
+
+## Чего НЕ заимствуем (и почему — зафиксировано)
+
+| Их фича | Почему нет |
+|---|---|
+| Video understanding (YouTube/Gemini/frames) | Требует облачной VLM (Gemini) — против «ноль облака по умолчанию»; локального аналога без GPU нет |
+| 25+ облачных поисковых провайдеров | Наша ценность — оркестрация локального SearXNG; облако — только опциональные ключи (archcom #4) |
+| Browser-cookie авторизация (Gemini Web) | Приватность-антипаттерн для нашего позиционирования |
+| Curator-UI (браузерный) | UI = Not-doing хартии |
+| LLM-суммаризация результатов | «LLM внутри нет» — синтез у вызывающего агента |
+
+## Приоритизация для роадмапа
+
+| # | Фича | Сложность | Версия-кандидат |
+|---|---|---|---|
+| 1 | `find`/`get_search_content` по кэшу сырца | S (кэш уже есть) | v0.9 |
+| 2 | PDF text-layer в HTTP-ярусе (pymupdf) | S–M | v0.9 |
+| 3 | Типизация причин фолбэка + «all»-режим | S | v0.9 |
+| 4 | GitHub-специализация (`gh api`) | M | v0.9/v1.0 |
+| 5 | `source_check`-инструмент с детерминированными вердиктами | M–L | v1.0 (входит в паритет с Tavily-классом) |

{bathys-0.8.0 → bathys-0.9.0}/docs/product/roadmap.md

@@ -119,6 +119,7 @@ Chromium и SearXNG тяжёлый (порядка гигабайта) — до
 ## Кандидаты (рассматриваются)
 
 - **Лёгкий семантический слой (re-ranker)** (v0.3+) — статус: предложение; спайк одобрен председателем 2026-09-06; интеграция — отдельное решение архкома по критериям гейта в [mind-initiative.md](mind-initiative.md).
+- **Заимствованные фичи из pi-web-access** (v0.9+) — разведано 2026-09-09 через живой Bathys; переносим 5 идей (кэш-find, PDF text-layer, типизация fallback-причин, GitHub-специализация, source_check), отклонены видео-VLM/облачные/cookies-UI — приоритеты в [ideas-borrowed.md](ideas-borrowed.md).
 - **API-движки метапоиска** (v0.8) — статус: **утверждена владельцем 2026-09-09**, материалы собраны е2е; план и чеклист — [api-engine-initiative.md](api-engine-initiative.md). Оркестрация готовых API-движков SearXNG (braveapi/exaapi), свой движок — только по триггеру.
 - **OCR-чтение PDF, сканов и скриншотов** (v0.3+) — статус: **приостановлена** (решение мейнтейнера 2026-09-06: приоритет — доступность на любом CPU-железе); возврат — по триггерам §8 в [ocr-initiative.md](ocr-initiative.md).
 

{bathys-0.8.0 → bathys-0.9.0}/npm/bathys-mcp/.remember/logs/memory-2026-09-09.log

@@ -42,3 +42,20 @@
 13:11:12 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
 13:11:12 [hook] WARNING: no session dir for this project: /var/home/abyss/.distrobox/ubuntu/home/.claude/projects/-var-home-abyss-LABs-MCP-deepreserch-npm-bathys-mcp (slug of /var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp). Memory cannot save until it matches a directory under /var/home/abyss/.distrobox/ubuntu/home/.claude/projects/
 13:11:21 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:32:15 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:32:25 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:32:25 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:32:35 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:32:46 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:32:58 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:33:07 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:33:19 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:33:30 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:33:39 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:33:48 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:34:57 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:35:07 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:35:17 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:35:39 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:35:51 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember
+13:44:45 [hook] post-tool: PROJECT_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp PIPELINE_DIR=/var/home/abyss/.distrobox/ubuntu/home/.zcode/cli/plugins/cache/claude-plugins-official/remember/0.20.0 PYTHON=python3 REMEMBER_DIR=/var/home/abyss/LABs/MCP/deepreserch/npm/bathys-mcp/.remember

{bathys-0.8.0 → bathys-0.9.0}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "bathys"
-version = "0.8.0"
+version = "0.9.0"
 description = "Unified local deep-research search service for AI agents — one pipeline (search → extraction → query distillation → cache), zero cloud quotas. MCP stdio server with native harness integration (bathys install)."
 keywords = ["mcp", "deep-research", "search", "web-search", "ai-agents", "llm", "local-first", "distillation", "searxng", "crawl4ai"]
 classifiers = [

{bathys-0.8.0 → bathys-0.9.0}/src/bathys/__init__.py

@@ -5,4 +5,4 @@ a query-focused distiller keeps only what answers the question. Built to spend
 the model's tokens on answers, not on boilerplate.
 """
 
-__version__ = "0.8.0"
+__version__ = "0.9.0"

{bathys-0.8.0 → bathys-0.9.0}/src/bathys/core.py

@@ -4,6 +4,7 @@ so scripts and tests can drive it without MCP framing."""
 from __future__ import annotations
 
 import asyncio
+import re
 import time
 from dataclasses import dataclass
 
@@ -152,10 +153,21 @@ class Engine:
             self._search_ts = time.monotonic()
 
     def _record_health(self, outcome: searx.SearchOutcome) -> None:
-        """F-102: consecutive-failure streak per engine; any hit resets it."""
+        """F-102: consecutive-failure streak per engine; any hit resets it.
+        v0.9: failure reasons are now TYPED (borrowed from pi-web-access's
+        fallbackOn design) — captcha engines get a longer memory than timeout
+        engines, because captchas don't heal in seconds."""
         for e in outcome.unresponsive:
-            name = e.split(":")[0]
-            self._engine_fails[name] = self._engine_fails.get(name, 0) + 1
+            parts = e.split(":", 1)
+            name = parts[0]
+            reason = (parts[1] if len(parts) > 1 else "").lower()
+            if "captcha" in reason or "suspended" in reason:
+                weight = 3  # captcha: sticky condition, counts triple
+            elif "timeout" in reason:
+                weight = 1  # timeout: transient, counts as-is
+            else:
+                weight = 2  # quota/network/unknown
+            self._engine_fails[name] = self._engine_fails.get(name, 0) + weight
         for h in outcome.hits:
             for name in h.engines:
                 self._engine_fails.pop(name, None)
@@ -331,8 +343,46 @@ class Engine:
         distilled = distill.passages(slim, query, max_chars)
         return ReadResult(page=page, distilled=distilled, cache_hit=hit)
 
+    def _find_in_cache(self, url: str, pattern: str, *, limit: int = 3,
+                       context: int = 160) -> str:
+        """find-text over the cached RAW page (borrowed from pi-web-access's
+        get_search_content/findText): exact substring search, no network,
+        match counters and local context. Cache miss -> honest error."""
+        pk = Cache.key("page", url)
+        got, stored = self.cache.get(pk)
+        if not got:
+            return f"[bathys: find — нет кэша для {url}; сначала read_url]"
+        if "error" in stored:
+            return f"[bathys: find — в кэше ошибка: {stored['error']}]"
+        text = stored.get("text", "")
+        low, pl = text.lower(), pattern.lower()
+        positions: list[int] = []
+        i = low.find(pl)
+        while i != -1 and len(positions) < 50:
+            positions.append(i)
+            i = low.find(pl, i + 1)
+        if not positions:
+            return (f"[bathys: find '{pattern}' — 0 совпадений в кэше "
+                    f"({len(text)} ch); попробуй read_url с query]")
+        total = len(positions)
+        shown = positions[:limit]
+        blocks = []
+        for n, pos in enumerate(shown, 1):
+            lo = max(0, pos - context)
+            hi = min(len(text), pos + len(pattern) + context)
+            frag = ("…" if lo else "") + text[lo:hi] + ("…" if hi < len(text) else "")
+            frag = re.sub(r"\s+", " ", frag)
+            blocks.append(f"{n}. @{pos}: …{frag}…")
+        return (f"[bathys: find '{pattern}' — {total} совпадений(я), показано {len(shown)} "
+                f"(кэш сырца, без сети)\n" + "\n".join(blocks))
+
     async def read(self, url: str, *, query: str | None = None, max_chars: int = 8000,
-                   refresh: bool = False) -> str:
+                   refresh: bool = False, find: str | None = None) -> str:
+        if find is not None:
+            out = self._find_in_cache(url, find)
+            self._log_metrics("read_url", cache="HIT", chars_in=0,
+                              chars_out=len(out), secs=0.0, url=url)
+            return out
         started = time.monotonic()
         try:
             res = await self._read(url, query=query, max_chars=max_chars, refresh=refresh)

{bathys-0.8.0 → bathys-0.9.0}/src/bathys/crawler.py

@@ -54,6 +54,10 @@ _COMMENT_RE = re.compile(r"<!--.*?-->", re.S)
 _TAG_RE = re.compile(r"<[^>]+>")
 _TITLE_RE = re.compile(r"<title\b[^>]*>(.*?)</title>", re.S | re.I)
 _WS_RE = re.compile(r"\s+")
+class _FinalTierError(RuntimeError):
+    """Tier-1 error that must NOT escalate to the browser tier."""
+
+
 _APP_ROOT_RE = re.compile(
     r"<body[^>]*>\s*(<div[^>]*id=[\"']?(app|root|__next|__nuxt)[\"']?[^>]*>\s*"
     r"(</div>)?\s*</body>)", re.I)
@@ -81,6 +85,23 @@ def _looks_like_js_shell(html: str, text: str) -> bool:
     return len(text) < 200
 
 
+def _pdf_text(content: bytes) -> str | None:
+    """Extract the text layer from PDF bytes; None when there is no text."""
+    try:
+        import pymupdf  # optional dependency, lazy import
+    except ImportError:
+        raise _FinalTierError(
+            "crawl failed: PDF support needs `pip install pymupdf` (local, no ML)")
+    try:
+        doc = pymupdf.open(stream=content, filetype="pdf")
+        parts = [page.get_text() for page in doc]
+        doc.close()
+    except Exception as e:
+        raise RuntimeError(f"crawl failed: pdf parse error ({e.__class__.__name__})")
+    text = "\n\n".join(parts).strip()
+    return text if len(text) >= 40 else None  # <40 chars => likely a scan
+
+
 class Crawler:
     """Extraction facade. One shared browser at most, started lazily."""
 
@@ -161,8 +182,22 @@ class Crawler:
         ctype = resp.headers.get("content-type", "")
         if resp.status_code >= 400:
             raise RuntimeError(f"crawl failed: http {resp.status_code}")
+        if "pdf" in ctype or url.lower().endswith(".pdf"):
+            # PDF text layer (v0.9, borrowed from pi-web-access's PDF handling):
+            # local extraction via pymupdf — no ML, no cloud, no OCR. Scanned
+            # PDFs (no text layer) fail honestly and stay out of scope until
+            # the paused OCR initiative is revived.
+            text = _pdf_text(resp.content)
+            if text is None:
+                raise _FinalTierError(
+                    "crawl failed: PDF has no text layer (scanned?) — OCR initiative is paused")
+            return (
+                Page(url=str(resp.url), status=resp.status_code, title="",
+                     text=text, raw_chars=len(resp.content), tier="http-pdf"),
+                "",
+            )
         if "html" not in ctype and "xml" not in ctype and ctype:
-            # non-HTML (pdf/json/etc) — not tier-1 material
+            # non-HTML (json/etc) — not tier-1 material
             raise RuntimeError(f"crawl failed: unsupported content-type {ctype.split(';')[0]}")
         html = resp.text
         title_m = _TITLE_RE.search(html)
@@ -183,14 +218,20 @@ class Crawler:
         if mode == "off":
             page, _ = await self._fetch_http(url, http)
             return page
-        # auto: try tier 1, escalate to tier 2 on JS-shell or failure
+        # auto: try tier 1, escalate to tier 2 on JS-shell or failure.
+        # PDF errors are FINAL (final): a headless browser on a PDF just hits
+        # "Download is starting" — escalating would mask the honest message.
         try:
             page, html = await self._fetch_http(url, http)
+        except _FinalTierError:
+            raise
         except RuntimeError:
             if mode == "auto":
                 return await self._fetch_browser(url)
             raise
-        if not _looks_like_js_shell(html, page.text):
+        # PDF/extracted-content pages return empty raw html by design —
+        # that is NOT a JS shell; skip the heuristic and return as-is.
+        if page.tier != "http" or not _looks_like_js_shell(html, page.text):
             return page
         return await self._fetch_browser(url)
 

{bathys-0.8.0 → bathys-0.9.0}/src/bathys/server.py

@@ -174,6 +174,7 @@ async def read_url(
     query: str | None = None,
     max_chars: int = 8000,
     refresh: bool = False,
+    find: str | None = None,
     ctx: Context = None,
 ) -> str:
     """Read one web page; return its main content as clean, budgeted markdown.
@@ -187,8 +188,12 @@ async def read_url(
         query: optional focus; return only passages relevant to it
         max_chars: output character budget (300-50000)
         refresh: ignore cache and re-fetch the page
+        find: search the cached RAW text for this exact substring (case-insensitive):
+            returns matches with counters and context, no network needed. Requires
+            the page to have been read before; combine with query for first reads.
     """
-    return await _engine(ctx).read(url, query=query, max_chars=max_chars, refresh=refresh)
+    return await _engine(ctx).read(url, query=query, max_chars=max_chars,
+                                   refresh=refresh, find=find)
 
 
 @mcp.tool(annotations=ToolAnnotations(