@allansantos-dev/smart-tool 0.9.0 → 0.9.2

package/version.py

@@ -1,7 +1,7 @@
 """Single source of the Smart Tool version and of the User-Agent sent to public APIs."""
 import re
 
-VERSION = "0.9.0"
+VERSION = "0.9.2"
 _CONTACT_RE = re.compile(r"^(?:[^\s@()<>;]+@[^\s@()<>;]+\.[^\s@()<>;]+|https?://[^\s()<>;]+)$")
 
 

package/web_adapters/browser/fetch_camoufox.py

@@ -0,0 +1,69 @@
+"""`camoufox fetch` for the installer. camoufox 0.5.6 prints a failed download and still exits 0, so the error is
+caught here and turned into a failing exit, and the browser executable must exist afterwards. Its downloads have no
+timeout (requests passes None, which also overrides socket.setdefaulttimeout), so every request gets one here: a
+stalled download fails after 60 s instead of hanging. Progress is printed as plain lines (the rich bar stays
+invisible in a pipe)."""
+import sys
+from pathlib import Path
+
+import camoufox.__main__ as camoufox_cli
+import requests
+from camoufox import pkgman
+
+TIMEOUT_S = (30, 60)
+REPORT_EVERY_MB = 50
+_webdl = pkgman.webdl
+_update = camoufox_cli.CamoufoxUpdate.update
+_get = requests.get
+failures = []
+
+
+def _reporting_webdl(url, desc=None, buffer=None, bar=True, progress_callback=None):
+    reported = {"mb": -REPORT_EVERY_MB}
+
+    def report(done, total):
+        mb = done // 1048576
+        if mb - reported["mb"] >= REPORT_EVERY_MB or done == total:
+            reported["mb"] = mb
+            print(f"downloaded {mb} of {total // 1048576} MB", flush=True)
+
+    return _webdl(url, desc=desc, buffer=buffer, bar=False, progress_callback=progress_callback or report)
+
+
+def _get_with_timeout(*args, **kwargs):
+    kwargs.setdefault("timeout", TIMEOUT_S)
+    return _get(*args, **kwargs)
+
+
+def _recording_update(self, *args, **kwargs):
+    try:
+        return _update(self, *args, **kwargs)
+    except Exception as exc:
+        failures.append(exc)
+        raise
+
+
+def installed_executable():
+    """The browser executable, without the download that launch_path() starts when it is missing."""
+    executable = Path(pkgman.camoufox_path(download_if_missing=False)) / pkgman.LAUNCH_FILE[pkgman.OS_NAME]
+    if not executable.is_file():
+        raise FileNotFoundError(executable)
+    return executable
+
+
+def main():
+    requests.get = _get_with_timeout
+    pkgman.webdl = _reporting_webdl
+    camoufox_cli.CamoufoxUpdate.update = _recording_update
+    camoufox_cli.cli.main(["fetch"], standalone_mode=False)
+    if failures:
+        sys.exit(f"Camoufox download failed: {failures[-1]}")
+    try:
+        executable = installed_executable()
+    except Exception as exc:
+        sys.exit(f"Camoufox is not installed after the download: {exc}")
+    print(f"Camoufox {pkgman.installed_verstr()} ready: {executable}", flush=True)
+
+
+if __name__ == "__main__":
+    main()

package/web_adapters/node/ddg-search.mjs

@@ -1,89 +1,89 @@
-#!/usr/bin/env node
-// Uso: node ddg-search.mjs "consulta" [--num 8] [--region br-pt]
-// Saída: JSON no stdout — [{ title, url, snippet }, ...]
-import { parseArgs, stripTags } from './adapter-common.mjs';
-
-function realUrlFromDdgHref(href) {
-  const match = /uddg=([^&]+)/.exec(href);
-  if (!match) return href.startsWith('//') ? `https:${href}` : href;
-  try {
-    return decodeURIComponent(match[1]);
-  } catch {
-    return match[1];
-  }
-}
-
-async function main() {
-  const { query, num, region } = parseArgs(process.argv.slice(2),
-    'Usage: node ddg-search.mjs "query" [--num 8] [--region br-pt]', { num: 8, region: null });
-
-  const params = new URLSearchParams({ q: query });
-  if (region) params.set('kl', region);
-  const url = `https://html.duckduckgo.com/html/?${params.toString()}`;
-
-  const res = await fetch(url, {
-    headers: {
-      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0 Safari/537.36',
-      'Accept-Language': 'pt-BR,pt;q=0.9,en;q=0.8',
-    },
-    signal: AbortSignal.timeout(15000),
-  });
-
-  if (!res.ok) {
-    throw new Error(`DuckDuckGo answered HTTP ${res.status}`);
-  }
-
-  const html = await res.text();
-
-  // Um resultado patrocinado usa a mesma classe `result__a` no link de título que um
-  // resultado orgânico — só o container (`<div class="result ... result--ad ...">`)
-  // distingue os dois. Por isso a extração é por bloco (do início de um `<div
-  // class="result ` até o início do próximo), não por duas regexes globais pareadas por
-  // posição: título+snippet do mesmo bloco nunca desalinha com o resultado seguinte, e um
-  // bloco com `result--ad` na própria classe é descartado antes de extrair.
-  const BLOCK_START = '<div class="result ';
-  const startPositions = [];
-  for (let i = html.indexOf(BLOCK_START); i !== -1; i = html.indexOf(BLOCK_START, i + BLOCK_START.length)) {
-    startPositions.push(i);
-  }
-
-  const titleRe = /<a[^>]*class="result__a"[^>]*href="([^"]+)"[^>]*>([\s\S]*?)<\/a>/;
-  const snippetRe = /<a[^>]*class="result__snippet"[^>]*href="[^"]+"[^>]*>([\s\S]*?)<\/a>/;
-
-  const results = [];
-  for (let i = 0; i < startPositions.length && results.length < num; i++) {
-    const start = startPositions[i];
-    const end = i + 1 < startPositions.length ? startPositions[i + 1] : html.length;
-    const block = html.slice(start, end);
-
-    const classEnd = block.indexOf('"', BLOCK_START.length);
-    const classAttr = block.slice(BLOCK_START.length, classEnd);
-    if (classAttr.split(/\s+/).includes('result--ad')) continue;
-
-    const titleMatch = titleRe.exec(block);
-    if (!titleMatch) continue;
-    const snippetMatch = snippetRe.exec(block);
-
-    results.push({
-      title: stripTags(titleMatch[2]),
-      url: realUrlFromDdgHref(titleMatch[1]),
-      snippet: snippetMatch ? stripTags(snippetMatch[1]) : '',
-    });
-  }
-
-  if (results.length === 0) {
-    throw new Error('No result extracted: DuckDuckGo may have blocked or changed the HTML. Try again or rephrase the query.');
-  }
-
-  process.stdout.write(JSON.stringify(results, null, 2));
-}
-
-// Nunca chamar process.exit() aqui: com stdout/stderr em pipe (caso do
-// subprocess.run que consome este script), abortar o processo enquanto ainda
-// há handles assíncronos pendentes (ex.: o timer do AbortSignal.timeout do
-// fetch) pode disparar um crash nativo do libuv no Windows. Só marcar o
-// exit code e deixar o event loop drenar sozinho.
-main().catch((err) => {
-  console.error(String(err?.message ?? err));
-  process.exitCode = 1;
-});
+#!/usr/bin/env node
+// Uso: node ddg-search.mjs "consulta" [--num 8] [--region br-pt]
+// Saída: JSON no stdout — [{ title, url, snippet }, ...]
+import { parseArgs, stripTags } from './adapter-common.mjs';
+
+function realUrlFromDdgHref(href) {
+  const match = /uddg=([^&]+)/.exec(href);
+  if (!match) return href.startsWith('//') ? `https:${href}` : href;
+  try {
+    return decodeURIComponent(match[1]);
+  } catch {
+    return match[1];
+  }
+}
+
+async function main() {
+  const { query, num, region } = parseArgs(process.argv.slice(2),
+    'Usage: node ddg-search.mjs "query" [--num 8] [--region br-pt]', { num: 8, region: null });
+
+  const params = new URLSearchParams({ q: query });
+  if (region) params.set('kl', region);
+  const url = `https://html.duckduckgo.com/html/?${params.toString()}`;
+
+  const res = await fetch(url, {
+    headers: {
+      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0 Safari/537.36',
+      'Accept-Language': 'pt-BR,pt;q=0.9,en;q=0.8',
+    },
+    signal: AbortSignal.timeout(15000),
+  });
+
+  if (!res.ok) {
+    throw new Error(`DuckDuckGo answered HTTP ${res.status}`);
+  }
+
+  const html = await res.text();
+
+  // Um resultado patrocinado usa a mesma classe `result__a` no link de título que um
+  // resultado orgânico — só o container (`<div class="result ... result--ad ...">`)
+  // distingue os dois. Por isso a extração é por bloco (do início de um `<div
+  // class="result ` até o início do próximo), não por duas regexes globais pareadas por
+  // posição: título+snippet do mesmo bloco nunca desalinha com o resultado seguinte, e um
+  // bloco com `result--ad` na própria classe é descartado antes de extrair.
+  const BLOCK_START = '<div class="result ';
+  const startPositions = [];
+  for (let i = html.indexOf(BLOCK_START); i !== -1; i = html.indexOf(BLOCK_START, i + BLOCK_START.length)) {
+    startPositions.push(i);
+  }
+
+  const titleRe = /<a[^>]*class="result__a"[^>]*href="([^"]+)"[^>]*>([\s\S]*?)<\/a>/;
+  const snippetRe = /<a[^>]*class="result__snippet"[^>]*href="[^"]+"[^>]*>([\s\S]*?)<\/a>/;
+
+  const results = [];
+  for (let i = 0; i < startPositions.length && results.length < num; i++) {
+    const start = startPositions[i];
+    const end = i + 1 < startPositions.length ? startPositions[i + 1] : html.length;
+    const block = html.slice(start, end);
+
+    const classEnd = block.indexOf('"', BLOCK_START.length);
+    const classAttr = block.slice(BLOCK_START.length, classEnd);
+    if (classAttr.split(/\s+/).includes('result--ad')) continue;
+
+    const titleMatch = titleRe.exec(block);
+    if (!titleMatch) continue;
+    const snippetMatch = snippetRe.exec(block);
+
+    results.push({
+      title: stripTags(titleMatch[2]),
+      url: realUrlFromDdgHref(titleMatch[1]),
+      snippet: snippetMatch ? stripTags(snippetMatch[1]) : '',
+    });
+  }
+
+  if (results.length === 0) {
+    throw new Error('No result extracted: DuckDuckGo may have blocked or changed the HTML. Try again or rephrase the query.');
+  }
+
+  process.stdout.write(JSON.stringify(results, null, 2));
+}
+
+// Nunca chamar process.exit() aqui: com stdout/stderr em pipe (caso do
+// subprocess.run que consome este script), abortar o processo enquanto ainda
+// há handles assíncronos pendentes (ex.: o timer do AbortSignal.timeout do
+// fetch) pode disparar um crash nativo do libuv no Windows. Só marcar o
+// exit code e deixar o event loop drenar sozinho.
+main().catch((err) => {
+  console.error(String(err?.message ?? err));
+  process.exitCode = 1;
+});

package/web_adapters/node/open-websearch-adapter.mjs

@@ -1,77 +1,77 @@
-#!/usr/bin/env node
-// Uso: node open-websearch-adapter.mjs "consulta" [--num 8] [--engine duckduckgo]
-// Saída: JSON no stdout — [{ title, url, snippet }, ...]
-// Wrapper fino sobre o pacote npm `open-websearch` (scraping multi-engine, sem chave de
-// API) para expor o mesmo contrato dos demais adaptadores de web_search do Smart Tool
-// (ver web_search_adapters.py no smart-tool) — o CLI do pacote devolve um envelope
-// {data:{results:[...],partialFailures:[...]}} com campo `description`, não o array
-// {title,url,snippet} que este contrato exige.
-import { execFileSync } from 'node:child_process';
-import { existsSync } from 'node:fs';
-import path from 'node:path';
-import { fileURLToPath } from 'node:url';
-
-import { parseArgs } from './adapter-common.mjs';
-
-// `npm root -g`/`npx` são `.cmd` no Windows -- `execFileSync` sem shell não invoca (EINVAL),
-// e com shell:true o Node concatena argumentos sem escapar (DEP0190). O pacote fica
-// instalado ao lado deste script por `install_runtime.py`; a chamada usa o arquivo JS
-// diretamente com `process.execPath`. `OPEN_WEBSEARCH_CLI` permite diagnóstico local.
-const LOCAL_DIR = path.dirname(fileURLToPath(import.meta.url));
-const OPEN_WEBSEARCH_CLI = process.env.OPEN_WEBSEARCH_CLI || path.join(
-  LOCAL_DIR, 'node_modules', 'open-websearch', 'build', 'index.js',
-);
-
-function main() {
-  const { query, num, engine } = parseArgs(process.argv.slice(2),
-    'Usage: node open-websearch-adapter.mjs "query" [--num 8] [--engine name]', { num: 8, engine: 'duckduckgo' });
-
-  if (!existsSync(OPEN_WEBSEARCH_CLI)) {
-    throw new Error(`open-websearch is not installed (${OPEN_WEBSEARCH_CLI} does not exist); run: python install_runtime.py`);
-  }
-
-  // O banner de log do pacote vai pro stderr (confirmado ao vivo); stdout fica só com o
-  // JSON do `--json`, então captar só stdout aqui não mistura texto solto com o parse.
-  let raw;
-  try {
-    raw = execFileSync(
-      process.execPath,
-      [OPEN_WEBSEARCH_CLI, 'search', query, '--engine', engine, '--limit', String(num), '--json'],
-      { encoding: 'utf-8', timeout: 25000 },
-    );
-  } catch (err) {
-    const detail = (err.stderr || '').toString().trim();
-    throw new Error(detail || String(err.message || err));
-  }
-
-  const envelope = JSON.parse(raw);
-  if (envelope.error) {
-    throw new Error(String(envelope.error));
-  }
-
-  const results = (envelope.data?.results ?? []).slice(0, num).map((r) => ({
-    title: r.title ?? '',
-    url: r.url ?? '',
-    snippet: r.description ?? '',
-  }));
-
-  if (results.length === 0) {
-    const failures = envelope.data?.partialFailures ?? [];
-    const reason = failures.length
-      ? failures.map((f) => `${f.engine}: ${f.message}`).join('; ')
-      : 'no results';
-    throw new Error(`No result extracted (${engine}): ${reason}`);
-  }
-
-  process.stdout.write(JSON.stringify(results));
-}
-
-// Nunca process.exit() aqui: execFileSync já é síncrono (sem handle assíncrono pendente
-// no momento do catch), mas o padrão do projeto (ver ddg-search.mjs) é sempre
-// process.exitCode em vez de exit() com stdout/stderr em pipe.
-try {
-  main();
-} catch (err) {
-  console.error(String(err?.message ?? err));
-  process.exitCode = 1;
-}
+#!/usr/bin/env node
+// Uso: node open-websearch-adapter.mjs "consulta" [--num 8] [--engine duckduckgo]
+// Saída: JSON no stdout — [{ title, url, snippet }, ...]
+// Wrapper fino sobre o pacote npm `open-websearch` (scraping multi-engine, sem chave de
+// API) para expor o mesmo contrato dos demais adaptadores de web_search do Smart Tool
+// (ver web_search_adapters.py no smart-tool) — o CLI do pacote devolve um envelope
+// {data:{results:[...],partialFailures:[...]}} com campo `description`, não o array
+// {title,url,snippet} que este contrato exige.
+import { execFileSync } from 'node:child_process';
+import { existsSync } from 'node:fs';
+import path from 'node:path';
+import { fileURLToPath } from 'node:url';
+
+import { parseArgs } from './adapter-common.mjs';
+
+// `npm root -g`/`npx` são `.cmd` no Windows -- `execFileSync` sem shell não invoca (EINVAL),
+// e com shell:true o Node concatena argumentos sem escapar (DEP0190). O pacote fica
+// instalado ao lado deste script por `install_runtime.py`; a chamada usa o arquivo JS
+// diretamente com `process.execPath`. `OPEN_WEBSEARCH_CLI` permite diagnóstico local.
+const LOCAL_DIR = path.dirname(fileURLToPath(import.meta.url));
+const OPEN_WEBSEARCH_CLI = process.env.OPEN_WEBSEARCH_CLI || path.join(
+  LOCAL_DIR, 'node_modules', 'open-websearch', 'build', 'index.js',
+);
+
+function main() {
+  const { query, num, engine } = parseArgs(process.argv.slice(2),
+    'Usage: node open-websearch-adapter.mjs "query" [--num 8] [--engine name]', { num: 8, engine: 'duckduckgo' });
+
+  if (!existsSync(OPEN_WEBSEARCH_CLI)) {
+    throw new Error(`open-websearch is not installed (${OPEN_WEBSEARCH_CLI} does not exist); run: python install_runtime.py`);
+  }
+
+  // O banner de log do pacote vai pro stderr (confirmado ao vivo); stdout fica só com o
+  // JSON do `--json`, então captar só stdout aqui não mistura texto solto com o parse.
+  let raw;
+  try {
+    raw = execFileSync(
+      process.execPath,
+      [OPEN_WEBSEARCH_CLI, 'search', query, '--engine', engine, '--limit', String(num), '--json'],
+      { encoding: 'utf-8', timeout: 25000 },
+    );
+  } catch (err) {
+    const detail = (err.stderr || '').toString().trim();
+    throw new Error(detail || String(err.message || err));
+  }
+
+  const envelope = JSON.parse(raw);
+  if (envelope.error) {
+    throw new Error(String(envelope.error));
+  }
+
+  const results = (envelope.data?.results ?? []).slice(0, num).map((r) => ({
+    title: r.title ?? '',
+    url: r.url ?? '',
+    snippet: r.description ?? '',
+  }));
+
+  if (results.length === 0) {
+    const failures = envelope.data?.partialFailures ?? [];
+    const reason = failures.length
+      ? failures.map((f) => `${f.engine}: ${f.message}`).join('; ')
+      : 'no results';
+    throw new Error(`No result extracted (${engine}): ${reason}`);
+  }
+
+  process.stdout.write(JSON.stringify(results));
+}
+
+// Nunca process.exit() aqui: execFileSync já é síncrono (sem handle assíncrono pendente
+// no momento do catch), mas o padrão do projeto (ver ddg-search.mjs) é sempre
+// process.exitCode em vez de exit() com stdout/stderr em pipe.
+try {
+  main();
+} catch (err) {
+  console.error(String(err?.message ?? err));
+  process.exitCode = 1;
+}

package/web_adapters/node/package.json

@@ -1,12 +1,12 @@
-{
-  "private": true,
-  "name": "smart-tool-web-adapters",
-  "version": "0.9.0",
-  "description": "Adaptadores Node empacotados com a Smart Tool",
-  "dependencies": {
-    "@angular/compiler": "20.3.0",
-    "java-parser": "3.0.1",
-    "open-websearch": "2.1.11",
-    "typescript": "5.9.3"
-  }
-}
+{
+  "private": true,
+  "name": "smart-tool-web-adapters",
+  "version": "0.9.0",
+  "description": "Adaptadores Node empacotados com a Smart Tool",
+  "dependencies": {
+    "@angular/compiler": "20.3.0",
+    "java-parser": "3.0.1",
+    "open-websearch": "2.1.11",
+    "typescript": "5.9.3"
+  }
+}

package/web_adapters/node/wikipedia-search.mjs

@@ -1,44 +1,44 @@
-#!/usr/bin/env node
-// Uso: node wikipedia-search.mjs "consulta" [--num 8] [--lang pt]
-// Saída: JSON no stdout — [{ title, url, snippet }, ...]
-// API oficial da Wikipedia (MediaWiki `action=query&list=search`), não scraping de SERP --
-// fonte de índice genuinamente diferente dos demais adaptadores (enciclopédica, sem
-// desafio anti-bot), mas só cobre conteúdo enciclopédico -- não serve pra cotação/notícia
-// do dia, por exemplo.
-import { parseArgs, stripTags } from './adapter-common.mjs';
-
-async function main() {
-  const { query, num, lang } = parseArgs(process.argv.slice(2),
-    'Usage: node wikipedia-search.mjs "query" [--num 8] [--lang pt]', { num: 8, lang: 'pt' });
-
-  const url = `https://${lang}.wikipedia.org/w/api.php?` + new URLSearchParams({
-    action: 'query', list: 'search', format: 'json', srlimit: String(num), srsearch: query,
-  });
-  const res = await fetch(url, {
-    headers: { 'user-agent': process.env.SMART_TOOL_USER_AGENT || 'SmartTool (local MCP search tool)' },
-    signal: AbortSignal.timeout(15000),
-  });
-  if (!res.ok) {
-    throw new Error(`Wikipedia answered HTTP ${res.status}`);
-  }
-  const data = await res.json();
-  const hits = data?.query?.search ?? [];
-  if (hits.length === 0) {
-    throw new Error(`No Wikipedia (${lang}) result for this query.`);
-  }
-
-  const results = hits.slice(0, num).map((h) => ({
-    title: h.title,
-    url: `https://${lang}.wikipedia.org/wiki/${encodeURIComponent(h.title.replace(/ /g, '_'))}`,
-    snippet: stripTags(h.snippet || ''),
-  }));
-  process.stdout.write(JSON.stringify(results));
-}
-
-// Nunca process.exit() aqui: ver mesma nota em ddg-search.mjs (handle assíncrono do
-// AbortSignal.timeout ainda pendente na hora de um exit() imediato crasharia o libuv
-// no Windows) -- só marca o exit code e deixa o event loop drenar sozinho.
-main().catch((err) => {
-  console.error(String(err?.message ?? err));
-  process.exitCode = 1;
-});
+#!/usr/bin/env node
+// Uso: node wikipedia-search.mjs "consulta" [--num 8] [--lang pt]
+// Saída: JSON no stdout — [{ title, url, snippet }, ...]
+// API oficial da Wikipedia (MediaWiki `action=query&list=search`), não scraping de SERP --
+// fonte de índice genuinamente diferente dos demais adaptadores (enciclopédica, sem
+// desafio anti-bot), mas só cobre conteúdo enciclopédico -- não serve pra cotação/notícia
+// do dia, por exemplo.
+import { parseArgs, stripTags } from './adapter-common.mjs';
+
+async function main() {
+  const { query, num, lang } = parseArgs(process.argv.slice(2),
+    'Usage: node wikipedia-search.mjs "query" [--num 8] [--lang pt]', { num: 8, lang: 'pt' });
+
+  const url = `https://${lang}.wikipedia.org/w/api.php?` + new URLSearchParams({
+    action: 'query', list: 'search', format: 'json', srlimit: String(num), srsearch: query,
+  });
+  const res = await fetch(url, {
+    headers: { 'user-agent': process.env.SMART_TOOL_USER_AGENT || 'SmartTool (local MCP search tool)' },
+    signal: AbortSignal.timeout(15000),
+  });
+  if (!res.ok) {
+    throw new Error(`Wikipedia answered HTTP ${res.status}`);
+  }
+  const data = await res.json();
+  const hits = data?.query?.search ?? [];
+  if (hits.length === 0) {
+    throw new Error(`No Wikipedia (${lang}) result for this query.`);
+  }
+
+  const results = hits.slice(0, num).map((h) => ({
+    title: h.title,
+    url: `https://${lang}.wikipedia.org/wiki/${encodeURIComponent(h.title.replace(/ /g, '_'))}`,
+    snippet: stripTags(h.snippet || ''),
+  }));
+  process.stdout.write(JSON.stringify(results));
+}
+
+// Nunca process.exit() aqui: ver mesma nota em ddg-search.mjs (handle assíncrono do
+// AbortSignal.timeout ainda pendente na hora de um exit() imediato crasharia o libuv
+// no Windows) -- só marca o exit code e deixa o event loop drenar sozinho.
+main().catch((err) => {
+  console.error(String(err?.message ?? err));
+  process.exitCode = 1;
+});