@danhachuel/leadmaster 0.1.8 → 0.1.10

package/CHANGELOG.md

@@ -6,6 +6,62 @@ O formato é baseado no [Keep a Changelog](https://keepachangelog.com/pt-BR/1.1.
 A etiqueta visual de versão usa patch de dois dígitos (ex.: `0.1.00`); o registry NPM
 normaliza para a forma canônica (ex.: `0.1.0`).
 
+## [0.1.10] — 2026-11-08
+
+### Adicionado
+
+- **Extrator de Leads (Google Maps)** — primeira página dedicada de extração:
+  - Rota `POST /api/extractors/maps` (`keyword`, `location`, `limit`): sem scraper
+    configurado gera **mock de 5–10 leads** (segurança anti-bloqueio de IP);
+    com `gosom/google-maps-scraper` configurado em Ferramentas, executa o CLI
+    real com as flags de isolamento (`creationflags` da 0.1.5). Os leads são
+    salvos em `leads.json` na coluna **"Novos Leads"** e retornados na resposta.
+  - Página `frontend/src/pages/ExtratorMaps.tsx` (rota `/extrator-maps`, link no
+    menu lateral): formulário limpo (palavra-chave, localização, slider de
+    quantidade), **modal/accordion** com opções avançadas escondidas (Lei de
+    Hick), botão **"Iniciar Extração"** em gradiente (von Restorff/Fitts),
+    **barra de progresso animada** durante a extração (Zeigarnik), tabela de
+    resultados (Nome, Telefone, Localização, Avaliação) e botão **"Ir para o
+    CRM"**. A aba Maps duplicada dentro de Extratores foi removida (substituída
+    por um atalho para a página dedicada).
+
+### Corrigido
+
+- **Bug latente em `storage.import_leads`** (NameError na deduplicação) —
+  exposto pelos novos testes e corrigido; importação em massa agora funciona.
+
+### Testes
+
+- 3 novos testes pytest da rota (`backend/tests/test_maps_extractor.py`):
+  mock/persistência, limite respeitado e payload inválido (422).
+  Suíte completa: **21 passed**.
+
+## [0.1.09] — 2026-11-08
+
+### Corrigido
+
+- **Encerramento silencioso do launcher no MobaXterm (Windows)** — o app morria
+  sozinho por sinais espúrios (perda de foco/minimização) e por EPIPE ao fechar o
+  terminal. Correções no `scripts/cli.mjs`:
+  - **Keep-alive:** `setInterval(() => {}, 1000);` mantém o event loop ativo mesmo
+    sem I/O de console.
+  - **Absorção de sinais no Windows:** `SIGINT`/`SIGHUP` agora são apenas logados
+    (`[LAUNCHER] Sinal absorvido no Windows`) e **não** encerram o launcher;
+    `SIGTERM`/`SIGBREAK` (Ctrl+Break) seguem como paradas legítimas. No
+    Linux/macOS o comportamento gracioso é mantido.
+  - **Guarda da consola (anti-EPIPE):** `guardConsoleStream()` ignora erros `EPIPE`
+    no `'error'` dos streams e espelha toda a saída em
+    `storage/logs/launcher_console.log`; escrita original com exceção retorna
+    silenciosamente. Aplicada a `process.stdout`/`process.stderr` antes de
+    qualquer escrita do launcher.
+  - Isolamento mantido: worker Python com `detached: true` + `windowsHide: true`
+    (`CREATE_NEW_PROCESS_GROUP`).
+- **AGENTS.md:** nova seção *🚨 REGRA INVIOLÁVEL: ARQUITETURA DO LAUNCHER* com as
+  4 proteções obrigatórias.
+- **Gate de regressão:** `backend/tests/test_launcher_protections.py` falha se
+  keep-alive, absorção de sinais, `guardConsoleStream` ou isolamento forem
+  removidos do launcher.
+
 ## [0.1.08] — 2026-11-08
 
 ### Adicionado

package/README.md

@@ -55,7 +55,7 @@ para `http://127.0.0.1:8010` (backend de desenvolvimento).
 | **Painel** | Status da conexão, taxa de entrega, taxa de erro, total de leads; gráfico de barras (leads por etapa do CRM) e doughnut (campanhas: enviadas × erros). |
 | **Leads** | CRUD completo, importação em massa a partir dos extratores, barra de progresso de preenchimento, enriquecimento por IA. |
 | **CRM Kanban** | Drag-and-drop (@dnd-kit) nas colunas *Leads → Em contato → Proposta → Fechado*; o agente de IA sugere movimentações e enriquece os cards. |
-| **Extratores** | **Google Maps** (palavra-chave + localização, via `gosom/google-maps-scraper`), **Instagram** (URL do perfil, via `lucasoal/igmapper`) e **CNPJ** (BrasilAPI + busca por CNAE/UF + `D4Vinci/Scrapling`). Toda extração gera pré-visualização antes de importar. |
+| **Extratores** | **Google Maps** (página dedicada `ExtratorMaps`: palavra-chave + localização + quantidade, com mock de 5–10 leads para teste seguro ou scraper real `gosom/google-maps-scraper` quando configurado — leads entram direto na coluna "Novos Leads" do CRM), **Instagram** (URL do perfil, via `lucasoal/igmapper`) e **CNPJ** (BrasilAPI + busca por CNAE/UF + `D4Vinci/Scrapling`). Toda extração gera pré-visualização antes de importar. |
 | **Disparos** | Campanhas de disparo (texto/áudio) com templates configuráveis e execução via `eracle/OpenOutreach`. |
 | **Agentes** | Agente de disparo (prompts/templates) e agente de atendimento (texto via LLM ou voz via `pipecat-ai/pipecat`). |
 | **Ferramentas** | Chaves de API, URLs das integrações locais, testes de conexão — tudo salvo em `config.json` local. |

package/backend/main.py

@@ -107,16 +107,16 @@ class CampaignIn(BaseModel):
     lead_ids: list[str] = []
 
 
-class GoogleMapsIn(BaseModel):
-    palavra_chave: str = Field(min_length=2)
-    localizacao: str = Field(min_length=2)
-    max_resultados: int = 100
-
-
 class InstagramIn(BaseModel):
     profile_url: str = Field(min_length=6)
 
 
+class MapsExtractIn(BaseModel):
+    keyword: str = Field(min_length=2)
+    location: str = Field(min_length=2)
+    limit: int = 10
+
+
 class CnpjIn(BaseModel):
     cnpj: str = Field(min_length=8)
 
@@ -378,14 +378,46 @@ def remover_campanha(campaign_id: str):
 # Extratores
 # ---------------------------------------------------------------------------
 
-@app.post("/api/extract/google-maps")
-def extrair_google_maps(dados: GoogleMapsIn):
-    try:
-        return extractors.extrair_google_maps(dados.palavra_chave, dados.localizacao, dados.max_resultados)
-    except extractors.ExtratorNaoConfigurado as e:
-        raise HTTPException(400, str(e))
-    except extractors.ExtratorErro as e:
-        raise HTTPException(502, str(e))
+@app.post("/api/extractors/maps", status_code=201)
+def extrair_maps(dados: MapsExtractIn):
+    """Extrator de leads do Google Maps.
+
+    Se o scraper real (gosom/google-maps-scraper) estiver configurado em
+    Ferramentas, usa o CLI com as flags de isolamento de processos; caso
+    contrário, gera dados mockados (5 a 10 leads) para teste inicial, sem
+    risco de bloqueio de IP. Os leads são salvos em leads.json na coluna
+    "Novos Leads" (etapa inicial do Kanban).
+    """
+    conf = storage.get_config()["extratores"]
+    cli = conf.get("google_maps_cli", "")
+    max_resultados = max(1, min(dados.limit, 500))
+
+    origem = "mock"
+    aviso = ""
+    leads: list = []
+
+    if cli and Path(cli).exists():
+        try:
+            resultado = extractors.extrair_google_maps(dados.keyword, dados.location, max_resultados)
+            leads = resultado.get("leads", [])
+            if leads:
+                origem = "cli"
+            else:
+                aviso = "O scraper rodou mas não retornou leads — usando dados mockados."
+        except (extractors.ExtratorNaoConfigurado, extractors.ExtratorErro) as e:
+            aviso = f"Scraper indisponível ({e}); usando dados mockados."
+
+    if not leads:
+        leads = extractors.gerar_mock_maps(dados.keyword, dados.location, dados.limit)
+
+    importados = storage.import_leads(leads)
+    return {
+        "origem": origem,
+        "aviso": aviso,
+        "extraidos": leads,
+        "importados": importados["importados"],
+        "duplicados": len(importados["duplicados"]),
+    }
 
 
 @app.post("/api/extract/instagram")

package/backend/services/extractors.py

@@ -230,6 +230,53 @@ def enriquecer_com_site(website: str) -> dict:
     return {"saidas": resultado.stdout[-2000:]}
 
 
+# ---------------------------------------------------------------------------
+# Google Maps — mock para teste inicial (anti-bloqueio de IP)
+# ---------------------------------------------------------------------------
+
+_NOMES_MOCK = [
+    "Bella Massa", "Sabor & Cia", "Cantinho da Esquina", "Estrela do Bairro",
+    "Ponto Certo", "Casa Nova", "Primeira Opção", "Rei do Sabor", "Vila Feliz",
+    "Coracao Paulista",
+]
+
+_PREFIXOS_MOCK = ["Pizzaria", "Restaurante", "Lanches", "Comida", "Marmitaria"]
+
+
+def gerar_mock_maps(keyword: str, location: str, limit: int = 10) -> list:
+    """Gera 5 a 10 leads fictícios do Google Maps para teste inicial.
+
+    Usado quando o scraper real (gosom/google-maps-scraper) não está configurado
+    — evita bloqueios de IP nos primeiros testes. Quando o CLI está configurado,
+    `extrair_google_maps` (com flags de isolamento) é usada no lugar.
+    """
+    quantidade = max(5, min(int(limit or 10), 10))
+    leads = []
+    for i in range(quantidade):
+        primeiro = _NOMES_MOCK[i % len(_NOMES_MOCK)]
+        prefixo = _PREFIXOS_MOCK[i % len(_PREFIXOS_MOCK)]
+        nome = f"{prefixo} {primeiro}"
+        ddd = 11 + (i * 3) % 88
+        telefone = f"({ddd}) 9{1000 + i:04d}-{4000 + i:04d}"
+        slug = primeiro.lower().replace(" ", "").replace("&", "e")
+        leads.append(
+            {
+                "nome": nome,
+                "telefone": telefone,
+                "email": f"contato@{slug}.com.br",
+                "fonte": "Google Maps",
+                "etapa": "leads",
+                "empresa": nome,
+                "endereco": f"Rua das Palmeiras, {100 + i * 7} - Centro",
+                "cidade": location,
+                "score": 45 + (i * 5) % 40,
+                "tags": ["google-maps"],
+                "extras": {"avaliacao": round(4.2 + (i % 8) * 0.1, 1), "qtd_avaliacoes": 30 + i * 9},
+            }
+        )
+    return leads
+
+
 # ---------------------------------------------------------------------------
 # Utilitários de parsing tolerante
 # ---------------------------------------------------------------------------

package/backend/services/storage.py

@@ -280,8 +280,11 @@ def import_leads(novos: list, dedup: bool = True) -> dict:
     with LOCK:
         leads = list_leads()
         existentes = {
-            (l.get("telefone") or "").strip(),
-            (l.get("email") or "").strip().lower(),
+            (lead.get("telefone") or "").strip()
+            for lead in leads
+        } | {
+            (lead.get("email") or "").strip().lower()
+            for lead in leads
         }
         importados, duplicados = [], []
         for novo in novos:

package/backend/tests/test_launcher_protections.py

@@ -0,0 +1,46 @@
+"""Gate de regressão da arquitetura do launcher (scripts/cli.mjs).
+
+Lê o launcher e falha se qualquer proteção contra encerramento silencioso no
+Windows (MobaXterm) for removida:
+
+1. Keep-alive com setInterval (event loop ativo sem I/O de console);
+2. Absorção de SIGINT/SIGHUP no Windows (apenas log, sem encerrar);
+3. Função guardConsoleStream (anti-EPIPE com espelho em arquivo de log);
+4. Isolamento do worker Python (detached: true / CREATE_NEW_PROCESS_GROUP).
+"""
+
+from pathlib import Path
+
+CAMINHO = Path(__file__).resolve().parents[2] / "scripts" / "cli.mjs"
+
+
+def _conteudo() -> str:
+    assert CAMINHO.exists(), f"launcher não encontrado em {CAMINHO}"
+    return CAMINHO.read_text(encoding="utf-8")
+
+
+class TestLauncherProtections:
+    def test_keepalivo(self):
+        assert "setInterval(() => {}, 1000)" in _conteudo()
+
+    def test_absorcao_de_sinais_no_windows(self):
+        c = _conteudo()
+        assert "SIGINT" in c and "SIGTERM" in c and "SIGHUP" in c
+        assert "absorvido" in c
+
+    def test_guarda_anti_epipe(self):
+        c = _conteudo()
+        assert "guardConsoleStream" in c
+        assert "EPIPE" in c
+        assert "launcher_console.log" in c
+
+    def test_isolamento_do_worker(self):
+        c = _conteudo()
+        assert "detached: true" in c
+        assert "windowsHide: true" in c
+
+    def test_sigterm_nao_absorvido(self):
+        # SIGTERM/SIGBREAK são paradas legítimas: sempre encerram.
+        c = _conteudo()
+        assert "SIGTERM" in c and "SIGBREAK" in c
+        assert "naoAbsorver" in c

package/backend/tests/test_maps_extractor.py

@@ -0,0 +1,45 @@
+"""Testes do Extrator de Leads (Google Maps) — POST /api/extractors/maps.
+
+Sem scraper configurado, a rota gera mock (5–10 leads) e persiste em
+leads.json na coluna "Novos Leads". LEADMASTER_HOME em diretório temporário.
+"""
+
+import pytest
+from fastapi.testclient import TestClient
+
+import main
+
+
+@pytest.fixture()
+def client(tmp_path, monkeypatch):
+    monkeypatch.setenv("LEADMASTER_HOME", str(tmp_path))
+    with TestClient(main.app) as c:
+        yield c
+
+
+def test_mock_gera_e_persiste(client):
+    antes = len(client.get("/api/crm/leads").json())
+    r = client.post("/api/extractors/maps", json={"keyword": "pizzaria", "location": "São Paulo, SP", "limit": 10})
+    assert r.status_code == 201
+    corpo = r.json()
+    assert corpo["origem"] == "mock"
+    assert 5 <= len(corpo["importados"]) <= 10
+
+    for lead in corpo["importados"]:
+        assert lead["fonte"] == "Google Maps"
+        assert lead["etapa"] == "leads"  # coluna "Novos Leads"
+        assert lead["nome"] and lead["telefone"]
+
+    depois = client.get("/api/crm/leads").json()
+    assert len(depois) == antes + len(corpo["importados"])
+
+
+def test_limit_respeitado(client):
+    r = client.post("/api/extractors/maps", json={"keyword": "dentista", "location": "Rio de Janeiro, RJ", "limit": 7})
+    assert r.status_code == 201
+    assert len(r.json()["importados"]) == 7
+
+
+def test_payload_invalido(client):
+    r = client.post("/api/extractors/maps", json={"keyword": "x"})
+    assert r.status_code == 422