@danhachuel/leadmaster 0.1.13 → 0.1.14

package/CHANGELOG.md

@@ -37,6 +37,45 @@ normaliza para a forma canônica (ex.: `0.1.0`).
    falha se `process.stdin.resume();` desaparecer, se `.unref()` aparecer, se o
    ciclo de vida vinculado for removido ou se os handlers globais sumirem.
 
+## [0.1.14] — 2026-11-08
+
+### Adicionado
+
+- **Extrator de Leads (CNPJ) — terceira fonte dedicada, leads B2B:**
+  - Rota `POST /api/extractors/cnpj` (`cnae`, `uf`, `limit`): enquanto o provedor
+    de busca em Ferramentas → Extratores for o placeholder padrão, gera **mock de
+    5–10 empresas fictícias** (nome fantasia, CNPJ formatado, telefone/e-mail,
+    porte e capital social em `extras`) — estabilidade e anti-bloqueio nesta
+    fase. Com URL de provedor real configurada, consulta o provedor
+    (`buscar_cnpj_cnae`, parser tolerante) e **degrada para mock** em falha ou
+    rate-limit, com aviso acionável. Leads salvos em `leads.json` na coluna
+    **"Novos Leads"** e retornados na resposta (`extraidos`, `importados`,
+    `duplicados`, `origem`).
+  - Página `frontend/src/pages/ExtratorCNPJ.tsx` (rota `/extrator-cnpj`, link no
+    menu lateral): campo **CNAE**, **dropdown de UF** (27 estados), slider de
+    quantidade (5–10), botão **"Iniciar Extração"** em gradiente
+    (von Restorff/Fitts), **barra de progresso animada** "Buscando empresas..."
+    (Zeigarnik), tabela de resultados (Nome Fantasia, CNPJ, Cidade/UF,
+    Telefone, Fonte) e botão **"Ir para o CRM"**. Opções avançadas (porte da
+    empresa, capital social mínimo) escondidas em accordion (Lei de Hick) —
+    aplicam-se ao provedor real.
+  - **Consulta avulsa por CNPJ** (BrasilAPI) preservada dentro da nova página:
+    consulta e importa uma empresa específica para "Novos Leads".
+  - `frontend/src/pages/Extratores.tsx` virou hub de atalhos para as três
+    páginas dedicadas (Maps, Instagram, CNPJ) — aba CNPJ removida, mesmo
+    padrão das outras fontes.
+- **Testes:** `backend/tests/test_cnpj_extractor.py` — mock gera e persiste
+  (fonte/etapa/campos), limite respeitado, UF normalizada (minúscula → "MG") e
+  payload inválido (422). Suíte completa: **31 passed**.
+
+### Auditoria
+
+- **0.1.13 (versão anterior):** Extrator Instagram entregue na 0.1.12 por sessão
+  simultânea — auditado contra a especificação (rota `POST /api/extractors/instagram`,
+  mock 5–10, página `/extrator-instagram`, accordion avançado, testes) **sem
+  alterações necessárias**; versão dinâmica na sidebar (`__APP_VERSION__`) e
+  consolidação do `process.on('exit')` do launcher conferidos e verdes.
+
 ## [0.1.13] — 2026-11-08
 
 ### Adicionado

package/backend/main.py

@@ -132,6 +132,12 @@ class CnpjSearchIn(BaseModel):
     quantidade: int = 20
 
 
+class CnpjExtractIn(BaseModel):
+    cnae: str = Field(min_length=2)
+    uf: str = Field(min_length=2)
+    limit: int = 10
+
+
 class ChatIn(BaseModel):
     mensagens: list[dict]
 
@@ -423,6 +429,47 @@ def extrair_instagram_endpoint(dados: InstagramExtractIn):
     }
 
 
+@app.post("/api/extractors/cnpj", status_code=201)
+def extrair_cnpj_endpoint(dados: CnpjExtractIn):
+    """Extrator de leads B2B (empresas) por CNAE + UF.
+
+    Enquanto o provedor de busca em Ferramentas → Extratores for o placeholder
+    padrão, gera mock de 5–10 empresas fictícias (nome fantasia, CNPJ,
+    telefone/e-mail) — estabilidade e anti-bloqueio nesta fase. Com uma URL de
+    provedor real configurada, consulta o provedor e degrada para mock em
+    falha ou rate-limit. Leads salvos em leads.json na coluna "Novos Leads".
+    """
+    conf = storage.get_config()["extratores"]
+    provedor = (conf.get("cnpj_provedor_busca") or "").strip()
+
+    origem = "mock"
+    aviso = ""
+    leads: list = []
+
+    if provedor and provedor != extractors.CNPJ_PROVEDOR_PADRAO:
+        try:
+            resultado = extractors.buscar_cnpj_cnae(dados.cnae, dados.uf, dados.limit)
+            leads = resultado.get("leads", [])
+            if leads:
+                origem = "provedor"
+            else:
+                aviso = "O provedor de busca não retornou leads — usando dados mockados."
+        except extractors.ExtratorErro as e:
+            aviso = f"Provedor de busca indisponível ({e}); usando dados mockados."
+
+    if not leads:
+        leads = extractors.gerar_mock_cnpj(dados.cnae, dados.uf, dados.limit)
+
+    importados = storage.import_leads(leads)
+    return {
+        "origem": origem,
+        "aviso": aviso,
+        "extraidos": leads,
+        "importados": importados["importados"],
+        "duplicados": len(importados["duplicados"]),
+    }
+
+
 @app.post("/api/extractors/maps", status_code=201)
 def extrair_maps(dados: MapsExtractIn):
     """Extrator de leads do Google Maps.

package/backend/services/extractors.py

@@ -109,6 +109,12 @@ def extrair_instagram(profile_url: str) -> dict:
 # CNPJ — consulta direta (BrasilAPI) e busca por CNAE/UF (provedor configurável)
 # ---------------------------------------------------------------------------
 
+# Placeholder do provedor de busca: enquanto a URL em Ferramentas → Extratores
+# for este valor, o extrator trabalha em modo MOCK (5–10 empresas fictícias) —
+# estabilidade e anti-bloqueio nesta fase. URL diferente = provedor real.
+CNPJ_PROVEDOR_PADRAO = "https://api.opencnpj.org"
+
+
 def _so_digitos(texto: str) -> str:
     return "".join(c for c in texto or "" if c.isdigit())
 
@@ -160,7 +166,7 @@ def buscar_cnpj_cnae(cnae: str, uf: str, quantidade: int = 20) -> dict:
     {"data": ...} e vários nomes de campos).
     """
     conf = _conf()
-    base = (conf.get("cnpj_provedor_busca") or "https://api.opencnpj.org").rstrip("/")
+    base = (conf.get("cnpj_provedor_busca") or CNPJ_PROVEDOR_PADRAO).rstrip("/")
     params = {"cnae": _so_digitos(cnae), "uf": uf.strip().upper(), "quantidade": str(max(1, min(quantidade, 100)))}
     try:
         r = httpx.get(base, params=params, timeout=60)
@@ -205,6 +211,67 @@ def buscar_cnpj_cnae(cnae: str, uf: str, quantidade: int = 20) -> dict:
     return {"leads": leads, "provedor": base}
 
 
+# ---------------------------------------------------------------------------
+# CNPJ — mock para teste inicial (empresas fictícias por CNAE/UF)
+# ---------------------------------------------------------------------------
+
+_FANTASIAS_MOCK = [
+    "Tecno", "Solar", "Sabores", "Constrular", "Saúde Viva",
+    "Agro Forte", "Moda Urbana", "Log Mais", "Clean House", "InfoSul",
+]
+
+_SUFIXOS_MOCK = ["Ltda", "Serviços", "Comércio", "Indústria", "Tech", "Soluções"]
+
+_PORTES_MOCK = ["ME", "EPP", "Médio", "Grande"]
+
+_CIDADES_MOCK = ["São Paulo", "Campinas", "Santos", "Ribeirão Preto", "Sorocaba", "São José dos Campos"]
+
+
+def gerar_mock_cnpj(cnae: str, uf: str, limit: int = 10) -> list:
+    """Gera 5 a 10 empresas fictícias (leads B2B) por CNAE + UF para teste.
+
+    Usado enquanto o provedor de busca por CNAE não estiver configurado com uma
+    URL real em Ferramentas → Extratores — evita bloqueios e garante
+    estabilidade nesta fase. Com provedor real configurado, `buscar_cnpj_cnae`
+    é usada no lugar (degradação graciosa para mock em falha/rate-limit).
+    """
+    quantidade = max(5, min(int(limit or 10), 10))
+    uf = (uf or "SP").strip().upper()[:2]
+    cnae_limpo = _so_digitos(cnae)
+    cnae_fmt = (cnae or "").strip() or (f"{cnae_limpo[:4]}-{cnae_limpo[4:5]}/{cnae_limpo[5:]}" if cnae_limpo else "6201-5/00")
+    leads = []
+    for i in range(quantidade):
+        fantasia = f"{_FANTASIAS_MOCK[i % len(_FANTASIAS_MOCK)]} {_SUFIXOS_MOCK[i % len(_SUFIXOS_MOCK)]}"
+        raiz = 10_000_000 + i * 1_373
+        ordem = f"{raiz:08d}0001{10 + i:02d}"
+        cnpj = f"{ordem[:2]}.{ordem[2:5]}.{ordem[5:8]}/{ordem[8:12]}-{ordem[12:]}"
+        ddd = 11 + (i * 7) % 88
+        capital = round(50_000 + i * 137_500, -3)
+        leads.append(
+            {
+                "nome": fantasia,
+                "empresa": fantasia,
+                "cnpj": cnpj,
+                "telefone": f"({ddd}) 3{2000 + i:04d}-{3000 + i:04d}",
+                "email": f"contato@{fantasia.split()[0].lower()}{i + 1}.com.br",
+                "endereco": f"Avenida Central, {100 + i * 13} - Centro",
+                "cidade": f"{_CIDADES_MOCK[i % len(_CIDADES_MOCK)]}/{uf}",
+                "fonte": "CNPJ",
+                "etapa": "leads",
+                "score": 45 + (i * 5) % 45,
+                "tags": ["cnpj", "b2b"],
+                "extras": {
+                    "porte": _PORTES_MOCK[i % len(_PORTES_MOCK)],
+                    "capital_social": capital,
+                    "cnae": cnae_fmt,
+                    "municipio": _CIDADES_MOCK[i % len(_CIDADES_MOCK)],
+                    "uf": uf,
+                },
+            }
+        )
+    return leads
+
+
 def enriquecer_com_site(website: str) -> dict:
     """Scraping profundo de contatos no site da empresa, via Scrapling (opcional)."""
     conf = _conf()

package/backend/tests/test_cnpj_extractor.py

@@ -0,0 +1,64 @@
+"""Testes do Extrator de Leads (CNPJ) — POST /api/extractors/cnpj.
+
+Sem provedor de busca configurado (placeholder padrão), a rota gera mock de
+5–10 empresas fictícias e persiste em leads.json na coluna "Novos Leads".
+LEADMASTER_HOME em diretório temporário.
+"""
+
+from fastapi.testclient import TestClient
+
+import main
+
+
+def _client(tmp_path, monkeypatch):
+    monkeypatch.setenv("LEADMASTER_HOME", str(tmp_path))
+    return TestClient(main.app)
+
+
+def test_mock_gera_e_persiste(tmp_path, monkeypatch):
+    with _client(tmp_path, monkeypatch) as client:
+        antes = len(client.get("/api/crm/leads").json())
+        r = client.post(
+            "/api/extractors/cnpj",
+            json={"cnae": "6201-5/01", "uf": "SP", "limit": 10},
+        )
+        assert r.status_code == 201
+        corpo = r.json()
+        assert corpo["origem"] == "mock"
+        assert 5 <= len(corpo["importados"]) <= 10
+
+        for lead in corpo["importados"]:
+            assert lead["fonte"] == "CNPJ"
+            assert lead["etapa"] == "leads"  # coluna "Novos Leads"
+            assert lead["nome"] and lead["cnpj"] and lead["telefone"]
+            assert "/SP" in lead["cidade"]
+
+        depois = client.get("/api/crm/leads").json()
+        assert len(depois) == antes + len(corpo["importados"])
+
+
+def test_limit_respeitado(tmp_path, monkeypatch):
+    with _client(tmp_path, monkeypatch) as client:
+        r = client.post(
+            "/api/extractors/cnpj",
+            json={"cnae": "6202-3/01", "uf": "RJ", "limit": 6},
+        )
+        assert r.status_code == 201
+        assert len(r.json()["importados"]) == 6
+
+
+def test_uf_normalizada(tmp_path, monkeypatch):
+    with _client(tmp_path, monkeypatch) as client:
+        r = client.post(
+            "/api/extractors/cnpj",
+            json={"cnae": "4711-3/02", "uf": "mg", "limit": 5},
+        )
+        assert r.status_code == 201
+        leads = r.json()["importados"]
+        assert all("/MG" in lead["cidade"] for lead in leads)
+
+
+def test_payload_invalido(tmp_path, monkeypatch):
+    with _client(tmp_path, monkeypatch) as client:
+        r = client.post("/api/extractors/cnpj", json={"uf": "SP", "limit": 5})
+        assert r.status_code == 422