@dataif/cli 0.1.0

package/scripts/build-template.mjs

@@ -0,0 +1,72 @@
+#!/usr/bin/env node
+import fs from "node:fs";
+import path from "node:path";
+import { fileURLToPath } from "node:url";
+
+const __dirname = path.dirname(fileURLToPath(import.meta.url));
+const packageRoot = path.resolve(__dirname, "..");
+const repoRoot = path.resolve(packageRoot, "..", "..");
+const templateRoot = path.join(packageRoot, "templates", "dataif");
+
+const entries = [
+  "infra",
+  "pipelines",
+  "scripts",
+  "services",
+  "sql",
+  "README.md"
+];
+
+const ignoredNames = new Set([
+  ".env",
+  ".git",
+  ".pytest_cache",
+  "__pycache__",
+  "node_modules",
+  "dist",
+  "build",
+  ".DS_Store"
+]);
+
+function shouldCopy(src) {
+  const name = path.basename(src);
+  if (ignoredNames.has(name)) {
+    return false;
+  }
+  if (name.endsWith(".pyc")) {
+    return false;
+  }
+  return true;
+}
+
+function copyRecursive(src, dest) {
+  if (!shouldCopy(src)) {
+    return;
+  }
+
+  const stat = fs.statSync(src);
+  if (stat.isDirectory()) {
+    fs.mkdirSync(dest, { recursive: true });
+    for (const entry of fs.readdirSync(src)) {
+      copyRecursive(path.join(src, entry), path.join(dest, entry));
+    }
+    return;
+  }
+
+  fs.mkdirSync(path.dirname(dest), { recursive: true });
+  fs.copyFileSync(src, dest);
+  fs.chmodSync(dest, stat.mode);
+}
+
+fs.rmSync(templateRoot, { recursive: true, force: true });
+fs.mkdirSync(templateRoot, { recursive: true });
+
+for (const entry of entries) {
+  const src = path.join(repoRoot, entry);
+  if (!fs.existsSync(src)) {
+    throw new Error(`Arquivo esperado nao encontrado: ${src}`);
+  }
+  copyRecursive(src, path.join(templateRoot, entry));
+}
+
+console.log(`Template DataIF gerado em ${templateRoot}`);

package/templates/dataif/README.md

@@ -0,0 +1,157 @@
+# dataif
+
+Plataforma conteinerizada para ingestão de dados governamentais em PostgreSQL, com operacao administrativa via API e UI, ingestão no Airflow, dashboards no Metabase e consulta assistida via Vanna.
+
+## Estado atual da PNP
+- O conector da Plataforma Nilo Pecanha opera somente em `powerbi_microdados`.
+- A origem principal e o relatorio publico do Power BI com os links de microdados.
+- O fluxo legado com browser assistido foi removido da trilha operacional.
+- O Airflow ficou restrito a validar fontes e carregar dados na camada `raw`.
+- O tratamento analitico posterior em `staging` e a publicacao em `curated` acontecem manualmente via SGBD, fora do Airflow.
+
+## Stack
+- PostgreSQL
+- Apache Airflow
+- FastAPI
+- React + Vite
+- Metabase 60
+- Vanna
+- Keycloak
+
+## Estrutura
+- `infra/`: Docker Compose, imagens e bootstrap da stack
+- `pipelines/`: DAGs e conectores
+- `services/api/`: API administrativa e embeds
+- `services/web/`: frontend React
+- `services/vanna/`: servico de NL2SQL
+- `sql/`: schemas, tabelas e views curadas
+- `docs/`: arquitetura e material de apoio
+
+## Subida rapida
+1. `./scripts/deploy.sh stg`
+2. Para producao local em nova maquina: `./scripts/deploy.sh prod`
+3. Acessos padrao:
+   - Staging Web: `http://localhost:15173`
+   - Producao Web: porta definida no configurador
+   - API: `/api` via Web ou porta configurada
+   - Airflow via Web: `/airflow/`
+   - Metabase via Web: `/metabase/`
+
+Versao padrao do Metabase:
+- `METABASE_IMAGE_TAG=v0.60.1`
+
+## Instalador npm
+
+Tambem existe uma CLI npm para preparar uma maquina nova sem exigir que o usuario conheca os scripts internos:
+
+```bash
+npx @dataif/cli install
+npx @dataif/cli deploy
+```
+
+O instalador cria uma copia local da stack em `~/.dataif/current`, valida Docker/Docker Compose, coleta as credenciais de forma interativa e entao sobe os containers. Para usar uma pasta especifica:
+
+```bash
+npx @dataif/cli install --dir ./dataif-local
+npx @dataif/cli deploy --dir ./dataif-local --mode prod
+```
+
+Durante o desenvolvimento do pacote:
+
+```bash
+cd packages/dataif-cli
+npm run smoke
+npm pack --dry-run
+```
+
+## Guia de uso local
+
+Pre-requisitos:
+- Docker Engine com Docker Compose v2
+- 6 GB de RAM livres para stack basica
+- 12 GB de RAM livres se usar Ollama local
+
+Subir ambiente de teste/staging:
+
+```bash
+./scripts/deploy.sh stg
+```
+
+Esse modo usa `infra/.env.stg.example`, cria `infra/.env` com valores presetados e sobe a mesma stack Docker do projeto. Use para desenvolvimento, testes e demonstracoes locais. Para recriar `infra/.env` de staging:
+
+```bash
+DATAIF_FORCE_ENV=true ./scripts/deploy.sh stg
+```
+
+Subir producao local em nova maquina:
+
+```bash
+./scripts/deploy.sh prod
+```
+
+Esse modo usa `infra/.env.example` apenas como template versionado, chama `scripts/configure-env.sh`, gera segredos e grava `infra/.env`. Nao edite `infra/.env.example` para uma instancia real. Configure senhas e `METABASE_EMBED_SECRET` antes do primeiro `up`, pois o Postgres inicializa usuarios somente na criacao do volume.
+
+Validar configuração sem subir:
+
+```bash
+cd infra
+docker compose --env-file .env config >/dev/null
+```
+
+Ativar LLM local com Ollama:
+
+```bash
+./scripts/deploy.sh stg --llm
+# ou
+./scripts/deploy.sh prod --llm
+```
+
+Refazer do zero na maquina local:
+
+```bash
+cd infra
+docker compose --env-file .env down -v
+cd ..
+./scripts/deploy.sh stg
+```
+
+Depois da instalacao, o provider/modelo do Vanna pode ser ajustado pela tela `Configurações Admin`. Sem Ollama ativo e sem chave Maritaca, o servico Vanna permanece disponivel, mas respostas por LLM ficam indisponiveis ate configurar um provider.
+
+## Fluxo de dados da PNP
+1. O admin acessa a area administrativa via Keycloak.
+2. A UI consulta o catalogo publico da PNP no Power BI.
+3. O admin cria uma conexão selecionando anos, tipos e cron.
+4. O Airflow dispara a validação ou a ingestão da instancia.
+5. O conector baixa os arquivos publicos, grava manifestos em `raw.nilo_pecanha_assets` e linhas parseadas em `raw.nilo_pecanha_records`.
+6. O tratamento de `raw` para `staging` e a promocao final para `curated` sao feitos manualmente via SGBD.
+7. Metabase e Vanna consomem a camada `curated`.
+
+## Vanna AI local
+O Vanna usa apenas relacoes qualificadas no schema `curated` e e chamado pela tela `Inicio`.
+
+Para usar LLM local com Ollama:
+
+```bash
+./scripts/use-vanna-ollama.sh
+```
+
+O comando define `VANNA_LLM_PROVIDER=ollama`, preserva `VANNA_MARITACA_API_KEY`, sobe o servico Ollama, carrega/importa o modelo configurado e reinicia o Vanna. Use `./scripts/use-vanna-ollama.sh --no-bootstrap` quando o modelo ja existir no Ollama e voce quiser pular apenas o bootstrap.
+
+Mantenha `VANNA_ALLOWED_SCHEMA=curated`; novas tabelas, views e materialized views em `curated` entram no treinamento quando o `vanna_user` tiver `SELECT`.
+
+A configuração efetiva de provider/modelo tambem pode ser ajustada pela tela `Configurações Admin`. Os overrides ficam persistidos em banco e passam a valer sem editar `.env`; o `.env` continua como bootstrap inicial para credenciais, portas e valores default.
+
+Tambem e possivel usar a API da Maritaca com `VANNA_LLM_PROVIDER=maritaca`, `VANNA_MARITACA_API_KEY` e `VANNA_MARITACA_MODEL=sabia-4`. O modelo Sabiá local via Ollama/GGUF continua opcional e nao e redistribuido nas imagens DockerHub do projeto.
+
+## Admins e Metabase
+A tela `Configurações Admin` cria e remove usuarios administrativos em dois sistemas:
+
+- Keycloak, como identidade de login do produto
+- Metabase, como administradores da instancia analitica
+
+O vinculo entre eles usa o email do usuario. Se a criacao no Metabase falhar, a API tenta desfazer a criacao correspondente no Keycloak para evitar estado parcial.
+
+## Observacoes
+- O armazenamento operacional continua em `config.connector_endpoints`.
+- O frontend ja foi reorganizado em paginas de `Inicio`, `Pipelines`, `Conexoes`, `Dashboards` e `SQL`.
+- A documentacao em `docs/` descreve o fluxo oficial atual: `Power BI -> Airflow -> raw`, com `staging` e `curated` fora da orquestração.

package/templates/dataif/infra/.env.example

@@ -0,0 +1,119 @@
+# Imagens
+COMPOSE_PROJECT_NAME=dataif
+DATAIF_IMAGE_REGISTRY=docker.io/dataif
+DATAIF_IMAGE_TAG=latest
+
+POSTGRES_HOST=postgres
+# Postgres
+POSTGRES_PORT=5432
+POSTGRES_EXPOSE_PORT=5433
+POSTGRES_SUPERUSER=postgres
+POSTGRES_SUPERUSER_PASSWORD=postgres
+
+# Bancos
+DATAIF_DB_NAME=dataif
+AIRFLOW_DB_NAME=airflow
+METABASE_APP_DB_NAME=metabaseapp
+
+# Usuarios banco
+DATAIF_ETL_USER=etl_user
+DATAIF_ETL_PASSWORD=etl_password
+DATAIF_METABASE_USER=metabase_user
+DATAIF_METABASE_PASSWORD=metabase_password
+DATAIF_VANNA_USER=vanna_user
+DATAIF_VANNA_PASSWORD=vanna_password
+AIRFLOW_DB_USER=airflow
+AIRFLOW_DB_PASSWORD=airflow
+METABASE_APP_DB_USER=metabase_app
+METABASE_APP_DB_PASSWORD=metabase_app
+
+# Airflow
+AIRFLOW_UID=50000
+AIRFLOW_ADMIN_USER=admin
+AIRFLOW_ADMIN_PASSWORD=admin
+AIRFLOW_ADMIN_EMAIL=admin@dataif.local
+AIRFLOW_API_URL=http://airflow-webserver:8080
+
+# Metabase
+METABASE_SITE_URL=http://localhost:5173/metabase
+METABASE_API_URL=http://metabase:3000
+METABASE_IMAGE_TAG=v0.60.1
+METABASE_EMBED_SECRET=replace_with_secure_secret
+METABASE_ALLOWED_DASHBOARD_IDS=2
+METABASE_DEFAULT_DASHBOARD_ID=2
+METABASE_ADMIN_EMAIL=admin@dataif.local
+METABASE_ADMIN_PASSWORD=admin
+METABASE_ADMIN_FIRST_NAME=DataIF
+METABASE_ADMIN_LAST_NAME=Metabase
+METABASE_SITE_NAME=dataif
+METABASE_ALLOW_TRACKING=false
+
+# Keycloak
+KEYCLOAK_URL=http://keycloak:8080
+KEYCLOAK_REALM=dataif
+KEYCLOAK_CLIENT_ID=dataif-web
+KEYCLOAK_AUDIENCE=dataif-api
+KEYCLOAK_ADMIN_REALM=master
+KEYCLOAK_ADMIN_CLIENT_ID=admin-cli
+KEYCLOAK_ADMIN=admin
+KEYCLOAK_ADMIN_PASSWORD=admin
+
+# Portas
+API_PORT=8000
+WEB_PORT=5173
+AIRFLOW_PORT=8088
+CONNECTOR_AUTH_WEB_PORT=5174
+AUTH_WORKER_PORT=8090
+AUTH_WORKER_VNC_PORT=5900
+AUTH_WORKER_NOVNC_PORT=6080
+METABASE_PORT=3000
+KEYCLOAK_PORT=8081
+VANNA_PORT=9000
+
+# Vanna
+VANNA_LLM_PROVIDER=ollama
+VANNA_OLLAMA_BASE_URL=http://ollama:11434
+VANNA_OLLAMA_MODEL=sabia-7b
+VANNA_MARITACA_API_URL=https://chat.maritaca.ai/api/chat/completions
+VANNA_MARITACA_API_KEY=
+VANNA_MARITACA_MODEL=sabia-4
+VANNA_MARITACA_TIMEOUT_SECONDS=60
+VANNA_VECTORSTORE_PATH=/data/vanna/chroma
+VANNA_AUTO_TRAIN=true
+VANNA_ALLOWED_SCHEMA=curated
+ALLOWED_CURATED_VIEWS=
+VANNA_MAX_ROWS=200
+
+# Ollama
+OLLAMA_IMAGE_TAG=latest
+OLLAMA_PORT=11434
+OLLAMA_MEM_LIMIT=8192m
+OLLAMA_MODEL_BOOTSTRAP_ENABLED=true
+OLLAMA_MODEL_NAME=sabia-7b
+OLLAMA_MODEL_GGUF_URL=https://huggingface.co/QuantFactory/sabia-7b-GGUF/resolve/main/sabia-7b.Q4_K_M.gguf
+OLLAMA_MODEL_GGUF_FILE=sabia-7b.Q4_K_M.gguf
+HF_TOKEN=
+
+# PNP
+NILO_PECANHA_ENDPOINT=https://dadosabertos.example.gov.br/nilo-pecanha
+NILO_PAGE_SIZE=500
+NILO_MAX_PAGES=100
+NILO_TIMEOUT_SECONDS=60
+
+# Auth worker
+AUTH_SESSION_TTL_SECONDS=21600
+NILO_CRAWLER_SELENIUM_ENABLED=true
+NILO_CRAWLER_SELENIUM_REMOTE_URL=http://selenium:4444/wd/hub
+NILO_CRAWLER_SELENIUM_TIMEOUT_SECONDS=45
+AUTH_WORKER_HEADLESS=false
+AUTH_WORKER_STORAGE_DIR=/data/auth-worker
+AUTH_WORKER_NAVIGATION_TIMEOUT_MS=45000
+AUTH_WORKER_SCREEN_GEOMETRY=1440x960x24
+AUTH_WORKER_PUBLIC_BASE_URL=http://localhost:6080
+AUTH_WORKER_BROWSER_LOCALE=pt-BR
+AUTH_WORKER_BROWSER_TIMEZONE=America/Sao_Paulo
+AUTH_WORKER_EXTRA_ARGS=--disable-blink-features=AutomationControlled
+AUTH_WORKER_EXTERNAL_CDP_URL=
+
+# Selenium
+SELENIUM_PORT=4444

package/templates/dataif/infra/.env.stg.example

@@ -0,0 +1,119 @@
+# Imagens
+COMPOSE_PROJECT_NAME=dataif-stg
+DATAIF_IMAGE_REGISTRY=docker.io/dataif
+DATAIF_IMAGE_TAG=latest
+
+# Postgres
+POSTGRES_HOST=postgres
+POSTGRES_PORT=5432
+POSTGRES_EXPOSE_PORT=15433
+POSTGRES_SUPERUSER=postgres
+POSTGRES_SUPERUSER_PASSWORD=postgres_stg
+
+# Bancos
+DATAIF_DB_NAME=dataif
+AIRFLOW_DB_NAME=airflow
+METABASE_APP_DB_NAME=metabaseapp
+
+# Usuarios banco
+DATAIF_ETL_USER=etl_user
+DATAIF_ETL_PASSWORD=etl_password_stg
+DATAIF_METABASE_USER=metabase_user
+DATAIF_METABASE_PASSWORD=metabase_password_stg
+DATAIF_VANNA_USER=vanna_user
+DATAIF_VANNA_PASSWORD=vanna_password_stg
+AIRFLOW_DB_USER=airflow
+AIRFLOW_DB_PASSWORD=airflow_stg
+METABASE_APP_DB_USER=metabase_app
+METABASE_APP_DB_PASSWORD=metabase_app_stg
+
+# Airflow
+AIRFLOW_UID=50000
+AIRFLOW_ADMIN_USER=admin
+AIRFLOW_ADMIN_PASSWORD=admin_stg
+AIRFLOW_ADMIN_EMAIL=admin-stg@dataif.local
+AIRFLOW_API_URL=http://airflow-webserver:8080
+
+# Metabase
+METABASE_SITE_URL=http://localhost:15173/metabase
+METABASE_API_URL=http://metabase:3000
+METABASE_IMAGE_TAG=v0.60.1
+METABASE_EMBED_SECRET=stg_embed_secret_change_if_shared
+METABASE_ALLOWED_DASHBOARD_IDS=2
+METABASE_DEFAULT_DASHBOARD_ID=2
+METABASE_ADMIN_EMAIL=admin-stg@dataif.local
+METABASE_ADMIN_PASSWORD=admin_stg
+METABASE_ADMIN_FIRST_NAME=DataIF
+METABASE_ADMIN_LAST_NAME=Staging
+METABASE_SITE_NAME=dataif-stg
+METABASE_ALLOW_TRACKING=false
+
+# Keycloak
+KEYCLOAK_URL=http://keycloak:8080
+KEYCLOAK_REALM=dataif
+KEYCLOAK_CLIENT_ID=dataif-web
+KEYCLOAK_AUDIENCE=dataif-api
+KEYCLOAK_ADMIN_REALM=master
+KEYCLOAK_ADMIN_CLIENT_ID=admin-cli
+KEYCLOAK_ADMIN=admin
+KEYCLOAK_ADMIN_PASSWORD=admin_stg
+
+# Portas
+API_PORT=18000
+WEB_PORT=15173
+AIRFLOW_PORT=18088
+CONNECTOR_AUTH_WEB_PORT=15174
+AUTH_WORKER_PORT=18090
+AUTH_WORKER_VNC_PORT=15900
+AUTH_WORKER_NOVNC_PORT=16080
+METABASE_PORT=13000
+KEYCLOAK_PORT=18081
+VANNA_PORT=19000
+
+# Vanna
+VANNA_LLM_PROVIDER=ollama
+VANNA_OLLAMA_BASE_URL=http://ollama:11434
+VANNA_OLLAMA_MODEL=sabia-7b
+VANNA_MARITACA_API_URL=https://chat.maritaca.ai/api/chat/completions
+VANNA_MARITACA_API_KEY=
+VANNA_MARITACA_MODEL=sabia-4
+VANNA_MARITACA_TIMEOUT_SECONDS=60
+VANNA_VECTORSTORE_PATH=/data/vanna/chroma
+VANNA_AUTO_TRAIN=true
+VANNA_ALLOWED_SCHEMA=curated
+ALLOWED_CURATED_VIEWS=
+VANNA_MAX_ROWS=200
+
+# Ollama
+OLLAMA_IMAGE_TAG=latest
+OLLAMA_PORT=11134
+OLLAMA_MEM_LIMIT=8192m
+OLLAMA_MODEL_BOOTSTRAP_ENABLED=true
+OLLAMA_MODEL_NAME=sabia-7b
+OLLAMA_MODEL_GGUF_URL=https://huggingface.co/QuantFactory/sabia-7b-GGUF/resolve/main/sabia-7b.Q4_K_M.gguf
+OLLAMA_MODEL_GGUF_FILE=sabia-7b.Q4_K_M.gguf
+HF_TOKEN=
+
+# PNP
+NILO_PECANHA_ENDPOINT=https://dadosabertos.example.gov.br/nilo-pecanha
+NILO_PAGE_SIZE=500
+NILO_MAX_PAGES=100
+NILO_TIMEOUT_SECONDS=60
+
+# Auth worker
+AUTH_SESSION_TTL_SECONDS=21600
+NILO_CRAWLER_SELENIUM_ENABLED=true
+NILO_CRAWLER_SELENIUM_REMOTE_URL=http://selenium:4444/wd/hub
+NILO_CRAWLER_SELENIUM_TIMEOUT_SECONDS=45
+AUTH_WORKER_HEADLESS=false
+AUTH_WORKER_STORAGE_DIR=/data/auth-worker
+AUTH_WORKER_NAVIGATION_TIMEOUT_MS=45000
+AUTH_WORKER_SCREEN_GEOMETRY=1440x960x24
+AUTH_WORKER_PUBLIC_BASE_URL=http://localhost:16080
+AUTH_WORKER_BROWSER_LOCALE=pt-BR
+AUTH_WORKER_BROWSER_TIMEZONE=America/Sao_Paulo
+AUTH_WORKER_EXTRA_ARGS=--disable-blink-features=AutomationControlled
+AUTH_WORKER_EXTERNAL_CDP_URL=
+
+# Selenium
+SELENIUM_PORT=14444

package/templates/dataif/infra/airflow/Dockerfile

@@ -0,0 +1,11 @@
+FROM apache/airflow:2.9.3-python3.11
+
+USER root
+RUN apt-get update \
+    && apt-get install -y --no-install-recommends build-essential \
+    && apt-get clean \
+    && rm -rf /var/lib/apt/lists/*
+
+USER airflow
+COPY requirements.txt /requirements.txt
+RUN pip install --no-cache-dir -r /requirements.txt

package/templates/dataif/infra/airflow/Dockerfile.release

@@ -0,0 +1,17 @@
+FROM apache/airflow:2.9.3-python3.11
+
+USER root
+RUN apt-get update \
+    && apt-get install -y --no-install-recommends build-essential \
+    && apt-get clean \
+    && rm -rf /var/lib/apt/lists/*
+
+USER airflow
+COPY infra/airflow/requirements.txt /requirements.txt
+RUN pip install --no-cache-dir -r /requirements.txt
+
+COPY --chown=airflow:root pipelines/airflow/dags /opt/airflow/dags
+COPY --chown=airflow:root pipelines/dataif_pipelines /opt/airflow/pipelines/dataif_pipelines
+COPY --chown=airflow:root pipelines/sql /opt/airflow/pipelines/sql
+
+ENV PYTHONPATH=/opt/airflow/pipelines

package/templates/dataif/infra/airflow/requirements.txt

@@ -0,0 +1,3 @@
+psycopg2-binary==2.9.9
+requests==2.32.3
+python-dateutil==2.9.0.post0