jarvis-ai-framework 2.1.1 → 3.2.0

package/skills/eng-automation/references/8-extracao-estruturada.md

@@ -0,0 +1,25 @@
+# 8. Extração de Dados Estruturados e Semiestruturados
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Ler dados estruturados e semiestruturados com fidelidade, esquema e validação.
+
+**Conhecimentos:** formatos tabulares e hierárquicos (CSV, JSON, XML, logs, chave-valor); codificação de caracteres, delimitadores e escape; fusos, formatos de data e números locais; esquema declarado vs. inferido; campos ausentes, nulos e repetidos; normalização e achatamento; validação e quarentena de registros inválidos; evolução de esquema; extração por caminhos em XML e HTML; identificação de duplicatas; testes com amostras reais e sujas.
+
+**Princípios:**
+- Declare o esquema; inferir serve apenas para exploração.
+- Registro inválido vai para quarentena, nunca some em silêncio.
+- Codificação e fuso são fontes clássicas de erro silencioso.
+
+**Fora do escopo:** bibliotecas de leitura e manipulação de tabelas.
+
+**Pergunta-chave:** O que acontece com um registro que chega com um campo novo, outro ausente e datas em outro fuso?
+
+**Referências:**
+- RFC 4180 (CSV)
+- RFC 8259 (JSON)
+- W3C, *XML 1.0*
+- The Unicode Standard
+- Kleppmann, *Designing Data-Intensive Applications* (codificação e evolução de esquemas)
+
+**Usam mais:** Data Extraction, Data Ingestion, Data Acquisition

package/skills/eng-automation/references/9-extracao-documentos.md

@@ -0,0 +1,25 @@
+# 9. Extração de Documentos e Dados Não Estruturados
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Extrair informação de documentos e textos livres, medindo o acerto e revisando por humanos onde importa.
+
+**Conhecimentos:** PDF nativo vs. digitalizado, imagens, planilhas, anexos; OCR e seus erros típicos; layout, tabelas, formulários e campos-chave; extração por regras, por modelos de aprendizado e por modelos de linguagem; saída estruturada e esquema alvo; pontuação de confiança e limiares; amostra rotulada e medição de precisão e revocação; revisão humana por exceção; documentos sensíveis; e-mail: cabeçalhos, conversas, anexos, codificação; versionamento de extratores.
+
+**Princípios:**
+- Meça a acurácia em amostra rotulada antes de confiar.
+- Confiança baixa vai para revisão humana, não para produção.
+- Mantenha o documento original ligado ao dado extraído.
+
+**Fora do escopo:** serviços e modelos específicos de OCR ou de documentos.
+
+**Pergunta-chave:** Qual a taxa de erro por campo deste extrator e o que acontece com os casos incertos?
+
+**Referências:**
+- Sarawagi, *Information Extraction* (Foundations and Trends in Databases, 2008)
+- ISO 32000-2 (PDF)
+- RFC 5322 (formato de mensagens de e-mail)
+- Jurafsky & Martin, *Speech and Language Processing*
+- Huyen, *AI Engineering* (2025)
+
+**Usam mais:** Data Extraction, Data Acquisition, RPA

package/skills/eng-automation/references/especializacoes.md

@@ -0,0 +1,18 @@
+# Skill Base Automation — Funções × Skills
+
+Cada função **parte da mesma base**; o que muda é o peso. Núcleo = domínio esperado; apoio = noção sólida (números = skills do INDEX).
+
+| Função | Núcleo (●) | Apoio (○) |
+|--------|-----------|-----------|
+| Data Acquisition | 2·Aquisição de Dados, 5·Automação de APIs: REST, GraphQL e SOAP, 4·Scraping, Crawling e Extração Web, 10·Ingestão de Dados | 1, 3, 6, 8, 9, 11, 12, 15 |
+| Web Automation | 3·Automação de Navegador, 4·Scraping, Crawling e Extração Web, 12·Limites de Taxa, Sessões e Cortesia, 11·CAPTCHA e Anti-bot: Postura Responsável | 1, 2, 8, 14, 15, 16 |
+| API Automation | 5·Automação de APIs: REST, GraphQL e SOAP, 6·Webhooks e Integração entre Sistemas, 15·Autenticação e Gestão de Credenciais, 12·Limites de Taxa, Sessões e Cortesia | 1, 2, 10, 14, 16 |
+| RPA | 7·RPA e Automação de Processos, 3·Automação de Navegador, 14·Retentativa, Recuperação e Tratamento de Erros, 15·Autenticação e Gestão de Credenciais | 1, 11, 13, 16 |
+| Data Extraction | 8·Extração de Dados Estruturados e Semiestruturados, 9·Extração de Documentos e Dados Não Estruturados, 4·Scraping, Crawling e Extração Web, 2·Aquisição de Dados | 3, 10, 16 |
+| Data Ingestion | 10·Ingestão de Dados, 13·Agendamento e Orquestração, 14·Retentativa, Recuperação e Tratamento de Erros, 2·Aquisição de Dados | 5, 6, 8, 16 |
+| CAPTCHA & Anti-Bot Handling | 11·CAPTCHA e Anti-bot: Postura Responsável, 12·Limites de Taxa, Sessões e Cortesia, 2·Aquisição de Dados, 3·Automação de Navegador | 1, 5, 14, 15 |
+| Automation Engineering | 1·Fundamentos de Automação, 13·Agendamento e Orquestração, 14·Retentativa, Recuperação e Tratamento de Erros, 15·Autenticação e Gestão de Credenciais, 16·Observabilidade e Confiabilidade de Automações | 5, 10, 12 |
+
+**Nota:** as oito linhas desta tabela são as *áreas* do mapa, não cargos. Funções reais combinam várias áreas. Segurança de credenciais e de dados em profundidade: *Skill Base Platform & Infrastructure* (segurança) e *Skill Base Data* (segurança e privacidade).
+
+> Uma função não *limita* o estudo: serve para priorizar a ordem. Lacunas no núcleo são prioridade; lacunas no apoio são aceitáveis.

package/skills/eng-backend-nestjs/SKILL.md

@@ -76,7 +76,7 @@ Use este skill quando:
 
 **NÃO usar quando:**
 - A tarefa é sobre design de APIs, paginação, RabbitMQ, caching → usar `eng-backend`
-- A tarefa envolve scraping ou extração de dados → usar `eng-scraper`
+- A tarefa envolve scraping ou extração de dados → usar `eng-automation`
 - A tarefa é puramente de banco de dados (queries, migrations, schema) → ainda não há skill específico; seguir `eng-backend`
 - Problema é de TypeScript puro (tipos, generics) → ainda não há skill específico; seguir as convenções de TypeScript do projeto
 

package/skills/eng-data/SKILL.md

@@ -0,0 +1,271 @@
+---
+name: eng-data
+description: >
+  Skill base de dados, válida em qualquer banco, motor de processamento ou ferramenta de BI:
+  fundamentos de dados, modelagem, bancos de dados, arquitetura de dados (warehouse/lake/lakehouse),
+  pipelines e integração (ETL/ELT), qualidade de dados, governança/metadados/MDM, estatística e
+  pensamento analítico, analytics e BI, ciência de dados, DataOps e segurança/privacidade de dados.
+  Pode ser complementada por especializações registradas em DATA_SPECIALIZATIONS.
+  Trigger: Use para pipelines de dados, modelagem, queries analíticas, dashboards, contratos de
+  dados, qualidade/governança de dados, onboarding de fonte nova ou diagnóstico de pipeline.
+license: AGPL-3.0
+compatibility: Designed for Claude Code (or similar products)
+allowed-tools: Read Write Edit Glob Grep Bash
+metadata:
+  author: jarvis-team
+  version: "1.0"
+  area: data
+# Campos Claude Code-specific (não fazem parte da spec oficial agentskills.io):
+argument-hint: "[pipeline|modelo|qualidade|dashboard|contrato|orquestracao] [contexto]"
+disable-model-invocation: false
+---
+
+# Eng Data - Skill Base de Dados
+
+Você é uma **pessoa especialista em dados sênior**, com domínio dos princípios que valem em qualquer banco, motor de processamento ou ferramenta de BI: modelagem, armazenamento, pipelines, qualidade, governança, análise e segurança de dados.
+
+## Objetivo
+
+Coletar, modelar, mover, governar, analisar e entregar dados de forma confiável — do dado bruto à decisão — aplicando a **base universal** de dados. Este skill não presume um banco, motor de processamento ou ferramenta de BI: ele descobre o que o projeto já usa pelo próprio código e segue o padrão que encontra.
+
+## Entrada
+
+- `$ARGUMENTS` - Operação, funcionalidade ou problema a resolver (ex: `pipeline-vendas-bronze-silver-gold`, `modelar-dimensao-cliente`, `diagnosticar-falha-pipeline`, `dashboard-churn`, `contrato-dados-squad-x`, `onboarding-fonte-nova`)
+
+## Recursos
+
+- **ENV**: `$IDE/ENV.md` (variáveis de ambiente e configurações do projeto)
+- **Base universal**: os 12 temas em [references/](references/), carregados sob demanda
+- **Funções × skills**: [references/especializacoes.md](references/especializacoes.md) — peso por função (Data Engineering, Data Analytics, Data Science, BI, Data Architecture, Data Platform, Data Governance, Data Quality, Database Engineering, Data Modeling, Data Management, Data Operations)
+- **Saída**: pipelines, modelos de dados, queries e documentação no repositório atual
+
+---
+
+## Pré-requisito
+
+Verificar se o `ENV.md` existe e se as variáveis necessárias ao projeto estão configuradas:
+
+```bash
+cat $IDE/ENV.md
+```
+
+---
+
+## Quando Usar
+
+Use este skill quando:
+- Construir ou manter pipelines de dados (ETL/ELT, batch ou streaming)
+- Modelar dados (conceitual, lógico, físico, dimensional, Data Vault)
+- Integrar uma fonte de dados nova (schema discovery, amostragem, camada bronze)
+- Diagnosticar falha em pipeline ou dado incorreto/desatualizado (lineage por camada)
+- Definir ou validar qualidade de dados (profiling, contratos, testes, observabilidade)
+- Criar dashboard ou query analítica, ou compartilhar dados com squads
+- Criar ou depurar orquestração de pipelines (DAGs, retry, alertas)
+- Definir governança, metadados, dados mestres ou segurança/privacidade de dados
+
+**NÃO usar quando:**
+- A tarefa é lógica de aplicação genérica sem modelagem, pipeline ou análise de dados envolvida
+- Não há nenhum dado, pipeline ou decisão analítica envolvida na tarefa
+
+---
+
+## Validação de Entrada
+
+Se `$ARGUMENTS` está vazio, o skill funciona em modo interativo: pergunte à pessoa o contexto da tarefa de dados antes de prosseguir.
+
+---
+
+## Padrões Críticos
+
+### Padrão 1: Dado sem contexto é ruído
+
+- Significado, dono e linhagem importam tanto quanto o valor do dado
+- Documentar origem, transformação e responsável antes de considerar um pipeline "pronto"
+
+### Padrão 2: Qualidade nasce na origem, não no dashboard
+
+```
+1. Validar e tipar o dado o mais perto possível da fonte (camada bronze/silver)
+2. Detectar problema de qualidade antes que ele se propague para análise/decisão
+3. Contratos de dados entre produtor e consumidor, não confiança implícita
+```
+
+### Padrão 3: Modele para a pergunta, não só para o armazenamento
+
+- A modelagem (dimensional, Data Vault, relacional) segue o uso analítico pretendido
+- Reavaliar o modelo quando a pergunta de negócio muda, não só quando o volume cresce
+
+### Padrão 4: Pipelines são software
+
+- Versionados, testados, observáveis e idempotentes — reprocessar não deve duplicar dados
+- CI/CD de dados: mudança de pipeline passa por revisão, como mudança de código
+
+### Padrão 5: Privacidade e segurança são desenhadas, não adicionadas
+
+- Classificação de dados, controle de acesso e anonimização entram no design do pipeline
+- LGPD/GDPR e dados sensíveis (PII) tratados desde a ingestão, não só na exposição final
+
+---
+
+## Base ou especialização?
+
+Pergunta-chave para decidir onde um conhecimento mora:
+
+> **Isso continua válido se eu trocar de banco, de motor de processamento ou de ferramenta de BI?**
+> **Sim** → pertence à base universal (este skill). **Não** → pertence a uma especialização de ferramenta.
+
+---
+
+## Árvore de Decisão
+
+```
+Entender tipos, granularidade ou ciclo de vida do dado?  → tema 1 (fundamentos de dados)
+Modelar dados (dimensional, Data Vault, relacional)?     → tema 2 (modelagem de dados)
+Decidir índice, transação ou OLTP vs. OLAP?               → tema 3 (bancos de dados)
+Escolher warehouse, lake, lakehouse ou mesh?              → tema 4 (arquitetura de dados)
+Construir pipeline ETL/ELT, batch ou streaming?           → tema 5 (pipelines e integração)
+Definir profiling, contrato ou teste de qualidade?        → tema 6 (qualidade de dados)
+Definir propriedade, catálogo, linhagem ou MDM?           → tema 7 (governança e metadados)
+Aplicar estatística, inferência ou evitar viés?           → tema 8 (estatística e análise)
+Criar dashboard, métrica ou camada semântica?             → tema 9 (analytics e BI)
+Treinar/avaliar modelo preditivo, evitar vazamento?       → tema 10 (ciência de dados)
+Versionar, dar CI/CD ou observar custo de dados?          → tema 11 (DataOps e plataforma)
+Classificar, controlar acesso ou anonimizar dados?        → tema 12 (segurança e privacidade)
+```
+
+---
+
+## Fluxo de Trabalho
+
+1. **Entender**: ler o que o projeto já usa (banco, motor, ferramenta de BI) e esclarecer o objetivo
+2. **Modelar/projetar**: escolher a abordagem na base universal, pensando na pergunta analítica
+3. **Implementar**: pipeline, modelo ou query seguindo o padrão do projeto, com testes e idempotência
+4. **Validar qualidade**: profiling e contratos antes de considerar pronto
+5. **Documentar**: linhagem, dono e decisões de modelagem para quem for operar depois
+
+### Skills invocados durante a execução do skill
+
+| Passo | Skill | Condição |
+|-------|-------|----------|
+| — | Nenhuma — skill autocontida | — |
+
+---
+
+## Base Universal
+
+Carregue **só o tema necessário** para a tarefa, em vez de todos de uma vez.
+
+| # | Tema | Nível | Carregue quando |
+|---|------|-------|-----------------|
+| 1 | [Fundamentos de dados](references/1-fundamentos-dados.md) | Fundamental | Precisar entender tipos, granularidade, tempo, identidade ou ciclo de vida |
+| 2 | [Modelagem de dados](references/2-modelagem-dados.md) | Fundamental | Modelar conceitual/lógico/físico, relacional, dimensional ou Data Vault |
+| 3 | [Bancos de dados](references/3-bancos-dados.md) | Fundamental | Lidar com transações, índices, otimização, replicação, OLTP vs. OLAP |
+| 4 | [Arquitetura de dados](references/4-arquitetura-dados.md) | Fundamental | Decidir warehouse, lake, lakehouse, mesh ou camadas |
+| 5 | [Pipelines e integração de dados](references/5-pipelines-integracao.md) | Fundamental | Construir ETL/ELT, batch, streaming, idempotência ou CDC |
+| 6 | [Qualidade de dados](references/6-qualidade-dados.md) | Fundamental | Definir dimensões, profiling, contratos, testes ou observabilidade |
+| 7 | [Governança, metadados e dados mestres](references/7-governanca-metadados.md) | Fundamental | Definir propriedade, catálogo, linhagem, políticas ou MDM |
+| 8 | [Estatística e pensamento analítico](references/8-estatistica-analise.md) | Fundamental | Aplicar descritiva, inferência, vieses ou experimentação |
+| 9 | [Analytics e Business Intelligence](references/9-analytics-bi.md) | Importante | Definir métricas, camada semântica, visualização ou narrativa |
+| 10 | [Ciência de dados e modelagem preditiva](references/10-ciencia-dados.md) | Importante | Trabalhar método, features, avaliação, vazamento ou generalização |
+| 11 | [DataOps e plataforma de dados](references/11-dataops-plataforma.md) | Importante | Versionar, dar CI/CD, observar ou controlar custo de dados |
+| 12 | [Segurança e privacidade de dados](references/12-seguranca-privacidade.md) | Fundamental | Classificar, controlar acesso, criptografar, anonimizar ou tratar LGPD/GDPR |
+
+---
+
+## Funções e Peso por Área
+
+Dados reúne várias funções (Data Engineering, Data Analytics, Data Science, Business Intelligence, Data Architecture, Data Platform, Data Governance, Data Quality, Database Engineering, Data Modeling, Data Management, Data Operations) que partem da mesma base, mas pesam os 12 temas de forma diferente. Ver [references/especializacoes.md](references/especializacoes.md) para o núcleo (●) e o apoio (○) esperado de cada função.
+
+---
+
+## Regras
+
+### Nunca
+- Expor dado sensível (PII) em camada analítica sem classificação e controle de acesso
+- Tratar qualidade de dados como problema só do dashboard, não do pipeline
+- Reprocessar um pipeline sem garantir idempotência (duplicar efeito)
+- Modelar dados sem considerar a pergunta analítica que o modelo precisa responder
+- Mudar schema de uma fonte compartilhada sem avisar os consumidores (contrato de dados)
+
+### Sempre
+- Documentar origem, transformação e dono de todo pipeline ou tabela
+- Validar e tipar dados o mais perto possível da origem
+- Versionar pipelines e tratá-los como software (testados, observáveis)
+- Classificar dados sensíveis e desenhar privacidade desde a ingestão
+- Medir qualidade (profiling) antes de disponibilizar dados para consumo
+
+---
+
+## Tratamento de Erros
+
+### Pipeline falhou ou dado está incorreto
+- Rastrear por camada (fonte → bronze → silver → gold) para isolar onde a falha começou
+- Verificar se é problema de qualidade na origem antes de "corrigir" na camada final
+
+### Fonte de dados não identificada
+- Procurar configs de conexão, schemas e pipelines existentes no projeto
+- Se não encontrar, perguntar à pessoa antes de prosseguir
+
+### Volume ou schema mudou inesperadamente
+- Tratar como sinal de drift — não ignorar silenciosamente
+- Validar contra o contrato de dados (quando existir) antes de ajustar o pipeline
+
+---
+
+## Checklist de Conclusão
+
+- [ ] Origem, transformação e dono documentados
+- [ ] Dados validados/tipados o mais perto possível da origem
+- [ ] Pipeline idempotente (reprocessar não duplica)
+- [ ] Qualidade (profiling/contrato) verificada antes de disponibilizar para consumo
+- [ ] Dados sensíveis classificados, com controle de acesso adequado
+- [ ] Linhagem rastreável por camada
+
+---
+
+## Output
+
+| Artefato | Descrição |
+|----------|-----------|
+| Pipeline | ETL/ELT com validação, idempotência e observabilidade |
+| Modelo de dados | Esquema (dimensional/Data Vault/relacional) documentado |
+| Dashboard/query | Análise com camada semântica e métricas definidas |
+| Contrato de dados | Schema e garantias entre produtor e consumidor |
+
+---
+
+## Mensagem de Conclusão
+
+```
+Implementação de dados concluída!
+
+Operação: {descrição do que foi implementado}
+Banco/motor/ferramenta do projeto: {identificados no código}
+
+Qualidade: {profiling/contrato aplicados}
+Linhagem: {documentada por camada}
+Segurança: {classificação e controle de acesso de dados sensíveis}
+
+Próximo passo: {rodar pipeline com amostra real / validar dashboard / revisar contrato}
+```
+
+---
+
+## Aviso: uso só da skill base
+
+Quando o trabalho usar **só a skill base** e envolver um banco, motor ou ferramenta de BI para a qual **não há skill especializado** disponível, avise a pessoa de forma explícita:
+
+```
+ℹ️ Estou usando só a skill base de dados.
+   Não há skill especializado para {ferramenta}; vou seguir os princípios universais
+   e o padrão que encontrei no projeto.
+```
+
+Não invente convenções nem comandos específicos da ferramenta: siga o código do projeto e a base universal.
+
+---
+
+## Recursos Adicionais
+
+- **Base universal**: os 12 temas em [references/](references/)
+- **Funções × skills**: [references/especializacoes.md](references/especializacoes.md)

package/skills/eng-data/references/1-fundamentos-dados.md

@@ -0,0 +1,24 @@
+# 1. Fundamentos de Dados
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Compreender o que é dado, como se representa e como muda ao longo do tempo.
+
+**Conhecimentos:** dados estruturados, semiestruturados e não estruturados; dado, informação e conhecimento; granularidade (o que representa uma linha?); chaves e identidade de entidades; tempo: evento vs. processamento, fusos, mudança ao longo do tempo; formatos e codificação (texto vs. binário, orientado a linha vs. coluna); cardinalidade e valores ausentes; metadados; ciclo de vida: criação, uso, retenção, descarte.
+
+**Princípios:**
+- Defina a granularidade antes de qualquer agregação.
+- Todo dado tem um tempo; ignorá-lo gera resultados enganosos.
+- Valor nulo tem significado; trate-o de forma explícita.
+
+**Fora do escopo:** sintaxe de linguagens de consulta e recursos de produtos específicos.
+
+**Pergunta-chave:** O que exatamente representa uma linha desta tabela e em que momento ela foi verdadeira?
+
+**Referências:**
+- Kleppmann, *Designing Data-Intensive Applications*
+- DAMA International, *DAMA-DMBOK2*
+- Wickham, *Tidy Data* (J. Statistical Software, 2014)
+- Reis & Housley, *Fundamentals of Data Engineering*
+
+**Usam mais:** todas as funções de dados

package/skills/eng-data/references/10-ciencia-dados.md

@@ -0,0 +1,24 @@
+# 10. Ciência de Dados e Modelagem Preditiva
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Construir e validar modelos que generalizem para dados novos.
+
+**Conhecimentos:** formulação do problema e métrica de sucesso; dados de treino, validação e teste; engenharia de variáveis; sobreajuste, viés e variância; vazamento de dados (data leakage); validação cruzada e séries temporais; métricas de classificação e regressão; baselines simples primeiro; interpretabilidade; reprodutibilidade de experimentos.
+
+**Princípios:**
+- Comece por um baseline; complexidade precisa ganhar o lugar.
+- Se o resultado parece ótimo, procure vazamento.
+- Um modelo sem ação associada é um relatório caro.
+
+**Fora do escopo:** APIs de bibliotecas e arquiteturas de modelo específicas.
+
+**Pergunta-chave:** Que informação do futuro pode ter vazado para dentro das suas variáveis de treino?
+
+**Referências:**
+- Hastie, Tibshirani & Friedman, *The Elements of Statistical Learning*
+- James et al., *An Introduction to Statistical Learning*
+- Provost & Fawcett, *Data Science for Business*
+- Kaufman et al., *Leakage in Data Mining* (TKDD, 2012)
+
+**Usam mais:** Science, Analytics, Engineering

package/skills/eng-data/references/11-dataops-plataforma.md

@@ -0,0 +1,24 @@
+# 11. DataOps e Plataforma de Dados
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Operar dados como produto, com entrega contínua e confiabilidade.
+
+**Conhecimentos:** versionamento de código, esquema e dados; CI/CD para transformações; ambientes de desenvolvimento, teste e produção; observabilidade de pipelines e dados; SLAs e SLOs de dados; gestão de incidentes de dados; controle de custo de processamento e armazenamento; autoatendimento e padronização; catálogo de produtos de dados; gestão de capacidade.
+
+**Princípios:**
+- Trate mudança em dado como mudança em software.
+- Observe o dado, não só a infraestrutura.
+- Padronize o caminho comum para reduzir fricção.
+
+**Fora do escopo:** comandos e recursos de plataformas e orquestradores específicos.
+
+**Pergunta-chave:** Como você implanta uma mudança de transformação sem quebrar quem consome a tabela?
+
+**Referências:**
+- *DataOps Manifesto*
+- Reis & Housley, *Fundamentals of Data Engineering* (DataOps)
+- Humble & Farley, *Continuous Delivery*
+- Dehghani, *Data Mesh* (plataforma de autoatendimento)
+
+**Usam mais:** DataOps, Platform, Engineering, Database

package/skills/eng-data/references/12-seguranca-privacidade.md

@@ -0,0 +1,24 @@
+# 12. Segurança e Privacidade de Dados
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Proteger dados e respeitar direitos dos titulares durante todo o ciclo de vida.
+
+**Conhecimentos:** classificação de sensibilidade; controle de acesso (papéis, atributos, menor privilégio); criptografia em trânsito e em repouso; mascaramento, pseudonimização e anonimização; minimização, finalidade e base legal; direitos do titular, retenção e descarte; k-anonimato e privacidade diferencial (conceitos); auditoria de acesso; segurança de dados compartilhados; avaliação de impacto à proteção de dados.
+
+**Princípios:**
+- Colete o mínimo necessário; o dado que não existe não vaza.
+- Pseudonimizar não é anonimizar.
+- Privacidade por padrão e por projeto.
+
+**Fora do escopo:** configurações de segurança de um produto específico.
+
+**Pergunta-chave:** Qual a base legal para guardar este campo, por quanto tempo e quem pode vê-lo?
+
+**Referências:**
+- Lei nº 13.709/2018 (LGPD) e Regulamento (UE) 2016/679 (GDPR)
+- NIST Privacy Framework v1.0
+- Sweeney, *k-Anonymity* (2002)
+- Dwork & Roth, *The Algorithmic Foundations of Differential Privacy*
+
+**Usam mais:** Governance, Management, Database, Platform

package/skills/eng-data/references/2-modelagem-dados.md

@@ -0,0 +1,24 @@
+# 2. Modelagem de Dados
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Representar o negócio em estruturas de dados que respondam às perguntas certas.
+
+**Conhecimentos:** níveis conceitual, lógico e físico; entidades, relacionamentos e restrições; normalização (1FN–3FN) e desnormalização consciente; modelagem dimensional (fatos, dimensões, granularidade); dimensões que mudam lentamente; Data Vault (hubs, links, satélites); modelos orientados a documento, grafo e chave-valor; contratos de esquema e evolução; dicionário e glossário de negócio.
+
+**Princípios:**
+- Modele a partir do processo de negócio, não da tabela de origem.
+- Normalize para escrever, dimensionalize para analisar.
+- Esquema é contrato; mudanças precisam de compatibilidade.
+
+**Fora do escopo:** DDL e recursos físicos de um produto de banco específico.
+
+**Pergunta-chave:** Como histórico e correções de um cadastro devem aparecer no modelo analítico?
+
+**Referências:**
+- Kimball & Ross, *The Data Warehouse Toolkit* (3ª ed.)
+- Inmon, *Building the Data Warehouse*
+- Linstedt & Olschimke, *Building a Scalable Data Warehouse with Data Vault 2.0*
+- Codd, *A Relational Model of Data for Large Shared Data Banks* (1970)
+
+**Usam mais:** Modeling, Engineering, Architecture, BI

package/skills/eng-data/references/3-bancos-dados.md

@@ -0,0 +1,24 @@
+# 3. Bancos de Dados
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Entender como sistemas de dados armazenam, consultam e garantem consistência.
+
+**Conhecimentos:** modelo relacional e álgebra relacional; transações, ACID e níveis de isolamento; índices e estruturas de armazenamento (árvores, LSM); planos de consulta e otimização; replicação, particionamento e sharding; OLTP vs. OLAP; armazenamento em colunas; consistência, CAP e PACELC; bancos não relacionais e quando usá-los; backup, recuperação e migração.
+
+**Princípios:**
+- Consulta lenta é quase sempre problema de modelo, índice ou volume.
+- Escolha o armazenamento pelo padrão de acesso, não por moda.
+- Consistência é um espectro com custo.
+
+**Fora do escopo:** dialetos SQL, parâmetros e recursos exclusivos de um produto.
+
+**Pergunta-chave:** Por que esta consulta ficou lenta depois que a tabela cresceu?
+
+**Referências:**
+- Petrov, *Database Internals*
+- Hellerstein et al., *Architecture of a Database System* (2007)
+- Silberschatz et al., *Database System Concepts*
+- Kleppmann, *Designing Data-Intensive Applications*
+
+**Usam mais:** Database, Engineering, Platform, Architecture

package/skills/eng-data/references/4-arquitetura-dados.md

@@ -0,0 +1,24 @@
+# 4. Arquitetura de Dados
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Organizar armazenamento, fluxo e responsabilidades de dados em escala organizacional.
+
+**Conhecimentos:** data warehouse, data lake e lakehouse; arquitetura em camadas (bruto, refinado, consumo); batch, streaming e arquiteturas Lambda/Kappa; data mesh: domínio, produto de dados, plataforma, governança federada; separação entre armazenamento e computação; formatos abertos e interoperabilidade; fontes, integração e eventos; acoplamento e propriedade entre domínios; trade-offs de custo, latência e frescor.
+
+**Princípios:**
+- Arquitetura segue os padrões de uso e a estrutura da organização.
+- Centralize padrões, descentralize propriedade quando o domínio é maduro.
+- Prefira acoplamento por contrato a acoplamento por tabela.
+
+**Fora do escopo:** arquiteturas de referência proprietárias de um fornecedor.
+
+**Pergunta-chave:** Quando um modelo centralizado vira gargalo e o que muda ao descentralizá-lo?
+
+**Referências:**
+- Reis & Housley, *Fundamentals of Data Engineering*
+- Dehghani, *Data Mesh*
+- Armbrust et al., *Lakehouse* (CIDR 2021)
+- Kleppmann, *Designing Data-Intensive Applications*
+
+**Usam mais:** Architecture, Platform, Engineering, Governance

package/skills/eng-data/references/5-pipelines-integracao.md

@@ -0,0 +1,24 @@
+# 5. Pipelines e Integração de Dados
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Mover e transformar dados de forma confiável, repetível e observável.
+
+**Conhecimentos:** ETL vs. ELT; batch vs. streaming; captura de mudanças (CDC); idempotência e reprocessamento; carga incremental e backfill; orquestração e dependências; semântica de entrega (pelo menos uma vez, exatamente uma vez); janelas, atraso e dados tardios; tratamento de falhas e dead-letter; testes de transformação.
+
+**Princípios:**
+- Todo pipeline deve poder rodar duas vezes sem efeito colateral.
+- Projete para dado tardio e para reprocessar o passado.
+- Falha silenciosa é pior que falha ruidosa.
+
+**Fora do escopo:** operadores, conectores e sintaxe de uma ferramenta de orquestração ou processamento.
+
+**Pergunta-chave:** O que acontece com o resultado se o job do dia rodar duas vezes ou falhar pela metade?
+
+**Referências:**
+- Reis & Housley, *Fundamentals of Data Engineering*
+- Akidau et al., *The Dataflow Model* (VLDB 2015)
+- Akidau, Chernyak & Lax, *Streaming Systems*
+- Kleppmann, *Designing Data-Intensive Applications*
+
+**Usam mais:** Engineering, Platform, DataOps, Quality

package/skills/eng-data/references/6-qualidade-dados.md

@@ -0,0 +1,24 @@
+# 6. Qualidade de Dados
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Garantir que os dados sejam adequados ao uso e detectar quando deixam de ser.
+
+**Conhecimentos:** dimensões: acurácia, completude, consistência, unicidade, validade, atualidade; profiling; regras e testes de qualidade; contratos de dados entre produtor e consumidor; detecção de anomalias e desvios; SLAs de frescor e volume; tratamento de duplicatas e reconciliação; observabilidade de dados; custo da baixa qualidade; triagem e correção na origem.
+
+**Princípios:**
+- Qualidade é adequação ao uso, definida pelo consumidor.
+- Corrija na origem; no consumo você só mascara.
+- Quem produz o dado é responsável por sua qualidade.
+
+**Fora do escopo:** regras e painéis de uma ferramenta de qualidade específica.
+
+**Pergunta-chave:** Como você saberia, sem ninguém avisar, que a tabela de ontem está errada?
+
+**Referências:**
+- Wang & Strong, *Beyond Accuracy: What Data Quality Means to Data Consumers* (1996)
+- Pipino, Lee & Wang, *Data Quality Assessment* (CACM, 2002)
+- ISO/IEC 25012; série ISO 8000
+- Moses, Gavish & Vorwerck, *Data Quality Fundamentals*
+
+**Usam mais:** Quality, Governance, Engineering, Management

package/skills/eng-data/references/7-governanca-metadados.md

@@ -0,0 +1,24 @@
+# 7. Governança, Metadados e Dados Mestres
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Definir quem decide o quê sobre dados e tornar isso rastreável.
+
+**Conhecimentos:** propriedade (owner) e curadoria (steward); políticas, padrões e papéis; catálogo, glossário e dicionário de dados; linhagem e análise de impacto; gestão de dados mestres e de referência; classificação de sensibilidade; ciclo de vida e retenção; maturidade de governança; governança federada vs. centralizada; métricas de adoção.
+
+**Princípios:**
+- Governança que atrapalha a entrega será contornada.
+- Dado sem dono não tem qualidade nem política.
+- Automatize captura de metadados; documentação manual envelhece.
+
+**Fora do escopo:** módulos e fluxos de trabalho de plataformas de governança específicas.
+
+**Pergunta-chave:** Se este indicador mudar de valor, quem decide, quem é avisado e como você rastreia a origem?
+
+**Referências:**
+- DAMA International, *DAMA-DMBOK2*
+- EDM Council, *DCAM*
+- Dehghani, *Data Mesh* (governança computacional federada)
+- Lei nº 13.709/2018 (LGPD)
+
+**Usam mais:** Governance, Management, Architecture, Quality

package/skills/eng-data/references/8-estatistica-analise.md

@@ -0,0 +1,24 @@
+# 8. Estatística e Pensamento Analítico
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Tirar conclusões válidas dos dados e saber o que eles não permitem concluir.
+
+**Conhecimentos:** estatística descritiva e distribuições; amostragem e vieses; inferência, intervalos de confiança e testes de hipótese; correlação vs. causalidade; experimentação controlada (A/B); significância vs. relevância prática; paradoxo de Simpson e variáveis de confusão; séries temporais (tendência, sazonalidade); outliers e robustez; incerteza e comunicação honesta.
+
+**Princípios:**
+- Desconfie de resultados bons demais.
+- Pergunte pela amostra antes de interpretar o resultado.
+- Decisão exige incerteza declarada, não só uma média.
+
+**Fora do escopo:** funções de bibliotecas estatísticas ou de ferramentas de planilha.
+
+**Pergunta-chave:** Este aumento é real, ruído ou efeito de quem entrou na amostra?
+
+**Referências:**
+- James et al., *An Introduction to Statistical Learning*
+- Bruce, Bruce & Gedeck, *Practical Statistics for Data Scientists*
+- Kohavi, Tang & Xu, *Trustworthy Online Controlled Experiments*
+- Pearl & Mackenzie, *The Book of Why*
+
+**Usam mais:** Analytics, Science, BI, Quality

package/skills/eng-data/references/9-analytics-bi.md

@@ -0,0 +1,24 @@
+# 9. Analytics e Business Intelligence
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Transformar dados em métricas confiáveis e decisões compreensíveis.
+
+**Conhecimentos:** definição de métricas e KPIs; uma única definição por métrica (camada semântica); análise exploratória; dimensões e hierarquias; agregação sem dupla contagem; visualização eficaz; narrativa com dados; autoatendimento e curadoria; métricas guarda-chuva e contramétricas; distribuição de relatórios e atualização.
+
+**Princípios:**
+- Métrica sem definição única gera discussão, não decisão.
+- Escolha o gráfico pela pergunta, não pela estética.
+- Painel que ninguém age sobre deve ser removido.
+
+**Fora do escopo:** recursos e sintaxe de uma ferramenta de BI específica.
+
+**Pergunta-chave:** Duas áreas mostram números diferentes para o mesmo indicador. Onde você olha primeiro?
+
+**Referências:**
+- Kimball & Ross, *The Data Warehouse Toolkit*
+- Knaflic, *Storytelling with Data*
+- Few, *Information Dashboard Design*
+- Tufte, *The Visual Display of Quantitative Information*
+
+**Usam mais:** BI, Analytics, Modeling, Science