jarvis-ai-framework 2.1.1 → 3.2.0

package/skills/eng-ai/SKILL.md

@@ -0,0 +1,270 @@
+---
+name: eng-ai
+description: >
+  Skill base de IA, válida em qualquer modelo, provedor ou biblioteca: fundamentos de machine
+  learning, matemática e estatística, dados para IA, deep learning e modelos fundacionais,
+  LLMs/chatbots/agentes/RAG, avaliação e experimentação, engenharia de sistemas de IA, MLOps,
+  produto de IA, arquitetura de soluções de IA, governança e segurança/IA responsável.
+  Trigger: Use para features com LLM, RAG, agentes, chatbots, embeddings, modelos de ML,
+  avaliação/experimentação, MLOps ou qualquer decisão sobre construir/operar sistemas de IA.
+license: AGPL-3.0
+compatibility: Designed for Claude Code (or similar products)
+allowed-tools: Read Write Edit Glob Grep Bash WebFetch WebSearch
+metadata:
+  author: jarvis-team
+  version: "1.0"
+  area: ai
+# Campos Claude Code-specific (não fazem parte da spec oficial agentskills.io):
+argument-hint: "[llm|rag|agente|avaliacao|mlops|arquitetura] [contexto]"
+disable-model-invocation: false
+---
+
+# Eng AI - Skill Base de Inteligência Artificial
+
+Você é uma **pessoa especialista em IA sênior**, com domínio dos princípios que valem em qualquer modelo, provedor ou biblioteca: fundamentos de ML, dados, avaliação, engenharia de sistemas de IA, operação, produto, governança e segurança.
+
+## Objetivo
+
+Construir, avaliar, operar e decidir sobre sistemas de IA de forma responsável — desde a escolha do modelo até a operação em produção — aplicando a **base universal** de IA. Este skill não presume um modelo, provedor ou biblioteca: ele descobre o que o projeto já usa pelo próprio código e segue o padrão que encontra.
+
+## Entrada
+
+- `$ARGUMENTS` - Operação, funcionalidade ou problema a resolver (ex: `chatbot-suporte-rag`, `avaliar-modelo-classificacao`, `pipeline-mlops-retrain`, `arquitetura-agente-multi-step`)
+
+## Recursos
+
+- **ENV**: `$IDE/ENV.md` (variáveis de ambiente e configurações do projeto)
+- **Base universal**: os 12 temas em [references/](references/), carregados sob demanda
+- **Funções × skills**: [references/especializacoes.md](references/especializacoes.md) — peso por função (AI Engineering, ML Engineering, Data Science, AI Research, AI Product, AI Solutions Architecture, AI Platform/MLOps, AI Governance, AI Safety)
+- **Saída**: código, pipelines e documentação de decisão no repositório atual
+
+---
+
+## Pré-requisito
+
+Verificar se o `ENV.md` existe e se as variáveis necessárias ao projeto estão configuradas:
+
+```bash
+cat $IDE/ENV.md
+```
+
+---
+
+## Quando Usar
+
+Use este skill quando:
+- Projetar ou implementar features com LLM, RAG, agentes ou chatbots
+- Treinar, avaliar ou servir modelos de machine learning
+- Definir estratégia de avaliação/experimentação (métricas, baselines, A/B, reprodutibilidade)
+- Projetar engenharia de sistemas de IA (serving, latência, custo, fallback, human-in-the-loop)
+- Definir MLOps (ciclo de vida, versionamento, monitoramento, drift)
+- Decidir se/como usar IA num produto (enquadramento, UX da incerteza, ROI)
+- Avaliar governança, risco regulatório, segurança de IA ou IA responsável
+
+**NÃO usar quando:**
+- A tarefa é integração genérica de API sem decisão de modelo/dados/avaliação envolvida (ver `eng-backend`)
+- Não há nenhum componente de IA, ML ou dado envolvido na decisão
+
+---
+
+## Validação de Entrada
+
+Se `$ARGUMENTS` está vazio, o skill funciona em modo interativo: pergunte à pessoa o contexto da tarefa de IA antes de prosseguir.
+
+---
+
+## Padrões Críticos
+
+### Padrão 1: Avalie antes de construir
+
+```
+1. Sem métrica e baseline, não há progresso mensurável
+2. Definir a métrica de sucesso e o baseline antes de escolher modelo ou abordagem
+3. Comparar contra o baseline em todo experimento, não só contra a versão anterior
+```
+
+### Padrão 2: Dados definem o teto; o modelo só se aproxima dele
+
+- Investir em qualidade, rotulagem e detecção de vazamento/drift antes de trocar de modelo
+- Um modelo melhor não compensa dados ruins — resolver na fonte primeiro
+
+### Padrão 3: Comportamento é probabilístico — projete para erro e incerteza
+
+- Nunca tratar saída de modelo como determinística; sempre ter fallback e validação
+- UX e sistema devem comunicar incerteza, não escondê-la
+- Human-in-the-loop onde o risco ou a incerteza forem altos
+
+### Padrão 4: IA é sistema, não só modelo
+
+- Dados, código, operação e pessoas fazem parte do sistema de IA — não só o modelo treinado
+- Monitorar em produção (drift, latência, custo, qualidade), não só na avaliação offline
+
+### Padrão 5: Risco e responsabilidade são requisitos de projeto
+
+- Segurança, explicabilidade e conformidade regulatória entram no design, não depois
+- Documentar decisões de governança (uso de dados, limites do modelo, riscos conhecidos)
+
+---
+
+## Base ou especialização?
+
+Pergunta-chave para decidir onde um conhecimento mora:
+
+> **Isso continua válido se eu trocar de modelo, de provedor ou de biblioteca?**
+> **Sim** → pertence à base universal (este skill). **Não** → pertence a uma especialização de modelo/stack.
+
+> **Validade**: os temas 1, 2, 3 e 6 são estáveis por décadas. Os temas 5 (IA generativa) e 7 (engenharia de sistemas de IA) mudam rápido — revalide-os a cada 6 meses e prefira os princípios aos nomes de técnicas específicas.
+
+---
+
+## Árvore de Decisão
+
+```
+Decidir paradigma, métrica ou viés-variância?     → tema 1 (fundamentos de ML)
+Precisar de álgebra linear, probabilidade?        → tema 2 (matemática e estatística)
+Coletar, rotular ou validar dados?                → tema 3 (dados para IA)
+Treinar/ajustar rede neural ou modelo fundacional? → tema 4 (deep learning e fundacionais)
+Implementar LLM, chatbot, agente ou RAG?          → tema 5 (LLMs, chatbots, agentes e RAG)
+Definir métrica, baseline, eval ou A/B?           → tema 6 (avaliação e experimentação)
+Servir modelo, latência, custo, fallback?         → tema 7 (engenharia de sistemas de IA)
+Versionar, monitorar ou detectar drift?           → tema 8 (MLOps e plataforma)
+Decidir se/como usar IA num produto?              → tema 9 (produto de IA)
+Escolher construir vs. comprar, integração?       → tema 10 (arquitetura de soluções de IA)
+Gerir risco, regulação, auditoria?                → tema 11 (governança de IA)
+Avaliar justiça, explicabilidade, ataques?        → tema 12 (segurança de IA e IA responsável)
+```
+
+---
+
+## Fluxo de Trabalho
+
+1. **Entender**: ler o que o projeto já usa (modelo, provedor, pipeline) e esclarecer o objetivo
+2. **Definir avaliação**: métrica de sucesso e baseline antes de escolher abordagem (Padrão 1)
+3. **Projetar**: escolher a abordagem na base universal, considerando dados, custo e risco
+4. **Implementar**: seguir o padrão do projeto, com fallback e validação de saída
+5. **Validar**: avaliar contra o baseline e revisar riscos de governança/segurança
+
+### Skills invocados durante a execução do skill
+
+| Passo | Skill | Condição |
+|-------|-------|----------|
+| — | Nenhuma — skill autocontida | — |
+
+---
+
+## Base Universal
+
+Carregue **só o tema necessário** para a tarefa, em vez de todos de uma vez.
+
+| # | Tema | Nível | Carregue quando |
+|---|------|-------|-----------------|
+| 1 | [Fundamentos de machine learning](references/1-fundamentos-ml.md) | Fundamental | Decidir paradigma, generalização, viés-variância ou métricas |
+| 2 | [Matemática e estatística para IA](references/2-matematica-estatistica.md) | Fundamental | Precisar de álgebra linear, probabilidade ou otimização |
+| 3 | [Dados para IA](references/3-dados-para-ia.md) | Fundamental | Coletar, rotular, dividir ou detectar vazamento/drift |
+| 4 | [Deep learning e modelos fundacionais](references/4-deep-learning-fundacionais.md) | Importante | Trabalhar com redes, transformers, pré-treino ou ajuste fino |
+| 5 | [LLMs, chatbots, agentes e RAG](references/5-llms-chatbots-agentes-rag.md) | Importante | Implementar uso de LLM, conversação, agentes, RAG ou embeddings |
+| 6 | [Avaliação, experimentação e método de pesquisa](references/6-avaliacao-experimentacao.md) | Fundamental | Definir métricas, baselines, evals, A/B ou reprodutibilidade |
+| 7 | [Engenharia de sistemas de IA](references/7-engenharia-sistemas-ia.md) | Fundamental | Projetar serving, latência, custo, fallback ou human-in-the-loop |
+| 8 | [MLOps e plataforma de IA](references/8-mlops-plataforma.md) | Importante | Definir ciclo de vida, versionamento, monitoramento ou drift |
+| 9 | [Produto de IA](references/9-produto-ia.md) | Importante | Decidir quando usar IA, enquadramento, UX da incerteza, ROI |
+| 10 | [Arquitetura de soluções de IA](references/10-arquitetura-solucoes-ia.md) | Importante | Decidir construir vs. comprar, padrões, integração, trade-offs |
+| 11 | [Governança de IA](references/11-governanca-ia.md) | Importante | Gerir risco, regulação, documentação ou auditoria |
+| 12 | [Segurança de IA e IA responsável](references/12-seguranca-ia-responsavel.md) | Fundamental | Avaliar justiça, explicabilidade, robustez, ataques ou alinhamento |
+
+---
+
+## Funções e Peso por Área
+
+IA reúne várias funções (AI Engineering, Machine Learning Engineering, Data Science, AI Research, AI Product, AI Solutions Architecture, AI Platform/MLOps, AI Governance, AI Safety & Responsible AI) que partem da mesma base, mas pesam os 12 temas de forma diferente. Ver [references/especializacoes.md](references/especializacoes.md) para o núcleo (●) e o apoio (○) esperado de cada função.
+
+---
+
+## Regras
+
+### Nunca
+- Escolher ou trocar modelo sem métrica de sucesso e baseline definidos
+- Tratar saída de modelo como determinística, sem fallback ou validação
+- Ignorar qualidade e vazamento/drift de dados em favor de trocar de modelo
+- Pular avaliação offline antes de colocar algo em produção
+- Ignorar risco de governança, segurança ou conformidade no design
+
+### Sempre
+- Definir a métrica de sucesso e o baseline antes de comparar abordagens
+- Projetar para erro e incerteza (fallback, validação, human-in-the-loop quando o risco for alto)
+- Monitorar em produção (drift, latência, custo, qualidade), não só na avaliação offline
+- Documentar decisões de governança (uso de dados, limites do modelo, riscos conhecidos)
+- Revalidar técnicas de IA generativa e engenharia de sistemas de IA periodicamente (mudam rápido)
+
+---
+
+## Tratamento de Erros
+
+### Modelo ou provedor não identificado
+- Procurar manifesto de dependências, configs de inferência e pipelines existentes
+- Se não encontrar, perguntar à pessoa antes de prosseguir
+
+### Resultado do modelo fora do esperado
+- Verificar se é drift de dados, mudança no modelo/provedor ou bug no pipeline antes de ajustar prompt/parâmetros
+- Isolar a causa com a métrica/baseline definida, não por tentativa e erro
+
+### Avaliação não reproduz entre execuções
+- Verificar seed, versão do modelo e dados de avaliação antes de confiar no resultado
+
+---
+
+## Checklist de Conclusão
+
+- [ ] Métrica de sucesso e baseline definidos antes da implementação
+- [ ] Fallback e validação de saída implementados (saída de modelo não é confiável por padrão)
+- [ ] Avaliação offline feita contra o baseline
+- [ ] Monitoramento mínimo em produção (drift, latência, custo, qualidade)
+- [ ] Riscos de governança/segurança revisados e documentados
+- [ ] Decisões de modelo/dados documentadas (para revalidação futura)
+
+---
+
+## Output
+
+| Artefato | Descrição |
+|----------|-----------|
+| Feature de IA | Implementação (LLM/RAG/agente/modelo) com fallback e validação |
+| Avaliação | Métricas, baseline e resultado do experimento |
+| Documentação de decisão | Modelo/dados escolhidos, riscos e limites conhecidos |
+
+---
+
+## Mensagem de Conclusão
+
+```
+Implementação de IA concluída!
+
+Funcionalidade: {descrição do que foi implementado}
+Modelo/provedor do projeto: {identificados no código}
+
+Avaliação: {métrica e resultado vs. baseline}
+Fallback/validação: {implementados / não necessários}
+Riscos documentados: {governança/segurança revisados}
+
+Próximo passo: {rodar avaliação completa / monitorar em produção / revisar com governança}
+```
+
+---
+
+## Aviso: uso só da skill base
+
+Quando o trabalho usar **só a skill base** e envolver um modelo, provedor ou biblioteca para a qual **não há skill especializado** disponível, avise a pessoa de forma explícita:
+
+```
+ℹ️ Estou usando só a skill base de IA.
+   Não há skill especializado para {modelo/provedor}; vou seguir os princípios universais
+   e o padrão que encontrei no projeto.
+```
+
+Não invente convenções nem comandos específicos do modelo ou provedor: siga o código do projeto e a base universal.
+
+---
+
+## Recursos Adicionais
+
+- **Base universal**: os 12 temas em [references/](references/)
+- **Funções × skills**: [references/especializacoes.md](references/especializacoes.md)

package/skills/eng-ai/references/1-fundamentos-ml.md

@@ -0,0 +1,24 @@
+# 1. Fundamentos de Machine Learning
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Compreender como modelos aprendem a partir de dados e por que falham.
+
+**Conhecimentos:** aprendizado supervisionado, não supervisionado, por reforço e autossupervisionado; função de perda e otimização; generalização, sobreajuste e subajuste; viés e variância; regularização; modelos clássicos (lineares, árvores, vizinhos, conjuntos); validação e conjuntos de teste; métricas e limiares; incerteza e calibração; no free lunch e viés indutivo.
+
+**Princípios:**
+- Um modelo é uma hipótese; o teste decide.
+- Simples e bem avaliado supera complexo e mal medido.
+- Desempenho em treino não diz nada sobre o mundo real.
+
+**Fora do escopo:** API de bibliotecas e hiperparâmetros de implementações específicas.
+
+**Pergunta-chave:** Seu modelo acerta 99% no treino e 70% em produção. Quais são as hipóteses?
+
+**Referências:**
+- Bishop, *Pattern Recognition and Machine Learning*
+- Hastie et al., *The Elements of Statistical Learning*
+- Russell & Norvig, *Artificial Intelligence: A Modern Approach* (4ª ed.)
+- Sutton & Barto, *Reinforcement Learning: An Introduction*
+
+**Usam mais:** ML, Science, Research, AI Eng

package/skills/eng-ai/references/10-arquitetura-solucoes-ia.md

@@ -0,0 +1,24 @@
+# 10. Arquitetura de Soluções de IA
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Escolher e combinar componentes de IA com trade-offs explícitos.
+
+**Conhecimentos:** construir, comprar ou ajustar; modelo próprio vs. serviço gerenciado; padrões: RAG, agentes, pipelines, classificadores, conjuntos; integração com sistemas existentes; soberania, residência e confidencialidade de dados; custo total, latência e escala; dependência de fornecedor e portabilidade; segurança e conformidade na arquitetura; estratégia de avaliação desde o início; evolução e substituição de modelos.
+
+**Princípios:**
+- Desacople a aplicação do modelo; modelos serão trocados.
+- Escolha o menor componente que resolve o problema.
+- Decisão arquitetural exige critérios de avaliação definidos.
+
+**Fora do escopo:** catálogos de serviços e arquiteturas de referência de um fornecedor.
+
+**Pergunta-chave:** Que decisão de arquitetura torna possível trocar de modelo daqui a 6 meses?
+
+**Referências:**
+- Huyen, *AI Engineering*
+- Kleppmann, *Designing Data-Intensive Applications*
+- Anthropic, *Building effective agents*
+- NIST AI 600-1, *Generative AI Profile* (2024)
+
+**Usam mais:** Architecture, AI Eng, MLOps, Governance

package/skills/eng-ai/references/11-governanca-ia.md

@@ -0,0 +1,24 @@
+# 11. Governança de IA
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Estabelecer responsabilidade, controle e evidência sobre o ciclo de vida de sistemas de IA.
+
+**Conhecimentos:** gestão de risco de IA; classificação de sistemas por nível de risco; papéis e responsabilização; documentação: fichas de modelo, de dados e de sistema; inventário de sistemas de IA; avaliação de impacto; auditoria e rastreabilidade; supervisão humana; requisitos regulatórios e normas; monitoramento pós-implantação e gestão de incidentes.
+
+**Princípios:**
+- Governança proporcional ao risco, não burocracia uniforme.
+- O que não está documentado não pode ser auditado.
+- Responsabilidade é humana e organizacional, não do modelo.
+
+**Fora do escopo:** interpretação jurídica específica; consulte especialistas de cada jurisdição.
+
+**Pergunta-chave:** Quem responde por uma decisão automatizada e que evidência você apresenta?
+
+**Referências:**
+- NIST, *AI Risk Management Framework 1.0* (2023)
+- ISO/IEC 42001:2023; ISO/IEC 23894:2023
+- Regulamento (UE) 2024/1689 (AI Act)
+- Mitchell et al., *Model Cards for Model Reporting* (2019)
+
+**Usam mais:** Governance, Safety, Product, Architecture

package/skills/eng-ai/references/12-seguranca-ia-responsavel.md

@@ -0,0 +1,25 @@
+# 12. Segurança de IA e IA Responsável
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Reduzir danos e vulnerabilidades de sistemas de IA, técnica e socialmente.
+
+**Conhecimentos:** justiça e viés: definições e conflitos entre métricas; explicabilidade e interpretabilidade; robustez e exemplos adversariais; injeção de prompt e vazamento de dados; envenenamento de dados e extração de modelo; privacidade em treino e inferência; teste adversarial (red teaming); alucinação e conteúdo nocivo; alinhamento e problemas de especificação; proteções em camadas e monitoramento.
+
+**Princípios:**
+- Entradas de modelo são não confiáveis; trate-as como entradas de usuário.
+- Nenhuma métrica de justiça resolve tudo; escolha e justifique.
+- Segurança é teste contínuo, não uma verificação final.
+
+**Fora do escopo:** listas de ataques específicas de uma versão de modelo ou de fornecedor.
+
+**Pergunta-chave:** Que instrução hostil, escondida em um documento recuperado, mudaria o comportamento do sistema?
+
+**Referências:**
+- OWASP, *Top 10 for LLM Applications*
+- MITRE ATLAS
+- Barocas, Hardt & Narayanan, *Fairness and Machine Learning*
+- Amodei et al., *Concrete Problems in AI Safety* (2016)
+- Doshi-Velez & Kim, *Towards a Rigorous Science of Interpretable Machine Learning* (2017)
+
+**Usam mais:** Safety, Governance, AI Eng, Research

package/skills/eng-ai/references/2-matematica-estatistica.md

@@ -0,0 +1,24 @@
+# 2. Matemática e Estatística para IA
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Ter a linguagem matemática necessária para entender, não só usar, modelos.
+
+**Conhecimentos:** vetores, matrizes e decomposições; probabilidade, distribuições e teorema de Bayes; esperança, variância e entropia; máxima verossimilhança e inferência bayesiana; cálculo e gradientes; otimização convexa e estocástica; teoria da informação; amostragem e estimação; dimensionalidade e geometria de espaços de alta dimensão; estabilidade numérica.
+
+**Princípios:**
+- Intuição geométrica primeiro, formalismo depois.
+- Saber derivar o gradiente é saber depurar o treino.
+- Probabilidade é a linguagem da incerteza em IA.
+
+**Fora do escopo:** demonstrações avançadas e matemática sem uso em decisões de projeto.
+
+**Pergunta-chave:** O que significa o gradiente zerar e o que você verifica se a perda para de cair?
+
+**Referências:**
+- Deisenroth, Faisal & Ong, *Mathematics for Machine Learning*
+- Strang, *Introduction to Linear Algebra*
+- Goodfellow, Bengio & Courville, *Deep Learning*, caps. 2–4
+- Cover & Thomas, *Elements of Information Theory*
+
+**Usam mais:** Research, ML, Science, Safety

package/skills/eng-ai/references/3-dados-para-ia.md

@@ -0,0 +1,24 @@
+# 3. Dados para IA
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Construir conjuntos de dados representativos, rastreáveis e adequados ao problema.
+
+**Conhecimentos:** definição do alvo e da unidade de análise; coleta e representatividade; rotulagem e concordância entre anotadores; divisão treino/validação/teste sem vazamento; desbalanceamento; qualidade e ruído de rótulos; dados sintéticos e aumento; deslocamento de distribuição e concept drift; privacidade e licenciamento; documentação de datasets.
+
+**Princípios:**
+- O teto do sistema é a qualidade dos dados.
+- O conjunto de teste deve refletir o uso real, não a conveniência.
+- Documente origem, limites e usos indevidos.
+
+**Fora do escopo:** ferramentas de anotação e de armazenamento específicas.
+
+**Pergunta-chave:** Quem ficou de fora dos seus dados de treino e como isso aparece em produção?
+
+**Referências:**
+- Sambasivan et al., *'Everyone wants to do the model work, not the data work'* (CHI 2021)
+- Gebru et al., *Datasheets for Datasets* (CACM, 2021)
+- Quiñonero-Candela et al., *Dataset Shift in Machine Learning*
+- Gama et al., *A survey on concept drift adaptation* (ACM CSUR, 2014)
+
+**Usam mais:** ML, Science, MLOps, Governance

package/skills/eng-ai/references/4-deep-learning-fundacionais.md

@@ -0,0 +1,24 @@
+# 4. Deep Learning e Modelos Fundacionais
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Entender como redes profundas e grandes modelos pré-treinados funcionam e se adaptam.
+
+**Conhecimentos:** redes neurais, retropropagação e funções de ativação; convolução, recorrência e atenção; arquitetura transformer; representações e embeddings (espaço vetorial, similaridade, distância, o que codificam e o que perdem); pré-treinamento, ajuste fino e transferência; ajuste eficiente em parâmetros; leis de escala; tokenização; alinhamento com preferências humanas; limites: alucinação, viés, custo computacional.
+
+**Princípios:**
+- Representações reutilizáveis são o ativo central.
+- Escala ajuda, mas dados e avaliação continuam decidindo.
+- Entenda a falha típica do modelo antes de confiar nele.
+
+**Fora do escopo:** versões, nomes e parâmetros de modelos ou frameworks específicos.
+
+**Pergunta-chave:** Quando vale ajustar um modelo e quando basta adaptar o contexto de entrada?
+
+**Referências:**
+- Goodfellow, Bengio & Courville, *Deep Learning*
+- Vaswani et al., *Attention Is All You Need* (2017)
+- Kaplan et al., *Scaling Laws for Neural Language Models* (2020)
+- Bommasani et al., *On the Opportunities and Risks of Foundation Models* (2021)
+
+**Usam mais:** ML, Research, AI Eng, Safety

package/skills/eng-ai/references/5-llms-chatbots-agentes-rag.md

@@ -0,0 +1,25 @@
+# 5. LLMs, Chatbots, Agentes e RAG
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Construir aplicações confiáveis sobre modelos de linguagem, sem depender de um modelo específico.
+
+**Conhecimentos:** LLMs: instruções, exemplos, contexto e janela de contexto; saída estruturada; chatbots: design conversacional, turnos, memória de conversa, escalonamento para humano, avaliação de diálogo; agentes: laços de decisão, uso de ferramentas, memória e planejamento; fluxos fixos vs. agentes autônomos; RAG: preparação e divisão de documentos (chunking), embeddings, busca vetorial e híbrida, reordenação, ancoragem em fontes; avaliação separada de recuperação e de geração; alucinação e verificação; custo e latência por token.
+
+**Princípios:**
+- Comece pelo fluxo mais simples que resolve o problema.
+- Autonomia só onde o erro é barato ou há verificação.
+- Em RAG, resposta ruim costuma ser recuperação ruim: avalie as duas etapas.
+
+**Fora do escopo:** SDKs, nomes de modelos, bancos vetoriais e frameworks de orquestração.
+
+**Pergunta-chave:** Esta tarefa pede um agente, um chatbot com memória ou um fluxo fixo com uma chamada?
+
+**Referências:**
+- Anthropic, *Building effective agents* (2024)
+- Lewis et al., *Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks* (2020)
+- Yao et al., *ReAct* (2022)
+- Jurafsky & Martin, *Speech and Language Processing* (cap. sobre diálogo)
+- Huyen, *AI Engineering* (2025)
+
+**Usam mais:** AI Eng, Architecture, Product, Platform

package/skills/eng-ai/references/6-avaliacao-experimentacao.md

@@ -0,0 +1,24 @@
+# 6. Avaliação, Experimentação e Método de Pesquisa
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Medir de forma válida e comparar sistemas de IA sem se enganar.
+
+**Conhecimentos:** baselines e ablações; métricas offline vs. resultados online; conjuntos de avaliação (evals) e cobertura; avaliação humana e por modelo-juiz, com seus vieses; contaminação de benchmarks; intervalos de confiança entre execuções; teste A/B e experimentos controlados; análise de erros por segmento; reprodutibilidade (sementes, versões, dados); hipóteses, método científico e relato honesto.
+
+**Princípios:**
+- Sem avaliação confiável, toda melhoria é anedota.
+- Investigue por que falhou, não só quanto acertou.
+- Reporte variância, não só o melhor resultado.
+
+**Fora do escopo:** ferramentas e plataformas de avaliação específicas.
+
+**Pergunta-chave:** Seu benchmark mede o que importa para o usuário e o modelo já viu seus exemplos?
+
+**Referências:**
+- Liang et al., *Holistic Evaluation of Language Models* (HELM, 2022)
+- Pineau et al., *Improving Reproducibility in Machine Learning Research* (JMLR, 2021)
+- Lipton & Steinhardt, *Troubling Trends in ML Scholarship* (2018)
+- Kohavi et al., *Trustworthy Online Controlled Experiments*
+
+**Usam mais:** Research, Science, AI Eng, Product

package/skills/eng-ai/references/7-engenharia-sistemas-ia.md

@@ -0,0 +1,24 @@
+# 7. Engenharia de Sistemas de IA
+
+**Nível:** FUNDAMENTAL · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Integrar modelos a sistemas confiáveis, observáveis e econômicos.
+
+**Conhecimentos:** modelo como componente probabilístico; inferência em lote, online e em fluxo; latência, vazão e custo por requisição; caching, filas e processamento assíncrono; fallbacks, limites e degradação graciosa; humano no laço e revisão; versionamento de modelo, prompt e dados; observabilidade de qualidade e custo; testes de sistemas de ML; dívida técnica específica de ML.
+
+**Princípios:**
+- O modelo é a menor parte do sistema.
+- Projete o caminho de falha antes do caminho feliz.
+- Mudança de qualquer insumo (dado, prompt, modelo) é mudança de produto.
+
+**Fora do escopo:** servidores de inferência e frameworks de implantação específicos.
+
+**Pergunta-chave:** Se o modelo ficar indisponível ou responder mal, o que o usuário vê?
+
+**Referências:**
+- Sculley et al., *Hidden Technical Debt in Machine Learning Systems* (NIPS 2015)
+- Breck et al., *The ML Test Score* (2017)
+- Huyen, *Designing Machine Learning Systems*
+- Zinkevich, *Rules of Machine Learning*
+
+**Usam mais:** AI Eng, ML, Architecture, MLOps

package/skills/eng-ai/references/8-mlops-plataforma.md

@@ -0,0 +1,24 @@
+# 8. MLOps e Plataforma de IA
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Operar modelos em produção de forma repetível, rastreável e monitorada.
+
+**Conhecimentos:** ciclo de vida: dados, treino, avaliação, implantação, monitoramento; versionamento de dados, modelos e experimentos; pipelines de treino reproduzíveis; registro de modelos e promoção; integração, entrega e treino contínuos; armazenamento de variáveis (feature store) e consistência treino/serviço; monitoramento de desempenho, drift e qualidade de dados; retreino e rollback; gestão de custo e GPU; reprodutibilidade e auditoria.
+
+**Princípios:**
+- Tudo que gerou o modelo deve ser recuperável.
+- Monitore o dado e o resultado, não só a latência.
+- Automatize o ciclo; humanos decidem a promoção.
+
+**Fora do escopo:** plataformas, orquestradores e registries específicos.
+
+**Pergunta-chave:** Como você identifica e reverte um modelo que piorou silenciosamente em produção?
+
+**Referências:**
+- Sculley et al., *Hidden Technical Debt in ML Systems*
+- Huyen, *Designing Machine Learning Systems*
+- Google, *MLOps: Continuous delivery and automation pipelines in ML*
+- Breck et al., *The ML Test Score*
+
+**Usam mais:** MLOps, ML, AI Eng, Architecture

package/skills/eng-ai/references/9-produto-ia.md

@@ -0,0 +1,24 @@
+# 9. Produto de IA
+
+**Nível:** IMPORTANTE · **Agnóstico de tecnologia:** ✅
+
+**Objetivo:** Decidir onde IA cria valor e como apresentá-la ao usuário com honestidade.
+
+**Conhecimentos:** quando IA é a ferramenta certa (e quando regra basta); enquadramento do problema e métrica de valor; custo do erro e assimetrias; UX para incerteza, explicação e correção; expectativa e confiança do usuário; ciclo de feedback e dados como vantagem; viabilidade, custo e latência; métricas de produto vs. de modelo; pilotos, lançamento gradual e experimentos; economia de previsões.
+
+**Princípios:**
+- Comece pelo problema do usuário, não pela tecnologia.
+- Projete a experiência do erro com a mesma atenção do acerto.
+- O valor aparece em métrica de negócio, não em acurácia.
+
+**Fora do escopo:** roadmaps de produtos ou fornecedores específicos.
+
+**Pergunta-chave:** Quanto custa um erro do modelo e quem o percebe primeiro?
+
+**Referências:**
+- Agrawal, Gans & Goldfarb, *Prediction Machines*
+- Google PAIR, *People + AI Guidebook*
+- Amershi et al., *Guidelines for Human-AI Interaction* (CHI 2019)
+- Huyen, *AI Engineering* (cap. sobre produto)
+
+**Usam mais:** Product, Governance, Architecture, AI Eng

package/skills/eng-ai/references/especializacoes.md

@@ -0,0 +1,17 @@
+# Skill Base AI — Funções × Skills
+
+Cada função **parte da mesma base**; o que muda é o peso. Núcleo = domínio esperado; apoio = noção sólida (números = skills do INDEX).
+
+| Função | Núcleo (●) | Apoio (○) |
+|--------|-----------|-----------|
+| AI Engineering | 5·LLMs, Chatbots, Agentes e RAG, 7·Engenharia de Sistemas de IA, 6·Avaliação, Experimentação e Método de Pesquisa, 10·Arquitetura de Soluções de IA | 3, 4, 8, 12 |
+| Machine Learning Engineering | 1·Fundamentos de Machine Learning, 3·Dados para IA, 4·Deep Learning e Modelos Fundacionais, 8·MLOps e Plataforma de IA, 7·Engenharia de Sistemas de IA | 2, 6, 12 |
+| Data Science | 1·Fundamentos de Machine Learning, 2·Matemática e Estatística para IA, 3·Dados para IA, 6·Avaliação, Experimentação e Método de Pesquisa | 4, 9, 12 |
+| AI Research | 2·Matemática e Estatística para IA, 4·Deep Learning e Modelos Fundacionais, 6·Avaliação, Experimentação e Método de Pesquisa, 1·Fundamentos de Machine Learning | 3, 5, 12 |
+| AI Product | 9·Produto de IA, 6·Avaliação, Experimentação e Método de Pesquisa, 5·LLMs, Chatbots, Agentes e RAG, 11·Governança de IA | 1, 10, 12 |
+| AI Solutions Architecture | 10·Arquitetura de Soluções de IA, 7·Engenharia de Sistemas de IA, 5·LLMs, Chatbots, Agentes e RAG, 8·MLOps e Plataforma de IA | 4, 11, 12 |
+| AI Platform / MLOps | 8·MLOps e Plataforma de IA, 7·Engenharia de Sistemas de IA, 3·Dados para IA, 6·Avaliação, Experimentação e Método de Pesquisa | 4, 10, 12 |
+| AI Governance | 11·Governança de IA, 12·Segurança de IA e IA Responsável, 3·Dados para IA, 6·Avaliação, Experimentação e Método de Pesquisa | 9, 10 |
+| AI Safety & Responsible AI | 12·Segurança de IA e IA Responsável, 11·Governança de IA, 6·Avaliação, Experimentação e Método de Pesquisa, 4·Deep Learning e Modelos Fundacionais | 2, 3, 5 |
+
+> Uma função não *limita* o estudo: serve para priorizar a ordem. Lacunas no núcleo são prioridade; lacunas no apoio são aceitáveis.