ll-skills 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (27) hide show
  1. package/CHANGELOG.md +18 -0
  2. package/README.md +105 -0
  3. package/agents/ll-implementador.md +23 -0
  4. package/bin/install.js +475 -0
  5. package/hooks/ll-skills-check-update.js +157 -0
  6. package/package.json +38 -0
  7. package/skills/ll-atualizar/SKILL.md +68 -0
  8. package/skills/ll-decidir-antes/SKILL.md +81 -0
  9. package/skills/ll-decidir-antes/referencias/protocolo-entrevista.md +112 -0
  10. package/skills/ll-decidir-antes/referencias/template-spec.md +238 -0
  11. package/skills/ll-desarmar/SKILL.md +254 -0
  12. package/skills/ll-desarmar/referencias/execucao-adversarial.md +217 -0
  13. package/skills/ll-desarmar/referencias/humanos-e-substitutos.md +116 -0
  14. package/skills/ll-desarmar/referencias/placar-e-realimentacao.md +140 -0
  15. package/skills/ll-orquestrar/SKILL.md +100 -0
  16. package/skills/ll-pesquisar/SKILL.md +159 -0
  17. package/skills/ll-pesquisar/referencias/frente-de-pesquisa.md +147 -0
  18. package/skills/ll-pesquisar/referencias/sintese-e-fontes.md +148 -0
  19. package/skills/ll-pesquisar-mercado/SKILL.md +112 -0
  20. package/skills/ll-pesquisar-mercado/referencias/dossie.md +375 -0
  21. package/skills/ll-pesquisar-mercado/referencias/indice-e-fechamento.md +122 -0
  22. package/skills/ll-pesquisar-mercado/referencias/padroes-de-pesquisa.md +149 -0
  23. package/skills/ll-verificar-entrega/SKILL.md +73 -0
  24. package/skills/ll-verificar-entrega/referencias/briefs-auditoria.md +291 -0
  25. package/skills/ll-voltar-do-futuro/SKILL.md +239 -0
  26. package/skills/ll-voltar-do-futuro/referencias/anti-padroes-e-fundamentos.md +201 -0
  27. package/skills/ll-voltar-do-futuro/referencias/vetores-e-testes.md +228 -0
@@ -0,0 +1,217 @@
1
+ # Execução adversarial, relatório e auditoria
2
+
3
+ Lido por quem orquestra antes de despachar (D2) e por **todo executor e todo auditor** como
4
+ referência de método. Traz: a disciplina de execução, as receitas por tipo de incógnita, o
5
+ esqueleto obrigatório do relatório e o protocolo de auditoria de contexto limpo.
6
+
7
+ ---
8
+
9
+ ## A disciplina: reprova primeiro
10
+
11
+ O teste não existe para mostrar que o sistema funciona. Existe para descobrir **onde ele
12
+ para de funcionar**, enquanto isso ainda é barato. Três consequências operacionais:
13
+
14
+ - **Procure o resultado que reprova.** Depois do primeiro número bom, a tarefa não acabou:
15
+ ela vira "qual entrada faz este número desabar?". Quem executa é o adversário do próprio
16
+ sistema durante a execução inteira.
17
+ - **Desconfie da folga.** Aceite de 95% batido com 99,8% costuma significar uma de três
18
+ coisas: a amostra é fácil, a métrica é proxy do que importa, ou o ground truth veio do
19
+ próprio sistema. Teste as três hipóteses antes de comemorar.
20
+ - **Aprovação falsa é pior que não testar.** Não testar deixa a incerteza visível; aprovar
21
+ errado compra confiança que será transferida para camadas que ninguém olhou.
22
+
23
+ ### Amostra adversarial
24
+
25
+ Monte por **composição declarada**, não por sorteio. Uma amostra de 30 bem escolhida vence
26
+ uma de 500 aleatória, porque o que decide é a cobertura de classes de entrada, não o n:
27
+
28
+ - os formatos e origens **distintos** (fornecedores, layouts, dialetos, versões de API);
29
+ - o caso que já deu problema uma vez em contexto de baixo risco — o presságio;
30
+ - o caso com histórico sujo (retificação, correção posterior, dado migrado, duplicata);
31
+ - o caso fora do perfil-alvo (usuário atípico, volume extremo, campo vazio, acento, unidade
32
+ diferente);
33
+ - a cauda que o desenho assume ser rara — meça se ela é mesmo.
34
+
35
+ Registre no relatório a composição real e **toda substituição**: "previstos 3 fornecedores,
36
+ o terceiro não tinha dado público na janela; substituído por X, que compartilha o layout de
37
+ duas colunas — a propriedade que interessava".
38
+
39
+ ### Ground truth independente
40
+
41
+ Em ordem de força: fonte oficial externa conferida à mão > dois revisores independentes com
42
+ adjudicação do desacordo > critério preditivo externo (o instrumento acerta o que aconteceu
43
+ depois?) > caminho duplo independente com juiz nos desacordos. Medir a saída do sistema
44
+ contra outra saída do mesmo sistema não é ground truth — é consistência interna, e ela é
45
+ alta justamente quando o erro é sistemático.
46
+
47
+ Quando o ground truth exige conferência manual, declare **quantos itens foram conferidos
48
+ visualmente** — é esse número, não o n total, que sustenta a afirmação de erro zero.
49
+
50
+ ### Quebra por classe de entrada
51
+
52
+ O agregado é a média de coisas diferentes e mente por construção. Toda métrica sai em tabela
53
+ por classe: por fonte, por formato, por faixa de tamanho, por tier de modelo, por período.
54
+ É dessa tabela que sai a **fronteira de validade** — "0% de erro neste formato; layouts de
55
+ duas colunas têm 35–100% de erro e ficam fora do MVP" é um resultado útil; "erro médio de
56
+ 6%" não decide nada.
57
+
58
+ ### Regras de execução que mudam o número
59
+
60
+ - **Determinístico fica em script.** Hash, dedupe, contagem, replay, diff, junção: código.
61
+ Julgamento de modelo só onde há ambiguidade real — e ali, com o resultado auditável.
62
+ - **Meça com o tier que o produto vai usar.** Tier melhor infla qualidade; tier pior infla
63
+ custo. Num caso real, o modelo mínimo errou classificações com confiança máxima e derrubou
64
+ o recall do sinal central de 100% para 7,7% — o tier é parte do desenho, não detalhe de
65
+ execução.
66
+ - **Economia unitária mede o custo variável de UMA unidade ativa**, com preços reais de
67
+ tabela, no tier que passou nos testes de qualidade, e por um mês simulado — incluindo o
68
+ mês de onboarding como pior caso. Custo apurado sob assinatura, crédito ou ambiente
69
+ subsidiado responde outra pergunta.
70
+ - **Proveniência na medição.** Cada resultado carrega de onde veio (script, versão, lote,
71
+ modelo). É o que permite purgar cirurgicamente e re-medir quando um defeito aparece.
72
+
73
+ ### Correção estrutural é achado de primeira classe
74
+
75
+ Testes desenhados para falsear premissas encontram defeitos que nenhuma revisão de código
76
+ encontra: chaves naturais que não existem no mundo real, identidades que colidem entre
77
+ contextos, idempotência quebrada por um campo volátil, heurística que classifica pelo nome
78
+ do arquivo. Numa POC real, as **12 correções estruturais** foram o produto principal — mais
79
+ valiosas que os 6 critérios aprovados.
80
+
81
+ Para cada uma registre: o defeito com o dado real que o expôs, a correção aplicada, o
82
+ re-teste, e a **recomendação para o sistema real**. Se a correção mudou o resultado do
83
+ aceite, o relatório mostra os dois números, antes e depois.
84
+
85
+ ---
86
+
87
+ ## Receitas por tipo de incógnita
88
+
89
+ | Incógnita | O que rodar | O que registrar |
90
+ |---|---|---|
91
+ | Fidelidade de extração/transformação | amostra adversarial + ground truth manual, item a item | taxa de erro **por classe de entrada** e por campo; quantos itens conferidos visualmente |
92
+ | Concordância semântica / classificação | dois caminhos independentes + adjudicação dos desacordos | concordância bruta **e** acurácia adjudicada; a natureza dos desacordos (muitos são defeito do rótulo, não do classificador) |
93
+ | Poder estatístico / convergência | simulação com verdade conhecida sob o tráfego realmente projetado | curva por volume; qual alavanca move o resultado e qual não move |
94
+ | Economia unitária | bottom-up com preços reais, um mês de uma unidade ativa | típico e pior caso; % do menor preço da tese |
95
+ | Regime contínuo | cron/timer por N dias sem intervenção, dashboard de 3–5 métricas | intervenções manuais não planejadas (o aceite é a **ausência** delas); fila humana por dia; o que o dia 1 quebrou |
96
+ | Dependência externa/legal | memorando de perguntas objetivas + segunda opinião adversarial | risco classificado, mitigação escrita e o **requisito de arquitetura** que decorre |
97
+ | Percepção humana / desejabilidade | ver `humanos-e-substitutos.md` | componente objetivo **e** subjetivo, separados |
98
+
99
+ ---
100
+
101
+ ## §Relatório — esqueleto obrigatório
102
+
103
+ Grave em `docs/desarmar/resultados/<slug>.md`:
104
+
105
+ <esqueleto-relatorio>
106
+ # Teste {N} — {título} — Resultados
107
+
108
+ > Executado em {datas}, sobre {dados reais / simulação}. Reprodutível em `{caminho}`.
109
+ > Premissa sob teste: "{afirmação falsificável}".
110
+ > Aceite pré-registrado em {data de congelamento}: {texto literal do plano}.
111
+ > Reprova se: {texto literal do plano}.
112
+
113
+ ## O que rodou
114
+ Amostra real (n e composição, com as substituições e o porquê) · ground truth e como foi
115
+ estabelecido · comandos, scripts e caminhos · modelo/tier e versão · período.
116
+
117
+ ## Dados medidos
118
+ Tabela agregada + **tabela por classe de entrada**. Números crus antes de qualquer
119
+ interpretação.
120
+
121
+ ## Aceite, critério a critério
122
+ | Critério pré-registrado | Medido | Passou? |
123
+ |---|---|---|
124
+ | {texto literal} | {número} | ✅ / ⚠️ no fio / ❌ |
125
+
126
+ ## Fronteira de validade
127
+ Onde vale, com número. Onde **não** vale, com número. Que condição precisa ser verdadeira
128
+ para o resultado se sustentar em produção.
129
+
130
+ ## Achados colaterais e correções estruturais
131
+ Defeito → dado real que o expôs → correção → re-teste → recomendação para o sistema real.
132
+
133
+ ## Custo e prazo
134
+ Orçado {X} × real {Y}, por etapa. Tokens, chamadas, horas de conferência manual.
135
+
136
+ ## O que este teste NÃO prova
137
+ Explícito. Camadas não tocadas, regimes não exercitados, populações não representadas.
138
+
139
+ ## Veredicto proposto
140
+ {um dos cinco do vocabulário fechado} — uma frase de justificativa com o número que decide.
141
+ </esqueleto-relatorio>
142
+
143
+ ---
144
+
145
+ ## §Auditoria — contexto limpo sobre o que passou
146
+
147
+ Todo critério **aprovado** é auditado por um agente que não viu a execução. A auditoria roda
148
+ em Opus, em subagente novo, e é onde a rodada mais se paga: num caso real ela reprovou um
149
+ critério que os números agregados davam por aprovado (recall real de 7,7%), desfez uma
150
+ conclusão de "omissão confirmada" que era artefato da fonte, e validou o modelo de dados com
151
+ varredura completa.
152
+
153
+ <brief-modelo-auditor>
154
+ Você audita, de forma adversarial, um critério de aceite que foi dado como aprovado em
155
+ {PROJETO}. Sua tarefa é reprová-lo se ele for reprovável.
156
+
157
+ CONTEXTO E MOTIVAÇÃO
158
+ Este critério vai autorizar {decisão que ele destrava}. Aprovações falsas são o modo de
159
+ falha mais caro deste processo, porque a confiança conquistada aqui será transferida para
160
+ camadas que ninguém mediu. Encontrar um problema agora vale mais do que confirmar o
161
+ resultado. Você não viu — e não deve procurar — o raciocínio de quem executou.
162
+
163
+ DADOS
164
+ 1. {abs}/docs/desarmar/plano-de-testes.md §{teste} — o aceite pré-registrado, literal.
165
+ 2. {abs}/docs/desarmar/resultados/{slug}.md — o relatório, seções "O que rodou" e "Dados
166
+ medidos".
167
+ 3. {caminhos dos dados brutos, saídas do sistema e ground truth}
168
+
169
+ INSTRUÇÕES
170
+ Refaça a medição pelo caminho mais independente que os dados permitirem. Ataque nesta ordem:
171
+ a métrica mede o que o critério afirma, ou mede um proxy que passa mais fácil? O denominador
172
+ está certo — o que ficou fora da conta? A amostra cobre as classes que o plano prometeu? O
173
+ ground truth é mesmo independente do sistema? O agregado esconde uma classe com desempenho
174
+ inaceitável? Existe um caso plausível, dentro do escopo declarado, que o sistema erra?
175
+ Construa esse caso e rode.
176
+ Cobertura completa com rótulo de confiança por achado — alta, média ou baixa. Não filtre por
177
+ severidade; filtrar é trabalho de quem consolida.
178
+
179
+ CONTRATO DE SAÍDA
180
+ Devolva em ≤ 400 palavras: **MANTÉM** ou **REPROVA** o critério; para cada achado, o número
181
+ que o sustenta e o caminho do dado; e a métrica recalculada pelo seu caminho independente,
182
+ lado a lado com a reportada. "Refiz por caminho independente e o número bate" é resultado
183
+ válido e valioso — diga isso claramente quando for o caso.
184
+
185
+ LIMITES
186
+ Não edite o relatório nem nenhum arquivo do projeto. Não proponha redesenho de produto: seu
187
+ escopo é a validade da medição.
188
+
189
+ CRITÉRIOS DE SUCESSO
190
+ Você recalculou pelo menos uma métrica por caminho independente; inspecionou manualmente ao
191
+ menos {N} casos, incluindo os da classe de pior desempenho; e nomeou explicitamente a
192
+ hipótese de amostra fácil, confirmando-a ou descartando-a com dado.
193
+ </brief-modelo-auditor>
194
+
195
+ Quando a auditoria reprova: rode o ciclo de correção, re-teste, e grave a **trajetória** no
196
+ relatório — reprovou com X, corrigiu com Y, passou com Z. A trajetória é a lição
197
+ transferível; só o número final não ensina nada.
198
+
199
+ ---
200
+
201
+ ## Anti-padrões de execução
202
+
203
+ 1. **Completar o aceite depois de ver os dados.** Se o plano estava incompleto, ele volta ao
204
+ portão de D0 antes de rodar — nunca depois.
205
+ 2. **Trocar a métrica no meio.** Métrica que muda durante a execução é métrica escolhida pelo
206
+ resultado.
207
+ 3. **Amostra da conveniência.** O que estava na pasta, o que a API devolve por padrão, os 10
208
+ primeiros. Composição declarada ou nada.
209
+ 4. **Erro médio como veredicto.** Sem quebra por classe não há fronteira de validade.
210
+ 5. **Ground truth contaminado.** Rótulo gerado pelo mesmo modelo, gabarito derivado da mesma
211
+ heurística, revisor que viu a saída do sistema antes de julgar.
212
+ 6. **Silenciar o desvio.** Toda diferença entre o plano e o que foi possível fazer vira nota
213
+ "Desvio do plano", com o efeito sobre a validade.
214
+ 7. **Construir o produto sob nome de POC.** Se o teste começa a exigir metade do sistema,
215
+ pare e reporte: o desenho está errado ou o premortem virou autorização para começar.
216
+ 8. **Descartar o código do teste sem colher as recomendações.** O código é descartável; as 12
217
+ correções que ele revelou, não.
@@ -0,0 +1,116 @@
1
+ # Testes que exigem terceiros: kit, substituto e fronteira epistêmica
2
+
3
+ Lido em D1, quando um teste depende de pessoas que não estão disponíveis agora — entrevista,
4
+ avaliação cega, teste de percepção, parecer profissional. Nenhuma skill recruta humanos: o
5
+ que ela faz é deixar o teste **pronto para disparar** e, se o humano decidir, rodar o
6
+ substituto declarado com os limites do que ele prova escritos.
7
+
8
+ ---
9
+
10
+ ## Regra de ouro
11
+
12
+ Persona simulada não é usuário. Advogado simulado não é parecer. A simulação é uma **ponte**
13
+ que corrige o instrumento antes de gastar o recurso escasso — a atenção de gente real. Ela é
14
+ legítima, e é desonesta apenas quando a fronteira do que prova fica implícita.
15
+
16
+ O caso real que justifica a ponte: 10 personas com perfil de conhecimento oculto revelaram
17
+ que **um acerto por chute em item verdadeiro/falso certificava domínio** — uma falha
18
+ aritmética do instrumento, igualmente válida para humanos. A correção derrubou o
19
+ falso-positivo de 34% para 12%. Nenhum humano precisou ser gasto para descobrir isso, e
20
+ gente real teria sido gasta num instrumento defeituoso.
21
+
22
+ ---
23
+
24
+ ## O kit — monte sempre, mesmo quando o substituto vai rodar
25
+
26
+ Grave em `docs/desarmar/kits/<slug>/`. É o que permite disparar o teste real no dia em que
27
+ as pessoas existirem, sem re-derivar nada.
28
+
29
+ | Peça | Conteúdo |
30
+ |---|---|
31
+ | `protocolo.md` | Quem recrutar (perfil, quantos, de onde, **fora do time**), roteiro minuto a minuto, o que o participante vê e não vê, ordem de apresentação e como ela é randomizada, tempo total, incentivo |
32
+ | `instrumento/` | O material que o participante encontra: questionário, telas, tarefas, o produto do concorrente lado a lado, o que for |
33
+ | `formulario.md` | Os itens de coleta, separados em **objetivos** (desempenho, tempo, taxa de detecção, escolha revelada) e **subjetivos** (n/10 concordam, escala, frase livre) |
34
+ | `criterio.md` | O aceite pré-registrado, copiado literal do plano, com a data de congelamento e a decisão pré-comprometida nos dois ramos |
35
+ | `analise.md` | Como os dados serão tabulados **antes** de existirem: qual tabela, qual corte, qual teste. Análise decidida depois dos dados escolhe o corte que confirma |
36
+
37
+ ### Cegueira, onde ela importa
38
+
39
+ - Quem aplica não conhece a hipótese, ou aplica por roteiro fechado.
40
+ - Quem avalia a saída não sabe qual condição a produziu.
41
+ - Perguntas de desejabilidade medem **preferência revelada** sempre que possível: o que a
42
+ pessoa escolheu, pagou, abandonou ou copiou vale mais que o que ela declarou que faria.
43
+ - Ordem randomizada entre participantes, para que a fadiga e a âncora não caiam sempre no
44
+ mesmo item.
45
+
46
+ ### Aceite de teste com humanos
47
+
48
+ Sempre conjunto, com um componente objetivo e um subjetivo, e com n pequeno declarado —
49
+ 5 a 10 pessoas resolvem a maioria das perguntas de percepção. Modelo:
50
+ *"delta ≥ 20 p.p. entre as condições **e** ≥ 7/10 participantes reconhecem o resultado como
51
+ descrição justa do próprio desempenho"*.
52
+
53
+ ---
54
+
55
+ ## O substituto: simulação de personas
56
+
57
+ Três salvaguardas, todas obrigatórias:
58
+
59
+ 1. **Perfil oculto do instrumento.** A persona recebe um perfil (o que sabe, o que não sabe,
60
+ como se comporta sob incerteza) e responde **em caráter**; quem avalia não vê o perfil.
61
+ Sem isso, a simulação mede o quanto o avaliador conhece o gabarito.
62
+ 2. **Diversidade declarada de perfis.** Cubra os regimes que o produto vai encontrar —
63
+ avançado, intermediário, iniciante, errático, adversarial —, com quantos de cada e por
64
+ quê. Personas todas cooperativas produzem um instrumento que só funciona com gente boazinha.
65
+ 3. **Fronteira epistêmica escrita no resultado**, no formato abaixo, dentro do próprio
66
+ relatório do teste.
67
+
68
+ <fronteira-epistemica>
69
+ ## O que esta simulação prova e o que não prova
70
+
71
+ **Prova** (propriedades aritméticas e estruturais do instrumento, válidas também para
72
+ humanos): {ex. o escore certifica domínio a partir de uma única resposta correta em item
73
+ binário; o gabarito desbalanceado alinha o chute ao acerto; a regra de corte deixa X% do
74
+ mapa indeterminado}.
75
+
76
+ **Não prova**: percepção subjetiva, aceitação, disposição a pagar, a estrutura real do
77
+ conhecimento ou do comportamento humano, e qualquer efeito de contexto social. Nada aqui
78
+ substitui {N} pessoas reais.
79
+
80
+ **Estado**: instrumento corrigido em {caminho}, pronto para disparar. Item reclassificado de
81
+ **bloqueio** para **validação pré-lançamento**, com dono {nome} e marco {quando}.
82
+ </fronteira-epistemica>
83
+
84
+ Rode as personas em **Opus** — julgamento em caráter com perfil oculto é exatamente o
85
+ trabalho que degrada em modelo menor.
86
+
87
+ ## O substituto: segunda opinião adversarial em parecer profissional
88
+
89
+ Para dependência legal, regulatória, contábil ou clínica: escreva primeiro o **memorando de
90
+ perguntas objetivas** (numeradas, fechadas, cada uma com a decisão de produto que depende
91
+ dela). Depois rode uma persona especialista da área **em modo adversarial**, respondendo o
92
+ memorando como segunda opinião — e registre onde ela **diverge** do memorando, que é onde
93
+ está o valor. Num caso real, a divergência mudou o alvo do risco: o problema não era perder
94
+ no mérito, era a liminar — *"o processo se ganha, a empresa se perde"* — e a recomendação
95
+ resultante virou requisito de arquitetura (proveniência item a item + kill-switch por fonte,
96
+ impraticável de retrofitar depois).
97
+
98
+ O aceite deste tipo de teste nunca é "temos um parecer". É **risco classificado + mitigação
99
+ escrita + requisito de arquitetura nomeado**. E o resultado sai marcado como opinião
100
+ simulada, jamais como parecer.
101
+
102
+ ---
103
+
104
+ ## Como isso aparece no placar
105
+
106
+ - Substituto rodou, instrumento corrigido, fronteira escrita → **PENDENTE, COM SUBSTITUTO
107
+ DECLARADO**, com o rebaixamento de bloqueio para validação pré-lançamento explícito.
108
+ - A simulação encontrou uma falha **estrutural ou aritmética** que invalida o desenho →
109
+ **CONFIRMADA, COM ROTA DE SAÍDA QUANTIFICADA**. Falha aritmética vale para humanos também;
110
+ não precisa de gente para ser verdadeira, e a alavanca medida decide o redesenho.
111
+ - Kit pronto e o humano decidiu recrutar → **EM CURSO**, com data de leitura.
112
+ - Kit pronto e nenhuma decisão tomada → continua **PENDENTE**, listado em "o que continua com
113
+ o humano", com dono e marco. Pendência sem dono some.
114
+
115
+ Em todos os casos, o item permanece no placar. Um teste que depende de terceiros não
116
+ desaparece por ser inconveniente: ele muda de estado, com a data em que volta.
@@ -0,0 +1,140 @@
1
+ # Placar, realimentação e fechamento do ciclo
2
+
3
+ Lido por quem orquestra, em D4 (atribuir veredictos e escrever o placar) e D5 (devolver os
4
+ números ao dossiê e disparar as decisões pré-comprometidas).
5
+
6
+ ---
7
+
8
+ ## Atribuir o veredicto — os casos que confundem
9
+
10
+ O vocabulário é fechado: cinco veredictos, nenhum inventado, nenhum adjetivo no lugar de um
11
+ deles. A atribuição é sua, depois da auditoria; o executor apenas propõe.
12
+
13
+ | Situação medida | Veredicto |
14
+ |---|---|
15
+ | Todos os critérios conjuntos passaram, com folga, e a auditoria manteve | **DESARMADA** — com a fronteira de validade escrita: onde vale e onde não vale, com número |
16
+ | Passou o critério de qualidade, reprovou o de cobertura (ou vice-versa) | **DESARMADA COM CONDIÇÕES**, se a condição que faltou vira requisito exequível; **CONFIRMADA** se o critério que reprovou é o que sustentava a tese |
17
+ | 79,7% contra aceite de 80% | **DESARMADA COM CONDIÇÕES**. "No fio" nunca vira aprovação; a condição é o que compensa a margem |
18
+ | Passou porque uma decisão de desenho o sustenta (dedupe, ontologia, guarda, tier de modelo) | **DESARMADA COM CONDIÇÕES**, e a decisão vira requisito nomeado do sistema real |
19
+ | Reprovou, e o teste mediu qual alavanca resolve | **CONFIRMADA, COM ROTA DE SAÍDA QUANTIFICADA** — o resultado de maior valor. Traga a alavanca com número e a decisão de desenho que decorre |
20
+ | Reprovou e nenhuma alavanca testada resolve | **CONFIRMADA** — e o texto diz o que foi testado e não resolveu (isso poupa a próxima rodada). Escale ao humano: é decisão de matar ou redesenhar |
21
+ | Passou no dia 1 de um teste de duração de 14 dias | **EM CURSO** até a data de leitura. Um dia não mede regime contínuo |
22
+ | Simulação rodou no lugar de humanos | **PENDENTE, COM SUBSTITUTO DECLARADO** — salvo quando a simulação achou falha estrutural, aí é CONFIRMADA (ver `humanos-e-substitutos.md`) |
23
+ | O teste não rodou por falta de dado, acesso ou ground truth | Continua **PENDENTE**, com o bloqueio nomeado, dono e marco. Não existe veredicto sem medição |
24
+
25
+ Dois erros a evitar na hora de escrever: **veredicto sem número** (o veredicto é o rótulo, o
26
+ número é a prova — a linha carrega os dois) e **veredicto que descreve o esforço** ("testado
27
+ extensivamente") em vez do resultado.
28
+
29
+ ---
30
+
31
+ ## Esqueleto do placar
32
+
33
+ `docs/premortem/placar.md` (ou `docs/desarmar/placar.md` quando não há premortem):
34
+
35
+ <esqueleto-placar>
36
+ # Placar contra o premortem
37
+
38
+ > Rodada de {datas}. Testes que não exigem terceiros foram **executados e medidos**
39
+ > ({como: scripts, subagentes, simulação}); os que exigem ficaram pronto-para-disparar.
40
+ > Artefatos reproduzíveis em `{caminho}`. Relatório por teste em `docs/desarmar/resultados/`.
41
+
42
+ | # | Falha do premortem | Veredicto medido |
43
+ |---|---|---|
44
+ | 1 | {título da falha, com a marca de letalidade} | **{VEREDICTO}** — {os números que decidem} · {fronteira de validade ou alavanca quantificada} · [relatório]({caminho}) |
45
+
46
+ ## Bugs reais encontrados e corrigidos no caminho
47
+ 1. **{defeito}** — {o dado real que o expôs} → {correção} → {estado após re-teste}.
48
+
49
+ ## Decisões de arquitetura que os testes cravaram
50
+ - **{decisão}** — {qual teste a cravou e com qual número}; {o que ela obriga no sistema real}.
51
+
52
+ ## O que continua com o humano
53
+ {Reclassificado de bloqueio para validação pré-lançamento, ou mantido como bloqueio.}
54
+ 1. **{item}** — dono {nome}, marco {quando}, instrumento pronto em `{caminho}`.
55
+
56
+ ## Custo da rodada
57
+ Orçado {X} × real {Y}, por teste. {Tokens, chamadas de API, horas de conferência manual.}
58
+ </esqueleto-placar>
59
+
60
+ A linha do placar é lida por alguém que não vai abrir o relatório. Ela precisa carregar a
61
+ conclusão com os números — "**DESARMADA** — 960 questões reais, 4 fontes: 0% de erro no
62
+ campo crítico (316 itens conferidos visualmente); fronteira: só vale no formato sequencial,
63
+ layouts de duas colunas têm 35–100% de erro e ficam fora do MVP" decide sozinha. "Testes
64
+ passaram" não decide nada.
65
+
66
+ ---
67
+
68
+ ## Achados colaterais: por que eles têm seção própria
69
+
70
+ Testes desenhados para falsear premissas encontram o que nenhuma revisão de código encontra,
71
+ porque são a primeira vez que o sistema encosta em dado real adversarial. Numa rodada real,
72
+ sete falhas previstas renderam **quatro bugs** e **duas decisões de identidade de dados** que
73
+ nenhuma delas antecipava; numa POC anterior, **12 correções estruturais** — chave natural que
74
+ não existe antes do documento oficial, colisão de nomes entre estados, identidade de arquivo
75
+ contaminada por URL assinada volátil, heurística que classificava tipo pelo nome do arquivo e
76
+ acertava 0 de 70.
77
+
78
+ Isso é resultado esperado, não ruído. Um placar sem achados colaterais sugere que os testes
79
+ não encostaram em dado real o bastante.
80
+
81
+ ---
82
+
83
+ ## Realimentação
84
+
85
+ ### No índice de pesquisas (`docs/README.md`, quando existir)
86
+
87
+ Regra: **número medido supera número estimado, sem apagar o estimado.**
88
+
89
+ 1. Linha nova na seção correspondente, apontando para o relatório do teste, com a conclusão
90
+ **e os números** — o mesmo padrão de resumo de uma frase do índice.
91
+ 2. **Estado da decisão** reescrito no topo: o que estes testes fecharam, o que abriram, e o
92
+ que continua em aberto com o teste que o fecha.
93
+ 3. **Caveat cruzado** no cabeçalho de todo documento que o teste superou, no formato
94
+ *"os números de custo deste documento foram medidos em {data} pelo teste {N}: {novo
95
+ número} contra {antigo}; os mecanismos seguem válidos"*. Não reescreva em silêncio e não
96
+ delete: o histórico de por que a equipe pensava X importa quando alguém questionar a
97
+ decisão daqui a seis meses.
98
+ 4. Quando um teste desmente uma premissa de alta letalidade do dossiê, ela sai da lista de
99
+ premissas críticas e entra como fato medido, com a fronteira de validade junto.
100
+
101
+ ### Nas decisões em aberto (`docs/decisoes-em-aberto.md`)
102
+
103
+ Feche as que o teste resolveu, citando o número e a data. As que continuam abertas ganham o
104
+ motivo — "o teste rodou e não discriminou", "depende de terceiros", "custo maior que o valor
105
+ da informação" — porque decisão que continua aberta sem motivo volta a ser discutida do zero.
106
+
107
+ ### Nas decisões pré-comprometidas
108
+
109
+ O ramo já estava escrito antes do número existir. Aplique-o como decisão tomada e registre:
110
+ qual ramo disparou, o que ele obriga agora, e o que deixou de ser possível. O valor inteiro
111
+ do pré-compromisso está em não reabrir a discussão depois de ver o dado — é exatamente aí que
112
+ o número ruim seria racionalizado.
113
+
114
+ ### No handoff para a implementação
115
+
116
+ O que sai desta rodada como **decisão já tomada**, e portanto não é re-perguntado pela skill
117
+ `ll-decidir-antes`: as condições das DESARMADAS COM CONDIÇÕES, os redesenhos das CONFIRMADAS, as
118
+ decisões de arquitetura cravadas pelos testes, e as fronteiras de validade que definem o
119
+ escopo do MVP (o que entra é o que foi medido funcionando; o resto tem data, não promessa).
120
+
121
+ ---
122
+
123
+ ## O ciclo está encerrado quando
124
+
125
+ - [ ] Cada falha do premortem tem **veredicto medido** com vocabulário fechado — ou está
126
+ listada como PENDENTE com bloqueio, dono e marco nomeados.
127
+ - [ ] Cada **DESARMADA** traz a fronteira de validade com número, não apenas o "passou".
128
+ - [ ] Cada **CONFIRMADA** traz a alavanca quantificada e a decisão de desenho que decorre.
129
+ - [ ] Cada critério aprovado passou por **auditoria de contexto limpo**, e o resultado da
130
+ auditoria está registrado — inclusive os "refiz por caminho independente e bate".
131
+ - [ ] Nenhum aceite foi alterado depois do congelamento; os desvios do plano estão escritos
132
+ com o efeito sobre a validade.
133
+ - [ ] **Achados colaterais** e **correções estruturais** estão registrados com o dado real que
134
+ os expôs e a recomendação para o sistema real.
135
+ - [ ] **Custo e prazo reais** aparecem contra o orçado, por teste.
136
+ - [ ] Cada decisão pré-comprometida foi **executada** e o que ela obriga está escrito.
137
+ - [ ] Os números voltaram ao índice de pesquisas e às decisões em aberto, com os caveats
138
+ cruzados nos documentos superados.
139
+ - [ ] O que continua com o humano está explicitamente classificado como **bloqueio** ou
140
+ **validação pré-lançamento** — nunca deixado ambíguo.
@@ -0,0 +1,100 @@
1
+ ---
2
+ name: ll-orquestrar
3
+ description: Regras de orquestração multi-agente — quando delegar a subagentes, como decompor tarefas, escrever briefs precisos, rotear cada etapa para o modelo certo e verificar resultados com evidência. Use antes de qualquer trabalho que envolva subagentes, fan-out paralelo, revisões independentes ou tarefas amplas (auditorias, migrações, features que tocam vários módulos).
4
+ ---
5
+
6
+ # Orquestração e delegação
7
+
8
+ Ao planejar como executar a tarefa atual, siga estas regras na ordem em que aparecem.
9
+
10
+ ## Quando delegar (e quando não)
11
+
12
+ - **Agente único primeiro.** Só faça fan-out quando pelo menos um destes valer: os
13
+ subtrabalhos geram contexto volumoso e irrelevante entre si; o trabalho é genuinamente
14
+ paralelo em arquivos disjuntos; ou os papéis precisam de independência (implementador
15
+ vs revisor). O custo escala aproximadamente linear por worker, até ~15× uma sessão
16
+ simples — gaste onde o resultado compensa.
17
+ - **Escale o esforço à complexidade**: lookup/correção trivial = inline; algumas peças
18
+ independentes = 2–4 subagentes; varredura ampla ou auditoria = um agente por fatia
19
+ estreita. Três workers focados vencem cinco dispersos; escopos pequenos são a defesa
20
+ contra apodrecimento de contexto.
21
+ - **Decomponha por fronteiras de contexto, não por fase.** Um agente é dono de um
22
+ módulo/página/fatia de ponta a ponta. Evite correntes plano→implementa→testa entre
23
+ agentes — cada handoff perde fidelidade.
24
+ - **Delegue de forma assíncrona** e continue trabalhando enquanto os subagentes rodam;
25
+ para subtarefas de acompanhamento sobre o mesmo material, envie mensagem ao agente
26
+ existente em vez de criar outro (preserva contexto e cache).
27
+
28
+ ## Briefs para subagentes
29
+
30
+ - **Subagentes não veem nada desta conversa.** Todo brief carrega: objetivo, contrato
31
+ de saída exato (schema ou formato), caminhos/payloads/restrições verificados, e
32
+ limites explícitos (o que não tocar). Escreva o brief certo da primeira vez; uma vez
33
+ delegado, confie — não refaça o trabalho do subagente nem re-derive suas descobertas.
34
+ - **Anatomia de um brief**, nesta ordem: papel em uma frase → contexto e motivação (a
35
+ tarefa maior, para quem é, o que a saída habilita) → dados/referências → instruções →
36
+ contrato de saída → limites de escopo → critérios de sucesso. Material longo vai no
37
+ topo, instruções depois dele. Critérios de sucesso nomeiam verificações explícitas
38
+ ("rode o typecheck e o build, liste cada rota verificada"), nunca "garanta que
39
+ funciona" — vagueza convida a declarações prematuras de sucesso.
40
+ - **Delimite conteúdo misto com tags XML** (`<context>`, `<instructions>`, `<input>`,
41
+ uma tag por tipo de conteúdo). Para documentos longos, peça ao agente para citar as
42
+ partes relevantes primeiro e agir sobre as citações.
43
+ - **Especificação completa de uma vez.** Modelos atuais rendem melhor recebendo a
44
+ tarefa inteira e sendo deixados rodar; pingar requisitos aos poucos desperdiça tokens
45
+ e fidelidade.
46
+ - **Instruções positivas e específicas** ("componha parágrafos de prosa fluida", não
47
+ "não use markdown"). Teste de ouro: um colega com contexto mínimo, lendo só o prompt,
48
+ conseguiria fazer a tarefa.
49
+ - **Formato de saída**: declare o schema ou formato diretamente. Prompts de revisão
50
+ pedem cobertura completa + rótulos de confiança, filtrados depois — "só reporte
51
+ severidade alta" é seguido ao pé da letra e colapsa o recall.
52
+ - **Não use andaimes de raciocínio**: nada de "pense passo a passo", planos manuais de
53
+ chain-of-thought, "seja minucioso", "verifique duas vezes" ou instruções repetidas —
54
+ hoje isso degrada a saída. Um "pense a fundo sobre X" genérico basta.
55
+
56
+ ## Handoffs e contexto
57
+
58
+ - **Handoff = condensado e estruturado** (≲2k tokens), nunca transcrições. Artefatos
59
+ pesados (screenshots, relatórios longos, datasets) vão para arquivos; passe caminhos
60
+ de volta, não conteúdos.
61
+ - **Contexto mínimo eficaz**: o menor conjunto de tokens de alto sinal que alcança o
62
+ resultado. Dê caminhos e queries e deixe os agentes lerem just-in-time; nunca cole
63
+ conteúdo de arquivo que o agente pode ler sozinho.
64
+ - Referências ricas (código real, uma suíte de testes, um protótipo) vencem descrições
65
+ em prosa. Não repita instrução que já está em contexto.
66
+ - **Trabalho de longo horizonte**: externalize estado para arquivos e git. Resumos são
67
+ um índice do que mudou e de como foi verificado — o detalhe vive no diff e nos
68
+ commits.
69
+
70
+ ## Roteamento de modelos (roteie cada etapa, não o trabalho inteiro)
71
+
72
+ Tiers por capacidade e custo — cada tier custa ~2–3× o de baixo:
73
+ Fable > Opus > Sonnet. Sonnet é o piso — não roteie abaixo dele.
74
+
75
+ - **Fable** — orquestração: decomposição, briefs, julgamentos finais e builds de longo
76
+ horizonte com verificadores periódicos. Não gaste tokens de Fable em execução.
77
+ - **Opus** — código complexo, refatorações profundas, revisão adversarial onde um
78
+ defeito perdido vai para produção, debugging não trivial.
79
+ - **Sonnet** — cavalo de batalha padrão: implementação bem especificada, varreduras de
80
+ revisão contra critérios explícitos, testes, checklists e leitura/extração em massa.
81
+ - Na dúvida entre dois tiers → pegue o mais barato; contexto limpo e brief preciso
82
+ compram mais qualidade que um modelo maior. Rode etapas mecânicas em esforço baixo.
83
+
84
+ ## Verificação e evidência
85
+
86
+ - **Verificação com contexto limpo.** Um agente revisor/verificador nunca vê o
87
+ raciocínio da implementação — ele checa o resultado contra a especificação.
88
+ Descobertas exigem evidência arquivo:linha; "não encontrei nada" dito claramente é um
89
+ resultado válido. Para descartar uma descoberta, refute com evidência, não opinião.
90
+ - Valide as afirmações dos subagentes você mesmo com evidência barata (diff, grep
91
+ focado, um teste dirigido), proporcional ao risco — mais fundo para migrações,
92
+ contratos de dados, efeitos externos e hot paths.
93
+ - **QA visual/de browser roda dentro de subagentes** — screenshots apodrecem o contexto
94
+ principal rápido. O agente de QA visualiza cada screenshot que captura (screenshot
95
+ nunca visto é checagem nunca feita) e retorna só uma lista estruturada de achados.
96
+ - Toda afirmação de "funciona"/"pronto" rastreia a um resultado de ferramenta desta
97
+ sessão: saída de teste, arquivo:linha, uma query real, um screenshot. Nomeie
98
+ suposições e o que não foi verificado.
99
+ - Quando um requisito, contrato ou semântica de dados está indefinido, reporte a lacuna
100
+ e pergunte — nunca preencha com uma interpretação plausível e siga em frente.