ll-skills 1.0.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +18 -0
- package/README.md +105 -0
- package/agents/ll-implementador.md +23 -0
- package/bin/install.js +475 -0
- package/hooks/ll-skills-check-update.js +157 -0
- package/package.json +38 -0
- package/skills/ll-atualizar/SKILL.md +68 -0
- package/skills/ll-decidir-antes/SKILL.md +81 -0
- package/skills/ll-decidir-antes/referencias/protocolo-entrevista.md +112 -0
- package/skills/ll-decidir-antes/referencias/template-spec.md +238 -0
- package/skills/ll-desarmar/SKILL.md +254 -0
- package/skills/ll-desarmar/referencias/execucao-adversarial.md +217 -0
- package/skills/ll-desarmar/referencias/humanos-e-substitutos.md +116 -0
- package/skills/ll-desarmar/referencias/placar-e-realimentacao.md +140 -0
- package/skills/ll-orquestrar/SKILL.md +100 -0
- package/skills/ll-pesquisar/SKILL.md +159 -0
- package/skills/ll-pesquisar/referencias/frente-de-pesquisa.md +147 -0
- package/skills/ll-pesquisar/referencias/sintese-e-fontes.md +148 -0
- package/skills/ll-pesquisar-mercado/SKILL.md +112 -0
- package/skills/ll-pesquisar-mercado/referencias/dossie.md +375 -0
- package/skills/ll-pesquisar-mercado/referencias/indice-e-fechamento.md +122 -0
- package/skills/ll-pesquisar-mercado/referencias/padroes-de-pesquisa.md +149 -0
- package/skills/ll-verificar-entrega/SKILL.md +73 -0
- package/skills/ll-verificar-entrega/referencias/briefs-auditoria.md +291 -0
- package/skills/ll-voltar-do-futuro/SKILL.md +239 -0
- package/skills/ll-voltar-do-futuro/referencias/anti-padroes-e-fundamentos.md +201 -0
- package/skills/ll-voltar-do-futuro/referencias/vetores-e-testes.md +228 -0
|
@@ -0,0 +1,217 @@
|
|
|
1
|
+
# Execução adversarial, relatório e auditoria
|
|
2
|
+
|
|
3
|
+
Lido por quem orquestra antes de despachar (D2) e por **todo executor e todo auditor** como
|
|
4
|
+
referência de método. Traz: a disciplina de execução, as receitas por tipo de incógnita, o
|
|
5
|
+
esqueleto obrigatório do relatório e o protocolo de auditoria de contexto limpo.
|
|
6
|
+
|
|
7
|
+
---
|
|
8
|
+
|
|
9
|
+
## A disciplina: reprova primeiro
|
|
10
|
+
|
|
11
|
+
O teste não existe para mostrar que o sistema funciona. Existe para descobrir **onde ele
|
|
12
|
+
para de funcionar**, enquanto isso ainda é barato. Três consequências operacionais:
|
|
13
|
+
|
|
14
|
+
- **Procure o resultado que reprova.** Depois do primeiro número bom, a tarefa não acabou:
|
|
15
|
+
ela vira "qual entrada faz este número desabar?". Quem executa é o adversário do próprio
|
|
16
|
+
sistema durante a execução inteira.
|
|
17
|
+
- **Desconfie da folga.** Aceite de 95% batido com 99,8% costuma significar uma de três
|
|
18
|
+
coisas: a amostra é fácil, a métrica é proxy do que importa, ou o ground truth veio do
|
|
19
|
+
próprio sistema. Teste as três hipóteses antes de comemorar.
|
|
20
|
+
- **Aprovação falsa é pior que não testar.** Não testar deixa a incerteza visível; aprovar
|
|
21
|
+
errado compra confiança que será transferida para camadas que ninguém olhou.
|
|
22
|
+
|
|
23
|
+
### Amostra adversarial
|
|
24
|
+
|
|
25
|
+
Monte por **composição declarada**, não por sorteio. Uma amostra de 30 bem escolhida vence
|
|
26
|
+
uma de 500 aleatória, porque o que decide é a cobertura de classes de entrada, não o n:
|
|
27
|
+
|
|
28
|
+
- os formatos e origens **distintos** (fornecedores, layouts, dialetos, versões de API);
|
|
29
|
+
- o caso que já deu problema uma vez em contexto de baixo risco — o presságio;
|
|
30
|
+
- o caso com histórico sujo (retificação, correção posterior, dado migrado, duplicata);
|
|
31
|
+
- o caso fora do perfil-alvo (usuário atípico, volume extremo, campo vazio, acento, unidade
|
|
32
|
+
diferente);
|
|
33
|
+
- a cauda que o desenho assume ser rara — meça se ela é mesmo.
|
|
34
|
+
|
|
35
|
+
Registre no relatório a composição real e **toda substituição**: "previstos 3 fornecedores,
|
|
36
|
+
o terceiro não tinha dado público na janela; substituído por X, que compartilha o layout de
|
|
37
|
+
duas colunas — a propriedade que interessava".
|
|
38
|
+
|
|
39
|
+
### Ground truth independente
|
|
40
|
+
|
|
41
|
+
Em ordem de força: fonte oficial externa conferida à mão > dois revisores independentes com
|
|
42
|
+
adjudicação do desacordo > critério preditivo externo (o instrumento acerta o que aconteceu
|
|
43
|
+
depois?) > caminho duplo independente com juiz nos desacordos. Medir a saída do sistema
|
|
44
|
+
contra outra saída do mesmo sistema não é ground truth — é consistência interna, e ela é
|
|
45
|
+
alta justamente quando o erro é sistemático.
|
|
46
|
+
|
|
47
|
+
Quando o ground truth exige conferência manual, declare **quantos itens foram conferidos
|
|
48
|
+
visualmente** — é esse número, não o n total, que sustenta a afirmação de erro zero.
|
|
49
|
+
|
|
50
|
+
### Quebra por classe de entrada
|
|
51
|
+
|
|
52
|
+
O agregado é a média de coisas diferentes e mente por construção. Toda métrica sai em tabela
|
|
53
|
+
por classe: por fonte, por formato, por faixa de tamanho, por tier de modelo, por período.
|
|
54
|
+
É dessa tabela que sai a **fronteira de validade** — "0% de erro neste formato; layouts de
|
|
55
|
+
duas colunas têm 35–100% de erro e ficam fora do MVP" é um resultado útil; "erro médio de
|
|
56
|
+
6%" não decide nada.
|
|
57
|
+
|
|
58
|
+
### Regras de execução que mudam o número
|
|
59
|
+
|
|
60
|
+
- **Determinístico fica em script.** Hash, dedupe, contagem, replay, diff, junção: código.
|
|
61
|
+
Julgamento de modelo só onde há ambiguidade real — e ali, com o resultado auditável.
|
|
62
|
+
- **Meça com o tier que o produto vai usar.** Tier melhor infla qualidade; tier pior infla
|
|
63
|
+
custo. Num caso real, o modelo mínimo errou classificações com confiança máxima e derrubou
|
|
64
|
+
o recall do sinal central de 100% para 7,7% — o tier é parte do desenho, não detalhe de
|
|
65
|
+
execução.
|
|
66
|
+
- **Economia unitária mede o custo variável de UMA unidade ativa**, com preços reais de
|
|
67
|
+
tabela, no tier que passou nos testes de qualidade, e por um mês simulado — incluindo o
|
|
68
|
+
mês de onboarding como pior caso. Custo apurado sob assinatura, crédito ou ambiente
|
|
69
|
+
subsidiado responde outra pergunta.
|
|
70
|
+
- **Proveniência na medição.** Cada resultado carrega de onde veio (script, versão, lote,
|
|
71
|
+
modelo). É o que permite purgar cirurgicamente e re-medir quando um defeito aparece.
|
|
72
|
+
|
|
73
|
+
### Correção estrutural é achado de primeira classe
|
|
74
|
+
|
|
75
|
+
Testes desenhados para falsear premissas encontram defeitos que nenhuma revisão de código
|
|
76
|
+
encontra: chaves naturais que não existem no mundo real, identidades que colidem entre
|
|
77
|
+
contextos, idempotência quebrada por um campo volátil, heurística que classifica pelo nome
|
|
78
|
+
do arquivo. Numa POC real, as **12 correções estruturais** foram o produto principal — mais
|
|
79
|
+
valiosas que os 6 critérios aprovados.
|
|
80
|
+
|
|
81
|
+
Para cada uma registre: o defeito com o dado real que o expôs, a correção aplicada, o
|
|
82
|
+
re-teste, e a **recomendação para o sistema real**. Se a correção mudou o resultado do
|
|
83
|
+
aceite, o relatório mostra os dois números, antes e depois.
|
|
84
|
+
|
|
85
|
+
---
|
|
86
|
+
|
|
87
|
+
## Receitas por tipo de incógnita
|
|
88
|
+
|
|
89
|
+
| Incógnita | O que rodar | O que registrar |
|
|
90
|
+
|---|---|---|
|
|
91
|
+
| Fidelidade de extração/transformação | amostra adversarial + ground truth manual, item a item | taxa de erro **por classe de entrada** e por campo; quantos itens conferidos visualmente |
|
|
92
|
+
| Concordância semântica / classificação | dois caminhos independentes + adjudicação dos desacordos | concordância bruta **e** acurácia adjudicada; a natureza dos desacordos (muitos são defeito do rótulo, não do classificador) |
|
|
93
|
+
| Poder estatístico / convergência | simulação com verdade conhecida sob o tráfego realmente projetado | curva por volume; qual alavanca move o resultado e qual não move |
|
|
94
|
+
| Economia unitária | bottom-up com preços reais, um mês de uma unidade ativa | típico e pior caso; % do menor preço da tese |
|
|
95
|
+
| Regime contínuo | cron/timer por N dias sem intervenção, dashboard de 3–5 métricas | intervenções manuais não planejadas (o aceite é a **ausência** delas); fila humana por dia; o que o dia 1 quebrou |
|
|
96
|
+
| Dependência externa/legal | memorando de perguntas objetivas + segunda opinião adversarial | risco classificado, mitigação escrita e o **requisito de arquitetura** que decorre |
|
|
97
|
+
| Percepção humana / desejabilidade | ver `humanos-e-substitutos.md` | componente objetivo **e** subjetivo, separados |
|
|
98
|
+
|
|
99
|
+
---
|
|
100
|
+
|
|
101
|
+
## §Relatório — esqueleto obrigatório
|
|
102
|
+
|
|
103
|
+
Grave em `docs/desarmar/resultados/<slug>.md`:
|
|
104
|
+
|
|
105
|
+
<esqueleto-relatorio>
|
|
106
|
+
# Teste {N} — {título} — Resultados
|
|
107
|
+
|
|
108
|
+
> Executado em {datas}, sobre {dados reais / simulação}. Reprodutível em `{caminho}`.
|
|
109
|
+
> Premissa sob teste: "{afirmação falsificável}".
|
|
110
|
+
> Aceite pré-registrado em {data de congelamento}: {texto literal do plano}.
|
|
111
|
+
> Reprova se: {texto literal do plano}.
|
|
112
|
+
|
|
113
|
+
## O que rodou
|
|
114
|
+
Amostra real (n e composição, com as substituições e o porquê) · ground truth e como foi
|
|
115
|
+
estabelecido · comandos, scripts e caminhos · modelo/tier e versão · período.
|
|
116
|
+
|
|
117
|
+
## Dados medidos
|
|
118
|
+
Tabela agregada + **tabela por classe de entrada**. Números crus antes de qualquer
|
|
119
|
+
interpretação.
|
|
120
|
+
|
|
121
|
+
## Aceite, critério a critério
|
|
122
|
+
| Critério pré-registrado | Medido | Passou? |
|
|
123
|
+
|---|---|---|
|
|
124
|
+
| {texto literal} | {número} | ✅ / ⚠️ no fio / ❌ |
|
|
125
|
+
|
|
126
|
+
## Fronteira de validade
|
|
127
|
+
Onde vale, com número. Onde **não** vale, com número. Que condição precisa ser verdadeira
|
|
128
|
+
para o resultado se sustentar em produção.
|
|
129
|
+
|
|
130
|
+
## Achados colaterais e correções estruturais
|
|
131
|
+
Defeito → dado real que o expôs → correção → re-teste → recomendação para o sistema real.
|
|
132
|
+
|
|
133
|
+
## Custo e prazo
|
|
134
|
+
Orçado {X} × real {Y}, por etapa. Tokens, chamadas, horas de conferência manual.
|
|
135
|
+
|
|
136
|
+
## O que este teste NÃO prova
|
|
137
|
+
Explícito. Camadas não tocadas, regimes não exercitados, populações não representadas.
|
|
138
|
+
|
|
139
|
+
## Veredicto proposto
|
|
140
|
+
{um dos cinco do vocabulário fechado} — uma frase de justificativa com o número que decide.
|
|
141
|
+
</esqueleto-relatorio>
|
|
142
|
+
|
|
143
|
+
---
|
|
144
|
+
|
|
145
|
+
## §Auditoria — contexto limpo sobre o que passou
|
|
146
|
+
|
|
147
|
+
Todo critério **aprovado** é auditado por um agente que não viu a execução. A auditoria roda
|
|
148
|
+
em Opus, em subagente novo, e é onde a rodada mais se paga: num caso real ela reprovou um
|
|
149
|
+
critério que os números agregados davam por aprovado (recall real de 7,7%), desfez uma
|
|
150
|
+
conclusão de "omissão confirmada" que era artefato da fonte, e validou o modelo de dados com
|
|
151
|
+
varredura completa.
|
|
152
|
+
|
|
153
|
+
<brief-modelo-auditor>
|
|
154
|
+
Você audita, de forma adversarial, um critério de aceite que foi dado como aprovado em
|
|
155
|
+
{PROJETO}. Sua tarefa é reprová-lo se ele for reprovável.
|
|
156
|
+
|
|
157
|
+
CONTEXTO E MOTIVAÇÃO
|
|
158
|
+
Este critério vai autorizar {decisão que ele destrava}. Aprovações falsas são o modo de
|
|
159
|
+
falha mais caro deste processo, porque a confiança conquistada aqui será transferida para
|
|
160
|
+
camadas que ninguém mediu. Encontrar um problema agora vale mais do que confirmar o
|
|
161
|
+
resultado. Você não viu — e não deve procurar — o raciocínio de quem executou.
|
|
162
|
+
|
|
163
|
+
DADOS
|
|
164
|
+
1. {abs}/docs/desarmar/plano-de-testes.md §{teste} — o aceite pré-registrado, literal.
|
|
165
|
+
2. {abs}/docs/desarmar/resultados/{slug}.md — o relatório, seções "O que rodou" e "Dados
|
|
166
|
+
medidos".
|
|
167
|
+
3. {caminhos dos dados brutos, saídas do sistema e ground truth}
|
|
168
|
+
|
|
169
|
+
INSTRUÇÕES
|
|
170
|
+
Refaça a medição pelo caminho mais independente que os dados permitirem. Ataque nesta ordem:
|
|
171
|
+
a métrica mede o que o critério afirma, ou mede um proxy que passa mais fácil? O denominador
|
|
172
|
+
está certo — o que ficou fora da conta? A amostra cobre as classes que o plano prometeu? O
|
|
173
|
+
ground truth é mesmo independente do sistema? O agregado esconde uma classe com desempenho
|
|
174
|
+
inaceitável? Existe um caso plausível, dentro do escopo declarado, que o sistema erra?
|
|
175
|
+
Construa esse caso e rode.
|
|
176
|
+
Cobertura completa com rótulo de confiança por achado — alta, média ou baixa. Não filtre por
|
|
177
|
+
severidade; filtrar é trabalho de quem consolida.
|
|
178
|
+
|
|
179
|
+
CONTRATO DE SAÍDA
|
|
180
|
+
Devolva em ≤ 400 palavras: **MANTÉM** ou **REPROVA** o critério; para cada achado, o número
|
|
181
|
+
que o sustenta e o caminho do dado; e a métrica recalculada pelo seu caminho independente,
|
|
182
|
+
lado a lado com a reportada. "Refiz por caminho independente e o número bate" é resultado
|
|
183
|
+
válido e valioso — diga isso claramente quando for o caso.
|
|
184
|
+
|
|
185
|
+
LIMITES
|
|
186
|
+
Não edite o relatório nem nenhum arquivo do projeto. Não proponha redesenho de produto: seu
|
|
187
|
+
escopo é a validade da medição.
|
|
188
|
+
|
|
189
|
+
CRITÉRIOS DE SUCESSO
|
|
190
|
+
Você recalculou pelo menos uma métrica por caminho independente; inspecionou manualmente ao
|
|
191
|
+
menos {N} casos, incluindo os da classe de pior desempenho; e nomeou explicitamente a
|
|
192
|
+
hipótese de amostra fácil, confirmando-a ou descartando-a com dado.
|
|
193
|
+
</brief-modelo-auditor>
|
|
194
|
+
|
|
195
|
+
Quando a auditoria reprova: rode o ciclo de correção, re-teste, e grave a **trajetória** no
|
|
196
|
+
relatório — reprovou com X, corrigiu com Y, passou com Z. A trajetória é a lição
|
|
197
|
+
transferível; só o número final não ensina nada.
|
|
198
|
+
|
|
199
|
+
---
|
|
200
|
+
|
|
201
|
+
## Anti-padrões de execução
|
|
202
|
+
|
|
203
|
+
1. **Completar o aceite depois de ver os dados.** Se o plano estava incompleto, ele volta ao
|
|
204
|
+
portão de D0 antes de rodar — nunca depois.
|
|
205
|
+
2. **Trocar a métrica no meio.** Métrica que muda durante a execução é métrica escolhida pelo
|
|
206
|
+
resultado.
|
|
207
|
+
3. **Amostra da conveniência.** O que estava na pasta, o que a API devolve por padrão, os 10
|
|
208
|
+
primeiros. Composição declarada ou nada.
|
|
209
|
+
4. **Erro médio como veredicto.** Sem quebra por classe não há fronteira de validade.
|
|
210
|
+
5. **Ground truth contaminado.** Rótulo gerado pelo mesmo modelo, gabarito derivado da mesma
|
|
211
|
+
heurística, revisor que viu a saída do sistema antes de julgar.
|
|
212
|
+
6. **Silenciar o desvio.** Toda diferença entre o plano e o que foi possível fazer vira nota
|
|
213
|
+
"Desvio do plano", com o efeito sobre a validade.
|
|
214
|
+
7. **Construir o produto sob nome de POC.** Se o teste começa a exigir metade do sistema,
|
|
215
|
+
pare e reporte: o desenho está errado ou o premortem virou autorização para começar.
|
|
216
|
+
8. **Descartar o código do teste sem colher as recomendações.** O código é descartável; as 12
|
|
217
|
+
correções que ele revelou, não.
|
|
@@ -0,0 +1,116 @@
|
|
|
1
|
+
# Testes que exigem terceiros: kit, substituto e fronteira epistêmica
|
|
2
|
+
|
|
3
|
+
Lido em D1, quando um teste depende de pessoas que não estão disponíveis agora — entrevista,
|
|
4
|
+
avaliação cega, teste de percepção, parecer profissional. Nenhuma skill recruta humanos: o
|
|
5
|
+
que ela faz é deixar o teste **pronto para disparar** e, se o humano decidir, rodar o
|
|
6
|
+
substituto declarado com os limites do que ele prova escritos.
|
|
7
|
+
|
|
8
|
+
---
|
|
9
|
+
|
|
10
|
+
## Regra de ouro
|
|
11
|
+
|
|
12
|
+
Persona simulada não é usuário. Advogado simulado não é parecer. A simulação é uma **ponte**
|
|
13
|
+
que corrige o instrumento antes de gastar o recurso escasso — a atenção de gente real. Ela é
|
|
14
|
+
legítima, e é desonesta apenas quando a fronteira do que prova fica implícita.
|
|
15
|
+
|
|
16
|
+
O caso real que justifica a ponte: 10 personas com perfil de conhecimento oculto revelaram
|
|
17
|
+
que **um acerto por chute em item verdadeiro/falso certificava domínio** — uma falha
|
|
18
|
+
aritmética do instrumento, igualmente válida para humanos. A correção derrubou o
|
|
19
|
+
falso-positivo de 34% para 12%. Nenhum humano precisou ser gasto para descobrir isso, e
|
|
20
|
+
gente real teria sido gasta num instrumento defeituoso.
|
|
21
|
+
|
|
22
|
+
---
|
|
23
|
+
|
|
24
|
+
## O kit — monte sempre, mesmo quando o substituto vai rodar
|
|
25
|
+
|
|
26
|
+
Grave em `docs/desarmar/kits/<slug>/`. É o que permite disparar o teste real no dia em que
|
|
27
|
+
as pessoas existirem, sem re-derivar nada.
|
|
28
|
+
|
|
29
|
+
| Peça | Conteúdo |
|
|
30
|
+
|---|---|
|
|
31
|
+
| `protocolo.md` | Quem recrutar (perfil, quantos, de onde, **fora do time**), roteiro minuto a minuto, o que o participante vê e não vê, ordem de apresentação e como ela é randomizada, tempo total, incentivo |
|
|
32
|
+
| `instrumento/` | O material que o participante encontra: questionário, telas, tarefas, o produto do concorrente lado a lado, o que for |
|
|
33
|
+
| `formulario.md` | Os itens de coleta, separados em **objetivos** (desempenho, tempo, taxa de detecção, escolha revelada) e **subjetivos** (n/10 concordam, escala, frase livre) |
|
|
34
|
+
| `criterio.md` | O aceite pré-registrado, copiado literal do plano, com a data de congelamento e a decisão pré-comprometida nos dois ramos |
|
|
35
|
+
| `analise.md` | Como os dados serão tabulados **antes** de existirem: qual tabela, qual corte, qual teste. Análise decidida depois dos dados escolhe o corte que confirma |
|
|
36
|
+
|
|
37
|
+
### Cegueira, onde ela importa
|
|
38
|
+
|
|
39
|
+
- Quem aplica não conhece a hipótese, ou aplica por roteiro fechado.
|
|
40
|
+
- Quem avalia a saída não sabe qual condição a produziu.
|
|
41
|
+
- Perguntas de desejabilidade medem **preferência revelada** sempre que possível: o que a
|
|
42
|
+
pessoa escolheu, pagou, abandonou ou copiou vale mais que o que ela declarou que faria.
|
|
43
|
+
- Ordem randomizada entre participantes, para que a fadiga e a âncora não caiam sempre no
|
|
44
|
+
mesmo item.
|
|
45
|
+
|
|
46
|
+
### Aceite de teste com humanos
|
|
47
|
+
|
|
48
|
+
Sempre conjunto, com um componente objetivo e um subjetivo, e com n pequeno declarado —
|
|
49
|
+
5 a 10 pessoas resolvem a maioria das perguntas de percepção. Modelo:
|
|
50
|
+
*"delta ≥ 20 p.p. entre as condições **e** ≥ 7/10 participantes reconhecem o resultado como
|
|
51
|
+
descrição justa do próprio desempenho"*.
|
|
52
|
+
|
|
53
|
+
---
|
|
54
|
+
|
|
55
|
+
## O substituto: simulação de personas
|
|
56
|
+
|
|
57
|
+
Três salvaguardas, todas obrigatórias:
|
|
58
|
+
|
|
59
|
+
1. **Perfil oculto do instrumento.** A persona recebe um perfil (o que sabe, o que não sabe,
|
|
60
|
+
como se comporta sob incerteza) e responde **em caráter**; quem avalia não vê o perfil.
|
|
61
|
+
Sem isso, a simulação mede o quanto o avaliador conhece o gabarito.
|
|
62
|
+
2. **Diversidade declarada de perfis.** Cubra os regimes que o produto vai encontrar —
|
|
63
|
+
avançado, intermediário, iniciante, errático, adversarial —, com quantos de cada e por
|
|
64
|
+
quê. Personas todas cooperativas produzem um instrumento que só funciona com gente boazinha.
|
|
65
|
+
3. **Fronteira epistêmica escrita no resultado**, no formato abaixo, dentro do próprio
|
|
66
|
+
relatório do teste.
|
|
67
|
+
|
|
68
|
+
<fronteira-epistemica>
|
|
69
|
+
## O que esta simulação prova e o que não prova
|
|
70
|
+
|
|
71
|
+
**Prova** (propriedades aritméticas e estruturais do instrumento, válidas também para
|
|
72
|
+
humanos): {ex. o escore certifica domínio a partir de uma única resposta correta em item
|
|
73
|
+
binário; o gabarito desbalanceado alinha o chute ao acerto; a regra de corte deixa X% do
|
|
74
|
+
mapa indeterminado}.
|
|
75
|
+
|
|
76
|
+
**Não prova**: percepção subjetiva, aceitação, disposição a pagar, a estrutura real do
|
|
77
|
+
conhecimento ou do comportamento humano, e qualquer efeito de contexto social. Nada aqui
|
|
78
|
+
substitui {N} pessoas reais.
|
|
79
|
+
|
|
80
|
+
**Estado**: instrumento corrigido em {caminho}, pronto para disparar. Item reclassificado de
|
|
81
|
+
**bloqueio** para **validação pré-lançamento**, com dono {nome} e marco {quando}.
|
|
82
|
+
</fronteira-epistemica>
|
|
83
|
+
|
|
84
|
+
Rode as personas em **Opus** — julgamento em caráter com perfil oculto é exatamente o
|
|
85
|
+
trabalho que degrada em modelo menor.
|
|
86
|
+
|
|
87
|
+
## O substituto: segunda opinião adversarial em parecer profissional
|
|
88
|
+
|
|
89
|
+
Para dependência legal, regulatória, contábil ou clínica: escreva primeiro o **memorando de
|
|
90
|
+
perguntas objetivas** (numeradas, fechadas, cada uma com a decisão de produto que depende
|
|
91
|
+
dela). Depois rode uma persona especialista da área **em modo adversarial**, respondendo o
|
|
92
|
+
memorando como segunda opinião — e registre onde ela **diverge** do memorando, que é onde
|
|
93
|
+
está o valor. Num caso real, a divergência mudou o alvo do risco: o problema não era perder
|
|
94
|
+
no mérito, era a liminar — *"o processo se ganha, a empresa se perde"* — e a recomendação
|
|
95
|
+
resultante virou requisito de arquitetura (proveniência item a item + kill-switch por fonte,
|
|
96
|
+
impraticável de retrofitar depois).
|
|
97
|
+
|
|
98
|
+
O aceite deste tipo de teste nunca é "temos um parecer". É **risco classificado + mitigação
|
|
99
|
+
escrita + requisito de arquitetura nomeado**. E o resultado sai marcado como opinião
|
|
100
|
+
simulada, jamais como parecer.
|
|
101
|
+
|
|
102
|
+
---
|
|
103
|
+
|
|
104
|
+
## Como isso aparece no placar
|
|
105
|
+
|
|
106
|
+
- Substituto rodou, instrumento corrigido, fronteira escrita → **PENDENTE, COM SUBSTITUTO
|
|
107
|
+
DECLARADO**, com o rebaixamento de bloqueio para validação pré-lançamento explícito.
|
|
108
|
+
- A simulação encontrou uma falha **estrutural ou aritmética** que invalida o desenho →
|
|
109
|
+
**CONFIRMADA, COM ROTA DE SAÍDA QUANTIFICADA**. Falha aritmética vale para humanos também;
|
|
110
|
+
não precisa de gente para ser verdadeira, e a alavanca medida decide o redesenho.
|
|
111
|
+
- Kit pronto e o humano decidiu recrutar → **EM CURSO**, com data de leitura.
|
|
112
|
+
- Kit pronto e nenhuma decisão tomada → continua **PENDENTE**, listado em "o que continua com
|
|
113
|
+
o humano", com dono e marco. Pendência sem dono some.
|
|
114
|
+
|
|
115
|
+
Em todos os casos, o item permanece no placar. Um teste que depende de terceiros não
|
|
116
|
+
desaparece por ser inconveniente: ele muda de estado, com a data em que volta.
|
|
@@ -0,0 +1,140 @@
|
|
|
1
|
+
# Placar, realimentação e fechamento do ciclo
|
|
2
|
+
|
|
3
|
+
Lido por quem orquestra, em D4 (atribuir veredictos e escrever o placar) e D5 (devolver os
|
|
4
|
+
números ao dossiê e disparar as decisões pré-comprometidas).
|
|
5
|
+
|
|
6
|
+
---
|
|
7
|
+
|
|
8
|
+
## Atribuir o veredicto — os casos que confundem
|
|
9
|
+
|
|
10
|
+
O vocabulário é fechado: cinco veredictos, nenhum inventado, nenhum adjetivo no lugar de um
|
|
11
|
+
deles. A atribuição é sua, depois da auditoria; o executor apenas propõe.
|
|
12
|
+
|
|
13
|
+
| Situação medida | Veredicto |
|
|
14
|
+
|---|---|
|
|
15
|
+
| Todos os critérios conjuntos passaram, com folga, e a auditoria manteve | **DESARMADA** — com a fronteira de validade escrita: onde vale e onde não vale, com número |
|
|
16
|
+
| Passou o critério de qualidade, reprovou o de cobertura (ou vice-versa) | **DESARMADA COM CONDIÇÕES**, se a condição que faltou vira requisito exequível; **CONFIRMADA** se o critério que reprovou é o que sustentava a tese |
|
|
17
|
+
| 79,7% contra aceite de 80% | **DESARMADA COM CONDIÇÕES**. "No fio" nunca vira aprovação; a condição é o que compensa a margem |
|
|
18
|
+
| Passou porque uma decisão de desenho o sustenta (dedupe, ontologia, guarda, tier de modelo) | **DESARMADA COM CONDIÇÕES**, e a decisão vira requisito nomeado do sistema real |
|
|
19
|
+
| Reprovou, e o teste mediu qual alavanca resolve | **CONFIRMADA, COM ROTA DE SAÍDA QUANTIFICADA** — o resultado de maior valor. Traga a alavanca com número e a decisão de desenho que decorre |
|
|
20
|
+
| Reprovou e nenhuma alavanca testada resolve | **CONFIRMADA** — e o texto diz o que foi testado e não resolveu (isso poupa a próxima rodada). Escale ao humano: é decisão de matar ou redesenhar |
|
|
21
|
+
| Passou no dia 1 de um teste de duração de 14 dias | **EM CURSO** até a data de leitura. Um dia não mede regime contínuo |
|
|
22
|
+
| Simulação rodou no lugar de humanos | **PENDENTE, COM SUBSTITUTO DECLARADO** — salvo quando a simulação achou falha estrutural, aí é CONFIRMADA (ver `humanos-e-substitutos.md`) |
|
|
23
|
+
| O teste não rodou por falta de dado, acesso ou ground truth | Continua **PENDENTE**, com o bloqueio nomeado, dono e marco. Não existe veredicto sem medição |
|
|
24
|
+
|
|
25
|
+
Dois erros a evitar na hora de escrever: **veredicto sem número** (o veredicto é o rótulo, o
|
|
26
|
+
número é a prova — a linha carrega os dois) e **veredicto que descreve o esforço** ("testado
|
|
27
|
+
extensivamente") em vez do resultado.
|
|
28
|
+
|
|
29
|
+
---
|
|
30
|
+
|
|
31
|
+
## Esqueleto do placar
|
|
32
|
+
|
|
33
|
+
`docs/premortem/placar.md` (ou `docs/desarmar/placar.md` quando não há premortem):
|
|
34
|
+
|
|
35
|
+
<esqueleto-placar>
|
|
36
|
+
# Placar contra o premortem
|
|
37
|
+
|
|
38
|
+
> Rodada de {datas}. Testes que não exigem terceiros foram **executados e medidos**
|
|
39
|
+
> ({como: scripts, subagentes, simulação}); os que exigem ficaram pronto-para-disparar.
|
|
40
|
+
> Artefatos reproduzíveis em `{caminho}`. Relatório por teste em `docs/desarmar/resultados/`.
|
|
41
|
+
|
|
42
|
+
| # | Falha do premortem | Veredicto medido |
|
|
43
|
+
|---|---|---|
|
|
44
|
+
| 1 | {título da falha, com a marca de letalidade} | **{VEREDICTO}** — {os números que decidem} · {fronteira de validade ou alavanca quantificada} · [relatório]({caminho}) |
|
|
45
|
+
|
|
46
|
+
## Bugs reais encontrados e corrigidos no caminho
|
|
47
|
+
1. **{defeito}** — {o dado real que o expôs} → {correção} → {estado após re-teste}.
|
|
48
|
+
|
|
49
|
+
## Decisões de arquitetura que os testes cravaram
|
|
50
|
+
- **{decisão}** — {qual teste a cravou e com qual número}; {o que ela obriga no sistema real}.
|
|
51
|
+
|
|
52
|
+
## O que continua com o humano
|
|
53
|
+
{Reclassificado de bloqueio para validação pré-lançamento, ou mantido como bloqueio.}
|
|
54
|
+
1. **{item}** — dono {nome}, marco {quando}, instrumento pronto em `{caminho}`.
|
|
55
|
+
|
|
56
|
+
## Custo da rodada
|
|
57
|
+
Orçado {X} × real {Y}, por teste. {Tokens, chamadas de API, horas de conferência manual.}
|
|
58
|
+
</esqueleto-placar>
|
|
59
|
+
|
|
60
|
+
A linha do placar é lida por alguém que não vai abrir o relatório. Ela precisa carregar a
|
|
61
|
+
conclusão com os números — "**DESARMADA** — 960 questões reais, 4 fontes: 0% de erro no
|
|
62
|
+
campo crítico (316 itens conferidos visualmente); fronteira: só vale no formato sequencial,
|
|
63
|
+
layouts de duas colunas têm 35–100% de erro e ficam fora do MVP" decide sozinha. "Testes
|
|
64
|
+
passaram" não decide nada.
|
|
65
|
+
|
|
66
|
+
---
|
|
67
|
+
|
|
68
|
+
## Achados colaterais: por que eles têm seção própria
|
|
69
|
+
|
|
70
|
+
Testes desenhados para falsear premissas encontram o que nenhuma revisão de código encontra,
|
|
71
|
+
porque são a primeira vez que o sistema encosta em dado real adversarial. Numa rodada real,
|
|
72
|
+
sete falhas previstas renderam **quatro bugs** e **duas decisões de identidade de dados** que
|
|
73
|
+
nenhuma delas antecipava; numa POC anterior, **12 correções estruturais** — chave natural que
|
|
74
|
+
não existe antes do documento oficial, colisão de nomes entre estados, identidade de arquivo
|
|
75
|
+
contaminada por URL assinada volátil, heurística que classificava tipo pelo nome do arquivo e
|
|
76
|
+
acertava 0 de 70.
|
|
77
|
+
|
|
78
|
+
Isso é resultado esperado, não ruído. Um placar sem achados colaterais sugere que os testes
|
|
79
|
+
não encostaram em dado real o bastante.
|
|
80
|
+
|
|
81
|
+
---
|
|
82
|
+
|
|
83
|
+
## Realimentação
|
|
84
|
+
|
|
85
|
+
### No índice de pesquisas (`docs/README.md`, quando existir)
|
|
86
|
+
|
|
87
|
+
Regra: **número medido supera número estimado, sem apagar o estimado.**
|
|
88
|
+
|
|
89
|
+
1. Linha nova na seção correspondente, apontando para o relatório do teste, com a conclusão
|
|
90
|
+
**e os números** — o mesmo padrão de resumo de uma frase do índice.
|
|
91
|
+
2. **Estado da decisão** reescrito no topo: o que estes testes fecharam, o que abriram, e o
|
|
92
|
+
que continua em aberto com o teste que o fecha.
|
|
93
|
+
3. **Caveat cruzado** no cabeçalho de todo documento que o teste superou, no formato
|
|
94
|
+
*"os números de custo deste documento foram medidos em {data} pelo teste {N}: {novo
|
|
95
|
+
número} contra {antigo}; os mecanismos seguem válidos"*. Não reescreva em silêncio e não
|
|
96
|
+
delete: o histórico de por que a equipe pensava X importa quando alguém questionar a
|
|
97
|
+
decisão daqui a seis meses.
|
|
98
|
+
4. Quando um teste desmente uma premissa de alta letalidade do dossiê, ela sai da lista de
|
|
99
|
+
premissas críticas e entra como fato medido, com a fronteira de validade junto.
|
|
100
|
+
|
|
101
|
+
### Nas decisões em aberto (`docs/decisoes-em-aberto.md`)
|
|
102
|
+
|
|
103
|
+
Feche as que o teste resolveu, citando o número e a data. As que continuam abertas ganham o
|
|
104
|
+
motivo — "o teste rodou e não discriminou", "depende de terceiros", "custo maior que o valor
|
|
105
|
+
da informação" — porque decisão que continua aberta sem motivo volta a ser discutida do zero.
|
|
106
|
+
|
|
107
|
+
### Nas decisões pré-comprometidas
|
|
108
|
+
|
|
109
|
+
O ramo já estava escrito antes do número existir. Aplique-o como decisão tomada e registre:
|
|
110
|
+
qual ramo disparou, o que ele obriga agora, e o que deixou de ser possível. O valor inteiro
|
|
111
|
+
do pré-compromisso está em não reabrir a discussão depois de ver o dado — é exatamente aí que
|
|
112
|
+
o número ruim seria racionalizado.
|
|
113
|
+
|
|
114
|
+
### No handoff para a implementação
|
|
115
|
+
|
|
116
|
+
O que sai desta rodada como **decisão já tomada**, e portanto não é re-perguntado pela skill
|
|
117
|
+
`ll-decidir-antes`: as condições das DESARMADAS COM CONDIÇÕES, os redesenhos das CONFIRMADAS, as
|
|
118
|
+
decisões de arquitetura cravadas pelos testes, e as fronteiras de validade que definem o
|
|
119
|
+
escopo do MVP (o que entra é o que foi medido funcionando; o resto tem data, não promessa).
|
|
120
|
+
|
|
121
|
+
---
|
|
122
|
+
|
|
123
|
+
## O ciclo está encerrado quando
|
|
124
|
+
|
|
125
|
+
- [ ] Cada falha do premortem tem **veredicto medido** com vocabulário fechado — ou está
|
|
126
|
+
listada como PENDENTE com bloqueio, dono e marco nomeados.
|
|
127
|
+
- [ ] Cada **DESARMADA** traz a fronteira de validade com número, não apenas o "passou".
|
|
128
|
+
- [ ] Cada **CONFIRMADA** traz a alavanca quantificada e a decisão de desenho que decorre.
|
|
129
|
+
- [ ] Cada critério aprovado passou por **auditoria de contexto limpo**, e o resultado da
|
|
130
|
+
auditoria está registrado — inclusive os "refiz por caminho independente e bate".
|
|
131
|
+
- [ ] Nenhum aceite foi alterado depois do congelamento; os desvios do plano estão escritos
|
|
132
|
+
com o efeito sobre a validade.
|
|
133
|
+
- [ ] **Achados colaterais** e **correções estruturais** estão registrados com o dado real que
|
|
134
|
+
os expôs e a recomendação para o sistema real.
|
|
135
|
+
- [ ] **Custo e prazo reais** aparecem contra o orçado, por teste.
|
|
136
|
+
- [ ] Cada decisão pré-comprometida foi **executada** e o que ela obriga está escrito.
|
|
137
|
+
- [ ] Os números voltaram ao índice de pesquisas e às decisões em aberto, com os caveats
|
|
138
|
+
cruzados nos documentos superados.
|
|
139
|
+
- [ ] O que continua com o humano está explicitamente classificado como **bloqueio** ou
|
|
140
|
+
**validação pré-lançamento** — nunca deixado ambíguo.
|
|
@@ -0,0 +1,100 @@
|
|
|
1
|
+
---
|
|
2
|
+
name: ll-orquestrar
|
|
3
|
+
description: Regras de orquestração multi-agente — quando delegar a subagentes, como decompor tarefas, escrever briefs precisos, rotear cada etapa para o modelo certo e verificar resultados com evidência. Use antes de qualquer trabalho que envolva subagentes, fan-out paralelo, revisões independentes ou tarefas amplas (auditorias, migrações, features que tocam vários módulos).
|
|
4
|
+
---
|
|
5
|
+
|
|
6
|
+
# Orquestração e delegação
|
|
7
|
+
|
|
8
|
+
Ao planejar como executar a tarefa atual, siga estas regras na ordem em que aparecem.
|
|
9
|
+
|
|
10
|
+
## Quando delegar (e quando não)
|
|
11
|
+
|
|
12
|
+
- **Agente único primeiro.** Só faça fan-out quando pelo menos um destes valer: os
|
|
13
|
+
subtrabalhos geram contexto volumoso e irrelevante entre si; o trabalho é genuinamente
|
|
14
|
+
paralelo em arquivos disjuntos; ou os papéis precisam de independência (implementador
|
|
15
|
+
vs revisor). O custo escala aproximadamente linear por worker, até ~15× uma sessão
|
|
16
|
+
simples — gaste onde o resultado compensa.
|
|
17
|
+
- **Escale o esforço à complexidade**: lookup/correção trivial = inline; algumas peças
|
|
18
|
+
independentes = 2–4 subagentes; varredura ampla ou auditoria = um agente por fatia
|
|
19
|
+
estreita. Três workers focados vencem cinco dispersos; escopos pequenos são a defesa
|
|
20
|
+
contra apodrecimento de contexto.
|
|
21
|
+
- **Decomponha por fronteiras de contexto, não por fase.** Um agente é dono de um
|
|
22
|
+
módulo/página/fatia de ponta a ponta. Evite correntes plano→implementa→testa entre
|
|
23
|
+
agentes — cada handoff perde fidelidade.
|
|
24
|
+
- **Delegue de forma assíncrona** e continue trabalhando enquanto os subagentes rodam;
|
|
25
|
+
para subtarefas de acompanhamento sobre o mesmo material, envie mensagem ao agente
|
|
26
|
+
existente em vez de criar outro (preserva contexto e cache).
|
|
27
|
+
|
|
28
|
+
## Briefs para subagentes
|
|
29
|
+
|
|
30
|
+
- **Subagentes não veem nada desta conversa.** Todo brief carrega: objetivo, contrato
|
|
31
|
+
de saída exato (schema ou formato), caminhos/payloads/restrições verificados, e
|
|
32
|
+
limites explícitos (o que não tocar). Escreva o brief certo da primeira vez; uma vez
|
|
33
|
+
delegado, confie — não refaça o trabalho do subagente nem re-derive suas descobertas.
|
|
34
|
+
- **Anatomia de um brief**, nesta ordem: papel em uma frase → contexto e motivação (a
|
|
35
|
+
tarefa maior, para quem é, o que a saída habilita) → dados/referências → instruções →
|
|
36
|
+
contrato de saída → limites de escopo → critérios de sucesso. Material longo vai no
|
|
37
|
+
topo, instruções depois dele. Critérios de sucesso nomeiam verificações explícitas
|
|
38
|
+
("rode o typecheck e o build, liste cada rota verificada"), nunca "garanta que
|
|
39
|
+
funciona" — vagueza convida a declarações prematuras de sucesso.
|
|
40
|
+
- **Delimite conteúdo misto com tags XML** (`<context>`, `<instructions>`, `<input>`,
|
|
41
|
+
uma tag por tipo de conteúdo). Para documentos longos, peça ao agente para citar as
|
|
42
|
+
partes relevantes primeiro e agir sobre as citações.
|
|
43
|
+
- **Especificação completa de uma vez.** Modelos atuais rendem melhor recebendo a
|
|
44
|
+
tarefa inteira e sendo deixados rodar; pingar requisitos aos poucos desperdiça tokens
|
|
45
|
+
e fidelidade.
|
|
46
|
+
- **Instruções positivas e específicas** ("componha parágrafos de prosa fluida", não
|
|
47
|
+
"não use markdown"). Teste de ouro: um colega com contexto mínimo, lendo só o prompt,
|
|
48
|
+
conseguiria fazer a tarefa.
|
|
49
|
+
- **Formato de saída**: declare o schema ou formato diretamente. Prompts de revisão
|
|
50
|
+
pedem cobertura completa + rótulos de confiança, filtrados depois — "só reporte
|
|
51
|
+
severidade alta" é seguido ao pé da letra e colapsa o recall.
|
|
52
|
+
- **Não use andaimes de raciocínio**: nada de "pense passo a passo", planos manuais de
|
|
53
|
+
chain-of-thought, "seja minucioso", "verifique duas vezes" ou instruções repetidas —
|
|
54
|
+
hoje isso degrada a saída. Um "pense a fundo sobre X" genérico basta.
|
|
55
|
+
|
|
56
|
+
## Handoffs e contexto
|
|
57
|
+
|
|
58
|
+
- **Handoff = condensado e estruturado** (≲2k tokens), nunca transcrições. Artefatos
|
|
59
|
+
pesados (screenshots, relatórios longos, datasets) vão para arquivos; passe caminhos
|
|
60
|
+
de volta, não conteúdos.
|
|
61
|
+
- **Contexto mínimo eficaz**: o menor conjunto de tokens de alto sinal que alcança o
|
|
62
|
+
resultado. Dê caminhos e queries e deixe os agentes lerem just-in-time; nunca cole
|
|
63
|
+
conteúdo de arquivo que o agente pode ler sozinho.
|
|
64
|
+
- Referências ricas (código real, uma suíte de testes, um protótipo) vencem descrições
|
|
65
|
+
em prosa. Não repita instrução que já está em contexto.
|
|
66
|
+
- **Trabalho de longo horizonte**: externalize estado para arquivos e git. Resumos são
|
|
67
|
+
um índice do que mudou e de como foi verificado — o detalhe vive no diff e nos
|
|
68
|
+
commits.
|
|
69
|
+
|
|
70
|
+
## Roteamento de modelos (roteie cada etapa, não o trabalho inteiro)
|
|
71
|
+
|
|
72
|
+
Tiers por capacidade e custo — cada tier custa ~2–3× o de baixo:
|
|
73
|
+
Fable > Opus > Sonnet. Sonnet é o piso — não roteie abaixo dele.
|
|
74
|
+
|
|
75
|
+
- **Fable** — orquestração: decomposição, briefs, julgamentos finais e builds de longo
|
|
76
|
+
horizonte com verificadores periódicos. Não gaste tokens de Fable em execução.
|
|
77
|
+
- **Opus** — código complexo, refatorações profundas, revisão adversarial onde um
|
|
78
|
+
defeito perdido vai para produção, debugging não trivial.
|
|
79
|
+
- **Sonnet** — cavalo de batalha padrão: implementação bem especificada, varreduras de
|
|
80
|
+
revisão contra critérios explícitos, testes, checklists e leitura/extração em massa.
|
|
81
|
+
- Na dúvida entre dois tiers → pegue o mais barato; contexto limpo e brief preciso
|
|
82
|
+
compram mais qualidade que um modelo maior. Rode etapas mecânicas em esforço baixo.
|
|
83
|
+
|
|
84
|
+
## Verificação e evidência
|
|
85
|
+
|
|
86
|
+
- **Verificação com contexto limpo.** Um agente revisor/verificador nunca vê o
|
|
87
|
+
raciocínio da implementação — ele checa o resultado contra a especificação.
|
|
88
|
+
Descobertas exigem evidência arquivo:linha; "não encontrei nada" dito claramente é um
|
|
89
|
+
resultado válido. Para descartar uma descoberta, refute com evidência, não opinião.
|
|
90
|
+
- Valide as afirmações dos subagentes você mesmo com evidência barata (diff, grep
|
|
91
|
+
focado, um teste dirigido), proporcional ao risco — mais fundo para migrações,
|
|
92
|
+
contratos de dados, efeitos externos e hot paths.
|
|
93
|
+
- **QA visual/de browser roda dentro de subagentes** — screenshots apodrecem o contexto
|
|
94
|
+
principal rápido. O agente de QA visualiza cada screenshot que captura (screenshot
|
|
95
|
+
nunca visto é checagem nunca feita) e retorna só uma lista estruturada de achados.
|
|
96
|
+
- Toda afirmação de "funciona"/"pronto" rastreia a um resultado de ferramenta desta
|
|
97
|
+
sessão: saída de teste, arquivo:linha, uma query real, um screenshot. Nomeie
|
|
98
|
+
suposições e o que não foi verificado.
|
|
99
|
+
- Quando um requisito, contrato ou semântica de dados está indefinido, reporte a lacuna
|
|
100
|
+
e pergunte — nunca preencha com uma interpretação plausível e siga em frente.
|