wizz-method 1.4.1 → 1.5.0

package/evals/bmm-skills/wizz-product-brief/triggers.json

@@ -1,18 +0,0 @@
-[
-  { "query": "Help me write a product brief for my new app idea", "should_trigger": true },
-  { "query": "I need to draft a brief for a feature we're scoping", "should_trigger": true },
-  { "query": "Update this product brief — we changed the target audience", "should_trigger": true },
-  { "query": "Review my brief and tell me if it's investor-ready", "should_trigger": true },
-  { "query": "Validate this brief before our board meeting Monday", "should_trigger": true },
-  { "query": "Pressure-test my product brief for weak assumptions", "should_trigger": true },
-  { "query": "Help me put together a one-page summary of my product idea for stakeholders", "should_trigger": true },
-
-  { "query": "Help me brainstorm ideas for a new feature", "should_trigger": false },
-  { "query": "Write me a PRD for our checkout flow redesign", "should_trigger": false },
-  { "query": "Run a working backwards exercise for my product idea", "should_trigger": false },
-  { "query": "Document this existing codebase for AI agents", "should_trigger": false },
-  { "query": "Help me write user stories for the next sprint", "should_trigger": false },
-  { "query": "Generate a system architecture for my app", "should_trigger": false },
-  { "query": "Write code to parse JSON in Python", "should_trigger": false },
-  { "query": "Create a marketing landing page for my product", "should_trigger": false }
-]

package/evals/routing/dataset.json

@@ -1,290 +0,0 @@
-[
-  {
-    "id": "t01",
-    "prompt": "oi",
-    "expected": "trivial",
-    "note": "saudação simples, sem ação"
-  },
-  {
-    "id": "t02",
-    "prompt": "obrigado",
-    "expected": "trivial",
-    "note": "agradecimento puro"
-  },
-  {
-    "id": "t03",
-    "prompt": "sim",
-    "expected": "trivial",
-    "note": "resposta curta (sim/não/ok)"
-  },
-  {
-    "id": "t04",
-    "prompt": "não",
-    "expected": "trivial",
-    "note": "resposta curta (sim/não/ok)"
-  },
-  {
-    "id": "t05",
-    "prompt": "ok",
-    "expected": "trivial",
-    "note": "resposta curta (sim/não/ok)"
-  },
-  {
-    "id": "t06",
-    "prompt": "o que foi feito?",
-    "expected": "trivial",
-    "note": "pergunta de status, sem ação técnica"
-  },
-  {
-    "id": "t07",
-    "prompt": "trocar 'envie' por 'enviar' na linha 42",
-    "expected": "trivial",
-    "note": "typo/rename de 1 linha"
-  },
-  {
-    "id": "t08",
-    "prompt": "rebatiza Home para Landing",
-    "expected": "trivial",
-    "note": "rename simples, 1 arquivo"
-  },
-  {
-    "id": "t09",
-    "prompt": "/help",
-    "expected": "trivial",
-    "note": "slash command"
-  },
-  {
-    "id": "t10",
-    "prompt": "/config",
-    "expected": "trivial",
-    "note": "slash command"
-  },
-  {
-    "id": "t11",
-    "prompt": "como tá o deploy?",
-    "expected": "trivial",
-    "note": "pergunta conversacional, sem ação"
-  },
-  {
-    "id": "t12",
-    "prompt": "tudo bem?",
-    "expected": "trivial",
-    "note": "conversação pura"
-  },
-  {
-    "id": "t13",
-    "prompt": "link?",
-    "expected": "trivial",
-    "note": "pergunta muito curta, sem verbo de ação"
-  },
-  {
-    "id": "t14",
-    "prompt": "esqueci a senha",
-    "expected": "trivial",
-    "note": "frase curta sem ação técnica (info only)"
-  },
-  {
-    "id": "a01",
-    "prompt": "redesenha o hero da landing com a nova brand",
-    "expected": "agent:designer",
-    "note": "UI update, 1 area, pontual"
-  },
-  {
-    "id": "a02",
-    "prompt": "cria um card component pra portfolio",
-    "expected": "agent:designer",
-    "note": "componente isolado, designer"
-  },
-  {
-    "id": "a03",
-    "prompt": "anima o scroll de entrada da página",
-    "expected": "agent:designer",
-    "note": "motion/animation, 1 area"
-  },
-  {
-    "id": "a04",
-    "prompt": "escreve uma headline pra vender este plano",
-    "expected": "agent:copy",
-    "note": "copy de venda, 1 area, focado"
-  },
-  {
-    "id": "a05",
-    "prompt": "melhora o email de onboarding",
-    "expected": "agent:copy",
-    "note": "email copy, 1 area"
-  },
-  {
-    "id": "a06",
-    "prompt": "cria 3 variações de CTA pra testar",
-    "expected": "agent:copy",
-    "note": "copy de botão, A/B ready, 1 area"
-  },
-  {
-    "id": "a07",
-    "prompt": "faz auditoria SEO do site",
-    "expected": "agent:seo",
-    "note": "auditoria, 1 area"
-  },
-  {
-    "id": "a08",
-    "prompt": "adiciona schema markup no produto",
-    "expected": "agent:seo",
-    "note": "schema SEO, 1 area, técnico"
-  },
-  {
-    "id": "a09",
-    "prompt": "otimiza as meta descriptions",
-    "expected": "agent:seo",
-    "note": "SEO on-page, 1 area"
-  },
-  {
-    "id": "a10",
-    "prompt": "como melhorar a taxa de conversão do signup?",
-    "expected": "agent:growth",
-    "note": "CRO question, 1 area, lightweight"
-  },
-  {
-    "id": "a11",
-    "prompt": "qual o melhor preço pra este feature?",
-    "expected": "agent:growth",
-    "note": "pricing, 1 area"
-  },
-  {
-    "id": "a12",
-    "prompt": "plano pra reduzir churn",
-    "expected": "agent:growth",
-    "note": "churn analysis, 1 area, mas esperaria maestro por depth — porém 'plano' é leve: just brainstorm; se fosse 'executa o plano' seria maestro"
-  },
-  {
-    "id": "a13",
-    "prompt": "cria post pra LinkedIn sobre o lançamento",
-    "expected": "agent:social",
-    "note": "social copy, 1 area"
-  },
-  {
-    "id": "a14",
-    "prompt": "escreve copy pra Instagram story",
-    "expected": "agent:social",
-    "note": "social content, 1 area"
-  },
-  {
-    "id": "a15",
-    "prompt": "cria variações de ad criativo pra Meta",
-    "expected": "agent:ads",
-    "note": "paid ads, 1 area, copywriting"
-  },
-  {
-    "id": "a16",
-    "prompt": "setup de tracking no Google Ads",
-    "expected": "agent:ads",
-    "note": "ads technical, 1 area"
-  },
-  {
-    "id": "a17",
-    "prompt": "roda teste E2E do fluxo de checkout",
-    "expected": "agent:qa",
-    "note": "QA, 1 area, pontual"
-  },
-  {
-    "id": "a18",
-    "prompt": "verifica visualmente a responsividade do site",
-    "expected": "agent:qa",
-    "note": "visual QA, 1 area"
-  },
-  {
-    "id": "a19",
-    "prompt": "anota que definimos não fazer autenticação social por hora",
-    "expected": "agent:memoria",
-    "note": "memory, decisão registrada"
-  },
-  {
-    "id": "a20",
-    "prompt": "salva a decisão sobre pricing em tiers",
-    "expected": "agent:memoria",
-    "note": "memory, arquitetura de preço"
-  },
-  {
-    "id": "a21",
-    "prompt": "corrige o bug de logout no mobile",
-    "expected": "agent:dev",
-    "note": "bug fix, 1 arquivo, pontual"
-  },
-  {
-    "id": "a22",
-    "prompt": "ajusta a cor do botão secundário",
-    "expected": "agent:dev",
-    "note": "CSS fix, 1 arquivo"
-  },
-  {
-    "id": "m01",
-    "prompt": "cria a landing completa, escreve a copy de venda e configura o tracking",
-    "expected": "maestro",
-    "note": "3 áreas (designer, copy, growth/ads), artefato alto"
-  },
-  {
-    "id": "m02",
-    "prompt": "novo produto do zero: UI, docs, schema SEO, post de lançamento",
-    "expected": "maestro",
-    "note": "4 áreas (designer, dev, seo, social), multi-passo alto"
-  },
-  {
-    "id": "m03",
-    "prompt": "auditoria completa do site: performance, SEO, segurança, acessibilidade",
-    "expected": "maestro",
-    "note": "2+ áreas, complexidade alta, relatório merecedor de memória"
-  },
-  {
-    "id": "m04",
-    "prompt": "redesenha o onboarding, reescreve os emails, testa tudo E2E",
-    "expected": "maestro",
-    "note": "3 áreas (designer, copy, qa), integrado"
-  },
-  {
-    "id": "m05",
-    "prompt": "plano de crescimento: pricing, copy, anúncios, CRO do signup",
-    "expected": "maestro",
-    "note": "3-4 áreas (growth, copy, ads), estratégico"
-  },
-  {
-    "id": "m06",
-    "prompt": "refactor de infra: banco de dados, APIs, deploy, monitoria",
-    "expected": "maestro",
-    "note": "1 área (dev) mas multi-passo pesado, arquitetura alta"
-  },
-  {
-    "id": "m07",
-    "prompt": "integra pagamento: back, front, testes, comunicação com cliente",
-    "expected": "maestro",
-    "note": "1 area (dev) mas multi-passo pesado, requer planning"
-  },
-  {
-    "id": "m08",
-    "prompt": "melhora de churn: análise, copy de reativação, anúncios, UI de upgrade",
-    "expected": "maestro",
-    "note": "3-4 áreas (growth, copy, ads, designer), integrado"
-  },
-  {
-    "id": "m09",
-    "prompt": "lançamento beta: site, emails, social, ads, suporte inicial",
-    "expected": "maestro",
-    "note": "4+ áreas (designer, copy, social, ads), event-driven"
-  },
-  {
-    "id": "m10",
-    "prompt": "internacionalização: tradução completa, schema por locale, testes",
-    "expected": "maestro",
-    "note": "2+ áreas (dev, seo, qa), multi-passo pesado"
-  },
-  {
-    "id": "m11",
-    "prompt": "migração de plataforma: arquitetura, testes, rollout, suporte",
-    "expected": "maestro",
-    "note": "1 área (dev) mas crítico, multi-passo, requer planning e memória"
-  },
-  {
-    "id": "m12",
-    "prompt": "estratégia de referral: programa, UI, emails, tracking, análise",
-    "expected": "maestro",
-    "note": "4+ áreas (growth, designer, copy, ads), artefato alto"
-  }
-]

package/evals/routing/run-routing-eval.mjs

@@ -1,89 +0,0 @@
-// run-routing-eval.mjs — avalia o roteamento do Wizz Method contra
-// evals/routing/dataset.json.
-//
-// Dois níveis:
-//   1. DETERMINÍSTICO (default, rápido, roda em CI): valida o gate isTrivial()
-//      do hook wizz-router-enforce contra os rótulos do dataset.
-//      - expected "trivial"        → isTrivial deve ser true
-//      - expected "agent:*"/"maestro" → isTrivial deve ser false
-//   2. LLM (--llm, requer `claude` CLI logado, custa tokens): para os casos
-//      não-triviais, pergunta ao modelo qual a rota (agent:<area> | maestro)
-//      usando a mesma regra de dispatch do Diretor/maestro e compara.
-//
-// Uso:
-//   node evals/routing/run-routing-eval.mjs            # só determinístico
-//   node evals/routing/run-routing-eval.mjs --llm      # inclui rota via LLM
-//   node evals/routing/run-routing-eval.mjs --llm --model haiku
-
-import fs from 'node:fs';
-import path from 'node:path';
-import { execFileSync } from 'node:child_process';
-import { createRequire } from 'node:module';
-import { fileURLToPath } from 'node:url';
-
-const here = path.dirname(fileURLToPath(import.meta.url));
-const repoRoot = path.resolve(here, '..', '..');
-const require = createRequire(import.meta.url);
-const { isTrivial } = require(path.join(repoRoot, 'tools', 'hooks', 'wizz-router-enforce.js'));
-
-const dataset = JSON.parse(fs.readFileSync(path.join(here, 'dataset.json'), 'utf8'));
-const useLlm = process.argv.includes('--llm');
-const modelIdx = process.argv.indexOf('--model');
-const model = modelIdx === -1 ? 'haiku' : process.argv[modelIdx + 1];
-
-const DISPATCH_RULE =
-  'Você é o Diretor do Wizz Method. Classifique o pedido do usuário em UMA rota:\n' +
-  '- "maestro": toca 2+ áreas OU 2+ fatores altos (multi-passo, precisa planejar, gera artefato pra memória).\n' +
-  '- "agent:<area>": 1 área só e leve. Áreas: designer, copy, seo, growth, social, ads, qa, memoria, dev.\n' +
-  'Responda SÓ com JSON: {"route":"maestro"} ou {"route":"agent:<area>"}.';
-
-let passTrivial = 0;
-let failTrivial = 0;
-let passRoute = 0;
-let failRoute = 0;
-const failures = [];
-
-for (const item of dataset) {
-  const expectTrivial = item.expected === 'trivial';
-  const got = isTrivial(item.prompt);
-  if (got === expectTrivial) {
-    passTrivial++;
-  } else {
-    failTrivial++;
-    failures.push(`[isTrivial] ${item.id}: esperado ${expectTrivial}, veio ${got} — "${item.prompt}"`);
-  }
-
-  if (useLlm && !expectTrivial) {
-    try {
-      const raw = execFileSync(
-        'claude',
-        ['-p', '--model', model, '--output-format', 'text', `${DISPATCH_RULE}\n\nPedido: ${item.prompt}`],
-        { encoding: 'utf8', timeout: 120_000 },
-      );
-      const match = raw.match(/\{[^}]*"route"[^}]*\}/);
-      const route = match ? JSON.parse(match[0]).route : null;
-      if (route === item.expected) {
-        passRoute++;
-      } else {
-        failRoute++;
-        failures.push(`[route] ${item.id}: esperado ${item.expected}, veio ${route} — "${item.prompt}"`);
-      }
-    } catch (error) {
-      failRoute++;
-      failures.push(`[route] ${item.id}: erro ao rodar claude -p (${error.message.split('\n')[0]})`);
-    }
-  }
-}
-
-console.log(`isTrivial: ${passTrivial}/${passTrivial + failTrivial} corretos`);
-if (useLlm) {
-  const total = passRoute + failRoute;
-  console.log(`rota LLM (${model}): ${passRoute}/${total} corretos (${total ? Math.round((100 * passRoute) / total) : 0}%)`);
-}
-if (failures.length > 0) {
-  console.log('\nFalhas:');
-  for (const f of failures) console.log(`  ✗ ${f}`);
-}
-
-// Gate: o determinístico é obrigatório; a rota LLM é informativa (meta ≥ 90%).
-process.exitCode = failTrivial > 0 ? 1 : 0;