adi_dev_workflow 1.1.1 → 1.3.0

package/frameworks/skills/sdd-tech-spec-expert/evals/evals.json

@@ -1,199 +1,199 @@
-{
-  "skill_name": "sdd-tech-spec-expert",
-  "evals": [
-    {
-      "id": 1,
-      "name": "prd-usuario-existente",
-      "prompt": "Preciso gerar o SPEC_TECH para a feature de usuario. O PRD aprovado esta em docs/feature-user/v1/prd.md",
-      "expected_output": "A skill deve: (1) ler o PRD aprovado em docs/feature-user/v1/prd.md, (2) pesquisar o codebase (CLAUDE.md, .claude/rules/, estrutura de diretorios, codigo existente), (3) verificar se existe tech_direction.md na pasta da feature, (4) iniciar o processo de coleta fazendo UMA pergunta por vez ao usuario, (5) NAO bombardear com multiplas perguntas de uma vez",
-      "files": [
-        "docs/feature-user/v1/prd.md"
-      ],
-      "assertions": [
-        {
-          "name": "leu-prd-aprovado",
-          "type": "tool_usage",
-          "description": "Deve ler o arquivo PRD aprovado antes de fazer qualquer pergunta",
-          "check": "A skill usou Read para ler docs/feature-user/v1/prd.md"
-        },
-        {
-          "name": "pesquisou-codebase",
-          "type": "tool_usage",
-          "description": "Deve pesquisar regras do projeto e estrutura do codebase",
-          "check": "A skill leu CLAUDE.md e/ou arquivos em .claude/rules/"
-        },
-        {
-          "name": "verificou-tech-direction",
-          "type": "tool_usage",
-          "description": "Deve verificar se existe tech_direction.md na pasta da feature",
-          "check": "A skill tentou ler ou verificar a existencia de docs/feature-user/v1/tech_direction.md"
-        },
-        {
-          "name": "uma-pergunta-por-vez",
-          "type": "output_quality",
-          "description": "Deve fazer apenas UMA pergunta tecnica por vez, nao bombardear o usuario",
-          "check": "A primeira interacao com o usuario contem no maximo 1 pergunta tecnica clara (pode ter sub-opcoes, mas e 1 topico)"
-        },
-        {
-          "name": "resumo-do-prd",
-          "type": "output_content",
-          "description": "Deve apresentar um resumo do que entendeu do PRD antes de iniciar perguntas",
-          "check": "A skill apresenta um resumo do objetivo da feature (modulo de usuario, cadastro, login, consulta, atualizacao)"
-        }
-      ]
-    },
-    {
-      "id": 2,
-      "name": "spec-tech-completo-16-secoes",
-      "prompt": "Gere o SPEC_TECH para a feature de usuario. PRD em docs/feature-user/v1/prd.md. Para agilizar, aceite todas as sugestoes padrao sem perguntar — quero ver o documento final completo.",
-      "expected_output": "A skill deve gerar um SPEC_TECH completo com TODAS as 16 secoes do template, salvar o arquivo fisico em docs/feature-user/v1/spec_tech.md ANTES de apresentar ao usuario, e NAO iniciar o TASK PLAN automaticamente",
-      "files": [
-        "docs/feature-user/v1/prd.md"
-      ],
-      "assertions": [
-        {
-          "name": "todas-16-secoes",
-          "type": "output_content",
-          "description": "O SPEC_TECH gerado deve conter todas as 16 secoes do template",
-          "check": "O documento contem secoes 1 (Identificacao), 2 (Resumo Tecnico), 3 (Arquitetura), 4 (Estruturas de Dados), 5 (Regras Tecnicas), 6 (Fluxos Tecnicos), 7 (APIs/Endpoints), 8 (Frontend/Mobile), 9 (Banco Local/Cache), 10 (Dependencias), 11 (Requisitos Nao Funcionais), 12 (Criterios Tecnicos), 13 (Riscos), 14 (Estrategia de Testes), 15 (Arquivos Envolvidos), 16 (Checklist Final)"
-        },
-        {
-          "name": "arquivo-salvo-antes-de-apresentar",
-          "type": "tool_usage",
-          "description": "Deve salvar o arquivo fisico ANTES de apresentar ao usuario",
-          "check": "A skill usou Write para salvar em docs/feature-user/v1/spec_tech.md antes de mostrar o conteudo ao usuario"
-        },
-        {
-          "name": "nao-iniciou-task-plan",
-          "type": "output_content",
-          "description": "NAO deve sugerir ou iniciar a proxima etapa (TASK PLAN) automaticamente",
-          "check": "A skill NAO menciona executar /sdd:generate-task-plan nem inicia geracao de tasks. Apenas pergunta se o SPEC esta aprovado"
-        },
-        {
-          "name": "mapeamento-user-stories-secao-5-1",
-          "type": "output_content",
-          "description": "A secao 5.1 deve mapear TODAS as user stories do PRD para definicoes tecnicas",
-          "check": "A secao 5.1 contem mapeamento de US-01, US-02, US-03 e US-04 para definicoes tecnicas correspondentes"
-        },
-        {
-          "name": "secao-15-tres-subsecoes",
-          "type": "output_content",
-          "description": "A secao 15 deve ter 3 subsecoes: Criar, Modificar e Referencia",
-          "check": "A secao 15 contem 15.1 (Arquivos a Criar), 15.2 (Arquivos a Modificar) e 15.3 (Arquivos de Referencia)"
-        },
-        {
-          "name": "delegou-secao-14-qa",
-          "type": "tool_usage",
-          "description": "A secao 14 (Estrategia de Testes) deve ser delegada a um subagente QA",
-          "check": "A skill disparou um subagente (Task tool) para gerar a secao 14 com contexto de QA expert"
-        }
-      ]
-    },
-    {
-      "id": 3,
-      "name": "respeita-arquitetura-existente",
-      "prompt": "Gere o SPEC_TECH para a feature de usuario. O PRD esta em docs/feature-user/v1/prd.md. Quero que a solucao use a arquitetura ja existente no projeto.",
-      "expected_output": "A skill deve pesquisar profundamente o codebase, identificar a arquitetura existente (gRPC, Clean Architecture, SQLite, Uber FX, SQLC) e propor solucoes que seguem os padroes ja estabelecidos — NAO propor REST quando o projeto usa gRPC, NAO propor PostgreSQL quando o projeto usa SQLite, etc.",
-      "files": [
-        "docs/feature-user/v1/prd.md"
-      ],
-      "assertions": [
-        {
-          "name": "identificou-grpc",
-          "type": "output_content",
-          "description": "Deve identificar que o projeto usa gRPC e propor endpoints gRPC (nao REST)",
-          "check": "O SPEC_TECH propoe endpoints/servicos gRPC, NAO endpoints REST (GET/POST/PUT/DELETE)"
-        },
-        {
-          "name": "identificou-sqlite",
-          "type": "output_content",
-          "description": "Deve identificar que o projeto usa SQLite e propor migracoes SQLite",
-          "check": "O SPEC_TECH referencia SQLite como banco de dados, com migracoes no padrao do projeto"
-        },
-        {
-          "name": "identificou-clean-architecture",
-          "type": "output_content",
-          "description": "Deve seguir a Clean Architecture do projeto (handler -> service -> repository)",
-          "check": "O SPEC_TECH propoe componentes nas camadas handler, service e repository conforme a arquitetura existente"
-        },
-        {
-          "name": "identificou-uber-fx",
-          "type": "output_content",
-          "description": "Deve mencionar Uber FX para injecao de dependencias",
-          "check": "O SPEC_TECH referencia Uber FX ou modulos fx.Module para DI dos novos componentes"
-        },
-        {
-          "name": "convencao-idioma-banco-portugues",
-          "type": "output_content",
-          "description": "Deve seguir a convencao do projeto: tabelas/colunas em portugues, codigo em ingles",
-          "check": "Tabelas e colunas propostas estao em portugues (ex: usuarios, nome, email, senha_hash) e nomes de structs/funcoes em ingles"
-        }
-      ]
-    },
-    {
-      "id": 4,
-      "name": "com-tech-direction-existente",
-      "prompt": "Preciso do SPEC_TECH para a feature de pedidos (orders). O PRD esta em docs/feature-order/v1/prd.md. Ja criei um tech_direction.md na mesma pasta com decisoes tecnicas que quero que sejam respeitadas.",
-      "expected_output": "A skill deve detectar o tech_direction.md, apresentar os direcionamentos encontrados, respeitar as decisoes do usuario como ponto de partida, e levantar conflitos se houver incompatibilidade com o codebase existente",
-      "files": [
-        "docs/feature-order/v1/prd.md",
-        "docs/feature-order/v1/tech_direction.md"
-      ],
-      "assertions": [
-        {
-          "name": "detectou-tech-direction",
-          "type": "tool_usage",
-          "description": "Deve buscar e ler o tech_direction.md na pasta da feature",
-          "check": "A skill leu o arquivo docs/feature-order/v1/tech_direction.md"
-        },
-        {
-          "name": "apresentou-direcionamentos",
-          "type": "output_content",
-          "description": "Deve apresentar um resumo dos direcionamentos encontrados no tech_direction",
-          "check": "A skill lista ou resume as decisoes tecnicas encontradas no tech_direction.md antes de iniciar perguntas"
-        },
-        {
-          "name": "respeitou-decisoes-usuario",
-          "type": "output_content",
-          "description": "Deve usar as decisoes do tech_direction como ponto de partida, nao propor alternativas conflitantes",
-          "check": "As propostas tecnicas da skill sao consistentes com o tech_direction — nao propoe alternativas que contradizem decisoes firmes do usuario"
-        },
-        {
-          "name": "registrou-no-resumo-tecnico",
-          "type": "output_content",
-          "description": "Deve incluir as decisoes do tech_direction na secao 2 do SPEC_TECH",
-          "check": "A secao 2 (Resumo Tecnico) do SPEC_TECH referencia ou incorpora decisoes do tech_direction.md"
-        }
-      ]
-    },
-    {
-      "id": 5,
-      "name": "nao-inventa-nao-deduz",
-      "prompt": "Gere o SPEC_TECH para a feature de usuario. PRD em docs/feature-user/v1/prd.md. Mas quero que inclua tambem um sistema de notificacoes por email quando o usuario se cadastrar.",
-      "expected_output": "A skill deve identificar que 'notificacoes por email' NAO esta no PRD aprovado e NAO deve adicionar ao escopo. Deve informar ao usuario que isso esta fora do escopo do PRD e perguntar se deseja prosseguir apenas com o escopo aprovado ou se quer primeiro atualizar o PRD.",
-      "files": [
-        "docs/feature-user/v1/prd.md"
-      ],
-      "assertions": [
-        {
-          "name": "identificou-escopo-fora-prd",
-          "type": "output_content",
-          "description": "Deve identificar que notificacoes por email nao esta no PRD aprovado",
-          "check": "A skill menciona que notificacoes por email nao faz parte do PRD aprovado ou esta fora do escopo definido"
-        },
-        {
-          "name": "nao-adicionou-ao-spec",
-          "type": "output_content",
-          "description": "NAO deve adicionar funcionalidade fora do PRD ao SPEC_TECH sem aprovacao",
-          "check": "A skill NAO inclui notificacoes por email no SPEC_TECH gerado, ou pergunta ao usuario antes de incluir"
-        },
-        {
-          "name": "sugeriu-atualizar-prd",
-          "type": "output_content",
-          "description": "Deve sugerir que o usuario atualize o PRD se quiser incluir a funcionalidade",
-          "check": "A skill sugere atualizar o PRD primeiro ou pergunta ao usuario como deseja proceder com o item fora do escopo"
-        }
-      ]
-    }
-  ]
-}
+{
+  "skill_name": "sdd-tech-spec-expert",
+  "evals": [
+    {
+      "id": 1,
+      "name": "prd-usuario-existente",
+      "prompt": "Preciso gerar o SPEC_TECH para a feature de usuario. O PRD aprovado esta em docs/feature-user/v1/prd.md",
+      "expected_output": "A skill deve: (1) ler o PRD aprovado em docs/feature-user/v1/prd.md, (2) pesquisar o codebase (CLAUDE.md, .claude/rules/, estrutura de diretorios, codigo existente), (3) verificar se existe tech_direction.md na pasta da feature, (4) iniciar o processo de coleta fazendo UMA pergunta por vez ao usuario, (5) NAO bombardear com multiplas perguntas de uma vez",
+      "files": [
+        "docs/feature-user/v1/prd.md"
+      ],
+      "assertions": [
+        {
+          "name": "leu-prd-aprovado",
+          "type": "tool_usage",
+          "description": "Deve ler o arquivo PRD aprovado antes de fazer qualquer pergunta",
+          "check": "A skill usou Read para ler docs/feature-user/v1/prd.md"
+        },
+        {
+          "name": "pesquisou-codebase",
+          "type": "tool_usage",
+          "description": "Deve pesquisar regras do projeto e estrutura do codebase",
+          "check": "A skill leu CLAUDE.md e/ou arquivos em .claude/rules/"
+        },
+        {
+          "name": "verificou-tech-direction",
+          "type": "tool_usage",
+          "description": "Deve verificar se existe tech_direction.md na pasta da feature",
+          "check": "A skill tentou ler ou verificar a existencia de docs/feature-user/v1/tech_direction.md"
+        },
+        {
+          "name": "uma-pergunta-por-vez",
+          "type": "output_quality",
+          "description": "Deve fazer apenas UMA pergunta tecnica por vez, nao bombardear o usuario",
+          "check": "A primeira interacao com o usuario contem no maximo 1 pergunta tecnica clara (pode ter sub-opcoes, mas e 1 topico)"
+        },
+        {
+          "name": "resumo-do-prd",
+          "type": "output_content",
+          "description": "Deve apresentar um resumo do que entendeu do PRD antes de iniciar perguntas",
+          "check": "A skill apresenta um resumo do objetivo da feature (modulo de usuario, cadastro, login, consulta, atualizacao)"
+        }
+      ]
+    },
+    {
+      "id": 2,
+      "name": "spec-tech-completo-16-secoes",
+      "prompt": "Gere o SPEC_TECH para a feature de usuario. PRD em docs/feature-user/v1/prd.md. Para agilizar, aceite todas as sugestoes padrao sem perguntar — quero ver o documento final completo.",
+      "expected_output": "A skill deve gerar um SPEC_TECH completo com TODAS as 16 secoes do template, salvar o arquivo fisico em docs/feature-user/v1/spec_tech.md ANTES de apresentar ao usuario, e NAO iniciar o TASK PLAN automaticamente",
+      "files": [
+        "docs/feature-user/v1/prd.md"
+      ],
+      "assertions": [
+        {
+          "name": "todas-16-secoes",
+          "type": "output_content",
+          "description": "O SPEC_TECH gerado deve conter todas as 16 secoes do template",
+          "check": "O documento contem secoes 1 (Identificacao), 2 (Resumo Tecnico), 3 (Arquitetura), 4 (Estruturas de Dados), 5 (Regras Tecnicas), 6 (Fluxos Tecnicos), 7 (APIs/Endpoints), 8 (Frontend/Mobile), 9 (Banco Local/Cache), 10 (Dependencias), 11 (Requisitos Nao Funcionais), 12 (Criterios Tecnicos), 13 (Riscos), 14 (Estrategia de Testes), 15 (Arquivos Envolvidos), 16 (Checklist Final)"
+        },
+        {
+          "name": "arquivo-salvo-antes-de-apresentar",
+          "type": "tool_usage",
+          "description": "Deve salvar o arquivo fisico ANTES de apresentar ao usuario",
+          "check": "A skill usou Write para salvar em docs/feature-user/v1/spec_tech.md antes de mostrar o conteudo ao usuario"
+        },
+        {
+          "name": "nao-iniciou-task-plan",
+          "type": "output_content",
+          "description": "NAO deve sugerir ou iniciar a proxima etapa (TASK PLAN) automaticamente",
+          "check": "A skill NAO menciona executar /sdd:generate-task-plan nem inicia geracao de tasks. Apenas pergunta se o SPEC esta aprovado"
+        },
+        {
+          "name": "mapeamento-user-stories-secao-5-1",
+          "type": "output_content",
+          "description": "A secao 5.1 deve mapear TODAS as user stories do PRD para definicoes tecnicas",
+          "check": "A secao 5.1 contem mapeamento de US-01, US-02, US-03 e US-04 para definicoes tecnicas correspondentes"
+        },
+        {
+          "name": "secao-15-tres-subsecoes",
+          "type": "output_content",
+          "description": "A secao 15 deve ter 3 subsecoes: Criar, Modificar e Referencia",
+          "check": "A secao 15 contem 15.1 (Arquivos a Criar), 15.2 (Arquivos a Modificar) e 15.3 (Arquivos de Referencia)"
+        },
+        {
+          "name": "delegou-secao-14-qa",
+          "type": "tool_usage",
+          "description": "A secao 14 (Estrategia de Testes) deve ser delegada a um subagente QA",
+          "check": "A skill disparou um subagente (Task tool) para gerar a secao 14 com contexto de QA expert"
+        }
+      ]
+    },
+    {
+      "id": 3,
+      "name": "respeita-arquitetura-existente",
+      "prompt": "Gere o SPEC_TECH para a feature de usuario. O PRD esta em docs/feature-user/v1/prd.md. Quero que a solucao use a arquitetura ja existente no projeto.",
+      "expected_output": "A skill deve pesquisar profundamente o codebase, identificar a arquitetura existente (gRPC, Clean Architecture, SQLite, Uber FX, SQLC) e propor solucoes que seguem os padroes ja estabelecidos — NAO propor REST quando o projeto usa gRPC, NAO propor PostgreSQL quando o projeto usa SQLite, etc.",
+      "files": [
+        "docs/feature-user/v1/prd.md"
+      ],
+      "assertions": [
+        {
+          "name": "identificou-grpc",
+          "type": "output_content",
+          "description": "Deve identificar que o projeto usa gRPC e propor endpoints gRPC (nao REST)",
+          "check": "O SPEC_TECH propoe endpoints/servicos gRPC, NAO endpoints REST (GET/POST/PUT/DELETE)"
+        },
+        {
+          "name": "identificou-sqlite",
+          "type": "output_content",
+          "description": "Deve identificar que o projeto usa SQLite e propor migracoes SQLite",
+          "check": "O SPEC_TECH referencia SQLite como banco de dados, com migracoes no padrao do projeto"
+        },
+        {
+          "name": "identificou-clean-architecture",
+          "type": "output_content",
+          "description": "Deve seguir a Clean Architecture do projeto (handler -> service -> repository)",
+          "check": "O SPEC_TECH propoe componentes nas camadas handler, service e repository conforme a arquitetura existente"
+        },
+        {
+          "name": "identificou-uber-fx",
+          "type": "output_content",
+          "description": "Deve mencionar Uber FX para injecao de dependencias",
+          "check": "O SPEC_TECH referencia Uber FX ou modulos fx.Module para DI dos novos componentes"
+        },
+        {
+          "name": "convencao-idioma-banco-portugues",
+          "type": "output_content",
+          "description": "Deve seguir a convencao do projeto: tabelas/colunas em portugues, codigo em ingles",
+          "check": "Tabelas e colunas propostas estao em portugues (ex: usuarios, nome, email, senha_hash) e nomes de structs/funcoes em ingles"
+        }
+      ]
+    },
+    {
+      "id": 4,
+      "name": "com-tech-direction-existente",
+      "prompt": "Preciso do SPEC_TECH para a feature de pedidos (orders). O PRD esta em docs/feature-order/v1/prd.md. Ja criei um tech_direction.md na mesma pasta com decisoes tecnicas que quero que sejam respeitadas.",
+      "expected_output": "A skill deve detectar o tech_direction.md, apresentar os direcionamentos encontrados, respeitar as decisoes do usuario como ponto de partida, e levantar conflitos se houver incompatibilidade com o codebase existente",
+      "files": [
+        "docs/feature-order/v1/prd.md",
+        "docs/feature-order/v1/tech_direction.md"
+      ],
+      "assertions": [
+        {
+          "name": "detectou-tech-direction",
+          "type": "tool_usage",
+          "description": "Deve buscar e ler o tech_direction.md na pasta da feature",
+          "check": "A skill leu o arquivo docs/feature-order/v1/tech_direction.md"
+        },
+        {
+          "name": "apresentou-direcionamentos",
+          "type": "output_content",
+          "description": "Deve apresentar um resumo dos direcionamentos encontrados no tech_direction",
+          "check": "A skill lista ou resume as decisoes tecnicas encontradas no tech_direction.md antes de iniciar perguntas"
+        },
+        {
+          "name": "respeitou-decisoes-usuario",
+          "type": "output_content",
+          "description": "Deve usar as decisoes do tech_direction como ponto de partida, nao propor alternativas conflitantes",
+          "check": "As propostas tecnicas da skill sao consistentes com o tech_direction — nao propoe alternativas que contradizem decisoes firmes do usuario"
+        },
+        {
+          "name": "registrou-no-resumo-tecnico",
+          "type": "output_content",
+          "description": "Deve incluir as decisoes do tech_direction na secao 2 do SPEC_TECH",
+          "check": "A secao 2 (Resumo Tecnico) do SPEC_TECH referencia ou incorpora decisoes do tech_direction.md"
+        }
+      ]
+    },
+    {
+      "id": 5,
+      "name": "nao-inventa-nao-deduz",
+      "prompt": "Gere o SPEC_TECH para a feature de usuario. PRD em docs/feature-user/v1/prd.md. Mas quero que inclua tambem um sistema de notificacoes por email quando o usuario se cadastrar.",
+      "expected_output": "A skill deve identificar que 'notificacoes por email' NAO esta no PRD aprovado e NAO deve adicionar ao escopo. Deve informar ao usuario que isso esta fora do escopo do PRD e perguntar se deseja prosseguir apenas com o escopo aprovado ou se quer primeiro atualizar o PRD.",
+      "files": [
+        "docs/feature-user/v1/prd.md"
+      ],
+      "assertions": [
+        {
+          "name": "identificou-escopo-fora-prd",
+          "type": "output_content",
+          "description": "Deve identificar que notificacoes por email nao esta no PRD aprovado",
+          "check": "A skill menciona que notificacoes por email nao faz parte do PRD aprovado ou esta fora do escopo definido"
+        },
+        {
+          "name": "nao-adicionou-ao-spec",
+          "type": "output_content",
+          "description": "NAO deve adicionar funcionalidade fora do PRD ao SPEC_TECH sem aprovacao",
+          "check": "A skill NAO inclui notificacoes por email no SPEC_TECH gerado, ou pergunta ao usuario antes de incluir"
+        },
+        {
+          "name": "sugeriu-atualizar-prd",
+          "type": "output_content",
+          "description": "Deve sugerir que o usuario atualize o PRD se quiser incluir a funcionalidade",
+          "check": "A skill sugere atualizar o PRD primeiro ou pergunta ao usuario como deseja proceder com o item fora do escopo"
+        }
+      ]
+    }
+  ]
+}