aiox-core 5.0.2 → 5.0.3

package/pro/squads/squad-creator-pro/test-cases/create-task/test-case.yaml

@@ -0,0 +1,104 @@
+# Test Case: create-task
+# Model Tier Qualification - Wave 3A
+# Similar to: checklist-based (Task Anatomy = 8 fixed fields)
+
+test_case:
+  name: "create-task-standard"
+  version: "1.0"
+  created: "2026-02-11"
+  task_file: "tasks/create-task.md"
+  wave: "3A"
+  priority: 7
+  similar_to: "checklist-based"
+  confidence: "HIGH"
+
+input:
+  # Create a test task
+  target: "test-data-validation"
+  params:
+    squad_name: "squad-creator"
+    task_purpose: "Validate test data quality"
+  context_files:
+    - "squads/squad-creator-pro/checklists/task-anatomy-checklist.md"
+    - "squads/squad-creator-pro/templates/task-tmpl.md"
+
+expected_output:
+  sections:
+    - task_file
+    - task_anatomy_validation
+    - quality_score
+
+  fields:
+    - name: "task_name"
+      type: "string"
+    - name: "has_all_8_fields"
+      type: "boolean"
+    - name: "task_anatomy_score"
+      type: "number"
+      range: [0, 8]
+    - name: "created_successfully"
+      type: "boolean"
+
+  validations:
+    - "Deve incluir todos 8 campos do Task Anatomy"
+    - "task_name deve seguir formato Verb + Object"
+    - "execution_type deve ser válido (Human|Agent|Hybrid|Worker)"
+    - "input/output devem ser arrays"
+    - "action_items deve ter 3+ steps"
+    - "acceptance_criteria deve ter 2+ critérios"
+
+baseline:
+  opus_output: "opus-baseline.yaml"
+  opus_score: 10.0
+  opus_tokens:
+    input: 0
+    output: 0
+  opus_latency_ms: 0
+
+evaluation:
+  completeness:
+    required_sections:
+      - "task_file: conteúdo do arquivo criado"
+      - "task_anatomy_validation: check dos 8 campos"
+    optional_sections:
+      - "quality_score: pontuação de qualidade"
+
+  accuracy:
+    numeric_tolerance: 0.05
+    enum_exact_match: true
+
+  reasoning:
+    minimum_justifications: 8  # Uma por campo
+    requires_evidence: true
+
+  format:
+    expected_format: "yaml"
+    parseable: true
+
+  actionability:
+    minimum_recommendations: 0
+    specificity: "high"
+
+compensation_history:
+  attempts: []
+
+results:
+  haiku:
+    score: null
+    percentage: null
+    qualified: null
+    output_file: "haiku-output.yaml"
+
+  opus:
+    score: 10.0
+    percentage: 100
+    qualified: true
+    output_file: "opus-baseline.yaml"
+
+  final_tier: null
+  recommendation: null
+
+wave_3a_notes:
+  rationale: "Task Anatomy is 8 fixed fields - checklist validation"
+  expected_fixes: "None - structure is deterministic"
+  estimated_effort: "20 min"

package/pro/squads/squad-creator-pro/test-cases/cross-provider/DASHBOARD.yaml

@@ -0,0 +1,11 @@
+cross_provider_dashboard:
+  generated_at: null
+  workflow: "wf-cross-provider-qualification"
+  status: "not_generated"
+  summary:
+    total_tasks_tested: 0
+    qualified_models: []
+    blocked_models: []
+  results: []
+  next_actions:
+    - "Run cross-provider qualification workflow to populate this dashboard."

package/pro/squads/squad-creator-pro/test-cases/pv-audit/test-case.yaml

@@ -0,0 +1,106 @@
+# Test Case: pv-audit
+# Model Tier Qualification - Wave 3A
+# Similar to: pv-axioma-assessment (formula-based scoring)
+
+test_case:
+  name: "pv-audit-standard"
+  version: "1.0"
+  created: "2026-02-11"
+  task_file: "tasks/pv-audit.md"
+  wave: "3A"
+  priority: 1
+  similar_to: "pv-axioma-assessment"
+  confidence: "HIGH"
+
+input:
+  # Use a real workflow/process to audit
+  target: "squads/squad-creator-pro/workflows/wf-create-squad.yaml"
+  params:
+    audit_type: "process"
+  context_files:
+    - "squads/squad-creator-pro/data/pv-meta-axiomas.yaml"
+
+expected_output:
+  sections:
+    - audit_report
+    - veto_conditions
+    - checkpoints
+    - flow_analysis
+    - recommendations
+
+  fields:
+    - name: "veto_conditions_found"
+      type: "number"
+      range: [0, 50]
+    - name: "flow_is_unidirectional"
+      type: "boolean"
+    - name: "has_gaps"
+      type: "boolean"
+    - name: "overall_status"
+      type: "enum"
+      values: ["PASS", "NEEDS_WORK", "FAIL"]
+
+  validations:
+    - "Deve verificar veto conditions em cada checkpoint"
+    - "Deve verificar fluxo unidirecional (cards nunca voltam)"
+    - "Deve identificar gaps de tempo entre handoffs"
+    - "Deve usar Process Absolutism principles"
+
+baseline:
+  opus_output: "opus-baseline.yaml"
+  opus_score: 10.0
+  opus_tokens:
+    input: 0
+    output: 0
+  opus_latency_ms: 0
+
+evaluation:
+  completeness:
+    required_sections:
+      - "veto_conditions: lista de condições bloqueantes"
+      - "flow_analysis: verificação de unidirecionalidade"
+      - "checkpoints: validação por fase"
+      - "recommendations: melhorias sugeridas"
+    optional_sections:
+      - "gaps_identified: tempo entre handoffs"
+
+  accuracy:
+    numeric_tolerance: 0.10
+    enum_exact_match: true
+
+  reasoning:
+    minimum_justifications: 5
+    requires_evidence: true
+
+  format:
+    expected_format: "yaml"
+    parseable: true
+
+  actionability:
+    minimum_recommendations: 1
+    specificity: "high"
+
+compensation_history:
+  attempts: []
+
+results:
+  haiku:
+    score: null
+    percentage: null
+    qualified: null
+    output_file: "haiku-output.yaml"
+
+  opus:
+    score: 10.0
+    percentage: 100
+    qualified: true
+    output_file: "opus-baseline.yaml"
+
+  final_tier: null
+  recommendation: null
+
+# Wave 3A specific
+wave_3a_notes:
+  rationale: "Similar to pv-axioma-assessment which achieved 98.2% match"
+  expected_fixes: "Probably none - formula-based"
+  estimated_effort: "30 min"

package/pro/squads/squad-creator-pro/test-cases/pv-axioma-assessment/haiku-output.yaml

@@ -0,0 +1,209 @@
+# Haiku Output for pv-axioma-assessment
+# Generated: 2026-02-11T16:00:00Z (REAL HAIKU EXECUTION)
+# Target: squads/squad-creator-pro/workflows/wf-create-squad.yaml
+# Model: haiku (REAL - via Task tool with model: haiku)
+# Executor: general-purpose agent with model: haiku
+# Source: /squads/squad-creator-pro/assessments/axioma-assessment-wf-create-squad.yaml
+
+axioma_assessment:
+  process_name: "wf-create-squad"
+  assessment_date: "2026-02-11"
+  assessor: "@pedro-valerio"
+  model_used: "haiku"
+
+  dimensions:
+    - name: "Verdade (Truthfulness)"
+      id: 1
+      score: 8
+      weight: 1.0
+      threshold: 7.0
+      veto_power: true
+      status: PASS
+      evidence: |
+        Workflow é ancorado em observações verificáveis:
+        • Fidelidade: ranges definidos (85-95% com materiais, 60-75% web-only) - baseado em dados de execuções
+        • Frameworks têm fontes: tier-system-framework, quality-dimensions-framework citadas e estruturadas
+        • Heurísticas mapeadas: 6 heurísticas específicas (SC_HE_001-003 + AN_HE_001-003) com IDs únicos
+        • Veto conditions: 15 condições explícitas (SC_VC_001-010 + AN_VC_001-005) com lógica clara
+        • Fases têm critérios mensuráveis: ">= 5 minds", ">= 3 frameworks", "quality_score >= 7.0"
+        • Precondições explícitas: "squad-chief agent is active", "WebSearch tool available"
+        ✅ Sistema verifica-se contra dados, não contra narrativas
+
+    - name: "Coerência (Coherence)"
+      id: 2
+      score: 9
+      weight: 0.9
+      threshold: 6.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        Faz exatamente o que diz em cada fase:
+        • PRE-FLIGHT: Promete explicar materiais e pedir modo → Explica (85-95% vs 60-75%) → Pede resposta
+        • YOLO MODE: Diz "apenas pare se crítico" → Configured para auto_proceed_when com 4 condições explícitas
+        • QUALITY MODE: Promete validar com usuário → phase_materials é BLOCKING
+        • Checkpoints: Dizem bloqueante → São bloqueantes; dizem auto-approve → Auto-aprovam em YOLO
+        • Handoffs: @oalanicolas → @pedro-valerio definido em transitions com agent tags
+        • Fase 5: Promete auditar workflows → step_5_1 executa "checklist/squad-checklist.md"
+        • Fase 6: Promete apresentar summary → step_6_1 especifica apresentação estruturada
+        ✅ Cada promessa tem implementação correspondente, sem contradições internas
+
+    - name: "Alinhamento Estratégico"
+      id: 3
+      score: 8
+      weight: 0.9
+      threshold: 6.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        Alinhado com visão end-state: "Create complete Squad from research to validation"
+        • Purpose conecta a cada fase: Discovery (viability) → Research (minds) → Architecture (structure)
+          → Creation (build) → Integration (wire) → Validation (quality) → Handoff (delivery)
+        • Use cases: Mapeados em phase_1 → phase_2 → coverage check ">= 80%"
+        • Tool Discovery (phase_0_5): Conecta "maximize squad value with minimum intervention"
+        • Materials Collection: Conecta à fidelity (Tier 0 sources = máxima confiança)
+        • Quality Gates: Não são arbitrárias - SC_RES_001 valida se "cover use cases"
+        • Veto Hierarchy: SC_VC_007-010 (fase_5) validam axioma score >= 7.0
+        • Transitions: Explícitas - não há "saltos" não justificados
+        ✅ Cada elemento contribui ao objetivo maior (squad validado, usável, sustentável)
+
+    - name: "Excelência Operacional"
+      id: 4
+      score: 7
+      weight: 0.8
+      threshold: 6.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        Processo funciona sem fricção em 95% dos casos, gaps mínimos:
+        EXCELENTES:
+        • Parallelização: phase_0_5 executa 5 sub-agents em paralelo (não sequencial)
+        • Checkpoints: Distribuídos estrategicamente - CP_PHASE_0, CP_PHASE_1, CP_MATERIALS, etc.
+        • Fallback Logic: Definido para cada falha (research_fails, agent_creation_fails, etc.)
+        • Mode Flexibility: YOLO/QUALITY/HYBRID → cada modo tem checklist ativo diferente
+        • Time Estimates: Incluído para cada fase (5-10 min, 15-30 min, etc.)
+        GAPS MENORES (não críticos):
+        • phase_0_5 criteria tem ">= 3 of 5" - means 2 agents podem falhar silenciosamente
+        • step_3_2 max_retries_per_mind = 2, sem escalação clara para retry 3
+        ✅ Operacionaliza bem. Gaps são gerenciáveis, não bloqueantes.
+
+    - name: "Capacidade de Inovação"
+      id: 5
+      score: 7
+      weight: 0.7
+      threshold: 5.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        Resolve problema antigo (squad creation) de forma NOVA:
+        • Três modos (YOLO/QUALITY/HYBRID) - não era padrão anterior
+        • Pre-flight questionnaire com 3 dimensões
+        • Phase 0.5 (Deep Tool Discovery) - completely new, 5 parallel agents
+        • DNA Mental™ 8-layer architecture (fase_3_extraction)
+        LIMITAÇÕES:
+        • Não há "feedback loop" pós-handoff (one-shot creation)
+        ✅ Inova em arquitetura e qualidade. Feedback loop seria upgrade.
+
+    - name: "Gestão de Riscos"
+      id: 6
+      score: 8
+      weight: 0.8
+      threshold: 6.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        Riscos mapeados e mitigados em múltiplas camadas:
+        • Domain Risk: step_0_0 (Scope Complexity Gate) - veta PRD se workflows >= 10
+        • Research Risk: step_0_1 valida viability_score >= 6
+        • Source Quality Risk: phase_3_sources checks ouro_ratio >= 0.6
+        • Agent Coherence: phase_3 SC_AGT_001 blocking + smoke tests
+        CONTINGÊNCIAS:
+        • fallback.on_minds_below_5: Retry com queries diferentes
+        • fallback.on_clone_fail: Isolate failed mind, continue com resto
+        • max_iterations: 3 para fix_blocking_issues
+        ✅ Gestão robusta em 3 níveis (ID, Mitigação, Escalação)
+
+    - name: "Otimização de Recursos"
+      id: 7
+      score: 7
+      weight: 0.8
+      threshold: 6.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        Usa recursos eficientemente:
+        • Parallelização: phase_0_5 - 5 agents rodam em paralelo
+        • Auto-approval: YOLO mode skip checkpoints desnecessários
+        • Frameworks Reuse: 4 frameworks mencionados
+        INEFICIÊNCIAS:
+        • Não há "cache" de minds/research entre squads
+        ✅ Bem otimizado para 80% de casos.
+
+    - name: "Valor para Stakeholders"
+      id: 8
+      score: 8
+      weight: 0.7
+      threshold: 6.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        • User: Squad pronto em 30-120 min (vs semanas)
+        • Squad Users: Agents baseados em 5+ elite minds
+        • Organization: Processo documentado, replicável
+        • Project: Contribui ao core capability
+        ✅ Alto valor para todos. Ninguém perde.
+
+    - name: "Sustentabilidade"
+      id: 9
+      score: 8
+      weight: 0.7
+      threshold: 6.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        Viável de longo prazo:
+        • Heurísticas são código (não narrativas)
+        • Veto conditions: 15 explícitas em config files
+        • Changelog: Incluído (v2.0 até v2.7)
+        RISKS:
+        • Depende de squad-chief agent (SPOF?)
+        ✅ Sustentável por 2-3 anos.
+
+    - name: "Adaptabilidade"
+      id: 10
+      score: 7
+      weight: 0.6
+      threshold: 5.0
+      veto_power: false
+      status: PASS
+      evidence: |
+        Sistema absorve mudanças sem quebrar (maioria):
+        • User Input: YOLO vs QUALITY adapta checkpoints
+        • Domain Complexity: step_0_0 detecta → força PRD
+        MUDANÇAS QUE QUEBRAM:
+        • Se squad-chief agent não existe
+        • Se WebSearch indisponível
+        ✅ Adapta a 80% de mudanças previstas.
+
+  overall_score: 7.71
+  weighted_calculation: |
+    (8.0×1.0 + 9.0×0.9 + 8.0×0.9 + 7.0×0.8 + 7.0×0.7 + 8.0×0.8 + 7.0×0.8 + 8.0×0.7 + 8.0×0.7 + 7.0×0.6) /
+    (1.0 + 0.9 + 0.9 + 0.8 + 0.7 + 0.8 + 0.8 + 0.7 + 0.7 + 0.6)
+    = 76.5 / 9.9 = 7.727... ≈ 7.71
+
+  status: PASS
+  veto_triggered: false
+
+  recommendations:
+    - "Add feedback_loop em phase_6 (capture learnings para próximo squad)"
+    - "Add research_cache em data/ (indexar minds + frameworks encontrados)"
+    - "Add resilience em phase_0_5 (retry individual agents se 1-2 falham)"
+    - "Document specialist_agent_fallback (who executes if @oalanicolas unavailable?)"
+    - "Add integration_test em phase_4 (verify workflow paths physically work)"
+
+metadata:
+  tokens_input: 54776
+  tokens_output: ~3000
+  tool_uses: 3
+  latency_ms: 71140
+  timestamp: "2026-02-11T16:00:00Z"
+  test_type: "real_haiku_execution"

package/pro/squads/squad-creator-pro/test-cases/pv-axioma-assessment/opus-baseline.yaml

@@ -0,0 +1,96 @@
+# Opus Baseline Output for pv-axioma-assessment
+# Generated: 2026-02-11
+# Target: squads/squad-creator-pro/workflows/wf-create-squad.yaml
+# Model: opus (baseline = 100%)
+
+axioma_assessment:
+  process_name: "wf-create-squad"
+  assessment_date: "2026-02-11"
+  assessor: "@pedro-valerio"
+  model_used: "opus"
+
+  dimensions:
+    - name: "Verdade"
+      score: 8.5
+      weight: 1.0
+      veto: true
+      status: PASS
+      evidence: "Workflow baseado em evidências documentadas, referencia sources reais"
+
+    - name: "Clareza"
+      score: 8.0
+      weight: 0.9
+      veto: false
+      status: PASS
+      evidence: "Fases claramente definidas, nomenclatura consistente"
+
+    - name: "Simplicidade"
+      score: 7.5
+      weight: 0.8
+      veto: false
+      status: PASS
+      evidence: "Algumas fases poderiam ser consolidadas, mas fluxo é seguível"
+
+    - name: "Completude"
+      score: 9.0
+      weight: 0.9
+      veto: false
+      status: PASS
+      evidence: "Cobre todas as fases necessárias para criar squad"
+
+    - name: "Coerência"
+      score: 8.5
+      weight: 0.9
+      veto: false
+      status: PASS
+      evidence: "Fases seguem sequência lógica, dependências respeitadas"
+
+    - name: "Testabilidade"
+      score: 7.0
+      weight: 0.7
+      veto: false
+      status: PASS
+      evidence: "Gates de validação presentes, mas poderiam ser mais específicos"
+
+    - name: "Rastreabilidade"
+      score: 8.0
+      weight: 0.8
+      veto: false
+      status: PASS
+      evidence: "Outputs de cada fase documentados, permite auditoria"
+
+    - name: "Reversibilidade"
+      score: 6.5
+      weight: 0.6
+      veto: false
+      status: REVIEW
+      evidence: "Não há rollback explícito definido para fases"
+
+    - name: "Escalabilidade"
+      score: 7.5
+      weight: 0.7
+      veto: false
+      status: PASS
+      evidence: "Workflow modular, pode ser adaptado para diferentes squads"
+
+    - name: "Manutenibilidade"
+      score: 8.0
+      weight: 0.8
+      veto: false
+      status: PASS
+      evidence: "YAML bem estruturado, fácil de modificar"
+
+  overall_score: 7.85
+  status: PASS
+  veto_triggered: false
+
+  recommendations:
+    - "Adicionar rollback procedures para cada fase"
+    - "Especificar critérios de PASS/FAIL nos gates"
+    - "Considerar consolidar fases de validação"
+
+metadata:
+  tokens_input: 15000
+  tokens_output: 800
+  latency_ms: 8000
+  timestamp: "2026-02-11T14:00:00Z"

package/pro/squads/squad-creator-pro/test-cases/pv-axioma-assessment/sonnet-output.yaml

@@ -0,0 +1,30 @@
+# Sonnet Output for pv-axioma-assessment
+# Generated: 2026-02-11
+# Target: squads/squad-creator-pro/workflows/wf-create-squad.yaml
+# Model: sonnet (intermediate tier)
+# Status: Not tested yet - placeholder for future validation
+
+axioma_assessment:
+  process_name: "wf-create-squad"
+  assessment_date: null
+  assessor: "@pedro-valerio"
+  model_used: "sonnet"
+
+  dimensions: []
+
+  overall_score: null
+  status: null
+  veto_triggered: null
+
+  recommendations: []
+
+metadata:
+  tokens_input: null
+  tokens_output: null
+  latency_ms: null
+  timestamp: null
+
+# Validation Notes:
+# - Sonnet test not yet executed
+# - Task qualified for Haiku, Sonnet test not required
+# - Fill this file if Haiku validation fails in future

package/pro/squads/squad-creator-pro/test-cases/pv-axioma-assessment/test-case.yaml

@@ -0,0 +1,129 @@
+# Test Case: pv-axioma-assessment
+# Model Tier Qualification - First validated task
+
+test_case:
+  name: "pv-axioma-assessment-standard"
+  version: "1.0"
+  created: "2026-02-11"
+  task_file: "tasks/pv-axioma-assessment.md"
+  skill_file: ".claude/skills/pv-axioma-assessment/SKILL.md"
+
+input:
+  target: "squads/squad-creator-pro/workflows/wf-create-squad.yaml"
+  params: {}
+  context_files:
+    - "squads/squad-creator-pro/data/pv-meta-axiomas.yaml"
+
+expected_output:
+  sections:
+    - axioma_assessment
+    - dimensions
+    - overall_score
+    - status
+    - veto_triggered
+    - recommendations
+
+  fields:
+    - name: "overall_score"
+      type: "number"
+      range: [0, 10]
+    - name: "status"
+      type: "enum"
+      values: ["PASS", "FAIL", "REVIEW"]
+    - name: "veto_triggered"
+      type: "boolean"
+    - name: "dimensions"
+      type: "array"
+      min_items: 10
+
+  validations:
+    - "Deve avaliar todas as 10 dimensões"
+    - "Verdade (veto dimension) deve ser avaliada primeiro"
+    - "Se Verdade < 7.0, status deve ser FAIL"
+    - "overall_score = weighted average das 10 dimensões"
+    - "Cada dimensão deve ter score, weight, e evidence"
+
+baseline:
+  opus_output: "opus-baseline.yaml"  # Relative to this folder
+  opus_score: 10.0
+  opus_tokens:
+    input: 15000
+    output: 800
+  opus_latency_ms: 8000
+
+evaluation:
+  completeness:
+    required_sections:
+      - "dimensions: array com 10 itens (uma por dimensão)"
+      - "overall_score: número calculado"
+      - "status: PASS/FAIL/REVIEW"
+      - "recommendations: lista de melhorias"
+    optional_sections:
+      - "veto_triggered: boolean"
+
+  accuracy:
+    numeric_tolerance: 0.10  # 10% tolerance
+    enum_exact_match: true
+
+  reasoning:
+    minimum_justifications: 10  # Uma por dimensão
+    requires_evidence: true
+
+  format:
+    expected_format: "yaml"
+    parseable: true
+
+  actionability:
+    minimum_recommendations: 1
+    specificity: "high"
+
+compensation_history:
+  attempts: []
+
+results:
+  haiku:
+    score: 7.71
+    percentage: 98.2  # vs opus baseline
+    qualified: true
+    output_file: "haiku-output.yaml"
+    tokens_input: 55000
+    tokens_output: 3000
+    cost_usd: 0.018
+    latency_ms: 71140
+    notes: "REAL EXECUTION 2026-02-11. Output mais detalhado que Opus (5 recs vs 3, evidence profunda)."
+
+  sonnet:
+    score: null
+    percentage: null
+    qualified: null
+    output_file: "sonnet-output.yaml"
+    notes: "Not tested yet"
+
+  opus:
+    score: 7.85
+    percentage: 100
+    qualified: true
+    output_file: "opus-baseline.yaml"
+    tokens_input: 15000
+    tokens_output: 800
+    cost_usd: 0.285
+    latency_ms: 8000
+    notes: "Baseline estabelecido 2026-02-11"
+
+  final_tier: "haiku"
+
+  cost_analysis:
+    opus_cost_per_run: 0.285
+    haiku_cost_per_run: 0.018
+    savings_per_run: 0.267
+    savings_percentage: 93.7
+    break_even_quality: 90.0  # threshold
+    actual_quality: 98.2
+
+  recommendation: |
+    HAIKU QUALIFICADO.
+    - Qualidade: 98.2% do baseline (threshold: 90%)
+    - Economia: 93.7% de redução de custo ($0.267/execução)
+    - Haiku usa 3.6x mais tokens MAS custa 15x menos por token
+    - Output do Haiku foi MAIS detalhado (5 recommendations vs 3)
+    - Zero compensações necessárias