qa360 2.2.1 → 2.2.7

package/docs/QA_TEST_PLAN.md

@@ -1,727 +0,0 @@
-# QA360 - Plan de Test Complet
-
-**Version**: 2.1.6
-**Date**: 11 Janvier 2026
-**Version QA360**: 2.1.5+
-**Objectif**: Validation complète des fonctionnalités QA360
-
----
-
-## 1. Vue d'Ensemble
-
-### 1.1 Nouveautés à Tester (v2.1.5+)
-
-| Fonctionnalité | Description | Priorité |
-|----------------|-------------|----------|
-| **AI Providers** | DeepSeek (nouveau), Ollama (fixé), OpenAI, Anthropic | 🔴 HAUTE |
-| **Fallback automatique** | DeepSeek → Ollama → OpenAI → Anthropic → Mock | 🔴 HAUTE |
-| **Environment Variables** | Substitution ${VAR} dans pack YAML | 🟠 MOYENNE |
-| **Init Command** | Fix output directory | 🟠 MOYENNE |
-| **Timeout Management** | gate.options.timeout fonctionnel | 🟢 BASSE |
-
-### 1.2 Matrice de Test
-
-| Catégorie | Tests | Pass | Fail | Notes |
-|----------|-------|------|------|-------|
-| Installation | 3 | | | |
-| Core CLI | 8 | | | |
-| AI Providers | 6 | | | **NOUVEAU** |
-| API Testing | 5 | | | |
-| UI Testing | 4 | | | |
-| Security/Proofs | 3 | | | |
-| CI/CD | 2 | | | |
-| **TOTAL** | **31** | | | |
-
----
-
-## 2. Prérequis
-
-### 2.1 Environnement de Test
-
-```bash
-# Node.js version
-node --version  # >= 18.0.0
-
-# Installation QA360
-npm install -g qa360@latest
-# OU depuis le repo
-cd /path/to/qa360 && pnpm install && pnpm build && npm link
-
-# Vérification
-qa360 --version
-```
-
-### 2.2 Préparation API Keys (Optionnel)
-
-```bash
-# DeepSeek (recommandé pour production)
-# https://platform.deepseek.com/api_keys
-export DEEPSEEK_API_KEY="sk-..."
-
-# Ollama (local, gratuit)
-# brew install ollama && ollama serve && ollama pull deepseek-coder
-
-# OpenAI
-export OPENAI_API_KEY="sk-..."
-
-# Anthropic
-export ANTHROPIC_API_KEY="sk-ant-..."
-```
-
----
-
-## 3. Scénarios de Test
-
-### TEST 1: Installation et Version
-
-**Objectif**: Valider l'installation correcte
-
-```bash
-# 1.1 Version check
-qa360 --version
-# Attendu: Version affichée (ex: 2.1.5)
-
-# 1.2 Help
-qa360 --help
-# Attendu: Liste des commandes
-
-# 1.3 Doctor (basic)
-qa360 doctor
-# Attendu: Diagnostic système OK
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 2: AI Providers - Liste et Status
-
-**Objectif**: Vérifier la détection des providers AI
-
-```bash
-# 2.1 Lister tous les providers
-qa360 ai list
-# Attendu: Tableau avec tous les providers et leur statut
-
-# 2.2 Configuration AI
-qa360 ai config
-# Attendu: Variables d'environnement affichées
-
-# 2.3 Vérifier Ollama spécifiquement
-qa360 ai use ollama
-# Attendu: "Ollama is available!" si installé, sinon message d'erreur clair
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 3: AI Provider - DeepSeek
-
-**Objectif**: Tester le provider DeepSeek (recommandé)
-
-```bash
-# 3.1 Configurer DeepSeek
-export DEEPSEEK_API_KEY="your-key-here"
-
-# 3.2 Vérifier disponibilité
-qa360 ai use deepseek --verify
-# Attendu: Test de génération réussi
-
-# 3.3 Générer des tests
-qa360 ai generate "Write a test for GET /api/users" --type api --provider deepseek
-# Attendu: Code de test généré
-
-# 3.4 Benchmark
-qa360 ai benchmark
-# Attendu: Comparaison de performance incluant DeepSeek
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 4: AI Provider - Ollama (Local)
-
-**Objectif**: Tester Ollama après le fix de détection
-
-```bash
-# 4.1 Installer et démarrer Ollama
-brew install ollama  # macOS
-ollama serve &       # Démarrer le service
-
-# 4.2 Tirer un modèle
-ollama pull deepseek-coder
-
-# 4.3 Vérifier détection
-curl http://localhost:11434/api/tags
-# Attendu: Liste des modèles
-
-# 4.4 Tester via QA360
-qa360 ai use ollama --verify
-# Attendu: "Ollama is available!" (CECI ÉTAIT BUGGÉ AVANT)
-```
-
-**Bug corrigé**: La détection Ollama échouait avant v2.1.5 à cause d'AbortSignal.timeout
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 5: Fallback Automatique
-
-**Objectif**: Vérifier la chaîne de fallback
-
-```bash
-# 5.1 Sans API key (doit utiliser Mock ou Ollama si dispo)
-unset DEEPSEEK_API_KEY
-unset OPENAI_API_KEY
-unset ANTHROPIC_API_KEY
-
-# 5.2 Générer (doit fallback automatiquement)
-qa360 ai generate "Simple test" --type api
-# Attendu: Fonctionne avec provider de fallback
-
-# 5.3 Forcer un provider spécifique
-qa360 ai generate "Test" --provider mock
-# Attendu: Fonctionne immédiatement
-```
-
-**Chaîne de fallback**: DeepSeek → Ollama → OpenAI → Anthropic → Mock
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 6: API Testing - Playwright
-
-**Objectif**: Tester les fonctionnalités API core
-
-```bash
-# 6.1 Créer un pack de test
-cat > test-api.yml << 'EOF'
-name: api-smoke-test
-version: "2.0"
-gates:
-  smoke:
-    type: api_smoke
-    config:
-      baseUrl: https://httpbin.org
-      requests:
-        - method: GET
-          path: /status/200
-          expect:
-            status: 200
-EOF
-
-# 6.2 Exécuter
-qa360 run test-api.yml
-# Attendu: Success avec Trust Score 100%
-
-# 6.3 Vérifier la preuve
-qa360 verify .qa360/runs/*/proof.json
-# Attendu: "Signature VALID"
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 7: Environment Variables Substitution
-
-**Objectif**: Tester la substitution ${VAR} (FIX v2.1.5)
-
-```bash
-# 7.1 Créer un pack avec variables d'environnement
-export TEST_API_URL="https://httpbin.org"
-
-cat > test-env.yml << 'EOF'
-name: env-test
-version: "2.0"
-config:
-  baseUrl: "${TEST_API_URL}"
-gates:
-  smoke:
-    type: api_smoke
-    config:
-      requests:
-        - method: GET
-          path: /get
-EOF
-
-# 7.2 Exécuter
-qa360 run test-env.yml
-# Attendu: Utilise https://httpbin.org (BUGGÉ AVANT v2.1.5)
-
-# 7.3 Tester avec valeur par défaut
-export TEST_API_URL=""
-
-cat > test-env-default.yml << 'EOF'
-name: env-default-test
-version: "2.0"
-config:
-  baseUrl: "${TEST_API_URL:-https://httpbin.org}"
-gates:
-  smoke:
-    type: api_smoke
-EOF
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 8: Init Command - Output Directory
-
-**Objectif**: Tester le fix de output directory (FIX v2.1.5)
-
-```bash
-# 8.1 Créer dans un répertoire spécifique
-mkdir -p /tmp/qa360-test-output
-qa360 init --template api-basic -y /tmp/qa360-test-output
-# Attendu: Fichier créé dans /tmp/qa360-test-output/qa360.yml
-# (AVANT: créé dans le répertoire courant)
-
-# 8.2 Vérifier
-ls /tmp/qa360-test-output/
-# Attendu: qa360.yml présent
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 9: Timeout Configuration
-
-**Objectif**: Tester gate.options.timeout (FIX v2.1.5)
-
-```bash
-cat > test-timeout.yml << 'EOF'
-name: timeout-test
-version: "2.0"
-gates:
-  fast:
-    type: api_smoke
-    gateOptions:
-      timeout: 1000
-    config:
-      baseUrl: https://httpbin.org
-      requests:
-        - method: GET
-          path: /delay/3
-          expect:
-            status: 200
-EOF
-
-# 9.1 Exécuter (doit timeout)
-qa360 run test-timeout.yml
-# Attendu: Timeout après ~1000ms (pas 120000ms par défaut)
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 10: UI Testing
-
-**Objectif**: Tester les fonctionnalités UI
-
-```bash
-cat > test-ui.yml << 'EOF'
-name: ui-smoke-test
-version: "2.0"
-gates:
-  ui_check:
-    type: ui_smoke
-    config:
-      baseUrl: https://example.com
-      pages:
-        - https://example.com
-budgets:
-  a11y_min: 70
-EOF
-
-# 10.1 Exécuter
-qa360 run test-ui.yml
-# Attendu: Success avec score d'accessibilité
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 11: Cryptographic Proofs
-
-**Objectif**: Vérifier les signatures Ed25519
-
-```bash
-# 11.1 Exécuter un test
-qa360 run test-api.yml
-
-# 11.2 Lister les runs
-qa360 history list
-
-# 11.3 Vérifier une preuve
-PROOF=$(ls -t .qa360/runs/*proof.json | head -1)
-qa360 verify "$PROOF"
-# Attendu: "Signature VALID"
-
-# 11.4 Tenter la falsification
-# Modifier le trustScore dans le fichier JSON
-# qa360 verify "$PROOF"
-# Attendu: "Invalid signature - proof may have been tampered with"
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 12: Secrets Management
-
-**Objectif**: Tester la gestion des secrets
-
-```bash
-# 12.1 Ajouter un secret
-qa360 secrets add TEST_TOKEN
-# Entrer: sk_test_secret_123
-
-# 12.2 Lister
-qa360 secrets list
-# Attendu: TEST_TOKEN affiché (valeur masquée)
-
-# 12.3 Supprimer
-qa360 secrets remove TEST_TOKEN
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 13: History and Reporting
-
-**Objectif**: Tester l'historique et les rapports
-
-```bash
-# 13.1 Lister l'historique
-qa360 history list
-# Attendu: Tableau des runs passés
-
-# 13.2 Voir un run spécifique
-RUN_ID=$(qa360 history list | head -2 | tail -1 | awk '{print $1}')
-qa360 history show "$RUN_ID"
-
-# 13.3 Exporter
-qa360 history export --format json --output history.json
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 14: CLI Examples
-
-**Objectif**: Tester les exemples CLI
-
-```bash
-# 14.1 Lister les exemples
-qa360 examples list
-# Attendu: Liste des templates disponibles
-
-# 14.2 Copier un exemple
-mkdir -p /tmp/qa360-example
-cd /tmp/qa360-example
-qa360 examples copy api-basic
-# Attendu: qa360.yml créé
-
-# 14.3 Exécuter l'exemple
-qa360 run
-# Attendu: Tests exécutés avec succès
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 15: Authentication
-
-**Objectif**: Tester les différents types d'auth
-
-```bash
-# 15.1 API Key
-cat > test-auth-apikey.yml << 'EOF'
-name: auth-apikey
-version: "2.0"
-gates:
-  test:
-    type: api_smoke
-    config:
-      baseUrl: https://httpbin.org
-      requests:
-        - method: GET
-          path: /bearer
-          auth:
-            type: bearer
-            token: "test-token"
-EOF
-
-# 15.2 Basic Auth
-# (à compléter avec un endpoint réel)
-
-# 15.3 Custom Headers
-# (à compléter)
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 16: Performance Testing
-
-**Objectif**: Tester les fonctionnalités de performance
-
-```bash
-# 16.1 Multiple requests (stress)
-cat > test-stress.yml << 'EOF'
-name: stress-test
-version: "2.0"
-gates:
-  stress:
-    type: api_smoke
-    config:
-      baseUrl: https://httpbin.org
-      requests:
-        - method: GET
-          path: /status/200
-        - method: GET
-          path: /status/201
-        - method: GET
-          path: /status/202
-        # ... plus de 10 requests
-EOF
-
-# 16.2 Mesurer le temps
-time qa360 run test-stress.yml
-# Attendu: Tous les tests passent
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 17: Error Handling
-
-**Objectif**: Tester la gestion des erreurs
-
-```bash
-# 17.1 Pack invalide
-cat > test-invalid.yml << 'EOF'
-name: invalid
-version: "2.0"
-gates:
-  broken:
-    type: unknown_type
-EOF
-
-qa360 run test-invalid.yml
-# Attendu: Message d'erreur clair
-
-# 17.2 Endpoint inexistant
-cat > test-404.yml << 'EOF'
-name: test-404
-version: "2.0"
-gates:
-  test:
-    type: api_smoke
-    config:
-      baseUrl: https://httpbin.org
-      requests:
-        - method: GET
-          path: /status/404
-          expect:
-            status: 200  # Wrong expectation
-EOF
-
-qa360 run test-404.yml
-# Attendu: Échec avec message clair
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 18: Unicode Support
-
-**Objectif**: Tester le support Unicode
-
-```bash
-cat > test-unicode.yml << 'EOF'
-name: test-unicode-émojis-你好
-version: "2.0"
-description: "Test with émojis 🎉 and accents éèà and 中文"
-gates:
-  αβγ_test:
-    type: api_smoke
-    config:
-      baseUrl: https://httpbin.org
-      requests:
-        - method: GET
-          path: /get
-EOF
-
-qa360 run test-unicode.yml
-# Attendu: Fonctionne correctement
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-### TEST 19: MCP Server
-
-**Objectif**: Tester le serveur MCP
-
-```bash
-# 19.1 Démarrer le serveur MCP
-qa360-mcp serve
-
-# 19.2 Tester avec un client MCP
-# (nécessite un client MCP comme VS Code MCP extension)
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | ☐ N/A | Notes: ___________
-
----
-
-### TEST 20: CI/CD Integration
-
-**Objectif**: Tester l'intégration CI/CD
-
-```bash
-# 20.1 Créer un workflow GitHub Actions
-mkdir -p .github/workflows
-cat > .github/workflows/qa360.yml << 'EOF'
-name: QA360 Tests
-on: [push]
-jobs:
-  test:
-    runs-on: ubuntu-latest
-    steps:
-      - uses: actions/checkout@v3
-      - name: Setup Node.js
-        uses: actions/setup-node@v3
-        with:
-          node-version: '20'
-      - name: Install QA360
-        run: npm install -g qa360
-      - name: Run Tests
-        run: qa360 run
-      - name: Upload Proof
-        uses: actions/upload-artifact@v3
-        with:
-          name: qa360-proof
-          path: .qa360/runs/*.json
-EOF
-
-# 20.2 Commiter et pousser pour tester
-git add .github/workflows/qa360.yml
-git commit -m "test: add QA360 CI workflow"
-git push
-# Attendu: Workflow GitHub Actions exécuté avec succès
-```
-
-**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
-
----
-
-## 4. Grille de Résultats
-
-### 4.1 Résumé
-
-| Catégorie | Total | Pass | Fail | N/A | % Succès |
-|-----------|-------|------|------|-----|----------|
-| Installation | 3 | | | | |
-| AI Providers | 6 | | | | |
-| Core Testing | 8 | | | | |
-| Advanced | 5 | | | | |
-| **TOTAL** | **22** | | | | |
-
-### 4.2 Bugs Trouvés
-
-| # | Titre | Sévérité | Scénario | Description |
-|---|-------|----------|----------|-------------|
-| 1 | | | | |
-| 2 | | | | |
-
-### 4.3 Fonctionnalités Manquantes
-
-| # | Fonctionnalité | Priorité | Description |
-|---|----------------|----------|-------------|
-| 1 | | | |
-| 2 | | | |
-
----
-
-## 5. Checklist de Validation
-
-### 5.1 Critères de Succès
-
-- [ ] Tous les tests core passent (>90%)
-- [ ] AI providers détectés correctement
-- [ ] Fallback automatique fonctionne
-- [ ] Environment variables substituées
-- [ ] Preuves cryptographiques valides
-- [ ] Documentation claire
-
-### 5.2 Go/No-Go pour Release
-
-**GO** si:
-- > 95% tests passent
-- < 3 bugs critiques
-- DeepSeek et Ollama fonctionnent
-
-**NO-GO** si:
-- Détection AI échoue
-- Preuves falsifiables
-- > 5 bugs critiques
-
----
-
-## 6. Template de Rapport
-
-```markdown
-# Rapport de Test - QA360 v2.1.5+
-
-**Testeur**: ___________
-**Date**: ___________
-**Environnement**: ___________
-
-## Résumé
-- Tests exécutés: ___/22
-- Taux de succès: ___%
-- Bugs trouvés: ___
-- Fonctionnalités manquantes: ___
-
-## Points Positifs
-1.
-2.
-3.
-
-## Points Négatifs
-1.
-2.
-3.
-
-## Recommandation
-- [ ] GO pour release
-- [ ] GO avec réservations
-- [ ] NO-GO
-
-## Commentaires Additionnels
-[ Votre feedback ici ]
-```
-
----
-
-**Document Version**: 2.1.6
-**Dernière Mise à Jour**: 11 Janvier 2026
-**Pour**: QA Engineers