qa360 2.1.7 → 2.2.0

package/docs/QA_TEST_PLAN.md

@@ -0,0 +1,727 @@
+# QA360 - Plan de Test Complet
+
+**Version**: 2.1.6
+**Date**: 11 Janvier 2026
+**Version QA360**: 2.1.5+
+**Objectif**: Validation complète des fonctionnalités QA360
+
+---
+
+## 1. Vue d'Ensemble
+
+### 1.1 Nouveautés à Tester (v2.1.5+)
+
+| Fonctionnalité | Description | Priorité |
+|----------------|-------------|----------|
+| **AI Providers** | DeepSeek (nouveau), Ollama (fixé), OpenAI, Anthropic | 🔴 HAUTE |
+| **Fallback automatique** | DeepSeek → Ollama → OpenAI → Anthropic → Mock | 🔴 HAUTE |
+| **Environment Variables** | Substitution ${VAR} dans pack YAML | 🟠 MOYENNE |
+| **Init Command** | Fix output directory | 🟠 MOYENNE |
+| **Timeout Management** | gate.options.timeout fonctionnel | 🟢 BASSE |
+
+### 1.2 Matrice de Test
+
+| Catégorie | Tests | Pass | Fail | Notes |
+|----------|-------|------|------|-------|
+| Installation | 3 | | | |
+| Core CLI | 8 | | | |
+| AI Providers | 6 | | | **NOUVEAU** |
+| API Testing | 5 | | | |
+| UI Testing | 4 | | | |
+| Security/Proofs | 3 | | | |
+| CI/CD | 2 | | | |
+| **TOTAL** | **31** | | | |
+
+---
+
+## 2. Prérequis
+
+### 2.1 Environnement de Test
+
+```bash
+# Node.js version
+node --version  # >= 18.0.0
+
+# Installation QA360
+npm install -g qa360@latest
+# OU depuis le repo
+cd /path/to/qa360 && pnpm install && pnpm build && npm link
+
+# Vérification
+qa360 --version
+```
+
+### 2.2 Préparation API Keys (Optionnel)
+
+```bash
+# DeepSeek (recommandé pour production)
+# https://platform.deepseek.com/api_keys
+export DEEPSEEK_API_KEY="sk-..."
+
+# Ollama (local, gratuit)
+# brew install ollama && ollama serve && ollama pull deepseek-coder
+
+# OpenAI
+export OPENAI_API_KEY="sk-..."
+
+# Anthropic
+export ANTHROPIC_API_KEY="sk-ant-..."
+```
+
+---
+
+## 3. Scénarios de Test
+
+### TEST 1: Installation et Version
+
+**Objectif**: Valider l'installation correcte
+
+```bash
+# 1.1 Version check
+qa360 --version
+# Attendu: Version affichée (ex: 2.1.5)
+
+# 1.2 Help
+qa360 --help
+# Attendu: Liste des commandes
+
+# 1.3 Doctor (basic)
+qa360 doctor
+# Attendu: Diagnostic système OK
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 2: AI Providers - Liste et Status
+
+**Objectif**: Vérifier la détection des providers AI
+
+```bash
+# 2.1 Lister tous les providers
+qa360 ai list
+# Attendu: Tableau avec tous les providers et leur statut
+
+# 2.2 Configuration AI
+qa360 ai config
+# Attendu: Variables d'environnement affichées
+
+# 2.3 Vérifier Ollama spécifiquement
+qa360 ai use ollama
+# Attendu: "Ollama is available!" si installé, sinon message d'erreur clair
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 3: AI Provider - DeepSeek
+
+**Objectif**: Tester le provider DeepSeek (recommandé)
+
+```bash
+# 3.1 Configurer DeepSeek
+export DEEPSEEK_API_KEY="your-key-here"
+
+# 3.2 Vérifier disponibilité
+qa360 ai use deepseek --verify
+# Attendu: Test de génération réussi
+
+# 3.3 Générer des tests
+qa360 ai generate "Write a test for GET /api/users" --type api --provider deepseek
+# Attendu: Code de test généré
+
+# 3.4 Benchmark
+qa360 ai benchmark
+# Attendu: Comparaison de performance incluant DeepSeek
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 4: AI Provider - Ollama (Local)
+
+**Objectif**: Tester Ollama après le fix de détection
+
+```bash
+# 4.1 Installer et démarrer Ollama
+brew install ollama  # macOS
+ollama serve &       # Démarrer le service
+
+# 4.2 Tirer un modèle
+ollama pull deepseek-coder
+
+# 4.3 Vérifier détection
+curl http://localhost:11434/api/tags
+# Attendu: Liste des modèles
+
+# 4.4 Tester via QA360
+qa360 ai use ollama --verify
+# Attendu: "Ollama is available!" (CECI ÉTAIT BUGGÉ AVANT)
+```
+
+**Bug corrigé**: La détection Ollama échouait avant v2.1.5 à cause d'AbortSignal.timeout
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 5: Fallback Automatique
+
+**Objectif**: Vérifier la chaîne de fallback
+
+```bash
+# 5.1 Sans API key (doit utiliser Mock ou Ollama si dispo)
+unset DEEPSEEK_API_KEY
+unset OPENAI_API_KEY
+unset ANTHROPIC_API_KEY
+
+# 5.2 Générer (doit fallback automatiquement)
+qa360 ai generate "Simple test" --type api
+# Attendu: Fonctionne avec provider de fallback
+
+# 5.3 Forcer un provider spécifique
+qa360 ai generate "Test" --provider mock
+# Attendu: Fonctionne immédiatement
+```
+
+**Chaîne de fallback**: DeepSeek → Ollama → OpenAI → Anthropic → Mock
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 6: API Testing - Playwright
+
+**Objectif**: Tester les fonctionnalités API core
+
+```bash
+# 6.1 Créer un pack de test
+cat > test-api.yml << 'EOF'
+name: api-smoke-test
+version: "2.0"
+gates:
+  smoke:
+    type: api_smoke
+    config:
+      baseUrl: https://httpbin.org
+      requests:
+        - method: GET
+          path: /status/200
+          expect:
+            status: 200
+EOF
+
+# 6.2 Exécuter
+qa360 run test-api.yml
+# Attendu: Success avec Trust Score 100%
+
+# 6.3 Vérifier la preuve
+qa360 verify .qa360/runs/*/proof.json
+# Attendu: "Signature VALID"
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 7: Environment Variables Substitution
+
+**Objectif**: Tester la substitution ${VAR} (FIX v2.1.5)
+
+```bash
+# 7.1 Créer un pack avec variables d'environnement
+export TEST_API_URL="https://httpbin.org"
+
+cat > test-env.yml << 'EOF'
+name: env-test
+version: "2.0"
+config:
+  baseUrl: "${TEST_API_URL}"
+gates:
+  smoke:
+    type: api_smoke
+    config:
+      requests:
+        - method: GET
+          path: /get
+EOF
+
+# 7.2 Exécuter
+qa360 run test-env.yml
+# Attendu: Utilise https://httpbin.org (BUGGÉ AVANT v2.1.5)
+
+# 7.3 Tester avec valeur par défaut
+export TEST_API_URL=""
+
+cat > test-env-default.yml << 'EOF'
+name: env-default-test
+version: "2.0"
+config:
+  baseUrl: "${TEST_API_URL:-https://httpbin.org}"
+gates:
+  smoke:
+    type: api_smoke
+EOF
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 8: Init Command - Output Directory
+
+**Objectif**: Tester le fix de output directory (FIX v2.1.5)
+
+```bash
+# 8.1 Créer dans un répertoire spécifique
+mkdir -p /tmp/qa360-test-output
+qa360 init --template api-basic -y /tmp/qa360-test-output
+# Attendu: Fichier créé dans /tmp/qa360-test-output/qa360.yml
+# (AVANT: créé dans le répertoire courant)
+
+# 8.2 Vérifier
+ls /tmp/qa360-test-output/
+# Attendu: qa360.yml présent
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 9: Timeout Configuration
+
+**Objectif**: Tester gate.options.timeout (FIX v2.1.5)
+
+```bash
+cat > test-timeout.yml << 'EOF'
+name: timeout-test
+version: "2.0"
+gates:
+  fast:
+    type: api_smoke
+    gateOptions:
+      timeout: 1000
+    config:
+      baseUrl: https://httpbin.org
+      requests:
+        - method: GET
+          path: /delay/3
+          expect:
+            status: 200
+EOF
+
+# 9.1 Exécuter (doit timeout)
+qa360 run test-timeout.yml
+# Attendu: Timeout après ~1000ms (pas 120000ms par défaut)
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 10: UI Testing
+
+**Objectif**: Tester les fonctionnalités UI
+
+```bash
+cat > test-ui.yml << 'EOF'
+name: ui-smoke-test
+version: "2.0"
+gates:
+  ui_check:
+    type: ui_smoke
+    config:
+      baseUrl: https://example.com
+      pages:
+        - https://example.com
+budgets:
+  a11y_min: 70
+EOF
+
+# 10.1 Exécuter
+qa360 run test-ui.yml
+# Attendu: Success avec score d'accessibilité
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 11: Cryptographic Proofs
+
+**Objectif**: Vérifier les signatures Ed25519
+
+```bash
+# 11.1 Exécuter un test
+qa360 run test-api.yml
+
+# 11.2 Lister les runs
+qa360 history list
+
+# 11.3 Vérifier une preuve
+PROOF=$(ls -t .qa360/runs/*proof.json | head -1)
+qa360 verify "$PROOF"
+# Attendu: "Signature VALID"
+
+# 11.4 Tenter la falsification
+# Modifier le trustScore dans le fichier JSON
+# qa360 verify "$PROOF"
+# Attendu: "Invalid signature - proof may have been tampered with"
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 12: Secrets Management
+
+**Objectif**: Tester la gestion des secrets
+
+```bash
+# 12.1 Ajouter un secret
+qa360 secrets add TEST_TOKEN
+# Entrer: sk_test_secret_123
+
+# 12.2 Lister
+qa360 secrets list
+# Attendu: TEST_TOKEN affiché (valeur masquée)
+
+# 12.3 Supprimer
+qa360 secrets remove TEST_TOKEN
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 13: History and Reporting
+
+**Objectif**: Tester l'historique et les rapports
+
+```bash
+# 13.1 Lister l'historique
+qa360 history list
+# Attendu: Tableau des runs passés
+
+# 13.2 Voir un run spécifique
+RUN_ID=$(qa360 history list | head -2 | tail -1 | awk '{print $1}')
+qa360 history show "$RUN_ID"
+
+# 13.3 Exporter
+qa360 history export --format json --output history.json
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 14: CLI Examples
+
+**Objectif**: Tester les exemples CLI
+
+```bash
+# 14.1 Lister les exemples
+qa360 examples list
+# Attendu: Liste des templates disponibles
+
+# 14.2 Copier un exemple
+mkdir -p /tmp/qa360-example
+cd /tmp/qa360-example
+qa360 examples copy api-basic
+# Attendu: qa360.yml créé
+
+# 14.3 Exécuter l'exemple
+qa360 run
+# Attendu: Tests exécutés avec succès
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 15: Authentication
+
+**Objectif**: Tester les différents types d'auth
+
+```bash
+# 15.1 API Key
+cat > test-auth-apikey.yml << 'EOF'
+name: auth-apikey
+version: "2.0"
+gates:
+  test:
+    type: api_smoke
+    config:
+      baseUrl: https://httpbin.org
+      requests:
+        - method: GET
+          path: /bearer
+          auth:
+            type: bearer
+            token: "test-token"
+EOF
+
+# 15.2 Basic Auth
+# (à compléter avec un endpoint réel)
+
+# 15.3 Custom Headers
+# (à compléter)
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 16: Performance Testing
+
+**Objectif**: Tester les fonctionnalités de performance
+
+```bash
+# 16.1 Multiple requests (stress)
+cat > test-stress.yml << 'EOF'
+name: stress-test
+version: "2.0"
+gates:
+  stress:
+    type: api_smoke
+    config:
+      baseUrl: https://httpbin.org
+      requests:
+        - method: GET
+          path: /status/200
+        - method: GET
+          path: /status/201
+        - method: GET
+          path: /status/202
+        # ... plus de 10 requests
+EOF
+
+# 16.2 Mesurer le temps
+time qa360 run test-stress.yml
+# Attendu: Tous les tests passent
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 17: Error Handling
+
+**Objectif**: Tester la gestion des erreurs
+
+```bash
+# 17.1 Pack invalide
+cat > test-invalid.yml << 'EOF'
+name: invalid
+version: "2.0"
+gates:
+  broken:
+    type: unknown_type
+EOF
+
+qa360 run test-invalid.yml
+# Attendu: Message d'erreur clair
+
+# 17.2 Endpoint inexistant
+cat > test-404.yml << 'EOF'
+name: test-404
+version: "2.0"
+gates:
+  test:
+    type: api_smoke
+    config:
+      baseUrl: https://httpbin.org
+      requests:
+        - method: GET
+          path: /status/404
+          expect:
+            status: 200  # Wrong expectation
+EOF
+
+qa360 run test-404.yml
+# Attendu: Échec avec message clair
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 18: Unicode Support
+
+**Objectif**: Tester le support Unicode
+
+```bash
+cat > test-unicode.yml << 'EOF'
+name: test-unicode-émojis-你好
+version: "2.0"
+description: "Test with émojis 🎉 and accents éèà and 中文"
+gates:
+  αβγ_test:
+    type: api_smoke
+    config:
+      baseUrl: https://httpbin.org
+      requests:
+        - method: GET
+          path: /get
+EOF
+
+qa360 run test-unicode.yml
+# Attendu: Fonctionne correctement
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+### TEST 19: MCP Server
+
+**Objectif**: Tester le serveur MCP
+
+```bash
+# 19.1 Démarrer le serveur MCP
+qa360-mcp serve
+
+# 19.2 Tester avec un client MCP
+# (nécessite un client MCP comme VS Code MCP extension)
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | ☐ N/A | Notes: ___________
+
+---
+
+### TEST 20: CI/CD Integration
+
+**Objectif**: Tester l'intégration CI/CD
+
+```bash
+# 20.1 Créer un workflow GitHub Actions
+mkdir -p .github/workflows
+cat > .github/workflows/qa360.yml << 'EOF'
+name: QA360 Tests
+on: [push]
+jobs:
+  test:
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v3
+      - name: Setup Node.js
+        uses: actions/setup-node@v3
+        with:
+          node-version: '20'
+      - name: Install QA360
+        run: npm install -g qa360
+      - name: Run Tests
+        run: qa360 run
+      - name: Upload Proof
+        uses: actions/upload-artifact@v3
+        with:
+          name: qa360-proof
+          path: .qa360/runs/*.json
+EOF
+
+# 20.2 Commiter et pousser pour tester
+git add .github/workflows/qa360.yml
+git commit -m "test: add QA360 CI workflow"
+git push
+# Attendu: Workflow GitHub Actions exécuté avec succès
+```
+
+**Résultat**: ☐ Pass | ☐ Fail | Notes: ___________
+
+---
+
+## 4. Grille de Résultats
+
+### 4.1 Résumé
+
+| Catégorie | Total | Pass | Fail | N/A | % Succès |
+|-----------|-------|------|------|-----|----------|
+| Installation | 3 | | | | |
+| AI Providers | 6 | | | | |
+| Core Testing | 8 | | | | |
+| Advanced | 5 | | | | |
+| **TOTAL** | **22** | | | | |
+
+### 4.2 Bugs Trouvés
+
+| # | Titre | Sévérité | Scénario | Description |
+|---|-------|----------|----------|-------------|
+| 1 | | | | |
+| 2 | | | | |
+
+### 4.3 Fonctionnalités Manquantes
+
+| # | Fonctionnalité | Priorité | Description |
+|---|----------------|----------|-------------|
+| 1 | | | |
+| 2 | | | |
+
+---
+
+## 5. Checklist de Validation
+
+### 5.1 Critères de Succès
+
+- [ ] Tous les tests core passent (>90%)
+- [ ] AI providers détectés correctement
+- [ ] Fallback automatique fonctionne
+- [ ] Environment variables substituées
+- [ ] Preuves cryptographiques valides
+- [ ] Documentation claire
+
+### 5.2 Go/No-Go pour Release
+
+**GO** si:
+- > 95% tests passent
+- < 3 bugs critiques
+- DeepSeek et Ollama fonctionnent
+
+**NO-GO** si:
+- Détection AI échoue
+- Preuves falsifiables
+- > 5 bugs critiques
+
+---
+
+## 6. Template de Rapport
+
+```markdown
+# Rapport de Test - QA360 v2.1.5+
+
+**Testeur**: ___________
+**Date**: ___________
+**Environnement**: ___________
+
+## Résumé
+- Tests exécutés: ___/22
+- Taux de succès: ___%
+- Bugs trouvés: ___
+- Fonctionnalités manquantes: ___
+
+## Points Positifs
+1.
+2.
+3.
+
+## Points Négatifs
+1.
+2.
+3.
+
+## Recommandation
+- [ ] GO pour release
+- [ ] GO avec réservations
+- [ ] NO-GO
+
+## Commentaires Additionnels
+[ Votre feedback ici ]
+```
+
+---
+
+**Document Version**: 2.1.6
+**Dernière Mise à Jour**: 11 Janvier 2026
+**Pour**: QA Engineers