qa360 2.2.1 → 2.2.7

package/docs/BETA_TESTING_PLAN.md

@@ -1,727 +0,0 @@
-# QA360 - Plan de Test Utilisateur Beta
-
-**Version**: 2.0.0
-**Date**: 1 Janvier 2026
-**Phase**: Beta Testing
-**Objectif**: Valider l'utilité et l'expérience utilisateur avant la v1.0
-
----
-
-## 1. Objectifs du Testing
-
-### 1.1 Objectifs Primaires
-- Valider que QA360 résout de réels problèmes de QA
-- Identifier les friction dans l'expérience utilisateur
-- Mesurer la courbe d'apprentissage
-- Collecter des feedbacks sur la documentation
-
-### 1.2 Métriques de Succès
-| Métrique | Cible | Actuel |
-|----------|-------|--------|
-| Taux d'installation réussie | > 90% | - |
-| Taux de complétion du premier pack | > 70% | - |
-| Satisfaction UX (1-5) | > 4.0 | - |
-| Bugs critiques trouvés | < 5 | - |
-
----
-
-## 2. Profil des Testeurs
-
-### 2.1 Nombre de Participants
-- **Cible**: 8-12 testeurs
-- **Durée**: 2 semaines
-
-### 2.2 Profils Recherchés
-
-| Profil | Expérience | Nombre | Rôle |
-|--------|-----------|--------|------|
-| **QA Engineer** | 3-5 ans tests automatisés | 3-4 | Validation fonctionnalités core |
-| **Développeur Full-stack** | Tests unitaires/intégration | 3-4 | Installation et integration CI/CD |
-| **Tech Lead** | Architecture et decisions | 2 | Stratégie et adoptabilité |
-| **Débutant Tests** | < 1 an expérience | 1-2 | Accessibilité et onboarding |
-
----
-
-## 3. Scénarios de Test
-
-### 3.1 Tests Automatisés E2E
-
-Avant de commencer les tests manuels, une suite de tests automatisés E2E sera exécutée :
-
-```bash
-npm run test:e2e
-```
-
-**Tests automatisés inclus :**
-- Installation et version CLI
-- Commande `init` (création qa360.yml)
-- Validation de pack (`preflight`)
-- Exécution de tests (`run`)
-- Vérification de preuves (`verify`)
-- Diagnostic système (`doctor`)
-- Gestion des secrets (`secrets`)
-- Historique des exécutions (`history`)
-- Scénarios multi-gates
-- Gestion d'erreurs
-- Tests de performance
-
-**Objectif :** Valider que les commandes de base fonctionnent avant de demander aux testeurs de les utiliser.
-
-### SCÉNARIO 1: Première Installation
-
-**Objectif**: Valider le flux d'installation
-
-**Étapes**:
-```bash
-# 1. Cloner le projet
-git clone https://github.com/xyqotech/qa360.git
-cd qa360
-
-# 2. Installer les dépendances
-pnpm install
-
-# 3. Build
-pnpm build
-
-# 4. Lien global
-npm link
-```
-
-**Questions**:
-- [ ] L'installation s'est-elle déroulée sans erreur ?
-- [ ] Quelles dépendances manquaient-elles ?
-- [ ] Quelles étapes étaient confuses ?
-- [ ] Combien de temps avez-vous passé ?
-
-**Succès**: Installation en < 10 minutes sans erreurs
-
----
-
-### SCÉNARIO 2: Premier Pack de Test
-
-**Objectif**: Créer et exécuter un premier pack
-
-**Contexte**: Vous avez une API REST simple à tester
-
-**Fichier de test** (`qa360.yml`):
-```yaml
-name: my-first-api-tests
-
-description: Tests de base pour mon API
-
-gates:
-  api_health:
-    type: api
-    config:
-      baseUrl: https://jsonplaceholder.typicode.com
-      requests:
-        - method: GET
-          path: /posts/1
-          expect:
-            status: 200
-        - method: GET
-          path: /users
-          expect:
-            status: 200
-```
-
-**Étapes**:
-```bash
-# 1. Créer le fichier qa360.yml
-# (copier le contenu ci-dessus)
-
-# 2. Valider la configuration
-qa360 init
-
-# 3. Exécuter les tests
-qa360 run
-
-# 4. Vérifier la preuve
-qa360 verify .qa360/runs/proof.json
-```
-
-**Questions**:
-- [ ] Le format YAML est-il intuitif ?
-- [ ] Les messages d'erreur sont-ils clairs ?
-- [ ] Comprenez-vous ce que fait chaque commande ?
-- [ ] Le concept de "preuve cryptographique" est-il clair ?
-
-**Succès**: Premier test exécuté avec succès en < 15 minutes
-
----
-
-### SCÉNARIO 3: Tests Multi-Gates
-
-**Objectif**: Tester des scénarios réels complexes
-
-**Fichier** (`qa360.yml`):
-```yaml
-name: e-commerce-tests
-
-description: Suite complète de tests e-commerce
-
-gates:
-  # API Smoke Tests
-  api_smoke:
-    type: api
-    config:
-      baseUrl: https://dummyjson.com
-      requests:
-        - method: GET
-          path: /products/1
-          expect:
-            status: 200
-        - method: GET
-          path: /users
-          expect:
-            status: 200
-
-  # UI Tests
-  ui_smoke:
-    type: ui
-    config:
-      baseUrl: https://dummyjson.com
-      pages:
-        - https://dummyjson.com/
-        - https://dummyjson.com/products
-
-budgets:
-  a11y_min: 70
-  perf_p95_ms: 5000
-```
-
-**Commandes**:
-```bash
-# Exécuter avec monitoring TUI
-qa360 monitor
-
-# Exécuter avec dashboard web
-qa360 dashboard --port 3000
-```
-
-**Questions**:
-- [ ] L'interface TUI est-elle lisible ?
-- [ ] Le dashboard web s'affiche-t-il correctement ?
-- [ ] Les progress bars sont-elles utiles ?
-- [ ] Préférez-vous TUI ou Dashboard ?
-
-**Succès**: Tests exécutés avec monitoring visuel
-
----
-
-### SCÉNARIO 4: Gestion des Secrets
-
-**Objectif**: Tester la gestion des credentials
-
-**Étapes**:
-```bash
-# 1. Ajouter un secret
-qa360 secrets add API_KEY
-# Entrer: sk_test_123456789
-
-# 2. Lister les secrets
-qa360 secrets list
-
-# 3. Utiliser dans le pack
-# Dans qa360.yml:
-# headers:
-#   Authorization: ${{ secrets.API_KEY }}
-
-# 4. Exécuter
-qa360 run
-```
-
-**Questions**:
-- [ ] Le concept de secrets chiffrés est-il clair ?
-- [ ] Vous sentez-vous en sécurité avec ce système ?
-- [ ] L'intégration dans le YAML est-elle évidente ?
-
-**Succès**: Secret ajouté et utilisé dans un test
-
----
-
-### SCÉNARIO 5: Génération de Tests avec IA (Ollama)
-
-**Objectif**: Tester la génération automatique de tests avec Ollama (local)
-
-**Prérequis**: Ollama installé avec un modèle (ex: llama3.2)
-
-**Installation Ollama**:
-```bash
-# macOS/Linux
-curl -fsSL https://ollama.com/install.sh | sh
-
-# Démarrer Ollama
-ollama serve
-
-# Tirer un modèle (recommandé: llama3.2 pour vitesse)
-ollama pull llama3.2
-```
-
-**Configuration QA360**:
-```bash
-# Configurer QA360 pour utiliser Ollama
-export OLLAMA_BASE_URL=http://localhost:11434
-export OLLAMA_MODEL=llama3.2
-```
-
-**Étapes**:
-```bash
-# 1. Générer des tests depuis un fichier source
-qa360 generate src/api/users.ts \
-  --provider ollama \
-  --output tests/generated/users.test.ts \
-  --framework vitest
-
-# 2. Générer depuis une spécification OpenAPI
-qa360 generate openapi:specs/petstore.yaml \
-  --provider ollama \
-  --output tests/generated/petstore/
-
-# 3. Lister les modèles disponibles
-ollama list
-```
-
-**Questions**:
-- [ ] Ollama était-il déjà installé sur votre machine ?
-- [ ] L'installation d'Ollama s'est-elle bien passée ?
-- [ ] La génération de tests est-elle pertinente ?
-- [ ] Combien de temps la génération a-t-elle pris ?
-- [ ] Les tests générés sont-ils exécutables sans modification ?
-- [ ] Préférez-vous Ollama (local) ou un provider cloud ?
-
-**Succès**: Tests générés et exécutables avec Ollama
-
----
-
-### SCÉNARIO 5B: Génération de Tests avec IA (OpenAI/Anthropic)
-
-**Objectif**: Tester la génération avec des providers cloud
-
-**Prérequis**: Clé API OpenAI ou Anthropic
-
-**Configuration**:
-```bash
-# Pour OpenAI
-export OPENAI_API_KEY=sk-...
-qa360 config set ai.provider openai
-qa360 config set ai.model gpt-4
-
-# Pour Anthropic Claude
-export ANTHROPIC_API_KEY=sk-ant-...
-qa360 config set ai.provider anthropic
-qa360 config set ai.model claude-3-5-sonnet-20241022
-```
-
-**Étapes**:
-```bash
-# 1. Générer avec OpenAI
-qa360 generate src/services/auth.ts \
-  --provider openai \
-  --model gpt-4 \
-  --framework jest
-
-# 2. Générer avec Anthropic
-qa360 generate src/services/payment.ts \
-  --provider anthropic \
-  --model claude-3-5-sonnet-20241022 \
-  --framework mocha
-
-# 3. Comparer la qualité
-# Regarder tests/generated/auth.test.ts vs payment.test.ts
-```
-
-**Questions**:
-- [ ] Avez-vous une préférence entre Ollama / OpenAI / Anthropic ?
-- [ ] La configuration des clés API est-elle claire ?
-- [ ] La qualité des tests générés diffère-t-elle entre providers ?
-- [ ] Le coût d'utilisation est-il acceptable ?
-- [ ] Quelle fonctionnalité IA manquez-vous ?
-
-**Succès**: Tests générés avec au moins 2 providers
-
----
-
-### SCÉNARIO 5C: Commande `ask` - YAML Generation Naturelle
-
-**Objectif**: Tester la génération de configuration en langage naturel
-
-**Étapes**:
-```bash
-# 1. Demander à QA360 de créer un pack
-qa360 ask "Crée un pack pour tester mon API REST sur https://api.example.com
-avec des tests de smoke sur /health et /users"
-
-# 2. Demander des modifications
-qa360 ask "Ajoute des tests UI pour https://example.com avec un budget d'accessibilité de 80"
-
-# 3. Demander de l'aide
-qa360 ask "Comment configurer l'auth JWT avec mon token ?"
-```
-
-**Questions**:
-- [ ] Le langage naturel est-il compris correctement ?
-- [ ] Le YAML généré est-il valide ?
-- [ ] Cette fonctionnalité vous fait-elle gagner du temps ?
-- [ ] Quelles types de questions posez-vous ?
-
-**Succès**: Pack généré et fonctionnel depuis langage naturel
-
----
-
-### SCÉNARIO 7: Test Data Intelligence (TDI)
-
-**Objectif**: Découvrir les fonctionnalités d'analyse
-
-**Prérequis**: Avoir un projet avec des tests existants
-
-**Étapes**:
-```bash
-# 1. Analyser la santé des tests
-qa360 tdi analyze --path ./tests
-
-# 2. Obtenir des suggestions
-qa360 tdi suggest --path ./tests
-
-# 3. Calculer le score de santé
-qa360 tdi health --path ./tests
-```
-
-**Questions**:
-- [ ] Les métriques affichées sont-elles utiles ?
-- [ ] Les suggestions sont-elles pertinentes ?
-- [ ] Comment amélioreriez-vous l'affichage ?
-
-**Succès**: Analyse comprise et feedback collecté
-
----
-
-### SCÉNARIO 8: Auto-Repair
-
-**Objectif**: Tester la réparation automatique
-
-**Étapes**:
-```bash
-# 1. Analyser une erreur de test
-qa360 repair analyze --test ./tests/failing.test.ts
-
-# 2. Obtenir des suggestions
-qa360 repair suggest --test ./tests/failing.test.ts
-
-# 3. Réparer (optionnel)
-qa360 repair fix --test ./tests/failing.test.ts --interactive
-```
-
-**Questions**:
-- [ ] Les suggestions de réparation sont-elles pertinentes ?
-- [ ] Le mode interactif est-il intuitif ?
-- [ ] Confiance dans les réparations automatiques ?
-
-**Succès**: Une réparation réussie ou feedback sur limitation
-
----
-
-### SCÉNARIO 9: Intégration CI/CD
-
-**Objectif**: Intégrer QA360 dans un pipeline
-
-**Fichier** (`.github/workflows/qa360.yml`):
-```yaml
-name: QA360 Tests
-
-on: [push, pull_request]
-
-jobs:
-  qa360:
-    runs-on: ubuntu-latest
-    steps:
-      - uses: actions/checkout@v3
-      - name: Setup Node.js
-        uses: actions/setup-node@v3
-        with:
-          node-version: 20
-      - name: Install QA360
-        run: npm install -g qa360
-      - name: Run Tests
-        run: qa360 run
-      - name: Upload Proof
-        uses: actions/upload-artifact@v3
-        with:
-          name: qa360-proof
-          path: .qa360/runs/proof.json
-```
-
-**Questions**:
-- [ ] L'intégration est-elle simple ?
-- [ ] L'artifact de preuve est-il utile ?
-- [ ] Quels améliorations pour CI/CD ?
-
-**Succès**: Pipeline fonctionnel avec preuve uploadée
-
----
-
-### SCÉNARIO 10: Commandes Advanced
-
-**Objectif**: Tester les fonctionnalités avancées
-
-**Commandes à tester**:
-```bash
-# Génération de rapport
-qa360 report --format pdf --sign
-
-# Validation de pack
-qa360 init --validate
-
-# Diagnostic système
-qa360 doctor --fix
-
-# Historique
-qa360 history list
-qa360 history show <run-id>
-```
-
-**Questions**:
-- [ ] Quelles commandes utilisez-vous le plus ?
-- [ ] Quelles commandes manquent-elles ?
-- [ ] Les options sont-elles cohérentes ?
-
-**Succès**: Découverte de nouvelles fonctionnalités
-
----
-
-## 4. Grille de Feedback
-
-### 4.1 Expérience Globale
-
-| Aspect | Note (1-5) | Commentaires |
-|--------|-----------|-------------|
-| Installation facile | | |
-| Documentation claire | | |
-| Messages d'erreur utiles | | |
-| Performance acceptable | | |
-| Fonctionnalités utiles | | |
-
-### 4.2 Friction Points
-
-**Qu'avez-vous trouvé le plus frustrant ?**
-- [ ] Installation
-- [ ] Configuration YAML
-- [ ] Messages d'erreur
-- [ ] Documentation
-- [ ] Performance
-- [ ] Autre: ___
-
-**Qu'avez-vous apprécié le plus ?**
-- [ ] Simplicité
-- [ ] Preuves cryptographiques
-- [ ] Monitoring visuel
-- [ ] Rapports PDF
-- [ ] Autre: ___
-
-### 4.3 Bugs Rencontrés
-
-| # | Description | Sévérité | Reproduction |
-|---|-------------|----------|-------------|
-| 1 | | | |
-| 2 | | | |
-| 3 | | | |
-
-### 4.4 Suggestions
-
-**Quelles fonctionnalités manquent ?**
-
-1.
-2.
-3.
-
-**Que modifieriez-vous en priorité ?**
-
-1.
-2.
-3.
-
----
-
-## 5. Guide du Testeur
-
-### 5.1 Avant de Commencer
-
-**Prérequis**:
-- Node.js 18+ installé
-- Git installé
-- Accès à un terminal
-- Un projet à tester (ou utiliser les exemples)
-
-**Durée estimée**: 2-3 heures de testing
-
-### 5.2 Pendant le Testing
-
-**Consignes**:
-- Notez chaque erreur rencontrée
-- Prenez des captures d'écran des problèmes
-- Chronométrez votre temps d'installation
-- Soyez honnête sur ce qui est confus
-
-**Documents de référence**:
-- [USER_GUIDE.md](./USER_GUIDE.md)
-- [STATUS.md](./STATUS.md)
-- Examples dans `/examples`
-
-### 5.3 Après le Testing
-
-**Feedback attendu**:
-1. Remplir la grille de feedback
-2. Rapporter les bugs avec reproduction
-3. Partager votre expérience globale
-
----
-
-## 6. Planning
-
-| Semaine | Activité | Livrable |
-|---------|----------|----------|
-| S1 | Recrutement testeurs | 8-12 participants |
-| S1 | Onboarding | Docs et exemples prêts |
-| S1-S2 | Testing actif | Feedbacks collectés |
-| S2 | Analyse feedback | Rapport de synthèse |
-| S2 | Priorisation | Roadmap v1.0 |
-
----
-
-## 7. Critères de Validation
-
-### 7.1 Pour valider la Beta
-
-| Critère | Métrique | Validé |
-|---------|----------|--------|
-| Installation | > 90% réussite | ☐ |
-| Premier pack | > 70% réussite | ☐ |
-| Satisfaction UX | Moyenne > 4.0 | ☐ |
-| Bugs critiques | < 5 | ☐ |
-| Utilité perçue | > 80% "utile" | ☐ |
-
-### 7.2 Go/No-Go pour v1.0
-
-**GO si**:
-- 4/5 critères validés
-- Aucun bug critique bloquant
-- Feedbacks positifs sur utilité
-
-**NO-GO si**:
-- Installation échoue > 30%
-- Bugs > 10 critiques
-- Score satisfaction < 3.5
-
----
-
-## 8. Ressources pour Testeurs
-
-### 8.1 Documentation
-
-- **Guide Utilisateur**: [USER_GUIDE.md](./USER_GUIDE.md)
-- **Commandes Référence**: [CLI_REFERENCE.md](./CLI_REFERENCE.md)
-- **Examples**: `/examples/` dans le repo
-
-### 8.2 Support
-
-- **Issues GitHub**: https://github.com/xyqotech/qa360/issues
-- **Discussions**: https://github.com/xyqotech/qa360/discussions
-- **Email**: support@qa360.ai
-
-### 8.3 Quick Start
-
-```bash
-# Installation rapide
-npm install -g qa360
-
-# Premier test
-mkdir my-qa360-test && cd my-qa360-test
-cat > qa360.yml << 'EOF'
-name: quick-test
-gates:
-  test:
-    type: api
-    config:
-      baseUrl: https://httpbin.org
-      requests:
-        - method: GET
-          path: /status/200
-          expect:
-            status: 200
-EOF
-
-qa360 run
-```
-
----
-
-## 9. Annexes
-
-### A. Glossaire
-
-- **Gate**: Un type de test (API, UI, Performance, etc.)
-- **Pack**: Fichier de configuration QA360
-- **Preuve**: Fichier JSON signé cryptographiquement
-- **Vault**: Stockage local des résultats
-- **TUI**: Terminal User Interface
-- **TDI**: Test Data Intelligence
-- **Ollama**: LLM local exécuté sur la machine du développeur
-- **OpenAI**: Provider cloud GPT-4/GPT-3.5
-- **Anthropic**: Provider cloud Claude Sonnet/Opus/Haiku
-
-### B. Commandes Quick Reference
-
-| Commande | Description |
-|----------|-------------|
-| `qa360 run [pack]` | Exécuter un pack |
-| `qa360 monitor [pack]` | Exécuter avec TUI |
-| `qa360 dashboard [pack]` | Exécuter avec dashboard web |
-| `qa360 verify [proof]` | Vérifier une preuve |
-| `qa360 report` | Générer un rapport |
-| `qa360 doctor` | Diagnostic système |
-| `qa360 tdi analyze` | Analyser les tests |
-| `qa360 repair fix` | Réparer des tests |
-| `qa360 generate <source>` | Générer des tests avec IA |
-| `qa360 ask <question>` | Créer un pack en langage naturel |
-
-### C. Template de Feedback
-
-```markdown
-# Feedback Testeur QA360
-
-## Profil
-- Role: [QA Engineer / Dev / Lead / Autre]
-- Expérience tests: [X années]
-- Stack technique: [ ]
-
-## Scénarios Testés
-- [ ] Scénario 1: Installation
-- [ ] Scénario 2: Premier Pack
-- [ ] Scénario 3: Multi-Gates
-- [ ] Scénario 4: Secrets
-- [ ] Scénario 5A: IA - Ollama
-- [ ] Scénario 5B: IA - OpenAI/Anthropic
-- [ ] Scénario 5C: IA - Commande ask
-- [ ] Scénario 7: TDI
-- [ ] Scénario 8: Auto-Repair
-- [ ] Scénario 9: CI/CD
-- [ ] Scénario 10: Advanced
-
-## Feedback Libre
-[Vos commentaires]
-
-## Bugs
-1. [Description]
-
-## Suggestions
-1. [Description]
-
-## Note Globale
-[X]/5 - Recommanderiez-vous QA360 ?
-```
-
----
-
-**Document Version**: 2.0.0
-**Dernière Mise à Jour**: 1 Janvier 2026
-**Responsable**: QA360 Team