qa360 2.1.7 → 2.2.0

package/docs/BETA_TESTING_PLAN.md

@@ -0,0 +1,727 @@
+# QA360 - Plan de Test Utilisateur Beta
+
+**Version**: 2.0.0
+**Date**: 1 Janvier 2026
+**Phase**: Beta Testing
+**Objectif**: Valider l'utilité et l'expérience utilisateur avant la v1.0
+
+---
+
+## 1. Objectifs du Testing
+
+### 1.1 Objectifs Primaires
+- Valider que QA360 résout de réels problèmes de QA
+- Identifier les friction dans l'expérience utilisateur
+- Mesurer la courbe d'apprentissage
+- Collecter des feedbacks sur la documentation
+
+### 1.2 Métriques de Succès
+| Métrique | Cible | Actuel |
+|----------|-------|--------|
+| Taux d'installation réussie | > 90% | - |
+| Taux de complétion du premier pack | > 70% | - |
+| Satisfaction UX (1-5) | > 4.0 | - |
+| Bugs critiques trouvés | < 5 | - |
+
+---
+
+## 2. Profil des Testeurs
+
+### 2.1 Nombre de Participants
+- **Cible**: 8-12 testeurs
+- **Durée**: 2 semaines
+
+### 2.2 Profils Recherchés
+
+| Profil | Expérience | Nombre | Rôle |
+|--------|-----------|--------|------|
+| **QA Engineer** | 3-5 ans tests automatisés | 3-4 | Validation fonctionnalités core |
+| **Développeur Full-stack** | Tests unitaires/intégration | 3-4 | Installation et integration CI/CD |
+| **Tech Lead** | Architecture et decisions | 2 | Stratégie et adoptabilité |
+| **Débutant Tests** | < 1 an expérience | 1-2 | Accessibilité et onboarding |
+
+---
+
+## 3. Scénarios de Test
+
+### 3.1 Tests Automatisés E2E
+
+Avant de commencer les tests manuels, une suite de tests automatisés E2E sera exécutée :
+
+```bash
+npm run test:e2e
+```
+
+**Tests automatisés inclus :**
+- Installation et version CLI
+- Commande `init` (création qa360.yml)
+- Validation de pack (`preflight`)
+- Exécution de tests (`run`)
+- Vérification de preuves (`verify`)
+- Diagnostic système (`doctor`)
+- Gestion des secrets (`secrets`)
+- Historique des exécutions (`history`)
+- Scénarios multi-gates
+- Gestion d'erreurs
+- Tests de performance
+
+**Objectif :** Valider que les commandes de base fonctionnent avant de demander aux testeurs de les utiliser.
+
+### SCÉNARIO 1: Première Installation
+
+**Objectif**: Valider le flux d'installation
+
+**Étapes**:
+```bash
+# 1. Cloner le projet
+git clone https://github.com/xyqotech/qa360.git
+cd qa360
+
+# 2. Installer les dépendances
+pnpm install
+
+# 3. Build
+pnpm build
+
+# 4. Lien global
+npm link
+```
+
+**Questions**:
+- [ ] L'installation s'est-elle déroulée sans erreur ?
+- [ ] Quelles dépendances manquaient-elles ?
+- [ ] Quelles étapes étaient confuses ?
+- [ ] Combien de temps avez-vous passé ?
+
+**Succès**: Installation en < 10 minutes sans erreurs
+
+---
+
+### SCÉNARIO 2: Premier Pack de Test
+
+**Objectif**: Créer et exécuter un premier pack
+
+**Contexte**: Vous avez une API REST simple à tester
+
+**Fichier de test** (`qa360.yml`):
+```yaml
+name: my-first-api-tests
+
+description: Tests de base pour mon API
+
+gates:
+  api_health:
+    type: api
+    config:
+      baseUrl: https://jsonplaceholder.typicode.com
+      requests:
+        - method: GET
+          path: /posts/1
+          expect:
+            status: 200
+        - method: GET
+          path: /users
+          expect:
+            status: 200
+```
+
+**Étapes**:
+```bash
+# 1. Créer le fichier qa360.yml
+# (copier le contenu ci-dessus)
+
+# 2. Valider la configuration
+qa360 init
+
+# 3. Exécuter les tests
+qa360 run
+
+# 4. Vérifier la preuve
+qa360 verify .qa360/runs/proof.json
+```
+
+**Questions**:
+- [ ] Le format YAML est-il intuitif ?
+- [ ] Les messages d'erreur sont-ils clairs ?
+- [ ] Comprenez-vous ce que fait chaque commande ?
+- [ ] Le concept de "preuve cryptographique" est-il clair ?
+
+**Succès**: Premier test exécuté avec succès en < 15 minutes
+
+---
+
+### SCÉNARIO 3: Tests Multi-Gates
+
+**Objectif**: Tester des scénarios réels complexes
+
+**Fichier** (`qa360.yml`):
+```yaml
+name: e-commerce-tests
+
+description: Suite complète de tests e-commerce
+
+gates:
+  # API Smoke Tests
+  api_smoke:
+    type: api
+    config:
+      baseUrl: https://dummyjson.com
+      requests:
+        - method: GET
+          path: /products/1
+          expect:
+            status: 200
+        - method: GET
+          path: /users
+          expect:
+            status: 200
+
+  # UI Tests
+  ui_smoke:
+    type: ui
+    config:
+      baseUrl: https://dummyjson.com
+      pages:
+        - https://dummyjson.com/
+        - https://dummyjson.com/products
+
+budgets:
+  a11y_min: 70
+  perf_p95_ms: 5000
+```
+
+**Commandes**:
+```bash
+# Exécuter avec monitoring TUI
+qa360 monitor
+
+# Exécuter avec dashboard web
+qa360 dashboard --port 3000
+```
+
+**Questions**:
+- [ ] L'interface TUI est-elle lisible ?
+- [ ] Le dashboard web s'affiche-t-il correctement ?
+- [ ] Les progress bars sont-elles utiles ?
+- [ ] Préférez-vous TUI ou Dashboard ?
+
+**Succès**: Tests exécutés avec monitoring visuel
+
+---
+
+### SCÉNARIO 4: Gestion des Secrets
+
+**Objectif**: Tester la gestion des credentials
+
+**Étapes**:
+```bash
+# 1. Ajouter un secret
+qa360 secrets add API_KEY
+# Entrer: sk_test_123456789
+
+# 2. Lister les secrets
+qa360 secrets list
+
+# 3. Utiliser dans le pack
+# Dans qa360.yml:
+# headers:
+#   Authorization: ${{ secrets.API_KEY }}
+
+# 4. Exécuter
+qa360 run
+```
+
+**Questions**:
+- [ ] Le concept de secrets chiffrés est-il clair ?
+- [ ] Vous sentez-vous en sécurité avec ce système ?
+- [ ] L'intégration dans le YAML est-elle évidente ?
+
+**Succès**: Secret ajouté et utilisé dans un test
+
+---
+
+### SCÉNARIO 5: Génération de Tests avec IA (Ollama)
+
+**Objectif**: Tester la génération automatique de tests avec Ollama (local)
+
+**Prérequis**: Ollama installé avec un modèle (ex: llama3.2)
+
+**Installation Ollama**:
+```bash
+# macOS/Linux
+curl -fsSL https://ollama.com/install.sh | sh
+
+# Démarrer Ollama
+ollama serve
+
+# Tirer un modèle (recommandé: llama3.2 pour vitesse)
+ollama pull llama3.2
+```
+
+**Configuration QA360**:
+```bash
+# Configurer QA360 pour utiliser Ollama
+export OLLAMA_BASE_URL=http://localhost:11434
+export OLLAMA_MODEL=llama3.2
+```
+
+**Étapes**:
+```bash
+# 1. Générer des tests depuis un fichier source
+qa360 generate src/api/users.ts \
+  --provider ollama \
+  --output tests/generated/users.test.ts \
+  --framework vitest
+
+# 2. Générer depuis une spécification OpenAPI
+qa360 generate openapi:specs/petstore.yaml \
+  --provider ollama \
+  --output tests/generated/petstore/
+
+# 3. Lister les modèles disponibles
+ollama list
+```
+
+**Questions**:
+- [ ] Ollama était-il déjà installé sur votre machine ?
+- [ ] L'installation d'Ollama s'est-elle bien passée ?
+- [ ] La génération de tests est-elle pertinente ?
+- [ ] Combien de temps la génération a-t-elle pris ?
+- [ ] Les tests générés sont-ils exécutables sans modification ?
+- [ ] Préférez-vous Ollama (local) ou un provider cloud ?
+
+**Succès**: Tests générés et exécutables avec Ollama
+
+---
+
+### SCÉNARIO 5B: Génération de Tests avec IA (OpenAI/Anthropic)
+
+**Objectif**: Tester la génération avec des providers cloud
+
+**Prérequis**: Clé API OpenAI ou Anthropic
+
+**Configuration**:
+```bash
+# Pour OpenAI
+export OPENAI_API_KEY=sk-...
+qa360 config set ai.provider openai
+qa360 config set ai.model gpt-4
+
+# Pour Anthropic Claude
+export ANTHROPIC_API_KEY=sk-ant-...
+qa360 config set ai.provider anthropic
+qa360 config set ai.model claude-3-5-sonnet-20241022
+```
+
+**Étapes**:
+```bash
+# 1. Générer avec OpenAI
+qa360 generate src/services/auth.ts \
+  --provider openai \
+  --model gpt-4 \
+  --framework jest
+
+# 2. Générer avec Anthropic
+qa360 generate src/services/payment.ts \
+  --provider anthropic \
+  --model claude-3-5-sonnet-20241022 \
+  --framework mocha
+
+# 3. Comparer la qualité
+# Regarder tests/generated/auth.test.ts vs payment.test.ts
+```
+
+**Questions**:
+- [ ] Avez-vous une préférence entre Ollama / OpenAI / Anthropic ?
+- [ ] La configuration des clés API est-elle claire ?
+- [ ] La qualité des tests générés diffère-t-elle entre providers ?
+- [ ] Le coût d'utilisation est-il acceptable ?
+- [ ] Quelle fonctionnalité IA manquez-vous ?
+
+**Succès**: Tests générés avec au moins 2 providers
+
+---
+
+### SCÉNARIO 5C: Commande `ask` - YAML Generation Naturelle
+
+**Objectif**: Tester la génération de configuration en langage naturel
+
+**Étapes**:
+```bash
+# 1. Demander à QA360 de créer un pack
+qa360 ask "Crée un pack pour tester mon API REST sur https://api.example.com
+avec des tests de smoke sur /health et /users"
+
+# 2. Demander des modifications
+qa360 ask "Ajoute des tests UI pour https://example.com avec un budget d'accessibilité de 80"
+
+# 3. Demander de l'aide
+qa360 ask "Comment configurer l'auth JWT avec mon token ?"
+```
+
+**Questions**:
+- [ ] Le langage naturel est-il compris correctement ?
+- [ ] Le YAML généré est-il valide ?
+- [ ] Cette fonctionnalité vous fait-elle gagner du temps ?
+- [ ] Quelles types de questions posez-vous ?
+
+**Succès**: Pack généré et fonctionnel depuis langage naturel
+
+---
+
+### SCÉNARIO 7: Test Data Intelligence (TDI)
+
+**Objectif**: Découvrir les fonctionnalités d'analyse
+
+**Prérequis**: Avoir un projet avec des tests existants
+
+**Étapes**:
+```bash
+# 1. Analyser la santé des tests
+qa360 tdi analyze --path ./tests
+
+# 2. Obtenir des suggestions
+qa360 tdi suggest --path ./tests
+
+# 3. Calculer le score de santé
+qa360 tdi health --path ./tests
+```
+
+**Questions**:
+- [ ] Les métriques affichées sont-elles utiles ?
+- [ ] Les suggestions sont-elles pertinentes ?
+- [ ] Comment amélioreriez-vous l'affichage ?
+
+**Succès**: Analyse comprise et feedback collecté
+
+---
+
+### SCÉNARIO 8: Auto-Repair
+
+**Objectif**: Tester la réparation automatique
+
+**Étapes**:
+```bash
+# 1. Analyser une erreur de test
+qa360 repair analyze --test ./tests/failing.test.ts
+
+# 2. Obtenir des suggestions
+qa360 repair suggest --test ./tests/failing.test.ts
+
+# 3. Réparer (optionnel)
+qa360 repair fix --test ./tests/failing.test.ts --interactive
+```
+
+**Questions**:
+- [ ] Les suggestions de réparation sont-elles pertinentes ?
+- [ ] Le mode interactif est-il intuitif ?
+- [ ] Confiance dans les réparations automatiques ?
+
+**Succès**: Une réparation réussie ou feedback sur limitation
+
+---
+
+### SCÉNARIO 9: Intégration CI/CD
+
+**Objectif**: Intégrer QA360 dans un pipeline
+
+**Fichier** (`.github/workflows/qa360.yml`):
+```yaml
+name: QA360 Tests
+
+on: [push, pull_request]
+
+jobs:
+  qa360:
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v3
+      - name: Setup Node.js
+        uses: actions/setup-node@v3
+        with:
+          node-version: 20
+      - name: Install QA360
+        run: npm install -g qa360
+      - name: Run Tests
+        run: qa360 run
+      - name: Upload Proof
+        uses: actions/upload-artifact@v3
+        with:
+          name: qa360-proof
+          path: .qa360/runs/proof.json
+```
+
+**Questions**:
+- [ ] L'intégration est-elle simple ?
+- [ ] L'artifact de preuve est-il utile ?
+- [ ] Quels améliorations pour CI/CD ?
+
+**Succès**: Pipeline fonctionnel avec preuve uploadée
+
+---
+
+### SCÉNARIO 10: Commandes Advanced
+
+**Objectif**: Tester les fonctionnalités avancées
+
+**Commandes à tester**:
+```bash
+# Génération de rapport
+qa360 report --format pdf --sign
+
+# Validation de pack
+qa360 init --validate
+
+# Diagnostic système
+qa360 doctor --fix
+
+# Historique
+qa360 history list
+qa360 history show <run-id>
+```
+
+**Questions**:
+- [ ] Quelles commandes utilisez-vous le plus ?
+- [ ] Quelles commandes manquent-elles ?
+- [ ] Les options sont-elles cohérentes ?
+
+**Succès**: Découverte de nouvelles fonctionnalités
+
+---
+
+## 4. Grille de Feedback
+
+### 4.1 Expérience Globale
+
+| Aspect | Note (1-5) | Commentaires |
+|--------|-----------|-------------|
+| Installation facile | | |
+| Documentation claire | | |
+| Messages d'erreur utiles | | |
+| Performance acceptable | | |
+| Fonctionnalités utiles | | |
+
+### 4.2 Friction Points
+
+**Qu'avez-vous trouvé le plus frustrant ?**
+- [ ] Installation
+- [ ] Configuration YAML
+- [ ] Messages d'erreur
+- [ ] Documentation
+- [ ] Performance
+- [ ] Autre: ___
+
+**Qu'avez-vous apprécié le plus ?**
+- [ ] Simplicité
+- [ ] Preuves cryptographiques
+- [ ] Monitoring visuel
+- [ ] Rapports PDF
+- [ ] Autre: ___
+
+### 4.3 Bugs Rencontrés
+
+| # | Description | Sévérité | Reproduction |
+|---|-------------|----------|-------------|
+| 1 | | | |
+| 2 | | | |
+| 3 | | | |
+
+### 4.4 Suggestions
+
+**Quelles fonctionnalités manquent ?**
+
+1.
+2.
+3.
+
+**Que modifieriez-vous en priorité ?**
+
+1.
+2.
+3.
+
+---
+
+## 5. Guide du Testeur
+
+### 5.1 Avant de Commencer
+
+**Prérequis**:
+- Node.js 18+ installé
+- Git installé
+- Accès à un terminal
+- Un projet à tester (ou utiliser les exemples)
+
+**Durée estimée**: 2-3 heures de testing
+
+### 5.2 Pendant le Testing
+
+**Consignes**:
+- Notez chaque erreur rencontrée
+- Prenez des captures d'écran des problèmes
+- Chronométrez votre temps d'installation
+- Soyez honnête sur ce qui est confus
+
+**Documents de référence**:
+- [USER_GUIDE.md](./USER_GUIDE.md)
+- [STATUS.md](./STATUS.md)
+- Examples dans `/examples`
+
+### 5.3 Après le Testing
+
+**Feedback attendu**:
+1. Remplir la grille de feedback
+2. Rapporter les bugs avec reproduction
+3. Partager votre expérience globale
+
+---
+
+## 6. Planning
+
+| Semaine | Activité | Livrable |
+|---------|----------|----------|
+| S1 | Recrutement testeurs | 8-12 participants |
+| S1 | Onboarding | Docs et exemples prêts |
+| S1-S2 | Testing actif | Feedbacks collectés |
+| S2 | Analyse feedback | Rapport de synthèse |
+| S2 | Priorisation | Roadmap v1.0 |
+
+---
+
+## 7. Critères de Validation
+
+### 7.1 Pour valider la Beta
+
+| Critère | Métrique | Validé |
+|---------|----------|--------|
+| Installation | > 90% réussite | ☐ |
+| Premier pack | > 70% réussite | ☐ |
+| Satisfaction UX | Moyenne > 4.0 | ☐ |
+| Bugs critiques | < 5 | ☐ |
+| Utilité perçue | > 80% "utile" | ☐ |
+
+### 7.2 Go/No-Go pour v1.0
+
+**GO si**:
+- 4/5 critères validés
+- Aucun bug critique bloquant
+- Feedbacks positifs sur utilité
+
+**NO-GO si**:
+- Installation échoue > 30%
+- Bugs > 10 critiques
+- Score satisfaction < 3.5
+
+---
+
+## 8. Ressources pour Testeurs
+
+### 8.1 Documentation
+
+- **Guide Utilisateur**: [USER_GUIDE.md](./USER_GUIDE.md)
+- **Commandes Référence**: [CLI_REFERENCE.md](./CLI_REFERENCE.md)
+- **Examples**: `/examples/` dans le repo
+
+### 8.2 Support
+
+- **Issues GitHub**: https://github.com/xyqotech/qa360/issues
+- **Discussions**: https://github.com/xyqotech/qa360/discussions
+- **Email**: support@qa360.ai
+
+### 8.3 Quick Start
+
+```bash
+# Installation rapide
+npm install -g qa360
+
+# Premier test
+mkdir my-qa360-test && cd my-qa360-test
+cat > qa360.yml << 'EOF'
+name: quick-test
+gates:
+  test:
+    type: api
+    config:
+      baseUrl: https://httpbin.org
+      requests:
+        - method: GET
+          path: /status/200
+          expect:
+            status: 200
+EOF
+
+qa360 run
+```
+
+---
+
+## 9. Annexes
+
+### A. Glossaire
+
+- **Gate**: Un type de test (API, UI, Performance, etc.)
+- **Pack**: Fichier de configuration QA360
+- **Preuve**: Fichier JSON signé cryptographiquement
+- **Vault**: Stockage local des résultats
+- **TUI**: Terminal User Interface
+- **TDI**: Test Data Intelligence
+- **Ollama**: LLM local exécuté sur la machine du développeur
+- **OpenAI**: Provider cloud GPT-4/GPT-3.5
+- **Anthropic**: Provider cloud Claude Sonnet/Opus/Haiku
+
+### B. Commandes Quick Reference
+
+| Commande | Description |
+|----------|-------------|
+| `qa360 run [pack]` | Exécuter un pack |
+| `qa360 monitor [pack]` | Exécuter avec TUI |
+| `qa360 dashboard [pack]` | Exécuter avec dashboard web |
+| `qa360 verify [proof]` | Vérifier une preuve |
+| `qa360 report` | Générer un rapport |
+| `qa360 doctor` | Diagnostic système |
+| `qa360 tdi analyze` | Analyser les tests |
+| `qa360 repair fix` | Réparer des tests |
+| `qa360 generate <source>` | Générer des tests avec IA |
+| `qa360 ask <question>` | Créer un pack en langage naturel |
+
+### C. Template de Feedback
+
+```markdown
+# Feedback Testeur QA360
+
+## Profil
+- Role: [QA Engineer / Dev / Lead / Autre]
+- Expérience tests: [X années]
+- Stack technique: [ ]
+
+## Scénarios Testés
+- [ ] Scénario 1: Installation
+- [ ] Scénario 2: Premier Pack
+- [ ] Scénario 3: Multi-Gates
+- [ ] Scénario 4: Secrets
+- [ ] Scénario 5A: IA - Ollama
+- [ ] Scénario 5B: IA - OpenAI/Anthropic
+- [ ] Scénario 5C: IA - Commande ask
+- [ ] Scénario 7: TDI
+- [ ] Scénario 8: Auto-Repair
+- [ ] Scénario 9: CI/CD
+- [ ] Scénario 10: Advanced
+
+## Feedback Libre
+[Vos commentaires]
+
+## Bugs
+1. [Description]
+
+## Suggestions
+1. [Description]
+
+## Note Globale
+[X]/5 - Recommanderiez-vous QA360 ?
+```
+
+---
+
+**Document Version**: 2.0.0
+**Dernière Mise à Jour**: 1 Janvier 2026
+**Responsable**: QA360 Team