gateway-llm 0.1.0__tar.gz

gateway_llm-0.1.0/.github/workflows/ci.yml

@@ -0,0 +1,97 @@
+# SPDX-FileCopyrightText: 2026 Amandine Dennieau
+# SPDX-License-Identifier: Apache-2.0
+
+name: CI
+
+on:
+  push:
+    branches: [main]
+  pull_request:
+    branches: [main]
+
+permissions:
+  contents: read
+
+jobs:
+  test:
+    name: Tests (Python ${{ matrix.python-version }})
+    runs-on: ubuntu-latest
+    strategy:
+      fail-fast: false
+      matrix:
+        python-version: ["3.11", "3.12", "3.13"]
+    steps:
+      - uses: actions/checkout@v4
+
+      - uses: actions/setup-python@v5
+        with:
+          python-version: ${{ matrix.python-version }}
+          cache: pip
+
+      - name: Installer (sans guardrails)
+        run: |
+          python -m pip install --upgrade pip
+          pip install -e ".[dev]"
+
+      - name: Pytest
+        run: pytest tests/ -v --cov=gateway_llm --cov-report=term-missing
+
+  test-guardrails:
+    name: Tests avec NeMo Guardrails
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+      - uses: actions/setup-python@v5
+        with:
+          python-version: "3.12"
+          cache: pip
+      - name: Installer avec extra [guardrails]
+        run: |
+          python -m pip install --upgrade pip
+          pip install -e ".[dev,guardrails]"
+      - name: Pytest
+        run: pytest tests/ -v -m "guardrails or not guardrails"
+
+  lint:
+    name: Lint (ruff)
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+      - uses: actions/setup-python@v5
+        with:
+          python-version: "3.12"
+          cache: pip
+      - run: pip install ruff
+      - run: ruff check src/ tests/
+      - run: ruff format --check src/ tests/
+
+  typecheck:
+    name: Type check (mypy)
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+      - uses: actions/setup-python@v5
+        with:
+          python-version: "3.12"
+          cache: pip
+      - run: |
+          pip install -e ".[dev]"
+      - run: mypy src/
+
+  security:
+    name: Sécurité (bandit + pip-audit)
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+      - uses: actions/setup-python@v5
+        with:
+          python-version: "3.12"
+          cache: pip
+      - name: Installer
+        run: |
+          pip install bandit pip-audit
+          pip install -e .
+      - name: Bandit
+        run: bandit -r src/ -c pyproject.toml
+      - name: pip-audit
+        run: pip-audit --strict --progress-spinner=off

gateway_llm-0.1.0/.github/workflows/secret-scan.yml

@@ -0,0 +1,29 @@
+# SPDX-FileCopyrightText: 2026 Amandine Dennieau
+# SPDX-License-Identifier: Apache-2.0
+
+name: Secret Scan
+
+on:
+  push:
+    branches: [main]
+  pull_request:
+  schedule:
+    - cron: "0 3 * * 1"   # chaque lundi 3h UTC
+
+permissions:
+  contents: read
+
+jobs:
+  gitleaks:
+    name: Gitleaks
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+        with:
+          fetch-depth: 0
+      - name: Télécharger gitleaks
+        run: |
+          curl -sSfL https://github.com/gitleaks/gitleaks/releases/download/v8.21.2/gitleaks_8.21.2_linux_x64.tar.gz \
+            | tar -xz -C /usr/local/bin gitleaks
+      - name: Scanner
+        run: gitleaks detect --source . --verbose --redact

gateway_llm-0.1.0/.github/workflows/update-benchmarks.yml

@@ -0,0 +1,48 @@
+# SPDX-FileCopyrightText: 2026 Amandine Dennieau
+# SPDX-License-Identifier: Apache-2.0
+
+name: Update Benchmarks (F5 / RWS)
+
+on:
+  schedule:
+    - cron: "0 4 */14 * *"   # tous les 14 jours à 4h UTC
+  workflow_dispatch:          # manuel possible
+
+permissions:
+  contents: write
+
+jobs:
+  update:
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+        with:
+          token: ${{ secrets.GITHUB_TOKEN }}
+
+      - uses: actions/setup-python@v5
+        with:
+          python-version: "3.12"
+          cache: pip
+
+      - name: Installer dépendances de scraping
+        run: pip install requests beautifulsoup4
+
+      - name: Rafraîchir F5
+        continue-on-error: true
+        run: python scripts/refresh_f5.py
+
+      - name: Rafraîchir RWS
+        continue-on-error: true
+        run: python scripts/refresh_rws.py
+
+      - name: Commit si changements
+        run: |
+          git config user.name "gateway-llm-bot"
+          git config user.email "bot@users.noreply.github.com"
+          git add benchmarks_cache/f5_safety.json benchmarks_cache/rws_translation.json || true
+          if git diff --cached --quiet; then
+            echo "Aucun changement, skip commit."
+          else
+            git commit -m "chore: auto-update F5/RWS benchmarks ($(date +%Y-%m-%d))"
+            git push
+          fi

gateway_llm-0.1.0/.gitignore

@@ -0,0 +1,84 @@
+# SPDX-FileCopyrightText: 2026 Amandine Dennieau
+# SPDX-License-Identifier: Apache-2.0
+#
+# Licensed under the Apache License, Version 2.0.
+
+# ─── Python byte-compiled / cache ────────────────────────────────
+__pycache__/
+*.py[cod]
+*$py.class
+*.so
+
+# ─── Distribution / packaging ────────────────────────────────────
+.Python
+build/
+dist/
+*.egg-info/
+*.egg
+.eggs/
+wheels/
+
+# ─── Environnements virtuels ─────────────────────────────────────
+.venv/
+venv/
+env/
+ENV/
+
+# ─── Tests & couverture ──────────────────────────────────────────
+.pytest_cache/
+.coverage
+.coverage.*
+htmlcov/
+coverage.xml
+.tox/
+.nox/
+
+# ─── Linters & typage ────────────────────────────────────────────
+.mypy_cache/
+.ruff_cache/
+.dmypy.json
+
+# ─── IDE / éditeurs ──────────────────────────────────────────────
+.idea/
+.vscode/
+*.swp
+*~
+*.code-workspace
+
+# ─── Secrets & config locale ─────────────────────────────────────
+.env
+.env.*
+!.env.example
+config/models.yaml
+config/policy.yaml
+secrets.yaml
+*.key
+*.pem
+*.p12
+
+# ─── Données locales de batch (I/O) ──────────────────────────────
+data/
+inputs/
+outputs/
+reports/
+*.jsonl
+!tests/fixtures/*.jsonl
+
+# ─── Benchmarks : on garde uniquement les exemples manuels ───────
+# Les fichiers f5_safety.json et rws_translation.json sont COMMITTÉS
+# (ce sont des exemples/documentation, pas des caches).
+# Les caches auto-fetchés (BenchLM, RankLLMs) sont ignorés.
+benchmarks_cache/benchlm_*.json
+benchmarks_cache/rankllms_*.json
+
+# ─── Logs ────────────────────────────────────────────────────────
+*.log
+logs/
+
+# ─── OS ──────────────────────────────────────────────────────────
+.DS_Store
+Thumbs.db
+
+# ─── Artefacts de build ──────────────────────────────────────────
+*.whl
+*.tar.gz

gateway_llm-0.1.0/CHANGELOG.md

@@ -0,0 +1,202 @@
+# Changelog
+
+Toutes les évolutions notables de ce projet sont documentées dans ce fichier.
+
+Le format s'inspire de [Keep a Changelog](https://keepachangelog.com/fr/1.1.0/),
+et ce projet adhère à [Semantic Versioning](https://semver.org/lang/fr/).
+
+## [Unreleased]
+
+_(Rien pour l'instant — les prochaines évolutions seront ajoutées ici.)_
+
+## [0.1.0] - 2026-01-01
+
+Première version publique de `gateway-llm`, après refactorisation complète
+du projet initial (`pipeline/`, `process_batch.py` de 880 lignes).
+
+### Added
+
+#### Architecture
+
+- Package Python installable (`src/gateway_llm/`, `pyproject.toml` avec hatchling).
+- Layout `src/` pour éviter les imports accidentels et supprimer les `sys.path.insert` dans les tests.
+- Exports publics centralisés dans `gateway_llm/__init__.py`.
+
+#### Providers
+
+- Classe abstraite `Provider` avec `complete(model, prompt, max_tokens, temperature, image_b64)`.
+- `OpenAICompatibleProvider` couvrant Groq, OpenRouter, Mistral, NVIDIA, Google AI Studio.
+- `OllamaProvider` avec désactivation du Thinking (`think: false`) et support multimodal (`images`).
+- `CloudflareProvider` avec format de réponse spécifique.
+- Support multimodal : `image_b64` transmis à `/chat/completions` (format OpenAI) ou `/api/chat` (format Ollama).
+
+#### Router et orchestration
+
+- Classe `Router` avec cascade par domaine, filtres policy/quota/hardware, guardrail en filtre final.
+- `QuotaManager` avec **cooldown temporel** par provider (corrige le bug de compteur 429 cumulatif).
+- `BudgetTracker` avec plafond en euros et arrêt contrôlé (`budget_exceeded`).
+- `PolicyConfig` avec wildcards (`groq-*`), règle `default`, et `default_allow`.
+- `HardwareInfo` avec détection VRAM (`nvidia-smi`, `rocm-smi`) et estimation de fit non bloquante.
+- `BatchRunner` avec checkpointing, reprise (`--resume`), dry-run, et rapport final.
+- `Checkpoint` avec écriture append + fsync.
+
+#### Benchmarks dynamiques
+
+- Module `benchmarks/` avec `BenchmarkSource` (ABC) et 4 adaptateurs :
+  - `BenchLMAdapter` (BenchLM.ai)
+  - `RankLLMsAdapter` (RankLLMs)
+  - `F5SafetyAdapter` (F5 Labs CASI/ARS)
+  - `RWSTranslationAdapter` (RWS TrainAI M-GATE)
+- `BenchmarkCache` avec TTL 24h et refetch forcé.
+- `BenchmarkAggregator` avec fusion multi-sources (moyenne) et re-ranking des chaînes.
+- `normalize_model_name()` et `fuzzy_match()` pour appariement automatique des noms de modèles sans table d'alias manuelle.
+- **Refresh lazy au démarrage d'un batch** : si le cache a plus de 14 jours (`gateway_llm_BENCHMARK_TTL_DAYS`), il est rafraîchi automatiquement.
+- Workflow GitHub Actions `.github/workflows/update-benchmarks.yml` pour mise à jour bi-hebdomadaire des caches F5 et RWS.
+
+#### Secrets
+
+- Classe abstraite `SecretBackend` avec `get()`, `is_available()`, `set()` (défaut : retourne `False`).
+- **6 backends** :
+  - `PowerShellVaultBackend` (Windows)
+  - `OnePasswordBackend` (multi-OS)
+  - `HashiCorpVaultBackend` (entreprise)
+  - `AWSSecretsManagerBackend` (cloud AWS)
+  - `AzureKeyVaultBackend` (cloud Azure)
+  - `EnvSecretBackend` (fallback explicite, déconseillé)
+- Imports cloud **lazy** : `import gateway_llm.secrets` fonctionne sans `boto3` ni `azure`.
+- `get_backend()` avec résolution explicite (aucune bascule silencieuse vers `.env`).
+- `save_backend_config()` qui persiste le choix dans `~/.gateway-llm/secrets.yaml` (hors repo, non commité).
+- `missing_requirements()` qui détecte les packages pip manquants avant que l'utilisateur ne choisisse un backend.
+- Commande CLI `gateway-llm setup-secrets` avec assistant interactif (machine perso / entreprise / cloud).
+
+#### Classification
+
+- `TaskClassifier` avec mode LLM (qwen3:4b-instruct) + fallback regex.
+- 9 domaines supportés dont `multimodal_extraction` (images, screenshots, KPI).
+- Priorité humaine, flags de risque (`MULTIMODAL_BLOCKED` supprimé, `POST_2024_FACT_CHECK`, `HIGH_RISK`, `SUBJECTIVE_NORMAL`).
+
+#### Guardrails
+
+- Classe abstraite `Guardrail` avec `GuardrailResult`.
+- `NoOpGuardrail` (défaut, aucune dépendance).
+- `NemoGuardrail` (extra `[guardrails]`), avec normalisation `str` / `dict` / `GenerationResponse` et fail-open sur exception.
+
+#### Intake (convertisseur de données)
+
+- `intake_from_folder` : dossier d'images → JSONL.
+- `intake_from_text` : dossier de fichiers texte → JSONL.
+- `intake_from_csv` : colonne CSV → JSONL.
+- `intake_from_urls` : liste d'URLs → JSONL, avec vérification `robots.txt` par défaut.
+- Commande CLI `gateway-llm intake from-folder|from-text|from-csv|from-urls`.
+
+#### Diagnostic et installation
+
+- `Doctor` avec checks deps Python, binaire Ollama, daemon Ollama, modèles locaux, stockage des secrets.
+- `Installer` avec téléchargement `ollama pull` interactif ou automatique (`--yes`).
+- Commande CLI `gateway-llm doctor` et `gateway-llm setup`.
+
+#### Interface graphique
+
+- Application `tkinter` unifiée (`python -m gateway_llm.gui`) avec **4 onglets** :
+  1. Configuration (backend de secrets)
+  2. Préparer les données (intake)
+  3. Lancer le traitement (batch)
+  4. Voir les résultats (rapport, à revoir, tout)
+- Ouverture automatique de l'onglet Configuration au premier lancement.
+- Boutons Accepter / Rejeter pour les tâches `human_review`, décisions écrites dans `decisions.jsonl`.
+
+#### CLI
+
+- `gateway-llm doctor` : diagnostic.
+- `gateway-llm setup` : installation des modèles Ollama manquants.
+- `gateway-llm setup-secrets` : configuration du backend de secrets.
+- `gateway-llm intake` : convertisseur de données (4 sous-commandes).
+- `gateway-llm benchmarks refresh` : rafraîchissement forcé.
+- `gateway-llm batch run` : traitement par lot avec `--resume`, `--dry-run`, `--max-cost-eur`, `--no-classifier`, `--classifier-model`, `--no-doctor`, `--no-install`, `--yes`, `--verbose`.
+- `--help` exhaustif pour chaque commande avec épilogues et exemples.
+
+#### Tests
+
+- Suite complète de tests unitaires avec mocks (aucun réseau requis).
+- `test_router.py`, `test_quota.py`, `test_budget.py`, `test_policy.py`, `test_classifier.py`, `test_checkpoint.py`, `test_benchmarks.py`, `test_hardware.py`, `test_providers.py`, `test_security.py`, `test_doctor.py`, `test_installer.py`.
+- Tests de sécurité explicites : pas de `shell=True`, échappement d'apostrophes, absence d'import cloud au niveau module.
+
+#### CI/CD
+
+- `.github/workflows/ci.yml` : matrice Python 3.11/3.12/3.13, ruff, mypy, bandit, pip-audit.
+- `.github/workflows/secret-scan.yml` : gitleaks hebdomadaire.
+- `.github/workflows/update-benchmarks.yml` : mise à jour automatique F5/RWS tous les 14 jours.
+
+#### Documentation
+
+- `README.md` : installation, quickstart, CLI complet, architecture, OOP, GUI, tests.
+- `docs/THREAT_MODEL.md` : 15 menaces documentées (T1 à T15), actifs, hors périmètre, recommandations.
+- `docs/GUIDE_FR.md` : guide utilisateur non technique (français).
+- `docs/GUIDE_EN.md` : guide utilisateur non technique (anglais).
+- `benchmarks_cache/f5_safety.json` et `rws_translation.json` : exemples documentés, mis à jour par CI.
+
+### Changed
+
+- **Refactorisation complète** du projet initial (`process_batch.py` de 880 lignes) en 20+ modules de < 200 lignes chacun.
+- **Programmation orientée objet** systématique : chaque responsabilité est une classe, aucune variable module-level mutable.
+- **Logging** remplace les 92 `print` du projet initial : `NullHandler` sur le logger racine, `dictConfig` pour le CLI, format texte ou JSON.
+- `guardrail_passed=False` **arrête la cascade** au lieu de relancer sur le modèle suivant (comportement fidèle au projet original, corrigé par rapport à une première itération erronée).
+- Le fichier de sortie JSONL contient désormais `status` (`approved` / `human_review` / `failed` / `budget_exceeded`) au lieu d'un booléen `success`.
+- `models.example.yaml` : `qwen2.5vl:7b` remplacé par `qwen2.5vl:7b-q4_K_M` (quantification explicite Q4_K_M, ~6 Go).
+- `policy.yaml` accepte trois formes : `{allowed_providers: [...]}`, `[...]`, ou `ResidencyRule`.
+
+### Removed
+
+- `Playwright` et toutes les dépendances de navigateur (`playwright`, `playwright-stealth`).
+- Patches de stealth (`add_stealth_patches`, `USER_AGENT_BRAVE`, `PROFIL_ISOLE`, `BRAVE_PATH`).
+- `extract_sources.py`, `auto_detect_selectors.py`, `config_urls.json` (scraping web).
+- `Nemoguardrails` en dépendance obligatoire → devenu extra `[guardrails]`.
+- Dossiers `approved/`, `sent/`, `human_review/`, `history/`, `site/` du projet initial.
+- Scripts `run_batch.bat` et `run_batch.sh` (remplacés par la GUI et le CLI).
+- `APScheduler` (le refresh lazy + GitHub Actions couvrent le besoin).
+- Toute trace de `shell=True` dans le code.
+- Compteur 429 cumulatif (`_PROVIDER_CALLS["__429_xxx"]`) remplacé par cooldown temporel.
+
+### Fixed
+
+- **Bug du compteur 429** : le compteur original n'était jamais remis à zéro, bannissant un provider pour la session entière après 2× 429. Corrigé par `QuotaManager` avec `time.monotonic()` et expiration naturelle.
+- **`shell=True` avec f-string** dans `_get_secret` : remplacé par `subprocess.run([...])` avec liste d'arguments et échappement d'apostrophes.
+- **`sys.path.insert` dans les tests** : supprimé par le layout `src/` + installation editable.
+- **État global mutable** (`_SECRET_CACHE`, `_GUARDRAILS_APP`, `_PROVIDER_CALLS`) : encapsulé dans des instances injectables.
+- **Imports Azure au niveau module** : déplacés en lazy import pour ne pas casser `import gateway_llm.secrets` si azure n'est pas installé.
+- **Incohérence `success` booléen vs réponse partielle** : introduction du champ `status` explicite.
+
+### Security
+
+- Modèle de menace documenté (`docs/THREAT_MODEL.md`) avec 15 entrées T1–T15.
+- Vérification `gitleaks` en CI (workflow hebdomadaire).
+- `pip-audit --strict` en CI.
+- `bandit -r src/` en CI.
+- Pas de `shell=True` nulle part.
+- Backends de secrets à choix explicite : aucune bascule silencieuse vers `.env`.
+- `~/.gateway-llm/secrets.yaml` ne contient jamais de secret final, seulement la config du backend.
+- Recommendation `chmod 600` documentée pour le fichier de config.
+- Support `confidential` → `[ollama]` uniquement pour les données sensibles (y compris screenshots avec KPI).
+
+---
+
+## Notes de migration depuis le projet original
+
+Si vous venez du projet `pipeline/` initial, voici les correspondances :
+
+| Projet original | `gateway-llm` |
+| :--- | :--- |
+| `process_batch.py` (880 lignes) | 15+ modules sous `src/gateway_llm/` |
+| `_get_secret()` | `PowerShellVaultBackend.get()` |
+| `call_llm_with_fallback()` | `Router.route()` |
+| `classify_and_route_task()` | `TaskClassifier.classify()` |
+| `check_response_with_guardrails()` | `NemoGuardrail.check()` |
+| `generate_summary_report()` | `BatchRunner._print_report()` + `ResultsTab._refresh()` |
+| `tasks.json` | `tasks.jsonl` (une ligne par tâche) |
+| `approved/`, `sent/` | `results.jsonl` (champ `status`) |
+| `human_review/human_review_summary.*` | `ResultsTab` onglet « À revoir » |
+| `history/tasks_*.json` | Non conservé (chaque sortie JSONL est un historique) |
+| `scrape.py` / `auto_detect_selectors.py` | Non conservé (supprimé) |
+
+[Unreleased]: https://github.com/Darki0n1/gateway-llm/compare/v0.1.0...HEAD
+[0.1.0]: https://github.com/Darki0n1/gateway-llm/releases/tag/v0.1.0