memories-lite 0.99.1 → 0.99.3

package/tests/memory.discussion.search.test.ts

@@ -0,0 +1,377 @@
+/// <reference types="jest" />
+import { MemoriesLite } from "../src";
+import { SearchResult } from "../src/types";
+import dotenv from "dotenv";
+import { createTestMemory } from "./init.mem";
+
+dotenv.config();
+
+jest.setTimeout(120000); // 120s pour les tests avec LLM et multiples recherches
+
+/**
+ * Tests de recherche sémantique pour les mémoires de discussion
+ * Objectif: Mesurer le clivage des scores entre recherches pertinentes et non pertinentes
+ */
+describe("Memory Discussion - Recherche sémantique et scoring", () => {
+  let memory: MemoriesLite;
+  let userId: string;
+  
+  // Test avec searchThreshold=0.50
+  let memoryWithThreshold: MemoriesLite;
+  let userIdWithThreshold: string;
+
+  //
+  // Discussion FAO (Feuille d'Avis Officielle) - Genève immeubles
+  const discussionFAO = [
+    {
+      role: "user",
+      content: "Tu dois vérifier les autorisations (ou APA) de la FAO de Genève, et ensuite tu dois extraire toutes les adresses et chercher nos immeubles. Merci de me mettre les liens des FAO que tu jugeras utiles."
+    },
+    {
+      role: "assistant", 
+      content: `Voici un premier lot traité. Dites-moi si vous voulez que je continue sur plus d'avis.
+
+Adresses extraites et recherche de nos immeubles
+- Chemin Émile-Bressler 19, 1226 Thônex
+  - Immeubles PRSA à proximité (200 m) : aucun trouvé.
+  - FAO: Requête M/341685/1 — Démolition d'une villa
+- Chemin du Port 9, 1246 Corsier
+  - FAO: Requête M/341714/1 — Démolition
+- Boulevard de Saint‑Georges 46, 1205 Genève (Plainpalais)
+  - FAO: Autorisation DD 330818 — Transformation`
+    },
+    {
+      role: "user",
+      content: "oui merci pour le premier"
+    },
+    {
+      role: "assistant",
+      content: `Parfait. Je poursuis avec ces trois adresses et vous reviens avec:
+- adresses exactes confirmées
+- présence/absence de nos immeubles à 200 m
+- liens FAO utiles
+
+Cibles:
+- Chemin du Port 9, 1246 Corsier
+- Boulevard de Saint‑Georges 46, 1205 Genève
+- Chemin du Champ‑des‑Bois 8, 1255 Veyrier`
+    },
+    {
+      role: "user",
+      content: "oui"
+    },
+    {
+      role: "assistant",
+      content: `Voici la suite.
+
+Résultats par adresse (rayon 200 m)
+- Chemin du Port 9, 1246 Corsier — aucun immeuble PRSA trouvé.
+- Boulevard de Saint‑Georges 46, 1205 Genève — aucun immeuble PRSA trouvé.
+- Chemin du Champ‑des‑Bois 8, 1255 Veyrier — aucun immeuble PRSA trouvé.
+
+Souhaitez-vous que je:
+- élargisse à 300–500 m,
+- continue l'extraction sur d'autres avis FAO récents (démolitions/transformations/APA), 
+- ou cible des communes/quartiers spécifiques ?`
+    }
+  ];
+
+  //
+  // Discussion résiliation de bail
+  const discussionBail = [
+    { role: "user", content: "Comment résilier un bail commercial ?" },
+    { role: "assistant", content: `Voici la procédure de résiliation d'un bail commercial:
+
+1. **Délai de préavis**: Généralement 6 mois avant l'échéance
+2. **Forme**: Lettre recommandée obligatoire
+3. **Motifs légitimes**: Non-paiement, usage non conforme, besoin personnel
+4. **Formulaire officiel**: Utiliser le formulaire cantonal
+
+Points importants:
+- Respecter les délais stricts
+- Conserver une copie de l'envoi
+- Vérifier les clauses spéciales du bail` }
+  ];
+
+  //
+  // Discussion comptabilité
+  const discussionCompta = [
+    { role: "user", content: "Comment faire le bouclement annuel ?" },
+    { role: "assistant", content: `Procédure de bouclement annuel:
+
+1. **Inventaire**: Vérifier les stocks et actifs
+2. **Rapprochements**: Comptes bancaires, créanciers, débiteurs
+3. **Provisions**: Estimer les risques et charges
+4. **Amortissements**: Calculer selon le plan
+5. **Ajustements**: Régularisations de fin d'année
+6. **États financiers**: Bilan, compte de résultat, annexe
+
+Échéances: 3 mois après clôture pour les sociétés suisses.` }
+  ];
+
+  beforeAll(async () => {
+    //
+    // Setup unique - capturer toutes les discussions une fois (sans seuil)
+    ({ memory, userId } = createTestMemory({}));
+    await memory.reset(userId);
+
+    // Capturer les 3 discussions
+    await memory.capture(discussionFAO, userId, {
+      metadata: { type: 'discussion', discussionId: 'fao-1' }
+    });
+    
+    await memory.capture(discussionBail, userId, {
+      metadata: { type: 'discussion', discussionId: 'bail-1' }
+    });
+    
+    await memory.capture(discussionCompta, userId, {
+      metadata: { type: 'discussion', discussionId: 'compta-1' }
+    });
+
+    //
+    // Setup avec searchThreshold=0.50
+    ({ memory: memoryWithThreshold, userId: userIdWithThreshold } = createTestMemory({ searchThreshold: 0.50 }));
+    await memoryWithThreshold.reset(userIdWithThreshold);
+
+    // Capturer les mêmes discussions
+    await memoryWithThreshold.capture(discussionFAO, userIdWithThreshold, {
+      metadata: { type: 'discussion', discussionId: 'fao-1' }
+    });
+    
+    await memoryWithThreshold.capture(discussionBail, userIdWithThreshold, {
+      metadata: { type: 'discussion', discussionId: 'bail-1' }
+    });
+    
+    await memoryWithThreshold.capture(discussionCompta, userIdWithThreshold, {
+      metadata: { type: 'discussion', discussionId: 'compta-1' }
+    });
+
+    console.log('\n📚 3 discussions capturées (2x: sans seuil + avec seuil 0.50)\n');
+  });
+
+  afterAll(async () => {
+    await memory.reset(userId);
+    await memoryWithThreshold.reset(userIdWithThreshold);
+  });
+
+  describe("Clivage des scores - Recherches pertinentes vs non pertinentes", () => {
+    
+    it("should return HIGH score for FAO-related queries (> 0.3)", async () => {
+      const queries = [
+        "recherche FAO autorisation immeuble Genève",
+        "APA démolition villa Thônex",
+        "vérifier permis construction Corsier",
+        "immeubles PRSA rayon 200m"
+      ];
+
+      console.log('\n🎯 Recherches PERTINENTES pour FAO:\n');
+      
+      const scores: number[] = [];
+      for (const query of queries) {
+        const result = await memory.retrieve(query, userId, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        const score = topResult?.score || 0;
+        scores.push(score);
+        
+        console.log(`  "${query}"`);
+        console.log(`    → ${topResult?.metadata?.title}`);
+        console.log(`    → Score: ${score.toFixed(4)}\n`);
+
+        expect(topResult).toBeDefined();
+      }
+      
+      // Les scores pour des recherches pertinentes devraient être > 0.3
+      const avgScore = scores.reduce((a, b) => a + b, 0) / scores.length;
+      console.log(`  📊 Score moyen FAO: ${avgScore.toFixed(4)}\n`);
+      expect(avgScore).toBeGreaterThan(0.3);
+    });
+
+    it("should return LOW score for unrelated queries", async () => {
+      const queries = [
+        "recette de cuisine pasta carbonara",
+        "météo paris demain",
+        "comment jouer au tennis",
+        "voyage vacances Thaïlande"
+      ];
+
+      console.log('\n❌ Recherches NON PERTINENTES:\n');
+      
+      const scores: number[] = [];
+      
+      for (const query of queries) {
+        const result = await memory.retrieve(query, userId, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        const score = topResult?.score || 0;
+        scores.push(score);
+        
+        console.log(`  "${query}"`);
+        console.log(`    → ${topResult?.metadata?.title || 'Aucun résultat'}`);
+        console.log(`    → Score: ${score.toFixed(4)}\n`);
+      }
+
+      // Les scores pour des sujets non pertinents devraient être constants (1.0 pour discussion)
+      // car discussion utilise alpha=0, beta=1 (pas de cosine similarity)
+      // Le clivage se fait via la présence/absence de résultats ou via des filtres
+      expect(scores.length).toBe(4);
+    });
+
+    it("should match bail queries to bail discussion", async () => {
+      const queries = [
+        "résiliation bail commercial",
+        "préavis locataire formulaire",
+        "lettre recommandée bail"
+      ];
+
+      console.log('\n🏠 Recherches BAIL:\n');
+      
+      for (const query of queries) {
+        const result = await memory.retrieve(query, userId, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        console.log(`  "${query}"`);
+        console.log(`    → ${topResult?.metadata?.title}`);
+        console.log(`    → Score: ${topResult?.score?.toFixed(4)}\n`);
+
+        expect(topResult).toBeDefined();
+      }
+    });
+
+    it("should match comptabilité queries to compta discussion", async () => {
+      const queries = [
+        "bouclement annuel comptabilité",
+        "amortissements provisions",
+        "états financiers bilan"
+      ];
+
+      console.log('\n📊 Recherches COMPTABILITÉ:\n');
+      
+      for (const query of queries) {
+        const result = await memory.retrieve(query, userId, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        console.log(`  "${query}"`);
+        console.log(`    → ${topResult?.metadata?.title}`);
+        console.log(`    → Score: ${topResult?.score?.toFixed(4)}\n`);
+
+        expect(topResult).toBeDefined();
+      }
+    });
+  });
+
+  describe("Analyse comparative des scores", () => {
+    
+    it("should show score distribution across all queries", async () => {
+      const testCases = [
+        // Très pertinent FAO
+        { query: "FAO Genève permis démolition", expected: 'FAO' },
+        { query: "autorisation APA immeuble PRSA", expected: 'FAO' },
+        // Pertinent Bail  
+        { query: "résilier contrat location", expected: 'bail' },
+        { query: "préavis bail commercial", expected: 'bail' },
+        // Pertinent Compta
+        { query: "clôture exercice comptable", expected: 'compta' },
+        { query: "bilan financier annuel", expected: 'compta' },
+        // Non pertinent
+        { query: "pizza margherita recette", expected: 'none' },
+        { query: "football match score", expected: 'none' },
+      ];
+
+      console.log('\n📈 ANALYSE COMPARATIVE DES SCORES:\n');
+      console.log('Query | Top Match | Score');
+      console.log('------|-----------|------');
+      
+      const results: { query: string, title: string, score: number, expected: string }[] = [];
+      
+      for (const tc of testCases) {
+        const result = await memory.retrieve(tc.query, userId, {
+          limit: 1,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const top = result.results[0];
+        results.push({
+          query: tc.query,
+          title: top?.metadata?.title || 'N/A',
+          score: top?.score || 0,
+          expected: tc.expected
+        });
+        
+        console.log(`"${tc.query.substring(0, 30).padEnd(30)}" | ${(top?.metadata?.title || 'N/A').substring(0, 40).padEnd(40)} | ${top?.score?.toFixed(4) || 'N/A'}`);
+      }
+
+      console.log('\n');
+      
+      // Note: Avec discussion (alpha=1), le score = cosine similarity
+      // Le clivage se fait sur le score absolu
+      expect(results.length).toBe(8);
+    });
+  });
+
+  describe("searchThreshold - Filtrage des résultats", () => {
+    
+    it("should return NO results for unrelated queries with searchThreshold=0.50", async () => {
+      const unrelatedQueries = [
+        "pizza margherita recette",
+        "football match score",
+        "météo paris demain",
+        "voyage vacances Thaïlande"
+      ];
+
+      console.log('\n🔒 TEST searchThreshold=0.50 - Recherches NON pertinentes:\n');
+      
+      for (const query of unrelatedQueries) {
+        const result = await memoryWithThreshold.retrieve(query, userIdWithThreshold, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        console.log(`  "${query}"`);
+        console.log(`    → Résultats: ${result.results.length}\n`);
+
+        // ✅ Aucun résultat car score < 0.50
+        expect(result.results.length).toBe(0);
+      }
+    });
+
+    it("should return results for relevant queries with searchThreshold=0.50", async () => {
+      const relevantQueries = [
+        "autorisation APA immeuble PRSA",
+        "préavis bail commercial",
+        "bilan financier annuel"
+      ];
+
+      console.log('\n✅ TEST searchThreshold=0.50 - Recherches PERTINENTES:\n');
+      
+      for (const query of relevantQueries) {
+        const result = await memoryWithThreshold.retrieve(query, userIdWithThreshold, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        console.log(`  "${query}"`);
+        console.log(`    → Résultats: ${result.results.length}`);
+        console.log(`    → Top: ${topResult?.metadata?.title} (score: ${topResult?.score?.toFixed(4)})\n`);
+
+        // ✅ Au moins un résultat car score >= 0.50
+        expect(result.results.length).toBeGreaterThan(0);
+        expect(topResult?.score).toBeGreaterThanOrEqual(0.50);
+      }
+    });
+  });
+});
+