memories-lite 0.10.1 → 0.99.2

package/tests/memory.discussion.search.test.ts

@@ -0,0 +1,377 @@
+/// <reference types="jest" />
+import { MemoriesLite } from "../src";
+import { SearchResult } from "../src/types";
+import dotenv from "dotenv";
+import { createTestMemory } from "./init.mem";
+
+dotenv.config();
+
+jest.setTimeout(120000); // 120s pour les tests avec LLM et multiples recherches
+
+/**
+ * Tests de recherche sémantique pour les mémoires de discussion
+ * Objectif: Mesurer le clivage des scores entre recherches pertinentes et non pertinentes
+ */
+describe("Memory Discussion - Recherche sémantique et scoring", () => {
+  let memory: MemoriesLite;
+  let userId: string;
+  
+  // Test avec searchThreshold=0.50
+  let memoryWithThreshold: MemoriesLite;
+  let userIdWithThreshold: string;
+
+  //
+  // Discussion FAO (Feuille d'Avis Officielle) - Genève immeubles
+  const discussionFAO = [
+    {
+      role: "user",
+      content: "Tu dois vérifier les autorisations (ou APA) de la FAO de Genève, et ensuite tu dois extraire toutes les adresses et chercher nos immeubles. Merci de me mettre les liens des FAO que tu jugeras utiles."
+    },
+    {
+      role: "assistant", 
+      content: `Voici un premier lot traité. Dites-moi si vous voulez que je continue sur plus d'avis.
+
+Adresses extraites et recherche de nos immeubles
+- Chemin Émile-Bressler 19, 1226 Thônex
+  - Immeubles PRSA à proximité (200 m) : aucun trouvé.
+  - FAO: Requête M/341685/1 — Démolition d'une villa
+- Chemin du Port 9, 1246 Corsier
+  - FAO: Requête M/341714/1 — Démolition
+- Boulevard de Saint‑Georges 46, 1205 Genève (Plainpalais)
+  - FAO: Autorisation DD 330818 — Transformation`
+    },
+    {
+      role: "user",
+      content: "oui merci pour le premier"
+    },
+    {
+      role: "assistant",
+      content: `Parfait. Je poursuis avec ces trois adresses et vous reviens avec:
+- adresses exactes confirmées
+- présence/absence de nos immeubles à 200 m
+- liens FAO utiles
+
+Cibles:
+- Chemin du Port 9, 1246 Corsier
+- Boulevard de Saint‑Georges 46, 1205 Genève
+- Chemin du Champ‑des‑Bois 8, 1255 Veyrier`
+    },
+    {
+      role: "user",
+      content: "oui"
+    },
+    {
+      role: "assistant",
+      content: `Voici la suite.
+
+Résultats par adresse (rayon 200 m)
+- Chemin du Port 9, 1246 Corsier — aucun immeuble PRSA trouvé.
+- Boulevard de Saint‑Georges 46, 1205 Genève — aucun immeuble PRSA trouvé.
+- Chemin du Champ‑des‑Bois 8, 1255 Veyrier — aucun immeuble PRSA trouvé.
+
+Souhaitez-vous que je:
+- élargisse à 300–500 m,
+- continue l'extraction sur d'autres avis FAO récents (démolitions/transformations/APA), 
+- ou cible des communes/quartiers spécifiques ?`
+    }
+  ];
+
+  //
+  // Discussion résiliation de bail
+  const discussionBail = [
+    { role: "user", content: "Comment résilier un bail commercial ?" },
+    { role: "assistant", content: `Voici la procédure de résiliation d'un bail commercial:
+
+1. **Délai de préavis**: Généralement 6 mois avant l'échéance
+2. **Forme**: Lettre recommandée obligatoire
+3. **Motifs légitimes**: Non-paiement, usage non conforme, besoin personnel
+4. **Formulaire officiel**: Utiliser le formulaire cantonal
+
+Points importants:
+- Respecter les délais stricts
+- Conserver une copie de l'envoi
+- Vérifier les clauses spéciales du bail` }
+  ];
+
+  //
+  // Discussion comptabilité
+  const discussionCompta = [
+    { role: "user", content: "Comment faire le bouclement annuel ?" },
+    { role: "assistant", content: `Procédure de bouclement annuel:
+
+1. **Inventaire**: Vérifier les stocks et actifs
+2. **Rapprochements**: Comptes bancaires, créanciers, débiteurs
+3. **Provisions**: Estimer les risques et charges
+4. **Amortissements**: Calculer selon le plan
+5. **Ajustements**: Régularisations de fin d'année
+6. **États financiers**: Bilan, compte de résultat, annexe
+
+Échéances: 3 mois après clôture pour les sociétés suisses.` }
+  ];
+
+  beforeAll(async () => {
+    //
+    // Setup unique - capturer toutes les discussions une fois (sans seuil)
+    ({ memory, userId } = createTestMemory({}));
+    await memory.reset(userId);
+
+    // Capturer les 3 discussions
+    await memory.capture(discussionFAO, userId, {
+      metadata: { type: 'discussion', discussionId: 'fao-1' }
+    });
+    
+    await memory.capture(discussionBail, userId, {
+      metadata: { type: 'discussion', discussionId: 'bail-1' }
+    });
+    
+    await memory.capture(discussionCompta, userId, {
+      metadata: { type: 'discussion', discussionId: 'compta-1' }
+    });
+
+    //
+    // Setup avec searchThreshold=0.50
+    ({ memory: memoryWithThreshold, userId: userIdWithThreshold } = createTestMemory({ searchThreshold: 0.50 }));
+    await memoryWithThreshold.reset(userIdWithThreshold);
+
+    // Capturer les mêmes discussions
+    await memoryWithThreshold.capture(discussionFAO, userIdWithThreshold, {
+      metadata: { type: 'discussion', discussionId: 'fao-1' }
+    });
+    
+    await memoryWithThreshold.capture(discussionBail, userIdWithThreshold, {
+      metadata: { type: 'discussion', discussionId: 'bail-1' }
+    });
+    
+    await memoryWithThreshold.capture(discussionCompta, userIdWithThreshold, {
+      metadata: { type: 'discussion', discussionId: 'compta-1' }
+    });
+
+    console.log('\n📚 3 discussions capturées (2x: sans seuil + avec seuil 0.50)\n');
+  });
+
+  afterAll(async () => {
+    await memory.reset(userId);
+    await memoryWithThreshold.reset(userIdWithThreshold);
+  });
+
+  describe("Clivage des scores - Recherches pertinentes vs non pertinentes", () => {
+    
+    it("should return HIGH score for FAO-related queries (> 0.3)", async () => {
+      const queries = [
+        "recherche FAO autorisation immeuble Genève",
+        "APA démolition villa Thônex",
+        "vérifier permis construction Corsier",
+        "immeubles PRSA rayon 200m"
+      ];
+
+      console.log('\n🎯 Recherches PERTINENTES pour FAO:\n');
+      
+      const scores: number[] = [];
+      for (const query of queries) {
+        const result = await memory.retrieve(query, userId, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        const score = topResult?.score || 0;
+        scores.push(score);
+        
+        console.log(`  "${query}"`);
+        console.log(`    → ${topResult?.metadata?.title}`);
+        console.log(`    → Score: ${score.toFixed(4)}\n`);
+
+        expect(topResult).toBeDefined();
+      }
+      
+      // Les scores pour des recherches pertinentes devraient être > 0.3
+      const avgScore = scores.reduce((a, b) => a + b, 0) / scores.length;
+      console.log(`  📊 Score moyen FAO: ${avgScore.toFixed(4)}\n`);
+      expect(avgScore).toBeGreaterThan(0.3);
+    });
+
+    it("should return LOW score for unrelated queries", async () => {
+      const queries = [
+        "recette de cuisine pasta carbonara",
+        "météo paris demain",
+        "comment jouer au tennis",
+        "voyage vacances Thaïlande"
+      ];
+
+      console.log('\n❌ Recherches NON PERTINENTES:\n');
+      
+      const scores: number[] = [];
+      
+      for (const query of queries) {
+        const result = await memory.retrieve(query, userId, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        const score = topResult?.score || 0;
+        scores.push(score);
+        
+        console.log(`  "${query}"`);
+        console.log(`    → ${topResult?.metadata?.title || 'Aucun résultat'}`);
+        console.log(`    → Score: ${score.toFixed(4)}\n`);
+      }
+
+      // Les scores pour des sujets non pertinents devraient être constants (1.0 pour discussion)
+      // car discussion utilise alpha=0, beta=1 (pas de cosine similarity)
+      // Le clivage se fait via la présence/absence de résultats ou via des filtres
+      expect(scores.length).toBe(4);
+    });
+
+    it("should match bail queries to bail discussion", async () => {
+      const queries = [
+        "résiliation bail commercial",
+        "préavis locataire formulaire",
+        "lettre recommandée bail"
+      ];
+
+      console.log('\n🏠 Recherches BAIL:\n');
+      
+      for (const query of queries) {
+        const result = await memory.retrieve(query, userId, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        console.log(`  "${query}"`);
+        console.log(`    → ${topResult?.metadata?.title}`);
+        console.log(`    → Score: ${topResult?.score?.toFixed(4)}\n`);
+
+        expect(topResult).toBeDefined();
+      }
+    });
+
+    it("should match comptabilité queries to compta discussion", async () => {
+      const queries = [
+        "bouclement annuel comptabilité",
+        "amortissements provisions",
+        "états financiers bilan"
+      ];
+
+      console.log('\n📊 Recherches COMPTABILITÉ:\n');
+      
+      for (const query of queries) {
+        const result = await memory.retrieve(query, userId, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        console.log(`  "${query}"`);
+        console.log(`    → ${topResult?.metadata?.title}`);
+        console.log(`    → Score: ${topResult?.score?.toFixed(4)}\n`);
+
+        expect(topResult).toBeDefined();
+      }
+    });
+  });
+
+  describe("Analyse comparative des scores", () => {
+    
+    it("should show score distribution across all queries", async () => {
+      const testCases = [
+        // Très pertinent FAO
+        { query: "FAO Genève permis démolition", expected: 'FAO' },
+        { query: "autorisation APA immeuble PRSA", expected: 'FAO' },
+        // Pertinent Bail  
+        { query: "résilier contrat location", expected: 'bail' },
+        { query: "préavis bail commercial", expected: 'bail' },
+        // Pertinent Compta
+        { query: "clôture exercice comptable", expected: 'compta' },
+        { query: "bilan financier annuel", expected: 'compta' },
+        // Non pertinent
+        { query: "pizza margherita recette", expected: 'none' },
+        { query: "football match score", expected: 'none' },
+      ];
+
+      console.log('\n📈 ANALYSE COMPARATIVE DES SCORES:\n');
+      console.log('Query | Top Match | Score');
+      console.log('------|-----------|------');
+      
+      const results: { query: string, title: string, score: number, expected: string }[] = [];
+      
+      for (const tc of testCases) {
+        const result = await memory.retrieve(tc.query, userId, {
+          limit: 1,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const top = result.results[0];
+        results.push({
+          query: tc.query,
+          title: top?.metadata?.title || 'N/A',
+          score: top?.score || 0,
+          expected: tc.expected
+        });
+        
+        console.log(`"${tc.query.substring(0, 30).padEnd(30)}" | ${(top?.metadata?.title || 'N/A').substring(0, 40).padEnd(40)} | ${top?.score?.toFixed(4) || 'N/A'}`);
+      }
+
+      console.log('\n');
+      
+      // Note: Avec discussion (alpha=1), le score = cosine similarity
+      // Le clivage se fait sur le score absolu
+      expect(results.length).toBe(8);
+    });
+  });
+
+  describe("searchThreshold - Filtrage des résultats", () => {
+    
+    it("should return NO results for unrelated queries with searchThreshold=0.50", async () => {
+      const unrelatedQueries = [
+        "pizza margherita recette",
+        "football match score",
+        "météo paris demain",
+        "voyage vacances Thaïlande"
+      ];
+
+      console.log('\n🔒 TEST searchThreshold=0.50 - Recherches NON pertinentes:\n');
+      
+      for (const query of unrelatedQueries) {
+        const result = await memoryWithThreshold.retrieve(query, userIdWithThreshold, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        console.log(`  "${query}"`);
+        console.log(`    → Résultats: ${result.results.length}\n`);
+
+        // ✅ Aucun résultat car score < 0.50
+        expect(result.results.length).toBe(0);
+      }
+    });
+
+    it("should return results for relevant queries with searchThreshold=0.50", async () => {
+      const relevantQueries = [
+        "autorisation APA immeuble PRSA",
+        "préavis bail commercial",
+        "bilan financier annuel"
+      ];
+
+      console.log('\n✅ TEST searchThreshold=0.50 - Recherches PERTINENTES:\n');
+      
+      for (const query of relevantQueries) {
+        const result = await memoryWithThreshold.retrieve(query, userIdWithThreshold, {
+          limit: 3,
+          filters: { type: 'discussion' }
+        }) as SearchResult;
+
+        const topResult = result.results[0];
+        console.log(`  "${query}"`);
+        console.log(`    → Résultats: ${result.results.length}`);
+        console.log(`    → Top: ${topResult?.metadata?.title} (score: ${topResult?.score?.toFixed(4)})\n`);
+
+        // ✅ Au moins un résultat car score >= 0.50
+        expect(result.results.length).toBeGreaterThan(0);
+        expect(topResult?.score).toBeGreaterThanOrEqual(0.50);
+      }
+    });
+  });
+});
+

package/tests/memory.discussion.test.ts

@@ -0,0 +1,279 @@
+/// <reference types="jest" />
+import { MemoriesLite } from "../src";
+import { SearchResult } from "../src/types";
+import dotenv from "dotenv";
+import { createTestMemory } from "./init.mem";
+
+dotenv.config();
+
+jest.setTimeout(60000); // 60s pour les tests avec LLM
+
+/**
+ * Tests pour le nouveau type de mémoire 'discussion'
+ * Permet de mémoriser une discussion avec synthèse (title + summary)
+ */
+describe("Memory Discussion - Synthèse de discussions", () => {
+  let memory: MemoriesLite;
+  let userId: string;
+
+  //
+  // Exemple de discussion à synthétiser
+  const discussionMessages = [
+    {
+      role: "user",
+      content: "Tu dois vérifier les autorisations (ou APA) de la FAO de Genève, et ensuite tu dois extraire toutes les adresses et chercher nos immeubles. Merci de me mettre les liens des FAO que tu jugeras utiles."
+    },
+    {
+      role: "assistant", 
+      content: `Voici un premier lot traité. Dites-moi si vous voulez que je continue sur plus d'avis.
+
+Adresses extraites et recherche de nos immeubles
+- Chemin Émile-Bressler 19, 1226 Thônex
+  - Immeubles PRSA à proximité (200 m) : aucun trouvé.
+  - FAO: Requête M/341685/1 — Démolition d'une villa
+- Chemin du Port 9, 1246 Corsier
+  - À vérifier (souhaitez-vous que je cherche nos immeubles autour de cette adresse ?)
+  - FAO: Requête M/341714/1 — Démolition
+- Boulevard de Saint‑Georges 46, 1205 Genève (Plainpalais)
+  - À vérifier (je peux lancer la recherche de nos immeubles).
+  - FAO: Autorisation DD 330818 — Transformation`
+    },
+    {
+      role: "user",
+      content: "oui merci pour le premier"
+    },
+    {
+      role: "assistant",
+      content: `Parfait. Je poursuis avec ces trois adresses et vous reviens avec:
+- adresses exactes confirmées
+- présence/absence de nos immeubles à 200 m
+- liens FAO utiles
+
+Cibles:
+- Chemin du Port 9, 1246 Corsier
+- Boulevard de Saint‑Georges 46, 1205 Genève
+- Chemin du Champ‑des‑Bois 8, 1255 Veyrier`
+    },
+    {
+      role: "user",
+      content: "oui"
+    },
+    {
+      role: "assistant",
+      content: `Voici la suite.
+
+Résultats par adresse (rayon 200 m)
+- Chemin du Port 9, 1246 Corsier — aucun immeuble PRSA trouvé.
+- Boulevard de Saint‑Georges 46, 1205 Genève — aucun immeuble PRSA trouvé.
+- Chemin du Champ‑des‑Bois 8, 1255 Veyrier — aucun immeuble PRSA trouvé.
+
+Souhaitez-vous que je:
+- élargisse à 300–500 m,
+- continue l'extraction sur d'autres avis FAO récents (démolitions/transformations/APA), 
+- ou cible des communes/quartiers spécifiques ?`
+    }
+  ];
+
+  beforeEach(async () => {
+    ({ memory, userId } = createTestMemory({}));
+    await memory.reset(userId);
+  });
+
+  afterEach(async () => {
+    await memory.reset(userId);
+  });
+
+  describe("Capture de discussion", () => {
+    
+    it("should capture a discussion and generate exactly ONE memory with title + summary", async () => {
+      //
+      // Capturer la discussion avec type 'discussion'
+      const result = await memory.capture(discussionMessages, userId, {
+        metadata: { 
+          type: 'discussion',
+          discussionId: '7c3e43ac-7621-470d-a22e-82713c3a113e'
+        }
+      }) as SearchResult;
+
+      expect(result).toBeDefined();
+      expect(result.results).toBeDefined();
+      expect(Array.isArray(result.results)).toBe(true);
+      
+      //
+      // ✅ Vérifier qu'UNE SEULE mémoire est créée par capture
+      expect(result.results.length).toBe(1);
+
+      //
+      // Vérifier que la mémoire contient title et type
+      const mem = result.results[0];
+      expect(mem.id).toBeDefined();
+      expect(mem.type).toBe('discussion');
+      expect(mem.memory).toBeDefined(); // summary
+      expect(mem.metadata?.title).toBeDefined();
+      
+      console.log('--- Title:', mem.metadata?.title);
+      console.log('--- Summary:', mem.memory);
+      
+      //
+      // ✅ Vérifier qu'il n'y a bien qu'une seule mémoire stockée
+      const allMemories = await memory.getAll(userId, { type: 'discussion' });
+      expect(allMemories.results.length).toBe(1);
+    });
+
+    it("should use custom capturePrompt when provided", async () => {
+      const customPrompt = `Tu es un expert en synthèse. Génère:
+1. TITRE: Un titre technique en français (max 8 mots)
+2. SUMMARY: Résumé technique des actions effectuées (max 50 mots)
+
+Discussion:
+`;
+      
+      const result = await memory.capture(discussionMessages, userId, {
+        capturePrompt: customPrompt,
+        metadata: { 
+          type: 'discussion',
+          discussionId: 'custom-test-id'
+        }
+      }) as SearchResult;
+
+      expect(result).toBeDefined();
+      expect(result.results.length).toBeGreaterThan(0);
+      expect(result.results[0].type).toBe('discussion');
+    });
+
+    it("should retrieve discussion memories by semantic search with title in metadata", async () => {
+      //
+      // D'abord capturer la discussion
+      const captureResult = await memory.capture(discussionMessages, userId, {
+        metadata: { 
+          type: 'discussion',
+          discussionId: 'search-test-id'
+        }
+      }) as SearchResult;
+      
+      const originalTitle = captureResult.results[0].metadata?.title;
+      expect(originalTitle).toBeDefined();
+
+      //
+      // Recherche sémantique avec retrieve()
+      const searchResult = await memory.retrieve(
+        "recherche FAO autorisation immeuble Genève",
+        userId,
+        { filters: { type: 'discussion' } }
+      ) as SearchResult;
+
+      expect(searchResult).toBeDefined();
+      expect(searchResult.results).toBeDefined();
+      expect(searchResult.results.length).toBeGreaterThan(0);
+      
+      //
+      // ✅ Vérifier que le title est dans metadata
+      expect(searchResult.results[0].metadata?.title).toBeDefined();
+      expect(searchResult.results[0].metadata?.title).toBe(originalTitle);
+      expect(searchResult.results[0].score).toBeDefined();
+      expect(searchResult.results[0].type).toBe('discussion');
+      
+      console.log('--- retrieve() title:', searchResult.results[0].metadata?.title);
+    });
+
+    it("should list all discussion memories with title in metadata (getAll)", async () => {
+      //
+      // Capturer plusieurs discussions
+      const capture1 = await memory.capture(discussionMessages, userId, {
+        metadata: { type: 'discussion', discussionId: 'disc-1' }
+      }) as SearchResult;
+      
+      const capture2 = await memory.capture([
+        { role: "user", content: "Comment résilier un bail ?" },
+        { role: "assistant", content: "Voici la procédure de résiliation..." }
+      ], userId, {
+        metadata: { type: 'discussion', discussionId: 'disc-2' }
+      }) as SearchResult;
+
+      //
+      // Lister toutes les mémoires discussion avec getAll()
+      const allResult = await memory.getAll(userId, { type: 'discussion' }) as SearchResult;
+
+      expect(allResult).toBeDefined();
+      expect(allResult.results.length).toBe(2);
+      expect(allResult.results.every(r => r.type === 'discussion')).toBe(true);
+      
+      //
+      // ✅ Vérifier que chaque mémoire a un title dans metadata
+      expect(allResult.results.every(r => r.metadata?.title !== undefined)).toBe(true);
+      
+      console.log('--- getAll() titles:', allResult.results.map(r => r.metadata?.title));
+    });
+
+    it("should get a single discussion memory with title in metadata (get)", async () => {
+      //
+      // Capturer
+      const captureResult = await memory.capture(discussionMessages, userId, {
+        metadata: { type: 'discussion', discussionId: 'get-test' }
+      }) as SearchResult;
+
+      const memoryId = captureResult.results[0].id;
+      const originalTitle = captureResult.results[0].metadata?.title;
+
+      //
+      // Récupérer avec get()
+      const getResult = await memory.get(memoryId, userId);
+
+      expect(getResult).not.toBeNull();
+      expect(getResult?.type).toBe('discussion');
+      expect(getResult?.memory).toBeDefined();
+      
+      //
+      // ✅ Vérifier que le title est dans metadata
+      expect(getResult?.metadata?.title).toBeDefined();
+      expect(getResult?.metadata?.title).toBe(originalTitle);
+      
+      console.log('--- get() title:', getResult?.metadata?.title);
+    });
+
+    it("should delete a discussion memory", async () => {
+      //
+      // Capturer
+      const result = await memory.capture(discussionMessages, userId, {
+        metadata: { type: 'discussion', discussionId: 'delete-test' }
+      }) as SearchResult;
+
+      const memoryId = result.results[0].id;
+
+      //
+      // Supprimer
+      await memory.delete(memoryId, userId);
+
+      //
+      // Vérifier suppression
+      const deleted = await memory.get(memoryId, userId);
+      expect(deleted).toBeNull();
+    });
+  });
+
+  describe("Scoring discussion", () => {
+    
+    it("should have constant score (beta=1, halfLife=Infinity)", async () => {
+      //
+      // Capturer une discussion
+      await memory.capture(discussionMessages, userId, {
+        metadata: { type: 'discussion', discussionId: 'score-test' }
+      });
+
+      //
+      // Rechercher immédiatement
+      const result1 = await memory.retrieve("FAO Genève", userId, {
+        filters: { type: 'discussion' }
+      }) as SearchResult;
+
+      //
+      // Le score ne devrait pas dépendre du temps (halfLife=Infinity)
+      // Avec alpha=0, beta=1, gamma=0, le score = recency = 1 (constant)
+      expect(result1.results.length).toBeGreaterThan(0);
+      expect(result1.results[0].score).toBeDefined();
+      
+      console.log('--- Score:', result1.results[0].score);
+    });
+  });
+});
+

package/tests/memory.update.test.ts

@@ -8,7 +8,11 @@ dotenv.config();
 
 jest.setTimeout(30000); // Increase timeout to 30 seconds
 
-describe("Memory Updates - Type Preservation", () => {
+/**
+ * @deprecated Tests use factual/episodic types that have been removed
+ * These tests are skipped - see migration to discussion memory type
+ */
+describe.skip("Memory Updates - Type Preservation (DEPRECATED)", () => {
   let memory: MemoriesLite;
   let userId: string;