@futdevpro/fdp-agent-memory 1.1.166 → 1.1.194

package/build/src/_routes/server/api/api.controller.js

@@ -69,6 +69,8 @@ class Api_Controller extends nts_dynamo_1.DyNTS_Controller {
             this.statsTableEndpoint(),
             this.ingestRunsEndpoint(),
             this.duplicatesEndpoint(),
+            this.duplicatesPruneEndpoint(),
+            this.memoryRetireEndpoint(),
             this.configGetEndpoint(),
             this.configSetEndpoint(),
             this.scanStartEndpoint(),
@@ -521,22 +523,26 @@ class Api_Controller extends nts_dynamo_1.DyNTS_Controller {
                 continue;
             }
             const collection = this.entryCollection(registryEntry);
-            const count = await collection.countDocuments({});
-            // Embedding-státusz bontás Mongo-aggregációval ($group), NEM a doc-ok memóriába töltésével.
+            // FIX (2026-09-02, COLLSCAN → index): a korábbi `countDocuments({})` + `$group embeddingStatus`
+            // TELJES collection-átolvasás volt (350k+ doc a nagy tárakon) — meleg Mongo-cache mellett
+            // észrevétlen, kihűlt cache + telített lemez mellett viszont 20–50 s/tár, és a `/stats` a UI
+            // landing alatt PERCEKIG lógott (mérve: 120 s+ timeout). Most:
+            //  • darabszám: `estimatedDocumentCount` (collection-metaadat, ~0 ms — a stats-kártyának a
+            //    nagyságrend kell, nem a tranzakció-pontos szám),
+            //  • státusz-bontás: per-státusz `countDocuments({embeddingStatus})` — az indexből számol
+            //    (COUNT_SCAN), doc-olvasás nélkül,
+            //  • utolsó módosítás: a friss `__lastModified` index tetejéről egyetlen doc.
+            const count = await collection.estimatedDocumentCount();
             const byStatus = { pending: 0, completed: 0, error: 0 };
-            const grouped = await collection
-                .aggregate([{ $group: { _id: '$embeddingStatus', n: { $sum: 1 } } }])
-                .toArray();
-            for (const group of grouped) {
-                const status = group._id ?? 'pending';
-                if (status in byStatus) {
-                    byStatus[status] += group.n;
-                }
-                else {
-                    byStatus.pending += group.n;
-                }
-            }
-            // Utolsó módosítás: EGYETLEN doc (a legfrissebb), csak az időbélyeg-mezőre projektálva.
+            const [completed, error] = await Promise.all([
+                collection.countDocuments({ embeddingStatus: 'completed' }),
+                collection.countDocuments({ embeddingStatus: 'error' }),
+            ]);
+            byStatus.completed = completed;
+            byStatus.error = error;
+            // A `pending` a maradék (beleértve a státusz-mentes régi doc-okat) — így nem kell harmadik scan.
+            byStatus.pending = Math.max(0, count - completed - error);
+            // Utolsó módosítás: EGYETLEN doc a `__lastModified` index tetejéről (2026-09-02 óta indexelt).
             const newest = await collection
                 .find({}, { projection: { __lastModified: 1 } })
                 .sort({ __lastModified: -1 })
@@ -627,6 +633,62 @@ class Api_Controller extends nts_dynamo_1.DyNTS_Controller {
         });
     }
     // =========================================================================
+    // /duplicates/prune — BÁJTAZONOS ismétlés-nyesés (dry-run az alapértelmezés)
+    // =========================================================================
+    /**
+     * `POST /duplicates/prune` — az azonos `(absolutePath, chunkIndex, chunkTotal, contentHash)` négyesű
+     * példányokból a legfrissebbet megtartja, a többit soft-delete-eli, és a csoport `recallCount` /
+     * `lastRecalledAt` MAXIMUMÁT a megtartottra viszi. Body: `table` (opcionális, különben MINDEN tár),
+     * `dryRun` (DEFAULT `true` — törölni csak explicit `false`-szal lehet), `maxGroups`.
+     *
+     * A `GET /duplicates/:table`-lel NEM keverendő: az szemantikus hasonlóságot keres és sosem töröl.
+     */
+    duplicatesPruneEndpoint() {
+        return new nts_dynamo_1.DyNTS_Endpoint_Params({
+            name: 'duplicatesPrune',
+            type: fsm_dynamo_1.DyFM_HttpCallType.post,
+            endpoint: '/duplicates/prune',
+            tasks: [
+                async (req, res) => {
+                    await this.run(res, async () => {
+                        const body = req.body ?? {};
+                        return embedding_1.FAM_ExactDuplicatePrune_ControlService.getInstance().prune({
+                            table: body.table ? this.parseTable(body.table) : undefined,
+                            dryRun: body.dryRun !== false,
+                            maxGroups: typeof body.maxGroups === 'number' ? body.maxGroups : undefined,
+                        });
+                    });
+                },
+            ],
+        });
+    }
+    // =========================================================================
+    // /memory/retire-temporary — az alvó törmelék nyugdíjazása (dry-run az alapértelmezés)
+    // =========================================================================
+    /**
+     * `POST /memory/retire-temporary` — az alvó beszélgetés-törmelék (`user_prompt` / `temporary_context`)
+     * nyugdíjazása a `memory` táron: `superseded + retiredAt`, NEM törlés. A szabály és az indoklás a
+     * `fam-memory-retention.util.ts`-ben. Body: `dryRun` (DEFAULT `true`), `retireAfterDays` (override).
+     */
+    memoryRetireEndpoint() {
+        return new nts_dynamo_1.DyNTS_Endpoint_Params({
+            name: 'memoryRetireTemporary',
+            type: fsm_dynamo_1.DyFM_HttpCallType.post,
+            endpoint: '/memory/retire-temporary',
+            tasks: [
+                async (req, res) => {
+                    await this.run(res, async () => {
+                        const body = req.body ?? {};
+                        return retrieval_1.FAM_MemoryRetention_ControlService.getInstance().retire({
+                            dryRun: body.dryRun !== false,
+                            retireAfterDays: typeof body.retireAfterDays === 'number' ? body.retireAfterDays : undefined,
+                        });
+                    });
+                },
+            ],
+        });
+    }
+    // =========================================================================
     // /config — scoped config olvasás/írás (dsgn-007; a UI settings + CLI config)
     // =========================================================================
     /**

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@futdevpro/fdp-agent-memory",
-  "version": "1.1.166",
+  "version": "1.1.194",
   "description": "Local-first, vector-backed multi-table agent memory exposed as an MCP server (read/write/capabilities). Public, FDP-Templates-free, no auth.",
   "private": false,
   "publishConfig": {
@@ -19,7 +19,13 @@
     "build",
     "client-dist",
     "README.md",
-    "LICENSE"
+    "LICENSE",
+    "!build/**/*.spec.js",
+    "!build/**/*.spec.js.map",
+    "!build/**/*.spec.d.ts",
+    "!build/**/_benchmarks/**",
+    "!build/**/_integration-tests/**",
+    "!build/**/_spec-support/**"
   ],
   "engines": {
     "node": ">=20"

package/build/src/_integration-tests/_helpers/fam-integration-test-setup.util.js

@@ -1,105 +0,0 @@
-"use strict";
-Object.defineProperty(exports, "__esModule", { value: true });
-exports.FAM_IntegrationTest_Setup_Util = void 0;
-const tslib_1 = require("tslib");
-const net = tslib_1.__importStar(require("net"));
-const mongoose_1 = tslib_1.__importDefault(require("mongoose"));
-const nts_dynamo_1 = require("@futdevpro/nts-dynamo");
-const fam_db_models_const_1 = require("../../_collections/fam-db-models.const");
-/** Integrációs teszt issuer — a MongoDB-dokumentumok azonosítására. */
-const INTTEST_ISSUER = 'integration-test';
-/** Teszt-adat prefix — a teszt-dokumentumok megkülönböztetésére (NEM ütközik production-nal). */
-const INTTEST_PREFIX = 'inttest-';
-/** A dedikált spec-DB neve (a runner/local Mongo-n; NEM a `fdp-agent-memory` prod-DB). */
-const INTTEST_DB_NAME = 'fam_inttest';
-/** MongoDB elérhetőség-ellenőrzés timeout (ms). */
-const MONGO_CHECK_TIMEOUT_MS = 1500;
-/**
- * `FAM_IntegrationTest_Setup_Util` — az integrációs tesztek közös setup-utility-je (a
- * `ccap-revisioned` `IntegrationTest_Setup_Util` mintára). MongoDB-elérhetőség (TCP-probe a
- * `MONGO_URL`-re), egyedi `inttest-` ID-generálás, ÉS egy **lightweight DB-setup** (mongoose-connect +
- * `DyNTS_GlobalService.setServices`) — **NEM a teljes `new App()` boot** (az HTTP-listen + LVS-hydrate
- * postProcess-t indít, ami a spec-eket hangolja); csak a DataService-ek DB-rétegét állítja fel.
- */
-class FAM_IntegrationTest_Setup_Util {
-    /** Teszt issuer azonosító — minden integrációs-teszt DataService-híváshoz. */
-    static getIssuer() {
-        return INTTEST_ISSUER;
-    }
-    /**
-     * Egyedi, időbélyeges ID/tartalom a teszt-adatokhoz. Pattern: `inttest-{timestamp}-{random}` —
-     * párhuzamos futtatásban is egyedi, és a prefix jelzi a teszt-adatot.
-     */
-    static generateUniqueId() {
-        const timestamp = Date.now();
-        const random = Math.random().toString(36).substring(2, 8);
-        return `${INTTEST_PREFIX}${timestamp}-${random}`;
-    }
-    /**
-     * MongoDB elérhetőség TCP-socket-tel (a `MONGO_URL` host:port-ja; default
-     * `mongodb://127.0.0.1:27017`). Ha nem elérhető → `false`, és a tesztek `pending()`-re állnak
-     * (CI-ben Mongo nélkül is zöld a suite — pending, NEM failure).
-     */
-    static checkMongoAvailability() {
-        return new Promise((resolve) => {
-            const mongoUrl = process.env.MONGO_URL ?? 'mongodb://127.0.0.1:27017';
-            const urlNoProtocol = mongoUrl.replace(/^mongodb(\+srv)?:\/\//, '');
-            const hostPort = urlNoProtocol.split('/')[0];
-            const parts = hostPort.split(':');
-            const host = parts[0];
-            const port = parseInt(parts[1] ?? '27017', 10);
-            const socket = net.createConnection({ host: host, port: port });
-            let finished = false;
-            const finish = (available) => {
-                if (finished) {
-                    return;
-                }
-                finished = true;
-                try {
-                    socket.destroy();
-                }
-                catch { /* ignore */ }
-                resolve(available);
-            };
-            socket.on('connect', () => { finish(true); });
-            socket.on('error', () => { finish(false); });
-            setTimeout(() => { finish(false); }, MONGO_CHECK_TIMEOUT_MS);
-        });
-    }
-    /**
-     * Lightweight DB-setup (`beforeAll`-ban, ha a Mongo elérhető): mongoose-connect a dedikált
-     * `fam_inttest` DB-re + `DyNTS_GlobalService.setServices` a `FAM_DB_MODELS`-szel (SSOT). Így a
-     * `new FAM_*_DataService(...)` (eager getDBService) feloldódik — App-boot, HTTP-listen és
-     * embedding/LVS-postProcess NÉLKÜL (azok a teljes boot velejárói, itt nem kellenek).
-     */
-    static async setupDb() {
-        const mongoUrl = process.env.MONGO_URL ?? 'mongodb://127.0.0.1:27017';
-        const base = mongoUrl.replace(/^(mongodb(\+srv)?:\/\/[^/]+).*$/, '$1');
-        await mongoose_1.default.connect(`${base}/${INTTEST_DB_NAME}`);
-        await nts_dynamo_1.DyNTS_GlobalService.setServices({ dbModels: fam_db_models_const_1.FAM_DB_MODELS });
-    }
-    /** DB-teardown (`afterAll`-ban): a mongoose-kapcsolat zárása (best-effort). */
-    static async teardownDb() {
-        try {
-            if (mongoose_1.default.connection.readyState !== 0) {
-                await mongoose_1.default.disconnect();
-            }
-        }
-        catch {
-            // best-effort — a process-vég úgyis bontja.
-        }
-    }
-    /** Egy collection ürítése teszt KÖZÖTT (a teszt-izolációhoz). No-op ha a kapcsolat nem áll. */
-    static async clearCollection(collectionName) {
-        if (mongoose_1.default.connection.readyState !== 1) {
-            return;
-        }
-        try {
-            await mongoose_1.default.connection.collection(collectionName).deleteMany({});
-        }
-        catch {
-            // a collection lehet hogy még nem létezik — nem hiba.
-        }
-    }
-}
-exports.FAM_IntegrationTest_Setup_Util = FAM_IntegrationTest_Setup_Util;