mcp-local-rag 0.1.5 → 0.2.0

package/dist/vectordb.js

@@ -1,243 +0,0 @@
-"use strict";
-// src/vectordb.ts - VectorStore implementation with LanceDB integration
-// Design Doc: rag-mcp-server-design.md (v1.1)
-// ADR-0001: LanceDB選定とベクトルストレージ戦略
-Object.defineProperty(exports, "__esModule", { value: true });
-exports.VectorStore = exports.DatabaseError = void 0;
-const lancedb_1 = require("@lancedb/lancedb");
-// ============================================
-// エラークラス
-// ============================================
-/**
- * データベースエラー
- */
-class DatabaseError extends Error {
-    constructor(message, cause) {
-        super(message);
-        this.cause = cause;
-        this.name = 'DatabaseError';
-    }
-}
-exports.DatabaseError = DatabaseError;
-// ============================================
-// VectorStoreクラス
-// ============================================
-/**
- * LanceDBを活用したベクトルストレージクラス
- *
- * 責務:
- * - LanceDB操作（挿入、削除、検索）
- * - トランザクション処理（削除→挿入の原子性）
- * - メタデータ管理
- */
-class VectorStore {
-    constructor(config) {
-        this.db = null;
-        this.table = null;
-        this.config = config;
-    }
-    /**
-     * LanceDBを初期化し、テーブルを作成する
-     */
-    async initialize() {
-        try {
-            // LanceDB接続
-            this.db = await (0, lancedb_1.connect)(this.config.dbPath);
-            // テーブルの存在確認と作成
-            const tableNames = await this.db.tableNames();
-            if (tableNames.includes(this.config.tableName)) {
-                // 既存テーブルを開く
-                this.table = await this.db.openTable(this.config.tableName);
-                console.log(`VectorStore: 既存テーブル "${this.config.tableName}" を開きました`);
-            }
-            else {
-                // 新規テーブルを作成（スキーマは最初のデータ挿入時に自動定義）
-                console.log(`VectorStore: テーブル "${this.config.tableName}" は初回データ挿入時に作成されます`);
-            }
-            console.log(`VectorStore initialized: ${this.config.dbPath}`);
-        }
-        catch (error) {
-            throw new DatabaseError('Failed to initialize VectorStore', error);
-        }
-    }
-    /**
-     * 指定されたファイルパスのすべてのチャンクを削除する
-     *
-     * @param filePath - ファイルパス（絶対パス）
-     */
-    async deleteChunks(filePath) {
-        if (!this.table) {
-            // テーブルが存在しない場合は削除対象もないため、正常終了
-            console.log('VectorStore: テーブルが存在しないため、削除をスキップします');
-            return;
-        }
-        try {
-            // LanceDBのdelete APIを使用してfilePathに一致するレコードを削除
-            // SQL injectionを防ぐため、シングルクォートをエスケープ
-            const escapedFilePath = filePath.replace(/'/g, "''");
-            // LanceDBのdeleteメソッドは、削除対象が存在しない場合でもエラーを投げないため、
-            // 直接deleteを呼び出す
-            // 注: フィールド名は大文字小文字を区別するため、ダブルクォートで囲む
-            await this.table.delete(`"filePath" = '${escapedFilePath}'`);
-            console.log(`VectorStore: ファイル "${filePath}" のチャンクを削除しました`);
-        }
-        catch (error) {
-            // エラーが発生した場合、警告ログを出力
-            console.warn(`VectorStore: ファイル "${filePath}" の削除中にエラーが発生しました:`, error);
-            // 削除対象が存在しない場合やテーブルが空の場合はエラーとしない
-            // それ以外の場合は例外をスロー
-            const errorMessage = error.message.toLowerCase();
-            if (!errorMessage.includes('not found') &&
-                !errorMessage.includes('does not exist') &&
-                !errorMessage.includes('no matching')) {
-                throw new DatabaseError(`Failed to delete chunks for file: ${filePath}`, error);
-            }
-        }
-    }
-    /**
-     * ベクトルチャンクをバッチ挿入する
-     *
-     * @param chunks - ベクトルチャンクの配列
-     */
-    async insertChunks(chunks) {
-        if (chunks.length === 0) {
-            return;
-        }
-        try {
-            if (!this.table) {
-                // 初回挿入時にテーブルを作成
-                if (!this.db) {
-                    throw new DatabaseError('VectorStore is not initialized. Call initialize() first.');
-                }
-                // LanceDBのcreateTable APIは、データを Record<string, unknown>[] として受け取る
-                const records = chunks.map((chunk) => chunk);
-                this.table = await this.db.createTable(this.config.tableName, records);
-                console.log(`VectorStore: テーブル "${this.config.tableName}" を作成しました`);
-            }
-            else {
-                // 既存テーブルにデータを追加
-                const records = chunks.map((chunk) => chunk);
-                await this.table.add(records);
-            }
-            console.log(`VectorStore: ${chunks.length}件のチャンクを挿入しました`);
-        }
-        catch (error) {
-            throw new DatabaseError('Failed to insert chunks', error);
-        }
-    }
-    /**
-     * ベクトル検索を実行する
-     *
-     * @param queryVector - クエリベクトル（384次元）
-     * @param limit - 取得件数（デフォルト5）
-     * @returns 検索結果の配列（スコア順降順）
-     */
-    async search(queryVector, limit = 5) {
-        if (!this.table) {
-            // テーブルが存在しない場合は空配列を返す
-            console.log('VectorStore: テーブルが存在しないため、空の結果を返します');
-            return [];
-        }
-        if (queryVector.length !== 384) {
-            throw new DatabaseError(`Invalid query vector dimension: expected 384, got ${queryVector.length}`);
-        }
-        if (limit < 1 || limit > 20) {
-            throw new DatabaseError(`Invalid limit: expected 1-20, got ${limit}`);
-        }
-        try {
-            // LanceDBのベクトル検索APIを使用
-            const results = await this.table.vectorSearch(queryVector).limit(limit).toArray();
-            // SearchResult形式に変換
-            return results.map((result) => ({
-                filePath: result.filePath,
-                chunkIndex: result.chunkIndex,
-                text: result.text,
-                score: result._distance, // LanceDBは距離スコアを返す（0に近いほど類似）
-                metadata: result.metadata,
-            }));
-        }
-        catch (error) {
-            throw new DatabaseError('Failed to search vectors', error);
-        }
-    }
-    /**
-     * 取り込み済みファイル一覧を取得する
-     *
-     * @returns ファイル情報の配列
-     */
-    async listFiles() {
-        if (!this.table) {
-            return []; // テーブルが存在しない場合は空配列を返す
-        }
-        try {
-            // すべてのレコードを取得
-            const allRecords = await this.table.query().toArray();
-            // ファイルパスごとにグループ化
-            const fileMap = new Map();
-            for (const record of allRecords) {
-                const filePath = record.filePath;
-                const timestamp = record.timestamp;
-                if (fileMap.has(filePath)) {
-                    const fileInfo = fileMap.get(filePath);
-                    if (fileInfo) {
-                        fileInfo.chunkCount += 1;
-                        // 最新のタイムスタンプを保持
-                        if (timestamp > fileInfo.timestamp) {
-                            fileInfo.timestamp = timestamp;
-                        }
-                    }
-                }
-                else {
-                    fileMap.set(filePath, { chunkCount: 1, timestamp });
-                }
-            }
-            // Map をオブジェクトの配列に変換
-            return Array.from(fileMap.entries()).map(([filePath, info]) => ({
-                filePath,
-                chunkCount: info.chunkCount,
-                timestamp: info.timestamp,
-            }));
-        }
-        catch (error) {
-            throw new DatabaseError('Failed to list files', error);
-        }
-    }
-    /**
-     * システムステータスを取得する
-     *
-     * @returns システムステータス情報
-     */
-    async getStatus() {
-        if (!this.table) {
-            return {
-                documentCount: 0,
-                chunkCount: 0,
-                memoryUsage: 0,
-                uptime: process.uptime(),
-            };
-        }
-        try {
-            // すべてのレコードを取得
-            const allRecords = await this.table.query().toArray();
-            const chunkCount = allRecords.length;
-            // 一意なファイルパスの数を数える
-            const uniqueFilePaths = new Set(allRecords.map((record) => record.filePath));
-            const documentCount = uniqueFilePaths.size;
-            // メモリ使用量を取得（MB単位）
-            const memoryUsage = process.memoryUsage().heapUsed / 1024 / 1024;
-            // 稼働時間を取得（秒単位）
-            const uptime = process.uptime();
-            return {
-                documentCount,
-                chunkCount,
-                memoryUsage,
-                uptime,
-            };
-        }
-        catch (error) {
-            throw new DatabaseError('Failed to get status', error);
-        }
-    }
-}
-exports.VectorStore = VectorStore;
-//# sourceMappingURL=vectordb.js.map

package/dist/vectordb.js.map

@@ -1 +0,0 @@
-{"version":3,"file":"vectordb.js","sourceRoot":"","sources":["../src/vectordb.ts"],"names":[],"mappings":";AAAA,wEAAwE;AACxE,8CAA8C;AAC9C,kCAAkC;;;AAElC,8CAAuE;AAgEvE,+CAA+C;AAC/C,SAAS;AACT,+CAA+C;AAE/C;;GAEG;AACH,MAAa,aAAc,SAAQ,KAAK;IACtC,YACE,OAAe,EACC,KAAa;QAE7B,KAAK,CAAC,OAAO,CAAC,CAAA;QAFE,UAAK,GAAL,KAAK,CAAQ;QAG7B,IAAI,CAAC,IAAI,GAAG,eAAe,CAAA;IAC7B,CAAC;CACF;AARD,sCAQC;AAED,+CAA+C;AAC/C,iBAAiB;AACjB,+CAA+C;AAE/C;;;;;;;GAOG;AACH,MAAa,WAAW;IAKtB,YAAY,MAAyB;QAJ7B,OAAE,GAAsB,IAAI,CAAA;QAC5B,UAAK,GAAiB,IAAI,CAAA;QAIhC,IAAI,CAAC,MAAM,GAAG,MAAM,CAAA;IACtB,CAAC;IAED;;OAEG;IACH,KAAK,CAAC,UAAU;QACd,IAAI,CAAC;YACH,YAAY;YACZ,IAAI,CAAC,EAAE,GAAG,MAAM,IAAA,iBAAO,EAAC,IAAI,CAAC,MAAM,CAAC,MAAM,CAAC,CAAA;YAE3C,eAAe;YACf,MAAM,UAAU,GAAG,MAAM,IAAI,CAAC,EAAE,CAAC,UAAU,EAAE,CAAA;YAC7C,IAAI,UAAU,CAAC,QAAQ,CAAC,IAAI,CAAC,MAAM,CAAC,SAAS,CAAC,EAAE,CAAC;gBAC/C,YAAY;gBACZ,IAAI,CAAC,KAAK,GAAG,MAAM,IAAI,CAAC,EAAE,CAAC,SAAS,CAAC,IAAI,CAAC,MAAM,CAAC,SAAS,CAAC,CAAA;gBAC3D,OAAO,CAAC,GAAG,CAAC,wBAAwB,IAAI,CAAC,MAAM,CAAC,SAAS,UAAU,CAAC,CAAA;YACtE,CAAC;iBAAM,CAAC;gBACN,iCAAiC;gBACjC,OAAO,CAAC,GAAG,CACT,sBAAsB,IAAI,CAAC,MAAM,CAAC,SAAS,oBAAoB,CAChE,CAAA;YACH,CAAC;YAED,OAAO,CAAC,GAAG,CAAC,4BAA4B,IAAI,CAAC,MAAM,CAAC,MAAM,EAAE,CAAC,CAAA;QAC/D,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,MAAM,IAAI,aAAa,CAAC,kCAAkC,EAAE,KAAc,CAAC,CAAA;QAC7E,CAAC;IACH,CAAC;IAED;;;;OAIG;IACH,KAAK,CAAC,YAAY,CAAC,QAAgB;QACjC,IAAI,CAAC,IAAI,CAAC,KAAK,EAAE,CAAC;YAChB,8BAA8B;YAC9B,OAAO,CAAC,GAAG,CAAC,sCAAsC,CAAC,CAAA;YACnD,OAAM;QACR,CAAC;QAED,IAAI,CAAC;YACH,8CAA8C;YAC9C,oCAAoC;YACpC,MAAM,eAAe,GAAG,QAAQ,CAAC,OAAO,CAAC,IAAI,EAAE,IAAI,CAAC,CAAA;YAEpD,gDAAgD;YAChD,gBAAgB;YAChB,qCAAqC;YACrC,MAAM,IAAI,CAAC,KAAK,CAAC,MAAM,CAAC,iBAAiB,eAAe,GAAG,CAAC,CAAA;YAC5D,OAAO,CAAC,GAAG,CAAC,sBAAsB,QAAQ,gBAAgB,CAAC,CAAA;QAC7D,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,qBAAqB;YACrB,OAAO,CAAC,IAAI,CAAC,sBAAsB,QAAQ,oBAAoB,EAAE,KAAK,CAAC,CAAA;YACvE,iCAAiC;YACjC,iBAAiB;YACjB,MAAM,YAAY,GAAI,KAAe,CAAC,OAAO,CAAC,WAAW,EAAE,CAAA;YAC3D,IACE,CAAC,YAAY,CAAC,QAAQ,CAAC,WAAW,CAAC;gBACnC,CAAC,YAAY,CAAC,QAAQ,CAAC,gBAAgB,CAAC;gBACxC,CAAC,YAAY,CAAC,QAAQ,CAAC,aAAa,CAAC,EACrC,CAAC;gBACD,MAAM,IAAI,aAAa,CAAC,qCAAqC,QAAQ,EAAE,EAAE,KAAc,CAAC,CAAA;YAC1F,CAAC;QACH,CAAC;IACH,CAAC;IAED;;;;OAIG;IACH,KAAK,CAAC,YAAY,CAAC,MAAqB;QACtC,IAAI,MAAM,CAAC,MAAM,KAAK,CAAC,EAAE,CAAC;YACxB,OAAM;QACR,CAAC;QAED,IAAI,CAAC;YACH,IAAI,CAAC,IAAI,CAAC,KAAK,EAAE,CAAC;gBAChB,gBAAgB;gBAChB,IAAI,CAAC,IAAI,CAAC,EAAE,EAAE,CAAC;oBACb,MAAM,IAAI,aAAa,CAAC,0DAA0D,CAAC,CAAA;gBACrF,CAAC;gBACD,kEAAkE;gBAClE,MAAM,OAAO,GAAG,MAAM,CAAC,GAAG,CAAC,CAAC,KAAK,EAAE,EAAE,CAAC,KAA2C,CAAC,CAAA;gBAClF,IAAI,CAAC,KAAK,GAAG,MAAM,IAAI,CAAC,EAAE,CAAC,WAAW,CAAC,IAAI,CAAC,MAAM,CAAC,SAAS,EAAE,OAAO,CAAC,CAAA;gBACtE,OAAO,CAAC,GAAG,CAAC,sBAAsB,IAAI,CAAC,MAAM,CAAC,SAAS,WAAW,CAAC,CAAA;YACrE,CAAC;iBAAM,CAAC;gBACN,gBAAgB;gBAChB,MAAM,OAAO,GAAG,MAAM,CAAC,GAAG,CAAC,CAAC,KAAK,EAAE,EAAE,CAAC,KAA2C,CAAC,CAAA;gBAClF,MAAM,IAAI,CAAC,KAAK,CAAC,GAAG,CAAC,OAAO,CAAC,CAAA;YAC/B,CAAC;YAED,OAAO,CAAC,GAAG,CAAC,gBAAgB,MAAM,CAAC,MAAM,eAAe,CAAC,CAAA;QAC3D,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,MAAM,IAAI,aAAa,CAAC,yBAAyB,EAAE,KAAc,CAAC,CAAA;QACpE,CAAC;IACH,CAAC;IAED;;;;;;OAMG;IACH,KAAK,CAAC,MAAM,CAAC,WAAqB,EAAE,KAAK,GAAG,CAAC;QAC3C,IAAI,CAAC,IAAI,CAAC,KAAK,EAAE,CAAC;YAChB,sBAAsB;YACtB,OAAO,CAAC,GAAG,CAAC,qCAAqC,CAAC,CAAA;YAClD,OAAO,EAAE,CAAA;QACX,CAAC;QAED,IAAI,WAAW,CAAC,MAAM,KAAK,GAAG,EAAE,CAAC;YAC/B,MAAM,IAAI,aAAa,CACrB,qDAAqD,WAAW,CAAC,MAAM,EAAE,CAC1E,CAAA;QACH,CAAC;QAED,IAAI,KAAK,GAAG,CAAC,IAAI,KAAK,GAAG,EAAE,EAAE,CAAC;YAC5B,MAAM,IAAI,aAAa,CAAC,qCAAqC,KAAK,EAAE,CAAC,CAAA;QACvE,CAAC;QAED,IAAI,CAAC;YACH,uBAAuB;YACvB,MAAM,OAAO,GAAG,MAAM,IAAI,CAAC,KAAK,CAAC,YAAY,CAAC,WAAW,CAAC,CAAC,KAAK,CAAC,KAAK,CAAC,CAAC,OAAO,EAAE,CAAA;YAEjF,oBAAoB;YACpB,OAAO,OAAO,CAAC,GAAG,CAAC,CAAC,MAAM,EAAE,EAAE,CAAC,CAAC;gBAC9B,QAAQ,EAAE,MAAM,CAAC,QAAkB;gBACnC,UAAU,EAAE,MAAM,CAAC,UAAoB;gBACvC,IAAI,EAAE,MAAM,CAAC,IAAc;gBAC3B,KAAK,EAAE,MAAM,CAAC,SAAmB,EAAE,6BAA6B;gBAChE,QAAQ,EAAE,MAAM,CAAC,QAA4B;aAC9C,CAAC,CAAC,CAAA;QACL,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,MAAM,IAAI,aAAa,CAAC,0BAA0B,EAAE,KAAc,CAAC,CAAA;QACrE,CAAC;IACH,CAAC;IAED;;;;OAIG;IACH,KAAK,CAAC,SAAS;QACb,IAAI,CAAC,IAAI,CAAC,KAAK,EAAE,CAAC;YAChB,OAAO,EAAE,CAAA,CAAC,sBAAsB;QAClC,CAAC;QAED,IAAI,CAAC;YACH,cAAc;YACd,MAAM,UAAU,GAAG,MAAM,IAAI,CAAC,KAAK,CAAC,KAAK,EAAE,CAAC,OAAO,EAAE,CAAA;YAErD,iBAAiB;YACjB,MAAM,OAAO,GAAG,IAAI,GAAG,EAAqD,CAAA;YAE5E,KAAK,MAAM,MAAM,IAAI,UAAU,EAAE,CAAC;gBAChC,MAAM,QAAQ,GAAG,MAAM,CAAC,QAAkB,CAAA;gBAC1C,MAAM,SAAS,GAAG,MAAM,CAAC,SAAmB,CAAA;gBAE5C,IAAI,OAAO,CAAC,GAAG,CAAC,QAAQ,CAAC,EAAE,CAAC;oBAC1B,MAAM,QAAQ,GAAG,OAAO,CAAC,GAAG,CAAC,QAAQ,CAAC,CAAA;oBACtC,IAAI,QAAQ,EAAE,CAAC;wBACb,QAAQ,CAAC,UAAU,IAAI,CAAC,CAAA;wBACxB,gBAAgB;wBAChB,IAAI,SAAS,GAAG,QAAQ,CAAC,SAAS,EAAE,CAAC;4BACnC,QAAQ,CAAC,SAAS,GAAG,SAAS,CAAA;wBAChC,CAAC;oBACH,CAAC;gBACH,CAAC;qBAAM,CAAC;oBACN,OAAO,CAAC,GAAG,CAAC,QAAQ,EAAE,EAAE,UAAU,EAAE,CAAC,EAAE,SAAS,EAAE,CAAC,CAAA;gBACrD,CAAC;YACH,CAAC;YAED,oBAAoB;YACpB,OAAO,KAAK,CAAC,IAAI,CAAC,OAAO,CAAC,OAAO,EAAE,CAAC,CAAC,GAAG,CAAC,CAAC,CAAC,QAAQ,EAAE,IAAI,CAAC,EAAE,EAAE,CAAC,CAAC;gBAC9D,QAAQ;gBACR,UAAU,EAAE,IAAI,CAAC,UAAU;gBAC3B,SAAS,EAAE,IAAI,CAAC,SAAS;aAC1B,CAAC,CAAC,CAAA;QACL,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,MAAM,IAAI,aAAa,CAAC,sBAAsB,EAAE,KAAc,CAAC,CAAA;QACjE,CAAC;IACH,CAAC;IAED;;;;OAIG;IACH,KAAK,CAAC,SAAS;QAMb,IAAI,CAAC,IAAI,CAAC,KAAK,EAAE,CAAC;YAChB,OAAO;gBACL,aAAa,EAAE,CAAC;gBAChB,UAAU,EAAE,CAAC;gBACb,WAAW,EAAE,CAAC;gBACd,MAAM,EAAE,OAAO,CAAC,MAAM,EAAE;aACzB,CAAA;QACH,CAAC;QAED,IAAI,CAAC;YACH,cAAc;YACd,MAAM,UAAU,GAAG,MAAM,IAAI,CAAC,KAAK,CAAC,KAAK,EAAE,CAAC,OAAO,EAAE,CAAA;YACrD,MAAM,UAAU,GAAG,UAAU,CAAC,MAAM,CAAA;YAEpC,kBAAkB;YAClB,MAAM,eAAe,GAAG,IAAI,GAAG,CAAC,UAAU,CAAC,GAAG,CAAC,CAAC,MAAM,EAAE,EAAE,CAAC,MAAM,CAAC,QAAkB,CAAC,CAAC,CAAA;YACtF,MAAM,aAAa,GAAG,eAAe,CAAC,IAAI,CAAA;YAE1C,kBAAkB;YAClB,MAAM,WAAW,GAAG,OAAO,CAAC,WAAW,EAAE,CAAC,QAAQ,GAAG,IAAI,GAAG,IAAI,CAAA;YAEhE,eAAe;YACf,MAAM,MAAM,GAAG,OAAO,CAAC,MAAM,EAAE,CAAA;YAE/B,OAAO;gBACL,aAAa;gBACb,UAAU;gBACV,WAAW;gBACX,MAAM;aACP,CAAA;QACH,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,MAAM,IAAI,aAAa,CAAC,sBAAsB,EAAE,KAAc,CAAC,CAAA;QACjE,CAAC;IACH,CAAC;CACF;AA9OD,kCA8OC"}