hyacinth-ai 0.9.6

package/dist/local-model/index.js

@@ -0,0 +1,233 @@
+import { existsSync } from 'node:fs';
+import { join } from 'node:path';
+import { execSync } from 'node:child_process';
+import { ModelRegistry } from './model-registry.js';
+import { ModelBridge } from './model-bridge.js';
+/**
+ * LocalModelModule — 本地模型门面类。
+ *
+ * 对外暴露统一的本地模型管理 API，内部持有 ModelRegistry 和 ModelBridge 实例，
+ * 所有方法 delegate 到内部类。
+ */
+export class LocalModelModule {
+    static instance = null;
+    registry;
+    bridge;
+    initialized = false;
+    static getInstance() {
+        if (!LocalModelModule.instance) {
+            LocalModelModule.instance = new LocalModelModule();
+        }
+        return LocalModelModule.instance;
+    }
+    constructor() {
+        this.registry = ModelRegistry.getInstance();
+        this.bridge = new ModelBridge();
+    }
+    // ── 初始化 ──
+    /**
+     * 初始化注册表，检测 llama-server 路径。
+     *
+     * @param projectRoot - 项目根目录
+     */
+    initialize(projectRoot) {
+        // 确保单例指向正确的项目根目录
+        this.registry = ModelRegistry.getInstance(projectRoot);
+        this.registry.init();
+        // 重新创建 bridge 以使用正确的 llama-server 路径
+        this.bridge = new ModelBridge(this.resolveLlamaServerPath(projectRoot));
+        this.initialized = true;
+    }
+    // ── 生命周期 ──
+    /**
+     * 启动指定模型。
+     *
+     * @param modelName - 模型名称
+     * @returns 运行中的模型信息，若模型不存在或启动失败则返回 null
+     */
+    async start(modelName) {
+        return this.bridge.start(modelName);
+    }
+    /**
+     * 停止指定模型。
+     *
+     * @param modelName - 模型名称
+     */
+    async stop(modelName) {
+        await this.bridge.stop(modelName);
+    }
+    /**
+     * 切换到指定模型（停止当前活跃模型，启动新模型）。
+     *
+     * @param modelName - 目标模型名称
+     * @returns 运行中的模型信息，若目标模型不存在则返回 null
+     */
+    async switch(modelName) {
+        return this.bridge.switch(modelName);
+    }
+    // ── 查询 ──
+    /**
+     * 列出所有已注册的模型。
+     *
+     * @returns 模型条目数组
+     */
+    list() {
+        return this.registry.list();
+    }
+    /**
+     * 获取当前活跃（最后启动/切换）的模型名称。
+     *
+     * @returns 活跃模型名称，若无则返回 null
+     */
+    getActive() {
+        return this.bridge.getActiveModel();
+    }
+    // ── 配置 ──
+    /**
+     * 调整模型参数（更新注册表中的配置）。
+     *
+     * @param modelName - 模型名称
+     * @param options - 要更新的选项（port, ctxSize, nGpuLayers 等）
+     * @returns 更新后的模型条目，若模型不存在则返回 undefined
+     */
+    configure(modelName, options) {
+        const existing = this.registry.find(modelName);
+        if (!existing)
+            return undefined;
+        return this.registry.register({
+            name: modelName,
+            modelFile: options.modelFile ?? existing.modelFile,
+            backend: options.backend ?? existing.backend,
+            port: options.port ?? existing.port,
+            host: options.host ?? existing.host,
+            ctxSize: options.ctxSize ?? existing.ctxSize,
+            nGpuLayers: options.nGpuLayers ?? existing.nGpuLayers,
+        });
+    }
+    // ── llama.cpp 检测 ──
+    /**
+     * 检测 llama.cpp 是否已安装（llama-server 二进制是否可用）。
+     *
+     * @returns 若找到则返回 llama-server 的路径，否则返回 null
+     */
+    checkLlamacpp() {
+        return this.resolveLlamaServerPath(process.cwd());
+    }
+    /** 检测 Ollama 是否已安装 */
+    checkOllama() {
+        const candidates = [
+            join(process.cwd(), 'libs', 'ollama', 'ollama.exe'),
+            join(process.cwd(), 'libs', 'ollama', 'ollama'),
+            'ollama',
+            'ollama.exe',
+        ];
+        for (const c of candidates) {
+            try {
+                const result = execSync(`"${c}" --version`, { encoding: 'utf-8', stdio: ['ignore', 'pipe', 'ignore'] });
+                if (result.trim())
+                    return c;
+            }
+            catch { /* continue */ }
+        }
+        return null;
+    }
+    /** 查询 Ollama 已安装的模型列表，返回可注册的模型名 */
+    async listOllamaModels() {
+        const ollamaPath = this.checkOllama();
+        if (!ollamaPath)
+            return [];
+        try {
+            const output = execSync(`"${ollamaPath}" list`, { encoding: 'utf-8', stdio: ['ignore', 'pipe', 'ignore'] });
+            const lines = output.trim().split('\n').slice(1); // skip header
+            return lines.map(line => {
+                const name = line.split(/\s+/)[0] ?? line.trim();
+                return { name, modelFile: name };
+            }).filter(m => m.name);
+        }
+        catch {
+            return [];
+        }
+    }
+    // ── 便捷方法 ──
+    /** 获取底层 ModelRegistry 实例 */
+    getRegistry() {
+        return this.registry;
+    }
+    /** 获取底层 ModelBridge 实例 */
+    getBridge() {
+        return this.bridge;
+    }
+    /** 是否已初始化 */
+    isInitialized() {
+        return this.initialized;
+    }
+    /** 注册新模型 */
+    registerModel(options) {
+        return this.registry.register(options);
+    }
+    /** 注销模型 */
+    unregisterModel(name) {
+        return this.registry.unregister(name);
+    }
+    /**
+     * 扫描 models/ 目录中尚未注册的 GGUF 文件。
+     *
+     * @returns 未注册的模型名称和文件名列表
+     */
+    async scanUnregistered() {
+        // llama.cpp: 扫描 models/ 目录中的 .gguf 文件
+        const allFiles = this.registry.scanDirectory();
+        const registered = new Set(this.registry.list().map((e) => e.modelFile));
+        const ggufResults = allFiles
+            .filter((f) => !registered.has(f))
+            .map((f) => {
+            const lastDot = f.lastIndexOf('.');
+            const name = lastDot >= 0 ? f.slice(0, lastDot) : f;
+            return { name, modelFile: f, backend: 'llama.cpp' };
+        });
+        // Ollama: 查询 ollama list 获取已安装模型
+        const ollamaModels = await this.listOllamaModels();
+        const ollamaResults = ollamaModels
+            .filter((m) => !registered.has(m.modelFile))
+            .map((m) => ({ ...m, backend: 'ollama' }));
+        return [...ggufResults, ...ollamaResults];
+    }
+    /**
+     * 返回所有本地模型的可读状态摘要。
+     */
+    status() {
+        const all = this.bridge.getAllStatus();
+        if (all.length === 0) {
+            return 'No local models registered.';
+        }
+        const lines = all.map((s) => {
+            const pidStr = s.pid !== null ? ` (PID ${s.pid})` : '';
+            return `  ${s.name}: ${s.state}${pidStr}`;
+        });
+        return `Local Models:\n${lines.join('\n')}`;
+    }
+    /**
+     * 注销指定模型并返回操作结果描述。
+     */
+    unregister(name) {
+        const ok = this.bridge.unregisterModel(name);
+        return ok ? `Model ${name} unregistered.` : `Model ${name} not found.`;
+    }
+    // ── 内部 ──
+    /**
+     * 按优先级查找 llama-server 二进制路径。
+     */
+    resolveLlamaServerPath(projectRoot) {
+        const candidates = [
+            join(projectRoot, 'libs', 'llama.cpp', 'build', 'bin', 'Release', 'llama-server.exe'),
+            join(projectRoot, 'libs', 'llama.cpp', 'build', 'bin', 'llama-server'),
+            join(projectRoot, 'libs', 'llama.cpp', 'llama-server.exe'),
+            join(projectRoot, 'libs', 'llama.cpp', 'llama-server'),
+            'llama-server',
+            'llama-server.exe',
+        ];
+        const found = candidates.find((c) => existsSync(c));
+        return found ?? 'llama-server';
+    }
+}
+//# sourceMappingURL=index.js.map

package/dist/local-model/llamacpp-provider.d.ts

@@ -0,0 +1,95 @@
+import type { Message, StreamEvent, ProviderType, ToolDefinition } from '../types.js';
+import type { Provider, ProviderCapabilities } from '../provider/interface.js';
+import type { LlamaCppOptions } from './types.js';
+export type { LlamaCppOptions };
+/**
+ * LlamaCppProvider — 通过原生 fetch + SSE 调用 llama-server 的 OpenAI 兼容 API。
+ *
+ * 与 LocalProvider 的区别：
+ *  - 不依赖 openai npm 包，使用原生 fetch
+ *  - 提供健康检查（checkHealth）
+ *  - 提供 Adapter（LoRA）管理
+ *  - 暴露 getCapabilities()
+ *  - ProviderType 为 'llamacpp'
+ */
+export declare class LlamaCppProvider implements Provider {
+    private endpoint;
+    private model;
+    private maxTokens;
+    private maxContextTokens;
+    private loadedAdapters;
+    constructor(opts?: LlamaCppOptions);
+    getProviderType(): ProviderType;
+    getModel(): string;
+    getCapabilities(): ProviderCapabilities;
+    /**
+     * 检查 llama-server 是否正常运行。
+     *
+     * 发送 GET {endpoint}/health，解析响应中的 status / model 字段。
+     * 构造函数中不自动调用，由调用方按需使用。
+     *
+     * @returns { ok: boolean, model?: string }
+     */
+    checkHealth(): Promise<{
+        ok: boolean;
+        model?: string;
+    }>;
+    /**
+     * 通过 llama-server 的 /v1/lora 端点动态加载 LoRA Adapter。
+     *
+     * @param name - Adapter 标识名称
+     * @param path - Adapter 权重文件路径
+     */
+    loadAdapter(name: string, path: string): Promise<void>;
+    /**
+     * 卸载指定的 Adapter（从内部 Map 移除）。
+     *
+     * @param name - Adapter 名称
+     */
+    unloadAdapter(name: string): Promise<void>;
+    /**
+     * 列出当前已加载的 Adapter 名称。
+     */
+    listAdapters(): Promise<string[]>;
+    createStream(messages: Message[], tools?: ToolDefinition[]): AsyncIterable<StreamEvent>;
+    /**
+     * 将内部 Message[] 转换为 OpenAI 兼容格式的普通对象数组。
+     *
+     * 转换规则：
+     * - system / user 角色 → { role, content }（文本拼接）
+     * - user 消息中的 tool_result → 独立的 { role: 'tool', tool_call_id, content } 消息
+     * - assistant 角色 → { role: 'assistant', content, tool_calls }
+     * - cache_control（ephemeral）保留在消息上
+     */
+    private convertMessages;
+    /**
+     * 将 ToolDefinition[] 转换为 OpenAI function calling 格式。
+     *
+     * { name, description, input_schema }
+     *   → { type: 'function', function: { name, description, parameters: input_schema } }
+     */
+    private convertTools;
+}
+/**
+ * 创建 LlamaCppProvider 实例。
+ *
+ * @param opts - 可选配置
+ * @returns LlamaCppProvider
+ *
+ * @example
+ * ```ts
+ * const provider = createLlamaCppProvider({
+ *   endpoint: 'http://127.0.0.1:8080',
+ *   model: 'qwen2.5-7b-q4_k_m',
+ * });
+ *
+ * const health = await provider.checkHealth();
+ * if (!health.ok) throw new Error('llama-server not available');
+ *
+ * for await (const event of provider.createStream(messages)) {
+ *   // handle event
+ * }
+ * ```
+ */
+export declare function createLlamaCppProvider(opts?: LlamaCppOptions): LlamaCppProvider;
+//# sourceMappingURL=llamacpp-provider.d.ts.map