@zooique/memora 2.0.0 → 3.0.0

package/dist/eval/evalRunner.js

@@ -1,141 +0,0 @@
-/**
- * EvalRunner — Agent 行为评估执行器
- *
- * 职责：通过 createAgent 工厂构造测试条件 → 执行场景 →
- *   收集 AgentChunk → 评估结果 → 汇总报告
- *
- * 设计要点：
- *   - 每个场景创建独立 Agent（通过工厂函数），避免状态污染
- *   - 场景执行后 close()，避免资源泄漏
- *   - 错误隔离：单个场景失败不中断其他场景
- *   - 超时保护：scenarioTimeoutMs 防止卡死（Promise.race + AbortController）
- *
- * 内核零依赖约束：仅使用 memora 内部模块，不引入新依赖。
- */
-import { collectAgentChunks, evaluateResult } from './evalTypes.js';
-/** 默认场景超时_ms */
-const DEFAULT_SCENARIO_TIMEOUT_MS = 10_000;
-/**
- * Agent 行为评估执行器
- *
- * @example
- * ```ts
- * const runner = new EvalRunner({
- *   createAgent: () => new Agent({ projectPath, provider, configDir, dataDir, ... }),
- *   scenarioTimeoutMs: 15000,
- * });
- * const summary = await runner.runScenarios(EVAL_SCENARIOS);
- * console.log(`通过 ${summary.passed}/${summary.total}，耗时 ${summary.durationMs}ms`);
- * ```
- */
-export class EvalRunner {
-    /** Agent 工厂函数 */
-    #createAgent;
-    /** 单场景超时_ms */
-    #scenarioTimeoutMs;
-    constructor(opts) {
-        this.#createAgent = opts.createAgent;
-        this.#scenarioTimeoutMs = opts.scenarioTimeoutMs ?? DEFAULT_SCENARIO_TIMEOUT_MS;
-    }
-    /**
-     * 执行单个评估场景
-     *
-     * 流程：创建 Agent → init() → chat(input) → collectAgentChunks → evaluateResult
-     *
-     * 错误隔离：任何异常（超时、Agent 抛错）都返回 passed=false 的 EvalResult，
-     * 不向上抛出，确保 runScenarios 批量执行时单个失败不中断其他场景。
-     *
-     * Agent 生命周期：每个场景执行后 close()，避免资源泄漏（try/finally 保证）。
-     *
-     * @param scenario 评估场景定义
-     * @returns 评估结果（始终返回，不抛异常）
-     */
-    async runScenario(scenario) {
-        const agent = this.#createAgent();
-        try {
-            await agent.init();
-            const collected = await this.#runWithTimeout(agent, scenario.input);
-            return evaluateResult(scenario.name, collected, scenario.expect);
-        }
-        catch (err) {
-            // 错误隔离：返回 passed=false 的 EvalResult，不向上抛出
-            return {
-                name: scenario.name,
-                passed: false,
-                collected: {
-                    toolsCalled: [],
-                    recallCount: 0,
-                    guardrailBlocked: false,
-                    done: false,
-                },
-                failures: [
-                    `场景执行异常：${err instanceof Error ? err.message : String(err)}`,
-                ],
-            };
-        }
-        finally {
-            await agent.close();
-        }
-    }
-    /**
-     * 批量执行评估场景并汇总报告
-     *
-     * 顺序执行（非并行），每个场景创建独立 Agent，避免状态污染。
-     * 错误隔离：单个场景失败不中断其他场景（由 runScenario 保证）。
-     *
-     * @param scenarios 场景列表
-     * @returns 汇总报告
-     */
-    async runScenarios(scenarios) {
-        const start = Date.now();
-        const results = [];
-        for (const scenario of scenarios) {
-            const result = await this.runScenario(scenario);
-            results.push(result);
-        }
-        const passed = results.filter((r) => r.passed).length;
-        const failed = results.length - passed;
-        return {
-            results,
-            passed,
-            failed,
-            total: results.length,
-            durationMs: Date.now() - start,
-            failedScenarios: results.filter((r) => !r.passed).map((r) => r.name),
-        };
-    }
-    /**
-     * 带超时执行单个场景的 chat
-     *
-     * 使用 Promise.race 实现超时：
-     *   - 正常完成 → 返回 collected 行为数据
-     *   - 超时 → reject Error（被 runScenario 的 catch 捕获）
-     *
-     * 超时后通过 AbortController.abort() 中断 agent.chat，
-     * 避免后台 generator 无限挂起。agent.close() 在 runScenario 的 finally 中调用，
-     * 确保即使超时后资源也被正确清理。
-     */
-    async #runWithTimeout(agent, input) {
-        const controller = new AbortController();
-        let timer;
-        const timeoutPromise = new Promise((_, reject) => {
-            timer = setTimeout(() => {
-                controller.abort();
-                reject(new Error(`场景超时（${this.#scenarioTimeoutMs}ms）`));
-            }, this.#scenarioTimeoutMs);
-        });
-        const runPromise = collectAgentChunks(agent.chat(input, controller.signal));
-        // 抑制超时后 runPromise 可能产生的 unhandled rejection
-        // （超时后 agent.chat 被 abort，collectAgentChunks 可能在后台 resolve/reject，
-        //   但 Promise.race 已通过 timeoutPromise 返回，runPromise 的结果被丢弃）
-        void runPromise.catch(() => { });
-        try {
-            return await Promise.race([runPromise, timeoutPromise]);
-        }
-        finally {
-            if (timer)
-                clearTimeout(timer);
-        }
-    }
-}
-//# sourceMappingURL=evalRunner.js.map

package/dist/eval/evalRunner.js.map

@@ -1 +0,0 @@
-{"version":3,"file":"evalRunner.js","sourceRoot":"","sources":["../../src/eval/evalRunner.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;;;GAaG;AAIH,OAAO,EAAE,kBAAkB,EAAE,cAAc,EAAE,MAAM,gBAAgB,CAAC;AAyCpE,gBAAgB;AAChB,MAAM,2BAA2B,GAAG,MAAM,CAAC;AAE3C;;;;;;;;;;;;GAYG;AACH,MAAM,OAAO,UAAU;IACrB,iBAAiB;IACR,YAAY,CAAc;IACnC,eAAe;IACN,kBAAkB,CAAS;IAEpC,YAAY,IAAuB;QACjC,IAAI,CAAC,YAAY,GAAG,IAAI,CAAC,WAAW,CAAC;QACrC,IAAI,CAAC,kBAAkB,GAAG,IAAI,CAAC,iBAAiB,IAAI,2BAA2B,CAAC;IAClF,CAAC;IAED;;;;;;;;;;;;OAYG;IACH,KAAK,CAAC,WAAW,CAAC,QAAsB;QACtC,MAAM,KAAK,GAAG,IAAI,CAAC,YAAY,EAAE,CAAC;QAClC,IAAI,CAAC;YACH,MAAM,KAAK,CAAC,IAAI,EAAE,CAAC;YACnB,MAAM,SAAS,GAAG,MAAM,IAAI,CAAC,eAAe,CAAC,KAAK,EAAE,QAAQ,CAAC,KAAK,CAAC,CAAC;YACpE,OAAO,cAAc,CAAC,QAAQ,CAAC,IAAI,EAAE,SAAS,EAAE,QAAQ,CAAC,MAAM,CAAC,CAAC;QACnE,CAAC;QAAC,OAAO,GAAG,EAAE,CAAC;YACb,0CAA0C;YAC1C,OAAO;gBACL,IAAI,EAAE,QAAQ,CAAC,IAAI;gBACnB,MAAM,EAAE,KAAK;gBACb,SAAS,EAAE;oBACT,WAAW,EAAE,EAAE;oBACf,WAAW,EAAE,CAAC;oBACd,gBAAgB,EAAE,KAAK;oBACvB,IAAI,EAAE,KAAK;iBACZ;gBACD,QAAQ,EAAE;oBACR,UAAU,GAAG,YAAY,KAAK,CAAC,CAAC,CAAC,GAAG,CAAC,OAAO,CAAC,CAAC,CAAC,MAAM,CAAC,GAAG,CAAC,EAAE;iBAC7D;aACF,CAAC;QACJ,CAAC;gBAAS,CAAC;YACT,MAAM,KAAK,CAAC,KAAK,EAAE,CAAC;QACtB,CAAC;IACH,CAAC;IAED;;;;;;;;OAQG;IACH,KAAK,CAAC,YAAY,CAAC,SAAkC;QACnD,MAAM,KAAK,GAAG,IAAI,CAAC,GAAG,EAAE,CAAC;QACzB,MAAM,OAAO,GAAiB,EAAE,CAAC;QAEjC,KAAK,MAAM,QAAQ,IAAI,SAAS,EAAE,CAAC;YACjC,MAAM,MAAM,GAAG,MAAM,IAAI,CAAC,WAAW,CAAC,QAAQ,CAAC,CAAC;YAChD,OAAO,CAAC,IAAI,CAAC,MAAM,CAAC,CAAC;QACvB,CAAC;QAED,MAAM,MAAM,GAAG,OAAO,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,MAAM,CAAC,CAAC,MAAM,CAAC;QACtD,MAAM,MAAM,GAAG,OAAO,CAAC,MAAM,GAAG,MAAM,CAAC;QAEvC,OAAO;YACL,OAAO;YACP,MAAM;YACN,MAAM;YACN,KAAK,EAAE,OAAO,CAAC,MAAM;YACrB,UAAU,EAAE,IAAI,CAAC,GAAG,EAAE,GAAG,KAAK;YAC9B,eAAe,EAAE,OAAO,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,CAAC,MAAM,CAAC,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,IAAI,CAAC;SACrE,CAAC;IACJ,CAAC;IAED;;;;;;;;;;OAUG;IACH,KAAK,CAAC,eAAe,CACnB,KAAY,EACZ,KAAa;QAEb,MAAM,UAAU,GAAG,IAAI,eAAe,EAAE,CAAC;QACzC,IAAI,KAAgD,CAAC;QAErD,MAAM,cAAc,GAAG,IAAI,OAAO,CAAQ,CAAC,CAAC,EAAE,MAAM,EAAE,EAAE;YACtD,KAAK,GAAG,UAAU,CAAC,GAAG,EAAE;gBACtB,UAAU,CAAC,KAAK,EAAE,CAAC;gBACnB,MAAM,CAAC,IAAI,KAAK,CAAC,QAAQ,IAAI,CAAC,kBAAkB,KAAK,CAAC,CAAC,CAAC;YAC1D,CAAC,EAAE,IAAI,CAAC,kBAAkB,CAAC,CAAC;QAC9B,CAAC,CAAC,CAAC;QAEH,MAAM,UAAU,GAAG,kBAAkB,CACnC,KAAK,CAAC,IAAI,CAAC,KAAK,EAAE,UAAU,CAAC,MAAM,CAAC,CACrC,CAAC;QACF,6CAA6C;QAC7C,mEAAmE;QACnE,4DAA4D;QAC5D,KAAK,UAAU,CAAC,KAAK,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;QAEhC,IAAI,CAAC;YACH,OAAO,MAAM,OAAO,CAAC,IAAI,CAAC,CAAC,UAAU,EAAE,cAAc,CAAC,CAAC,CAAC;QAC1D,CAAC;gBAAS,CAAC;YACT,IAAI,KAAK;gBAAE,YAAY,CAAC,KAAK,CAAC,CAAC;QACjC,CAAC;IACH,CAAC;CACF"}

package/dist/eval/evalTypes.d.ts

@@ -1,148 +0,0 @@
-/**
- * Agent 行为评估类型定义
- *
- * 定义 EvalScenario 类型，用于 Agent 行为回归测试。
- * 评估验证的是 Agent 的**行为决策**（工具调用、召回来源），
- * 而非文本质量（文本质量由宿主项目用真实 LLM 评估）。
- *
- * 设计约束（详见 docs/agent-harness-增强方案-v1.0.md §3.5）：
- *   - 仅使用 Mock LLM（MSW），不发起真实 API 调用
- *   - 评估运行在 CI 中，作为测试套件的一部分
- *   - 场景定义通用，不耦合任何领域逻辑
- */
-import type { AgentChunk } from '../agent/types.js';
-/**
- * 评估场景定义
- *
- * 每个场景描述一个输入 + 期望的 Agent 行为，
- * 验证召回管线、工具调用决策、护栏效果等维度。
- */
-export interface EvalScenario {
-    /** 场景名称（用于测试报告） */
-    name: string;
-    /** 场景描述 */
-    description: string;
-    /** 用户输入 */
-    input: string;
-    /** 预设的召回记忆（模拟召回结果） */
-    recalledMemories?: Array<{
-        name: string;
-        content: string;
-        source: string;
-    }>;
-    /**
-     * 期望的行为特征
-     *
-     * 至少定义一项。所有检查项都通过才算场景通过。
-     */
-    expect: EvalExpectation;
-}
-/**
- * 评估期望
- *
- * 定义 Agent 应该（或不应该）表现出的行为。
- * 所有字段都是可选的——只检查有定义的字段。
- */
-export interface EvalExpectation {
-    /**
-     * 期望的工具调用名列表
-     *
-     * 如果定义，Agent 在对话过程中必须至少调用这些工具。
-     * 例如：['read_file', 'search_memories']
-     */
-    toolsCalled?: string[];
-    /**
-     * 不应调用的工具名列表
-     *
-     * 例如：不应调用 write_file 的只读场景
-     */
-    toolsNotCalled?: string[];
-    /**
-     * 期望的召回 source 分布
-     *
-     * 验证召回管线是否排除了应排除的 source 类型。
-     * 例如：{ 'rule': 0 } 表示不应召回 rule 类型的记忆
-     *
-     * 注意：当前 collectAgentChunks 只收集 recallCount（数量），
-     * 不收集 source 分布。此字段为未来扩展预留，当前 evaluateResult 不检查。
-     * 若需验证 source 分布，请在宿主层自行实现。
-     */
-    recallSources?: Record<string, number>;
-    /**
-     * 期望的召回记忆数量范围
-     *
-     * 验证召回管线是否返回了预期数量的记忆。
-     * 例如：{ min: 1 } 表示应至少召回 1 条记忆；
-     *       { max: 0 } 表示不应召回任何记忆（空召回降级场景）。
-     */
-    recallCount?: {
-        min?: number;
-        max?: number;
-    };
-    /**
-     * 工具调用次数范围
-     */
-    toolCallCount?: {
-        min?: number;
-        max?: number;
-    };
-    /**
-     * 期望护栏是否阻断
-     *
-     * true 表示期望护栏触发阻断（输入或输出被 block）；
-     * false 表示期望护栏不阻断；
-     * undefined 表示不检查（默认）。
-     *
-     * 与 collected.guardrailBlocked 比对，后者通过结构化标志
-     * AgentChunk.guardrailBlocked 收集，而非中文文案匹配。
-     */
-    guardrailBlocked?: boolean;
-    /**
-     * 期望对话是否正常完成
-     *
-     * true 表示期望对话正常完成（收到 done chunk）；
-     * false 表示期望对话未正常完成（如被中断、出错）；
-     * undefined 表示不检查（默认）。
-     *
-     * 与 collected.done 比对。
-     */
-    done?: boolean;
-}
-/**
- * 评估结果
- */
-export interface EvalResult {
-    /** 场景名称 */
-    name: string;
-    /** 是否通过 */
-    passed: boolean;
-    /** 收集到的 Agent 行为数据 */
-    collected: {
-        toolsCalled: string[];
-        recallCount: number;
-        guardrailBlocked: boolean;
-        done: boolean;
-    };
-    /** 失败原因（如果未通过） */
-    failures: string[];
-}
-/**
- * 从 AgentChunk 流中收集行为数据
- *
- * 消费 AgentLoop 的 AsyncGenerator 输出，
- * 提取工具调用名、召回数量、护栏状态等关键信息。
- *
- * @param chunks AgentChunk 异步迭代器
- * @returns 收集到的行为数据
- */
-export declare function collectAgentChunks(chunks: AsyncGenerator<AgentChunk, void, unknown>): Promise<EvalResult['collected']>;
-/**
- * 将收集到的行为数据与期望进行比对
- *
- * @param name 场景名称
- * @param collected 收集到的行为数据
- * @param expect 期望的行为特征
- * @returns 评估结果
- */
-export declare function evaluateResult(name: string, collected: EvalResult['collected'], expect: EvalExpectation): EvalResult;
-//# sourceMappingURL=evalTypes.d.ts.map

package/dist/eval/evalTypes.d.ts.map

@@ -1 +0,0 @@
-{"version":3,"file":"evalTypes.d.ts","sourceRoot":"","sources":["../../src/eval/evalTypes.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;GAWG;AAEH,OAAO,KAAK,EAAE,UAAU,EAAE,MAAM,kBAAkB,CAAC;AAEnD;;;;;GAKG;AACH,MAAM,WAAW,YAAY;IAC3B,mBAAmB;IACnB,IAAI,EAAE,MAAM,CAAC;IACb,WAAW;IACX,WAAW,EAAE,MAAM,CAAC;IACpB,WAAW;IACX,KAAK,EAAE,MAAM,CAAC;IACd,sBAAsB;IACtB,gBAAgB,CAAC,EAAE,KAAK,CAAC;QACvB,IAAI,EAAE,MAAM,CAAC;QACb,OAAO,EAAE,MAAM,CAAC;QAChB,MAAM,EAAE,MAAM,CAAC;KAChB,CAAC,CAAC;IACH;;;;OAIG;IACH,MAAM,EAAE,eAAe,CAAC;CACzB;AAED;;;;;GAKG;AACH,MAAM,WAAW,eAAe;IAC9B;;;;;OAKG;IACH,WAAW,CAAC,EAAE,MAAM,EAAE,CAAC;IAEvB;;;;OAIG;IACH,cAAc,CAAC,EAAE,MAAM,EAAE,CAAC;IAE1B;;;;;;;;;OASG;IACH,aAAa,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,MAAM,CAAC,CAAC;IAEvC;;;;;;OAMG;IACH,WAAW,CAAC,EAAE;QAAE,GAAG,CAAC,EAAE,MAAM,CAAC;QAAC,GAAG,CAAC,EAAE,MAAM,CAAA;KAAE,CAAC;IAE7C;;OAEG;IACH,aAAa,CAAC,EAAE;QAAE,GAAG,CAAC,EAAE,MAAM,CAAC;QAAC,GAAG,CAAC,EAAE,MAAM,CAAA;KAAE,CAAC;IAE/C;;;;;;;;;OASG;IACH,gBAAgB,CAAC,EAAE,OAAO,CAAC;IAE3B;;;;;;;;OAQG;IACH,IAAI,CAAC,EAAE,OAAO,CAAC;CAChB;AAED;;GAEG;AACH,MAAM,WAAW,UAAU;IACzB,WAAW;IACX,IAAI,EAAE,MAAM,CAAC;IACb,WAAW;IACX,MAAM,EAAE,OAAO,CAAC;IAChB,sBAAsB;IACtB,SAAS,EAAE;QACT,WAAW,EAAE,MAAM,EAAE,CAAC;QACtB,WAAW,EAAE,MAAM,CAAC;QACpB,gBAAgB,EAAE,OAAO,CAAC;QAC1B,IAAI,EAAE,OAAO,CAAC;KACf,CAAC;IACF,kBAAkB;IAClB,QAAQ,EAAE,MAAM,EAAE,CAAC;CACpB;AAED;;;;;;;;GAQG;AACH,wBAAsB,kBAAkB,CACtC,MAAM,EAAE,cAAc,CAAC,UAAU,EAAE,IAAI,EAAE,OAAO,CAAC,GAChD,OAAO,CAAC,UAAU,CAAC,WAAW,CAAC,CAAC,CAiClC;AAED;;;;;;;GAOG;AACH,wBAAgB,cAAc,CAC5B,IAAI,EAAE,MAAM,EACZ,SAAS,EAAE,UAAU,CAAC,WAAW,CAAC,EAClC,MAAM,EAAE,eAAe,GACtB,UAAU,CAgEZ"}

package/dist/eval/evalTypes.js

@@ -1,118 +0,0 @@
-/**
- * Agent 行为评估类型定义
- *
- * 定义 EvalScenario 类型，用于 Agent 行为回归测试。
- * 评估验证的是 Agent 的**行为决策**（工具调用、召回来源），
- * 而非文本质量（文本质量由宿主项目用真实 LLM 评估）。
- *
- * 设计约束（详见 docs/agent-harness-增强方案-v1.0.md §3.5）：
- *   - 仅使用 Mock LLM（MSW），不发起真实 API 调用
- *   - 评估运行在 CI 中，作为测试套件的一部分
- *   - 场景定义通用，不耦合任何领域逻辑
- */
-/**
- * 从 AgentChunk 流中收集行为数据
- *
- * 消费 AgentLoop 的 AsyncGenerator 输出，
- * 提取工具调用名、召回数量、护栏状态等关键信息。
- *
- * @param chunks AgentChunk 异步迭代器
- * @returns 收集到的行为数据
- */
-export async function collectAgentChunks(chunks) {
-    const collected = {
-        toolsCalled: [],
-        recallCount: 0,
-        guardrailBlocked: false,
-        done: false,
-    };
-    for await (const chunk of chunks) {
-        switch (chunk.type) {
-            case 'recall':
-                // recall chunk 携带 memories 数组，count 由数组长度得出
-                collected.recallCount = chunk.memories.length;
-                break;
-            case 'tool_start':
-                if (!collected.toolsCalled.includes(chunk.name)) {
-                    collected.toolsCalled.push(chunk.name);
-                }
-                break;
-            case 'text':
-                // 通过结构化标志判断护栏阻断（替代中文文案子串匹配）
-                // AgentChunk.text.guardrailBlocked 由 AgentLoop 在护栏 block 时显式置 true
-                if (chunk.guardrailBlocked) {
-                    collected.guardrailBlocked = true;
-                }
-                break;
-            case 'done':
-                collected.done = true;
-                break;
-        }
-    }
-    return collected;
-}
-/**
- * 将收集到的行为数据与期望进行比对
- *
- * @param name 场景名称
- * @param collected 收集到的行为数据
- * @param expect 期望的行为特征
- * @returns 评估结果
- */
-export function evaluateResult(name, collected, expect) {
-    const failures = [];
-    // 检查工具调用
-    if (expect.toolsCalled) {
-        for (const tool of expect.toolsCalled) {
-            if (!collected.toolsCalled.includes(tool)) {
-                failures.push(`期望调用工具 "${tool}"，但未调用（已调用：${collected.toolsCalled.join(', ') || '无'}）`);
-            }
-        }
-    }
-    // 检查不应调用的工具
-    if (expect.toolsNotCalled) {
-        for (const tool of expect.toolsNotCalled) {
-            if (collected.toolsCalled.includes(tool)) {
-                failures.push(`不应调用工具 "${tool}"，但实际调用了`);
-            }
-        }
-    }
-    // 检查工具调用次数
-    if (expect.toolCallCount) {
-        const count = collected.toolsCalled.length;
-        if (expect.toolCallCount.min !== undefined && count < expect.toolCallCount.min) {
-            failures.push(`工具调用次数 ${count} < 期望最小值 ${expect.toolCallCount.min}`);
-        }
-        if (expect.toolCallCount.max !== undefined && count > expect.toolCallCount.max) {
-            failures.push(`工具调用次数 ${count} > 期望最大值 ${expect.toolCallCount.max}`);
-        }
-    }
-    // 检查召回数量
-    if (expect.recallCount) {
-        if (expect.recallCount.min !== undefined && collected.recallCount < expect.recallCount.min) {
-            failures.push(`召回数量 ${collected.recallCount} < 期望最小值 ${expect.recallCount.min}`);
-        }
-        if (expect.recallCount.max !== undefined && collected.recallCount > expect.recallCount.max) {
-            failures.push(`召回数量 ${collected.recallCount} > 期望最大值 ${expect.recallCount.max}`);
-        }
-    }
-    // 检查护栏阻断
-    if (expect.guardrailBlocked !== undefined) {
-        if (expect.guardrailBlocked !== collected.guardrailBlocked) {
-            failures.push(`期望护栏阻断=${expect.guardrailBlocked}，实际=${collected.guardrailBlocked}`);
-        }
-    }
-    // 检查完成状态
-    if (expect.done !== undefined) {
-        if (expect.done !== collected.done) {
-            failures.push(`期望完成状态=${expect.done}，实际=${collected.done}`);
-        }
-    }
-    return {
-        name,
-        passed: failures.length === 0,
-        collected,
-        failures,
-    };
-}
-//# sourceMappingURL=evalTypes.js.map

package/dist/eval/evalTypes.js.map

@@ -1 +0,0 @@
-{"version":3,"file":"evalTypes.js","sourceRoot":"","sources":["../../src/eval/evalTypes.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;GAWG;AA0HH;;;;;;;;GAQG;AACH,MAAM,CAAC,KAAK,UAAU,kBAAkB,CACtC,MAAiD;IAEjD,MAAM,SAAS,GAA4B;QACzC,WAAW,EAAE,EAAE;QACf,WAAW,EAAE,CAAC;QACd,gBAAgB,EAAE,KAAK;QACvB,IAAI,EAAE,KAAK;KACZ,CAAC;IAEF,IAAI,KAAK,EAAE,MAAM,KAAK,IAAI,MAAM,EAAE,CAAC;QACjC,QAAQ,KAAK,CAAC,IAAI,EAAE,CAAC;YACnB,KAAK,QAAQ;gBACX,4CAA4C;gBAC5C,SAAS,CAAC,WAAW,GAAG,KAAK,CAAC,QAAQ,CAAC,MAAM,CAAC;gBAC9C,MAAM;YACR,KAAK,YAAY;gBACf,IAAI,CAAC,SAAS,CAAC,WAAW,CAAC,QAAQ,CAAC,KAAK,CAAC,IAAI,CAAC,EAAE,CAAC;oBAChD,SAAS,CAAC,WAAW,CAAC,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC;gBACzC,CAAC;gBACD,MAAM;YACR,KAAK,MAAM;gBACT,4BAA4B;gBAC5B,mEAAmE;gBACnE,IAAI,KAAK,CAAC,gBAAgB,EAAE,CAAC;oBAC3B,SAAS,CAAC,gBAAgB,GAAG,IAAI,CAAC;gBACpC,CAAC;gBACD,MAAM;YACR,KAAK,MAAM;gBACT,SAAS,CAAC,IAAI,GAAG,IAAI,CAAC;gBACtB,MAAM;QACV,CAAC;IACH,CAAC;IAED,OAAO,SAAS,CAAC;AACnB,CAAC;AAED;;;;;;;GAOG;AACH,MAAM,UAAU,cAAc,CAC5B,IAAY,EACZ,SAAkC,EAClC,MAAuB;IAEvB,MAAM,QAAQ,GAAa,EAAE,CAAC;IAE9B,SAAS;IACT,IAAI,MAAM,CAAC,WAAW,EAAE,CAAC;QACvB,KAAK,MAAM,IAAI,IAAI,MAAM,CAAC,WAAW,EAAE,CAAC;YACtC,IAAI,CAAC,SAAS,CAAC,WAAW,CAAC,QAAQ,CAAC,IAAI,CAAC,EAAE,CAAC;gBAC1C,QAAQ,CAAC,IAAI,CAAC,WAAW,IAAI,cAAc,SAAS,CAAC,WAAW,CAAC,IAAI,CAAC,IAAI,CAAC,IAAI,GAAG,GAAG,CAAC,CAAC;YACzF,CAAC;QACH,CAAC;IACH,CAAC;IAED,YAAY;IACZ,IAAI,MAAM,CAAC,cAAc,EAAE,CAAC;QAC1B,KAAK,MAAM,IAAI,IAAI,MAAM,CAAC,cAAc,EAAE,CAAC;YACzC,IAAI,SAAS,CAAC,WAAW,CAAC,QAAQ,CAAC,IAAI,CAAC,EAAE,CAAC;gBACzC,QAAQ,CAAC,IAAI,CAAC,WAAW,IAAI,UAAU,CAAC,CAAC;YAC3C,CAAC;QACH,CAAC;IACH,CAAC;IAED,WAAW;IACX,IAAI,MAAM,CAAC,aAAa,EAAE,CAAC;QACzB,MAAM,KAAK,GAAG,SAAS,CAAC,WAAW,CAAC,MAAM,CAAC;QAC3C,IAAI,MAAM,CAAC,aAAa,CAAC,GAAG,KAAK,SAAS,IAAI,KAAK,GAAG,MAAM,CAAC,aAAa,CAAC,GAAG,EAAE,CAAC;YAC/E,QAAQ,CAAC,IAAI,CAAC,UAAU,KAAK,YAAY,MAAM,CAAC,aAAa,CAAC,GAAG,EAAE,CAAC,CAAC;QACvE,CAAC;QACD,IAAI,MAAM,CAAC,aAAa,CAAC,GAAG,KAAK,SAAS,IAAI,KAAK,GAAG,MAAM,CAAC,aAAa,CAAC,GAAG,EAAE,CAAC;YAC/E,QAAQ,CAAC,IAAI,CAAC,UAAU,KAAK,YAAY,MAAM,CAAC,aAAa,CAAC,GAAG,EAAE,CAAC,CAAC;QACvE,CAAC;IACH,CAAC;IAED,SAAS;IACT,IAAI,MAAM,CAAC,WAAW,EAAE,CAAC;QACvB,IAAI,MAAM,CAAC,WAAW,CAAC,GAAG,KAAK,SAAS,IAAI,SAAS,CAAC,WAAW,GAAG,MAAM,CAAC,WAAW,CAAC,GAAG,EAAE,CAAC;YAC3F,QAAQ,CAAC,IAAI,CAAC,QAAQ,SAAS,CAAC,WAAW,YAAY,MAAM,CAAC,WAAW,CAAC,GAAG,EAAE,CAAC,CAAC;QACnF,CAAC;QACD,IAAI,MAAM,CAAC,WAAW,CAAC,GAAG,KAAK,SAAS,IAAI,SAAS,CAAC,WAAW,GAAG,MAAM,CAAC,WAAW,CAAC,GAAG,EAAE,CAAC;YAC3F,QAAQ,CAAC,IAAI,CAAC,QAAQ,SAAS,CAAC,WAAW,YAAY,MAAM,CAAC,WAAW,CAAC,GAAG,EAAE,CAAC,CAAC;QACnF,CAAC;IACH,CAAC;IAED,SAAS;IACT,IAAI,MAAM,CAAC,gBAAgB,KAAK,SAAS,EAAE,CAAC;QAC1C,IAAI,MAAM,CAAC,gBAAgB,KAAK,SAAS,CAAC,gBAAgB,EAAE,CAAC;YAC3D,QAAQ,CAAC,IAAI,CACX,UAAU,MAAM,CAAC,gBAAgB,OAAO,SAAS,CAAC,gBAAgB,EAAE,CACrE,CAAC;QACJ,CAAC;IACH,CAAC;IAED,SAAS;IACT,IAAI,MAAM,CAAC,IAAI,KAAK,SAAS,EAAE,CAAC;QAC9B,IAAI,MAAM,CAAC,IAAI,KAAK,SAAS,CAAC,IAAI,EAAE,CAAC;YACnC,QAAQ,CAAC,IAAI,CAAC,UAAU,MAAM,CAAC,IAAI,OAAO,SAAS,CAAC,IAAI,EAAE,CAAC,CAAC;QAC9D,CAAC;IACH,CAAC;IAED,OAAO;QACL,IAAI;QACJ,MAAM,EAAE,QAAQ,CAAC,MAAM,KAAK,CAAC;QAC7B,SAAS;QACT,QAAQ;KACT,CAAC;AACJ,CAAC"}

package/dist/eval/scenarios.d.ts

@@ -1,33 +0,0 @@
-/**
- * Agent 行为评估场景库
- *
- * 定义标准 EvalScenario，用于 Agent 行为回归测试。
- * 场景定义是"期望契约"——描述 Agent 在特定输入下应有的行为特征，
- * 由 EvalRunner 负责构造条件（MockProvider 返回值 + guardrail 规则配置）执行验证。
- *
- * 设计原则：
- *   - 场景通用，不耦合任何领域逻辑
- *   - 每个场景聚焦一个验证维度，失败原因可定位
- *   - input 是真实用户输入风格，非人造测试桩
- *   - expect 至少定义一项检查
- *
- * 当前覆盖的 EvalExpectation 维度（8 个场景）：
- *   - guardrailBlocked（场景 1, 5, 7）
- *   - toolsCalled + toolsNotCalled（场景 2, 5）
- *   - toolCallCount（场景 3）
- *   - recallCount（场景 4, 8）
- *   - done（场景 6, 7, 8）
- *   - recalledMemories 预设（场景 4）
- *
- * 未覆盖 recallSources：当前 evaluateResult 不检查该字段（见 evalTypes.ts 注释），
- * 待宿主层按需扩展。
- */
-import type { EvalScenario } from './evalTypes.js';
-/**
- * 评估场景集（8 个场景）
- *
- * 覆盖护栏阻断 / 工具调用决策 / 调用次数范围 / 召回数量 / 完成状态 / 长输入处理六个维度。
- * EvalRunner 实现后可在 CI 中运行这些场景作为回归基线。
- */
-export declare const EVAL_SCENARIOS: readonly EvalScenario[];
-//# sourceMappingURL=scenarios.d.ts.map

package/dist/eval/scenarios.d.ts.map

@@ -1 +0,0 @@
-{"version":3,"file":"scenarios.d.ts","sourceRoot":"","sources":["../../src/eval/scenarios.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;;;;;;;;;;;;;GAuBG;AAEH,OAAO,KAAK,EAAE,YAAY,EAAE,MAAM,gBAAgB,CAAC;AAEnD;;;;;GAKG;AACH,eAAO,MAAM,cAAc,EAAE,SAAS,YAAY,EA8EjD,CAAC"}

package/dist/eval/scenarios.js

@@ -1,109 +0,0 @@
-/**
- * Agent 行为评估场景库
- *
- * 定义标准 EvalScenario，用于 Agent 行为回归测试。
- * 场景定义是"期望契约"——描述 Agent 在特定输入下应有的行为特征，
- * 由 EvalRunner 负责构造条件（MockProvider 返回值 + guardrail 规则配置）执行验证。
- *
- * 设计原则：
- *   - 场景通用，不耦合任何领域逻辑
- *   - 每个场景聚焦一个验证维度，失败原因可定位
- *   - input 是真实用户输入风格，非人造测试桩
- *   - expect 至少定义一项检查
- *
- * 当前覆盖的 EvalExpectation 维度（8 个场景）：
- *   - guardrailBlocked（场景 1, 5, 7）
- *   - toolsCalled + toolsNotCalled（场景 2, 5）
- *   - toolCallCount（场景 3）
- *   - recallCount（场景 4, 8）
- *   - done（场景 6, 7, 8）
- *   - recalledMemories 预设（场景 4）
- *
- * 未覆盖 recallSources：当前 evaluateResult 不检查该字段（见 evalTypes.ts 注释），
- * 待宿主层按需扩展。
- */
-/**
- * 评估场景集（8 个场景）
- *
- * 覆盖护栏阻断 / 工具调用决策 / 调用次数范围 / 召回数量 / 完成状态 / 长输入处理六个维度。
- * EvalRunner 实现后可在 CI 中运行这些场景作为回归基线。
- */
-export const EVAL_SCENARIOS = [
-    {
-        name: 'empty-input-guardrail',
-        description: '空输入应被输入护栏阻断（需配置匹配空白输入的 guardrail 规则）',
-        input: '',
-        expect: {
-            guardrailBlocked: true,
-        },
-    },
-    {
-        name: 'read-file-tool-call',
-        description: '用户请求读取文件时，Agent 应调用 read_file 且不调用 write_file',
-        input: '请读取 README.md 文件',
-        expect: {
-            toolsCalled: ['read_file'],
-            toolsNotCalled: ['write_file'],
-        },
-    },
-    {
-        name: 'multi-tool-call-count',
-        description: '复合请求应触发多个工具调用（读取文件 + 搜索记忆）',
-        input: '读取项目配置并搜索相关记忆',
-        expect: {
-            toolCallCount: { min: 2 },
-        },
-    },
-    {
-        name: 'recall-memory-present',
-        description: '用户提问时应有记忆召回（需预写入匹配记忆到存储）',
-        input: '根据之前的记忆，帮我回忆上次讨论的架构设计内容',
-        recalledMemories: [
-            {
-                name: '架构设计讨论',
-                content: '上次讨论了分层架构和模块解耦方案',
-                source: 'insight',
-            },
-        ],
-        expect: {
-            recallCount: { min: 1 },
-        },
-    },
-    {
-        name: 'readonly-query-guardrail',
-        description: '只读查询场景不应调用 write_file（防止误写），且不被护栏阻断',
-        input: '查询当前项目的目录结构，列出所有文件',
-        expect: {
-            toolsNotCalled: ['write_file'],
-            guardrailBlocked: false,
-        },
-    },
-    {
-        name: 'normal-completion',
-        description: '正常对话应正常完成（收到 done 事件）',
-        input: '你好，请介绍一下自己',
-        expect: {
-            done: true,
-        },
-    },
-    {
-        name: 'long-input-handling',
-        description: '较长输入应被正常处理（不触发长度限制，不崩溃，正常完成）',
-        input: '请分析以下需求文档的可行性并给出技术方案建议：\n' +
-            '系统需要支持高并发、低延迟的实时数据处理，同时保证数据一致性。'.repeat(200),
-        expect: {
-            done: true,
-            guardrailBlocked: false,
-        },
-    },
-    {
-        name: 'empty-recall-degrade',
-        description: '无匹配记忆时不应崩溃，正常完成对话（空召回降级）',
-        input: 'asdfqwerty 无意义输入不匹配任何记忆',
-        expect: {
-            recallCount: { max: 0 },
-            done: true,
-        },
-    },
-];
-//# sourceMappingURL=scenarios.js.map

package/dist/eval/scenarios.js.map

@@ -1 +0,0 @@
-{"version":3,"file":"scenarios.js","sourceRoot":"","sources":["../../src/eval/scenarios.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;;;;;;;;;;;;;GAuBG;AAIH;;;;;GAKG;AACH,MAAM,CAAC,MAAM,cAAc,GAA4B;IACrD;QACE,IAAI,EAAE,uBAAuB;QAC7B,WAAW,EAAE,sCAAsC;QACnD,KAAK,EAAE,EAAE;QACT,MAAM,EAAE;YACN,gBAAgB,EAAE,IAAI;SACvB;KACF;IACD;QACE,IAAI,EAAE,qBAAqB;QAC3B,WAAW,EAAE,+CAA+C;QAC5D,KAAK,EAAE,kBAAkB;QACzB,MAAM,EAAE;YACN,WAAW,EAAE,CAAC,WAAW,CAAC;YAC1B,cAAc,EAAE,CAAC,YAAY,CAAC;SAC/B;KACF;IACD;QACE,IAAI,EAAE,uBAAuB;QAC7B,WAAW,EAAE,4BAA4B;QACzC,KAAK,EAAE,eAAe;QACtB,MAAM,EAAE;YACN,aAAa,EAAE,EAAE,GAAG,EAAE,CAAC,EAAE;SAC1B;KACF;IACD;QACE,IAAI,EAAE,uBAAuB;QAC7B,WAAW,EAAE,0BAA0B;QACvC,KAAK,EAAE,yBAAyB;QAChC,gBAAgB,EAAE;YAChB;gBACE,IAAI,EAAE,QAAQ;gBACd,OAAO,EAAE,kBAAkB;gBAC3B,MAAM,EAAE,SAAS;aAClB;SACF;QACD,MAAM,EAAE;YACN,WAAW,EAAE,EAAE,GAAG,EAAE,CAAC,EAAE;SACxB;KACF;IACD;QACE,IAAI,EAAE,0BAA0B;QAChC,WAAW,EAAE,qCAAqC;QAClD,KAAK,EAAE,oBAAoB;QAC3B,MAAM,EAAE;YACN,cAAc,EAAE,CAAC,YAAY,CAAC;YAC9B,gBAAgB,EAAE,KAAK;SACxB;KACF;IACD;QACE,IAAI,EAAE,mBAAmB;QACzB,WAAW,EAAE,uBAAuB;QACpC,KAAK,EAAE,YAAY;QACnB,MAAM,EAAE;YACN,IAAI,EAAE,IAAI;SACX;KACF;IACD;QACE,IAAI,EAAE,qBAAqB;QAC3B,WAAW,EAAE,8BAA8B;QAC3C,KAAK,EACH,2BAA2B;YAC3B,iCAAiC,CAAC,MAAM,CAAC,GAAG,CAAC;QAC/C,MAAM,EAAE;YACN,IAAI,EAAE,IAAI;YACV,gBAAgB,EAAE,KAAK;SACxB;KACF;IACD;QACE,IAAI,EAAE,sBAAsB;QAC5B,WAAW,EAAE,0BAA0B;QACvC,KAAK,EAAE,yBAAyB;QAChC,MAAM,EAAE;YACN,WAAW,EAAE,EAAE,GAAG,EAAE,CAAC,EAAE;YACvB,IAAI,EAAE,IAAI;SACX;KACF;CACF,CAAC"}

package/dist/llm/embedding.d.ts

@@ -1,67 +0,0 @@
-import type { EmbeddingOptions } from '../memory/vectorStore.js';
-/**
- * Embedding 配置（与 OpenAICompatibleConfig 共用 baseUrl/apiKey）
- */
-export interface EmbeddingConfig {
-    baseUrl: string;
-    apiKey: string;
-    model: string;
-}
-/**
- * 单条 embedding 结果
- */
-export interface EmbeddingResult {
-    /** 原始文本 */
-    text: string;
-    /** 向量（浮点数组，维度由模型决定） */
-    vector: number[];
-}
-/**
- * Embedding Provider
- *
- * 调用 /embeddings 端点将文本转为向量
- * 支持批量嵌入和本地缓存
- */
-export declare class EmbeddingProvider {
-    private readonly config;
-    /** 缓存最大条目数（LRU 上限，防止无界增长导致内存泄漏） */
-    private static readonly CACHE_MAX_SIZE;
-    /** 默认请求超时：60 秒（embedding 无流式推理，比 chat 的 120s 更短） */
-    private static readonly DEFAULT_TIMEOUT_MS;
-    /** 本地缓存：text → vector（LRU，Map 迭代顺序 = 最近访问顺序） */
-    private readonly cache;
-    constructor(config: EmbeddingConfig);
-    /**
-     * LRU 读取：命中时把条目移到末尾，标记为最近访问
-     * Map 保持插入顺序，末尾即最近访问，首部即最久未访问（淘汰候选）
-     */
-    private getCached;
-    /**
-     * LRU 写入：超过容量时淘汰最旧条目（首部）
-     */
-    private setCache;
-    /**
-     * 嵌入单条文本
-     * @param text 待嵌入的文本
-     * @param options 调用选项（signal 外部取消 + timeoutMs 超时）
-     * @returns 向量
-     */
-    embed(text: string, options?: EmbeddingOptions): Promise<number[]>;
-    /**
-     * 批量嵌入多条文本
-     * OpenAI 兼容 API 支持一次请求嵌入多条文本，减少 API 调用
-     * @param texts 待嵌入的文本数组
-     * @param options 调用选项（signal 外部取消 + timeoutMs 超时）
-     * @returns 嵌入结果数组（顺序与输入一致）
-     */
-    batchEmbed(texts: string[], options?: EmbeddingOptions): Promise<EmbeddingResult[]>;
-    /**
-     * 获取缓存大小（调试用）
-     */
-    get cacheSize(): number;
-    /**
-     * 清空缓存
-     */
-    clearCache(): void;
-}
-//# sourceMappingURL=embedding.d.ts.map

package/dist/llm/embedding.d.ts.map

@@ -1 +0,0 @@
-{"version":3,"file":"embedding.d.ts","sourceRoot":"","sources":["../../src/llm/embedding.ts"],"names":[],"mappings":"AAmBA,OAAO,KAAK,EAAE,gBAAgB,EAAE,MAAM,yBAAyB,CAAC;AAEhE;;GAEG;AACH,MAAM,WAAW,eAAe;IAC9B,OAAO,EAAE,MAAM,CAAC;IAChB,MAAM,EAAE,MAAM,CAAC;IACf,KAAK,EAAE,MAAM,CAAC;CACf;AAED;;GAEG;AACH,MAAM,WAAW,eAAe;IAC9B,WAAW;IACX,IAAI,EAAE,MAAM,CAAC;IACb,uBAAuB;IACvB,MAAM,EAAE,MAAM,EAAE,CAAC;CAClB;AAED;;;;;GAKG;AACH,qBAAa,iBAAiB;IAUhB,OAAO,CAAC,QAAQ,CAAC,MAAM;IATnC,mCAAmC;IACnC,OAAO,CAAC,MAAM,CAAC,QAAQ,CAAC,cAAc,CAAQ;IAE9C,oDAAoD;IACpD,OAAO,CAAC,MAAM,CAAC,QAAQ,CAAC,kBAAkB,CAAU;IAEpD,gDAAgD;IAChD,OAAO,CAAC,QAAQ,CAAC,KAAK,CAA+B;gBAExB,MAAM,EAAE,eAAe;IAEpD;;;OAGG;IACH,OAAO,CAAC,SAAS;IASjB;;OAEG;IACH,OAAO,CAAC,QAAQ;IAQhB;;;;;OAKG;IACG,KAAK,CAAC,IAAI,EAAE,MAAM,EAAE,OAAO,CAAC,EAAE,gBAAgB,GAAG,OAAO,CAAC,MAAM,EAAE,CAAC;IAkBxE;;;;;;OAMG;IACG,UAAU,CAAC,KAAK,EAAE,MAAM,EAAE,EAAE,OAAO,CAAC,EAAE,gBAAgB,GAAG,OAAO,CAAC,eAAe,EAAE,CAAC;IAuGzF;;OAEG;IACH,IAAI,SAAS,IAAI,MAAM,CAEtB;IAED;;OAEG;IACH,UAAU,IAAI,IAAI;CAGnB"}