@aipack-ai/eval 1.1.6 → 1.1.7

package/dist/src/core/types.d.ts

@@ -12,7 +12,7 @@
  *   - 规则评分覆盖 70%：M1 只实现规则评分器，semantic / llm-judge 留到 M5
  *   - origin 标识：报告按数据来源分组，诊断 eval 集与真实分布的漂移
  */
-import type { Message, Result } from '@aipack-ai/agent';
+import type { Message, Model, Result, StreamFn } from '@aipack-ai/agent';
 /** 用例数据来源（报告按 origin 分组诊断分布漂移） */
 export type CaseOrigin = 'handwritten' | 'trace' | 'synthetic' | 'dataset' | 'bugfix';
 /** 脚本化的一次工具调用 */
@@ -112,10 +112,17 @@ export interface ScorerConfig {
 export interface EvalCase {
     /** 全局唯一，如 'tool-calling/single-echo' */
     id: string;
-    /** 套件名：'agent-e2e' | 'tool-calling' | 'text-output' | ... */
+    /** 套件名：'agent-e2e' | 'agent-e2e-live' | 'tool-calling' | 'text-output' | ... */
     suite: string;
     /** 一句话描述（报告展示用） */
     description?: string;
+    /**
+     * 运行模式约束：
+     *   'mock' —— 仅 fixture replay（需要 input.mock）
+     *   'live' —— 仅真实 LLM（不需要 input.mock，工具仍走 mock 工具集保证确定性）
+     *   缺省 —— 两者皆可（按是否有 input.mock 判定）
+     */
+    mode?: 'mock' | 'live';
     input: AgentInput;
     /** 声明式期望（归一化为 scorers，与 scorers 字段可并存） */
     expected?: ExpectedResult;
@@ -126,10 +133,12 @@ export interface EvalCase {
         tags?: string[];
         /** 工具调用步数上限（映射 RuntimeOptions.maxTurns，缺省 50） */
         maxSteps?: number;
-        /** 单用例墙钟超时 ms（缺省 30000） */
+        /** 单用例墙钟超时 ms（缺省 30000；live 用例建议 60000+） */
         timeoutMs?: number;
         /** usage.total token 上限（预算熔断） */
         maxTokens?: number;
+        /** 覆盖全局 repeats（live 用例可单独放宽/收紧消噪次数） */
+        repeats?: number;
     };
 }
 /** 完整轨迹中的一条工具调用记录（从会话消息重建） */
@@ -168,7 +177,7 @@ export interface CaseResult {
     suite: string;
     origin: CaseOrigin;
     passed: boolean;
-    /** 加权平均分 0~1 */
+    /** 加权平均分 0~1（live 多 repeat 时为均值） */
     score: number;
     scores: ScoreResult[];
     /** 运行错误（超时 / 熔断 / 框架异常） */
@@ -177,6 +186,10 @@ export interface CaseResult {
     /** 工具调用步数 */
     steps: number;
     usageTotal: number;
+    /** 实际重复次数（live 模式缺省 3） */
+    repeats?: number;
+    /** repeats 中通过的次数（live 判定 pass@k：passCount > 0 即通过） */
+    passCount?: number;
 }
 export interface SuiteSummary {
     total: number;
@@ -193,6 +206,8 @@ export interface EvalReport {
     totals: {
         cases: number;
         passed: number;
+        /** 因模式不匹配（mock-only / live-only）被跳过的用例数，不计入通过率 */
+        skipped: number;
         passRate: number;
         avgScore: number;
         usageTotal: number;
@@ -200,9 +215,30 @@ export interface EvalReport {
     bySuite: Record<string, SuiteSummary>;
     byOrigin: Record<string, SuiteSummary>;
     results: CaseResult[];
+    /** 因模式不匹配被跳过的用例（不进 results，不计入通过率） */
+    skipped?: Array<{
+        caseId: string;
+        suite: string;
+        reason: string;
+    }>;
 }
 export interface RunConfig {
     mode: 'mock' | 'live';
+    /**
+     * live 模式被测模型（'provider/modelId'）；缺省读 AIPACK_EVAL_MODEL。
+     * mock 模式忽略。
+     */
+    model?: string;
+    /** live 模式 API Key（缺省 <PROVIDER>_API_KEY） */
+    apiKey?: string;
+    /** live 模式端点覆盖（代理 / 兼容网关） */
+    baseUrl?: string;
+    /** live 模式采样温度（缺省 0，消随机性） */
+    temperature?: number;
+    /** 直接注入 StreamFn（自托管 provider / 测试用），优先级高于 model 装配 */
+    streamFn?: StreamFn;
+    /** 与 streamFn 配套的框架 Model；缺省用内置目录按 model 解析 */
+    frameworkModel?: Model;
     /** 只跑指定套件；缺省全部 */
     suites?: string[];
     /** 每用例重复次数（消随机性）；mock 模式缺省 1 */
@@ -223,6 +259,12 @@ export interface RunConfig {
     regressionThreshold?: number;
     /** 更新 baseline 文件 */
     updateBaseline?: boolean;
+    /** 历史趋势 JSONL 路径（缺省 eval-results/history.jsonl 由调用方决定；不配则不记录） */
+    historyPath?: string;
+    /** 全局 token 预算：累计 usage.total 超限时，未开始的用例直接判失败（防烧钱） */
+    maxTotalTokens?: number;
+    /** live 模式单请求超时 ms */
+    requestTimeoutMs?: number;
 }
 export interface BaselineFile {
     /** 生成 baseline 的 runId */

package/dist/src/core/validate.js

@@ -49,6 +49,12 @@ export function validateEvalCase(c) {
             });
         }
     }
+    if (c.mode !== undefined && c.mode !== 'mock' && c.mode !== 'live') {
+        errors.push(at("mode 只能为 'mock' 或 'live'"));
+    }
+    if (c.mode === 'live' && c.input?.mock) {
+        errors.push(at("mode='live' 的用例走真实 LLM，不应带 input.mock"));
+    }
     if (!c.origin || !ORIGINS.includes(c.origin)) {
         errors.push(at(`origin 必须为: ${ORIGINS.join(' | ')}`));
     }

package/dist/src/core/validate.js.map

@@ -1 +1 @@
-{"version":3,"file":"validate.js","sourceRoot":"","sources":["../../../src/core/validate.ts"],"names":[],"mappings":"AAAA;;;;GAIG;AAGH,OAAO,EAAE,iBAAiB,EAAE,MAAM,eAAe,CAAC;AAElD,MAAM,OAAO,GAAiB;IAC5B,aAAa;IACb,OAAO;IACP,WAAW;IACX,SAAS;IACT,QAAQ;CACT,CAAC;AAEF,MAAM,cAAc,GAAG;IACrB,OAAO;IACP,UAAU;IACV,OAAO;IACP,WAAW;IACX,YAAY;IACZ,YAAY;IACZ,SAAS;IACT,aAAa;CACd,CAAC;AAEF,MAAM,UAAU,gBAAgB,CAAC,CAAW;IAC1C,MAAM,MAAM,GAAa,EAAE,CAAC;IAC5B,MAAM,EAAE,GAAG,CAAC,GAAW,EAAE,EAAE,CAAC,IAAI,CAAC,CAAC,EAAE,IAAI,cAAc,KAAK,GAAG,EAAE,CAAC;IAEjE,IAAI,CAAC,CAAC,CAAC,EAAE,IAAI,OAAO,CAAC,CAAC,EAAE,KAAK,QAAQ;QAAE,MAAM,CAAC,IAAI,CAAC,OAAO,CAAC,CAAC;SACvD,IAAI,CAAC,yBAAyB,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC;QAAE,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,UAAU,CAAC,CAAC,CAAC;IAC5E,IAAI,CAAC,CAAC,CAAC,KAAK,IAAI,OAAO,CAAC,CAAC,KAAK,KAAK,QAAQ;QAAE,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,UAAU,CAAC,CAAC,CAAC;IACzE,IAAI,CAAC,CAAC,CAAC,KAAK,IAAI,OAAO,CAAC,CAAC,KAAK,KAAK,QAAQ,EAAE,CAAC;QAC5C,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,UAAU,CAAC,CAAC,CAAC;QAC5B,OAAO,MAAM,CAAC;IAChB,CAAC;IACD,IAAI,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,IAAI,OAAO,CAAC,CAAC,KAAK,CAAC,OAAO,KAAK,QAAQ,EAAE,CAAC;QAC5D,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,wBAAwB,CAAC,CAAC,CAAC;IAC5C,CAAC;IACD,IAAI,CAAC,CAAC,KAAK,CAAC,IAAI,EAAE,CAAC;QACjB,IAAI,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,CAAC,MAAM,KAAK,CAAC,EAAE,CAAC;YAC1E,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,0BAA0B,CAAC,CAAC,CAAC;QAC9C,CAAC;aAAM,CAAC;YACN,CAAC,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE;gBAClC,IAAI,CAAC,CAAC,CAAC,SAAS,IAAI,CAAC,CAAC,IAAI,KAAK,SAAS,EAAE,CAAC;oBACzC,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,cAAc,CAAC,wBAAwB,CAAC,CAAC,CAAC;gBAC3D,CAAC;YACH,CAAC,CAAC,CAAC;QACL,CAAC;IACH,CAAC;IACD,IAAI,CAAC,CAAC,CAAC,MAAM,IAAI,CAAC,OAAO,CAAC,QAAQ,CAAC,CAAC,CAAC,MAAM,CAAC,EAAE,CAAC;QAC7C,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,eAAe,OAAO,CAAC,IAAI,CAAC,KAAK,CAAC,EAAE,CAAC,CAAC,CAAC;IACxD,CAAC;IAED,IAAI,CAAC,CAAC,QAAQ,EAAE,CAAC;QACf,MAAM,IAAI,GAAI,CAAC,CAAC,QAA8B,CAAC,IAAI,CAAC;QACpD,IAAI,CAAC,IAAI,IAAI,CAAC,cAAc,CAAC,QAAQ,CAAC,IAAI,CAAC,EAAE,CAAC;YAC5C,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,sBAAsB,cAAc,CAAC,IAAI,CAAC,KAAK,CAAC,EAAE,CAAC,CAAC,CAAC;QACtE,CAAC;IACH,CAAC;IAED,KAAK,MAAM,CAAC,IAAI,CAAC,CAAC,OAAO,IAAI,EAAE,EAAE,CAAC;QAChC,IAAI,CAAC,iBAAiB,CAAC,QAAQ,CAAC,CAAC,CAAC,IAAI,CAAC,EAAE,CAAC;YACxC,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,kBAAkB,CAAC,CAAC,IAAI,SAAS,iBAAiB,CAAC,IAAI,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC,CAAC;QACpF,CAAC;IACH,CAAC;IAED,MAAM,UAAU,GAAG,OAAO,CAAC,CAAC,CAAC,QAAQ,CAAC,IAAI,CAAC,CAAC,CAAC,OAAO,EAAE,MAAM,IAAI,CAAC,CAAC,GAAG,CAAC,CAAC;IACvE,IAAI,CAAC,UAAU;QAAE,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,2BAA2B,CAAC,CAAC,CAAC;IAE9D,OAAO,MAAM,CAAC;AAChB,CAAC"}
+{"version":3,"file":"validate.js","sourceRoot":"","sources":["../../../src/core/validate.ts"],"names":[],"mappings":"AAAA;;;;GAIG;AAGH,OAAO,EAAE,iBAAiB,EAAE,MAAM,eAAe,CAAC;AAElD,MAAM,OAAO,GAAiB;IAC5B,aAAa;IACb,OAAO;IACP,WAAW;IACX,SAAS;IACT,QAAQ;CACT,CAAC;AAEF,MAAM,cAAc,GAAG;IACrB,OAAO;IACP,UAAU;IACV,OAAO;IACP,WAAW;IACX,YAAY;IACZ,YAAY;IACZ,SAAS;IACT,aAAa;CACd,CAAC;AAEF,MAAM,UAAU,gBAAgB,CAAC,CAAW;IAC1C,MAAM,MAAM,GAAa,EAAE,CAAC;IAC5B,MAAM,EAAE,GAAG,CAAC,GAAW,EAAE,EAAE,CAAC,IAAI,CAAC,CAAC,EAAE,IAAI,cAAc,KAAK,GAAG,EAAE,CAAC;IAEjE,IAAI,CAAC,CAAC,CAAC,EAAE,IAAI,OAAO,CAAC,CAAC,EAAE,KAAK,QAAQ;QAAE,MAAM,CAAC,IAAI,CAAC,OAAO,CAAC,CAAC;SACvD,IAAI,CAAC,yBAAyB,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC;QAAE,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,UAAU,CAAC,CAAC,CAAC;IAC5E,IAAI,CAAC,CAAC,CAAC,KAAK,IAAI,OAAO,CAAC,CAAC,KAAK,KAAK,QAAQ;QAAE,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,UAAU,CAAC,CAAC,CAAC;IACzE,IAAI,CAAC,CAAC,CAAC,KAAK,IAAI,OAAO,CAAC,CAAC,KAAK,KAAK,QAAQ,EAAE,CAAC;QAC5C,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,UAAU,CAAC,CAAC,CAAC;QAC5B,OAAO,MAAM,CAAC;IAChB,CAAC;IACD,IAAI,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,IAAI,OAAO,CAAC,CAAC,KAAK,CAAC,OAAO,KAAK,QAAQ,EAAE,CAAC;QAC5D,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,wBAAwB,CAAC,CAAC,CAAC;IAC5C,CAAC;IACD,IAAI,CAAC,CAAC,KAAK,CAAC,IAAI,EAAE,CAAC;QACjB,IAAI,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,CAAC,MAAM,KAAK,CAAC,EAAE,CAAC;YAC1E,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,0BAA0B,CAAC,CAAC,CAAC;QAC9C,CAAC;aAAM,CAAC;YACN,CAAC,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE;gBAClC,IAAI,CAAC,CAAC,CAAC,SAAS,IAAI,CAAC,CAAC,IAAI,KAAK,SAAS,EAAE,CAAC;oBACzC,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,cAAc,CAAC,wBAAwB,CAAC,CAAC,CAAC;gBAC3D,CAAC;YACH,CAAC,CAAC,CAAC;QACL,CAAC;IACH,CAAC;IACD,IAAI,CAAC,CAAC,IAAI,KAAK,SAAS,IAAI,CAAC,CAAC,IAAI,KAAK,MAAM,IAAI,CAAC,CAAC,IAAI,KAAK,MAAM,EAAE,CAAC;QACnE,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,0BAA0B,CAAC,CAAC,CAAC;IAC9C,CAAC;IACD,IAAI,CAAC,CAAC,IAAI,KAAK,MAAM,IAAI,CAAC,CAAC,KAAK,EAAE,IAAI,EAAE,CAAC;QACvC,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,uCAAuC,CAAC,CAAC,CAAC;IAC3D,CAAC;IACD,IAAI,CAAC,CAAC,CAAC,MAAM,IAAI,CAAC,OAAO,CAAC,QAAQ,CAAC,CAAC,CAAC,MAAM,CAAC,EAAE,CAAC;QAC7C,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,eAAe,OAAO,CAAC,IAAI,CAAC,KAAK,CAAC,EAAE,CAAC,CAAC,CAAC;IACxD,CAAC;IAED,IAAI,CAAC,CAAC,QAAQ,EAAE,CAAC;QACf,MAAM,IAAI,GAAI,CAAC,CAAC,QAA8B,CAAC,IAAI,CAAC;QACpD,IAAI,CAAC,IAAI,IAAI,CAAC,cAAc,CAAC,QAAQ,CAAC,IAAI,CAAC,EAAE,CAAC;YAC5C,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,sBAAsB,cAAc,CAAC,IAAI,CAAC,KAAK,CAAC,EAAE,CAAC,CAAC,CAAC;QACtE,CAAC;IACH,CAAC;IAED,KAAK,MAAM,CAAC,IAAI,CAAC,CAAC,OAAO,IAAI,EAAE,EAAE,CAAC;QAChC,IAAI,CAAC,iBAAiB,CAAC,QAAQ,CAAC,CAAC,CAAC,IAAI,CAAC,EAAE,CAAC;YACxC,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,kBAAkB,CAAC,CAAC,IAAI,SAAS,iBAAiB,CAAC,IAAI,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC,CAAC;QACpF,CAAC;IACH,CAAC;IAED,MAAM,UAAU,GAAG,OAAO,CAAC,CAAC,CAAC,QAAQ,CAAC,IAAI,CAAC,CAAC,CAAC,OAAO,EAAE,MAAM,IAAI,CAAC,CAAC,GAAG,CAAC,CAAC;IACvE,IAAI,CAAC,UAAU;QAAE,MAAM,CAAC,IAAI,CAAC,EAAE,CAAC,2BAA2B,CAAC,CAAC,CAAC;IAE9D,OAAO,MAAM,CAAC;AAChB,CAAC"}

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@aipack-ai/eval",
-  "version": "1.1.6",
+  "version": "1.1.7",
   "description": "aipack Eval 体系：EvalCase 格式 + 规则评分器 + Runner（mock fixture replay）+ 报告与 baseline 门禁",
   "type": "module",
   "main": "./dist/index.js",
@@ -35,7 +35,7 @@
     "node": ">=18.0.0"
   },
   "dependencies": {
-    "@aipack-ai/agent": "1.1.6"
+    "@aipack-ai/agent": "1.1.7"
   },
   "devDependencies": {
     "@types/node": "^20.12.0",
@@ -48,6 +48,7 @@
     "prebuild": "[ -f ../agent/dist/index.d.ts ] || pnpm --filter @aipack-ai/agent build",
     "typecheck": "tsc --noEmit",
     "test": "node --import tsx --test tests/*.test.ts",
-    "eval": "node --import tsx src/cli.ts run"
+    "eval": "node --import tsx src/cli.ts run",
+    "eval:live": "node --import tsx src/cli.ts run --mode live"
   }
 }