@migor/agentia 0.6.0 → 0.6.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +248 -0
- package/README.md +1 -2
- package/dist/AGENTS.md +226 -199
- package/dist/core/abort.js +4 -1
- package/dist/core/abort.js.map +1 -1
- package/dist/core/timeout.d.ts +72 -0
- package/dist/core/timeout.js +117 -0
- package/dist/core/timeout.js.map +1 -0
- package/dist/core/tool.d.ts +11 -0
- package/dist/engine/concurrency.d.ts +6 -30
- package/dist/engine/concurrency.js +6 -64
- package/dist/engine/concurrency.js.map +1 -1
- package/dist/engine/errors.js +14 -4
- package/dist/engine/errors.js.map +1 -1
- package/dist/engine/replay.js +4 -1
- package/dist/engine/replay.js.map +1 -1
- package/dist/engine/trimming.js +6 -0
- package/dist/engine/trimming.js.map +1 -1
- package/dist/engine/turn.js +15 -3
- package/dist/engine/turn.js.map +1 -1
- package/dist/engine/usage.js +4 -1
- package/dist/engine/usage.js.map +1 -1
- package/dist/eval/harvest.d.ts +0 -7
- package/dist/eval/harvest.js +20 -9
- package/dist/eval/harvest.js.map +1 -1
- package/dist/index.d.ts +1 -1
- package/dist/index.js +1 -1
- package/dist/integrations/mcp.d.ts +13 -4
- package/dist/integrations/mcp.js +27 -24
- package/dist/integrations/mcp.js.map +1 -1
- package/dist/integrations/otlp.js +29 -11
- package/dist/integrations/otlp.js.map +1 -1
- package/dist/runtime/session.js +5 -1
- package/dist/runtime/session.js.map +1 -1
- package/dist/toolkit/module.d.ts +14 -0
- package/dist/toolkit/module.js +6 -0
- package/dist/toolkit/module.js.map +1 -1
- package/package.json +3 -2
package/dist/AGENTS.md
CHANGED
|
@@ -2,10 +2,20 @@
|
|
|
2
2
|
|
|
3
3
|
> 本文件是 **AI 辅助编码的权威入口**,也是人类速查表。
|
|
4
4
|
> 仓库根部的 `AGENTS.md` 讲的是「怎么改这个仓库」;**本文件讲的是「怎么用这个框架」**。
|
|
5
|
-
> 文中所有 API 名与选项名都由框架仓库的测试对着源码校验 —— 改名会立刻失败,不会静默过期。
|
|
6
5
|
|
|
7
6
|
包名:`@migor/agentia`(框架)/ `@migor/cli`(命令行)。Node ≥ 18,ESM,TypeScript 7。
|
|
8
7
|
|
|
8
|
+
**目录**
|
|
9
|
+
- [0. 心智模型(先读这一段)](#0-心智模型先读这一段)
|
|
10
|
+
- [1. 最小可运行示例](#1-最小可运行示例)
|
|
11
|
+
- [2. 项目结构(CLI 约定)](#2-项目结构cli-约定)
|
|
12
|
+
- [3. 装饰器 spec 字段速查](#3-装饰器-spec-字段速查)
|
|
13
|
+
- [4. createApp 与 app.run 选项](#4-createapp-与-apprun-选项)
|
|
14
|
+
- [5. 类型链路(这块决定「编辑器给不给提示」)](#5-类型链路这块决定编辑器给不给提示)
|
|
15
|
+
- [6. 运行时 API](#6-运行时-api)
|
|
16
|
+
- [7. 已知边界(如实标注,不要指望框架替你兜)](#7-已知边界如实标注不要指望框架替你兜)
|
|
17
|
+
- [8. 常见错误](#8-常见错误)
|
|
18
|
+
|
|
9
19
|
---
|
|
10
20
|
|
|
11
21
|
## 0. 心智模型(先读这一段)
|
|
@@ -192,6 +202,7 @@ npx @migor/cli doctor # 静态体检(未登记/悬空/命名/重复
|
|
|
192
202
|
| `maxToolConcurrency` | 同回合并行工具上限;缺省不限 |
|
|
193
203
|
| `maxEventChars` | trace 事件正文截断上限(字符):数字 = 入参/出参统一用该上限,`false` = **不截断**;缺省按类型收敛(入参/成功出参 2000、失败出参 1000)。**透传给子 agent/skill 的子循环** —— 同一棵调用树上口径一致。只影响**记账**,回给模型的 tool_result 永远完整 |
|
|
194
204
|
| `session` | 会话持久化 `{ store, id }`:run 前拼历史、成功收尾追加本轮(见 `SessionStore`) |
|
|
205
|
+
| `memory` | 跨 run 记忆 `{ store, keys }`:run 前水合进 blackboard(用户种子优先)、收尾写回;与 `session` 正交(见 `MemoryStore`) |
|
|
195
206
|
|
|
196
207
|
返回 `AgentRunOutput`:`{ run, result }`。`result` 含 `trace` / `stopReason` / `finalText` / `iterations` / `error` / `typed`。
|
|
197
208
|
|
|
@@ -274,7 +285,11 @@ Anthropic Messages API 逐字对齐(snake_case),并与 SDK 的对应类型
|
|
|
274
285
|
|
|
275
286
|
## 6. 运行时 API
|
|
276
287
|
|
|
277
|
-
###
|
|
288
|
+
### 6.1 运行时上下文与装配
|
|
289
|
+
|
|
290
|
+
run 内取上下文(黑板 / `@Skill` 第二参)、把装饰器装配成 app、环境变量与 `.env` 的读法。
|
|
291
|
+
|
|
292
|
+
#### `RunContext`(`RunContext.current()`,run 内任意异步上下文可取)
|
|
278
293
|
|
|
279
294
|
| 成员 | 说明 |
|
|
280
295
|
|---|---|
|
|
@@ -285,14 +300,14 @@ Anthropic Messages API 逐字对齐(snake_case),并与 SDK 的对应类型
|
|
|
285
300
|
| `delete` | 删除键 |
|
|
286
301
|
| `keys` | 当前全部键 |
|
|
287
302
|
|
|
288
|
-
|
|
303
|
+
#### `SkillContext`(`@Skill` 方法第二参)
|
|
289
304
|
|
|
290
305
|
| 成员 | 说明 |
|
|
291
306
|
|---|---|
|
|
292
307
|
| `model` | 本次技能的缺省模型 |
|
|
293
308
|
| `llm` | 受限子运行:`await ctx.llm({ prompt })` / `{ messages, system, model, maxTokens, maxIterations }` |
|
|
294
309
|
|
|
295
|
-
|
|
310
|
+
#### 装配与执行
|
|
296
311
|
|
|
297
312
|
| API | 说明 |
|
|
298
313
|
|---|---|
|
|
@@ -308,7 +323,7 @@ Anthropic Messages API 逐字对齐(snake_case),并与 SDK 的对应类型
|
|
|
308
323
|
| `isSuccessStopReason` | `end_turn` / `stop_sequence` 都算正常收尾 |
|
|
309
324
|
| `resolveDefaultModel` | 显式 > `AGENTIA_MODEL` > `claude-opus-5` |
|
|
310
325
|
|
|
311
|
-
|
|
326
|
+
#### 环境变量与 `.env`(`loadEnvFile`)
|
|
312
327
|
|
|
313
328
|
| API | 说明 |
|
|
314
329
|
|---|---|
|
|
@@ -333,7 +348,11 @@ const app = await createApp({ ... });
|
|
|
333
348
|
|
|
334
349
|
解析规则(刻意窄,够用就好):`KEY=VALUE`,允许 `export ` 前缀与 `=` 两侧空白;`#` 整行注释;单引号内原样、双引号内认 `\n \r \t \" \\`;未加引号的值里 ` #` 起为行内注释。键名 `__proto__` **显式报错**(它会走原型 setter 被静默吞掉 —— 正是「以为配上了其实没配上」)。**不做变量展开、不合并续行**(需要就上专门的库);既不像 `KEY=VALUE` 又不是注释的行**直接报错并指出行号** —— 静默跳过等于让你以为「配上了其实没配上」。
|
|
335
350
|
|
|
336
|
-
###
|
|
351
|
+
### 6.2 触发与宿主
|
|
352
|
+
|
|
353
|
+
同一个 app 换宿主不换语义:HTTP handler、异步任务、定时、取消与并发闸门。
|
|
354
|
+
|
|
355
|
+
#### 宿主(换宿主不换语义)
|
|
337
356
|
|
|
338
357
|
| API | 说明 |
|
|
339
358
|
|---|---|
|
|
@@ -348,7 +367,7 @@ const app = await createApp({ ... });
|
|
|
348
367
|
| `SqliteTaskStore` | `node:sqlite` 耐久存储(WAL + busy_timeout) |
|
|
349
368
|
| `RedisTaskStore` | duck-typed Redis 存储(可设 `ttlSeconds`);客户端结构面 `get` / `set` / `del` / `keys`(或 `scanIterator`),外加设 TTL 时必需的 `expire`。`set` **只传两参** —— 尾参的选项形状两家相反:ioredis 认位置参数 `('EX', n)`、node-redis 认对象 `{ EX: n }`,取任何一种都会在另一家上失效(ioredis 会把对象字符串化成 `"[object Object]"` 报语法错;**node-redis 的 `SET` 只声明三个形参,位置参数被静默丢弃**)。所以 TTL 一律走 `expire(key, seconds)`(两家同名同形);设了 `ttlSeconds > 0` 却没给 `expire` 时**构造期抛错**,不静默丢掉 TTL |
|
|
350
369
|
|
|
351
|
-
|
|
370
|
+
#### HTTP 端点速查(`createHttpHandler` 的路由)
|
|
352
371
|
|
|
353
372
|
| 端点 | 请求 | 响应 |
|
|
354
373
|
|---|---|---|
|
|
@@ -374,7 +393,7 @@ const handler = createHttpHandler(callable, { runner });
|
|
|
374
393
|
(**不随 npm 包发布** —— 包里只有 `dist/`、README、LICENSE 与本说明):
|
|
375
394
|
<https://github.com/retrychx/agentia/tree/main/examples/complete>
|
|
376
395
|
|
|
377
|
-
|
|
396
|
+
#### `createHttpHandler(app, opts?: HttpHandlerOptions)`
|
|
378
397
|
|
|
379
398
|
| 选项 | 说明 |
|
|
380
399
|
|---|---|
|
|
@@ -408,7 +427,7 @@ process.on('SIGTERM', async () => {
|
|
|
408
427
|
});
|
|
409
428
|
```
|
|
410
429
|
|
|
411
|
-
|
|
430
|
+
#### `GET /healthz` → `HealthResponse`
|
|
412
431
|
|
|
413
432
|
| 字段 | 说明 |
|
|
414
433
|
|---|---|
|
|
@@ -419,7 +438,7 @@ process.on('SIGTERM', async () => {
|
|
|
419
438
|
|
|
420
439
|
**不鉴权**(探针带不了凭据),且停机中也照回 200。非 `GET` 回 405。
|
|
421
440
|
|
|
422
|
-
|
|
441
|
+
#### 取消 / 重试 / 流式 / 并发闸门
|
|
423
442
|
|
|
424
443
|
| API | 说明 |
|
|
425
444
|
|---|---|
|
|
@@ -431,37 +450,13 @@ process.on('SIGTERM', async () => {
|
|
|
431
450
|
- **取消**:`app.run(messages, { signal })` 传 `AbortSignal` —— 框架会 abort 在飞请求(内置 Anthropic / OpenAI 适配器都转发 `signal`),run 以 `stopReason='aborted'` 收尾(算失败)。`createHttpHandler` 已内置「客户端断开即中止」;`AsyncRunner.runTimeoutMs` 到点同样是**真中止**(构造期校验:必须 ≥ 0 的**有限**数 —— NaN/Infinity 会被 `setTimeout` 钳到 1ms,等于每个任务立即超时,故直接抛错;要「不限」传 0 或不设)。
|
|
432
451
|
- **重试**:缺省自动重试可重试失败(429 / 5xx / 连接失败),指数退避 + 抖动。`retry: false` 关闭,或 `retry: { maxAttempts, baseDelayMs, maxDelayMs, jitter, onRetry }` 调参。**只在本次尝试尚未产出任何文本时重试**(已吐出的字无法撤回)。⚠️ 与底层 client 的内置重试叠加(默认 client 的 `maxRetries` 缺省 2)—— 建议二选一调(这里 `maxAttempts: 1`,或 `createAnthropicClient({ maxRetries: 0 })`)。
|
|
433
452
|
- **流式**:`POST /run` 带 `Accept: text/event-stream` → SSE 逐帧下发(`text.delta` / `run.end` / `error`);不带该头仍回一元 JSON。
|
|
434
|
-
- **工具超时 / 并发闸门**:`toolTimeoutMs` 超时**不杀 run**(该条 tool_result 记 `is_error`,模型可换路);`maxToolConcurrency` 给同回合的并行工具设上限(默认全并行)。⚠️ 超时 = **放弃等待**,`AgentTool.run` 没有 signal 参数,**副作用可能已发生** —— 想真停的工具请自行读 `ToolRunContext.signal`。
|
|
453
|
+
- **工具超时 / 并发闸门**:`toolTimeoutMs` 超时**不杀 run**(该条 tool_result 记 `is_error`,模型可换路);`maxToolConcurrency` 给同回合的并行工具设上限(默认全并行)。⚠️ 超时 = **放弃等待**,`AgentTool.run` 没有 signal 参数,**副作用可能已发生** —— 想真停的工具请自行读 `ToolRunContext.signal`。**超时判定只有一个裁判**:`toolTimeoutMs` 是唯一判据 —— 工具自带的超时(如 MCP 桥的 `timeoutMs`)在设了本项时**不参与**判定;反过来说,工具自判的超时(抛 `code='timeout'` 的错误)与引擎判的记**同一类账**(`errorKind='timeout'`),并同样回 `is_error`。
|
|
435
454
|
|
|
436
|
-
###
|
|
455
|
+
### 6.3 上下文预算与成本
|
|
437
456
|
|
|
438
|
-
|
|
439
|
-
|---|---|
|
|
440
|
-
| `TraceSink` | `{ export(trace) }`,run 收尾(成功/失败)都投递,抛错被吞 |
|
|
441
|
-
| `registerDefaultTraceSink` | 注册全局默认 sink(构造期快照合并) |
|
|
442
|
-
| `TraceRecorder` | 内存 recorder(一次 run 一个) |
|
|
443
|
-
| `createOtlpExporter` | OTLP/JSON 导出,零依赖;选项 `OtlpExporterOptions`:`endpoint` / `headers` / `serviceName` / `timeoutMs`(单次导出超时,缺省 10000,非正数 = 不限 —— 裸 fetch 无超时,collector 半开连接会让 run 收尾永久挂起;超时按导出失败处理,不击穿 run) |
|
|
444
|
-
| `metricsSink` | 指标累加器(Prometheus 文本 / OTLP metrics),满足 `TraceSink` 即接入 —— 见 §6「指标」 |
|
|
445
|
-
| `buildRunReport` | 从一条 trace 生成**调优报告**(能力/模型的耗时、token、成本、错误率排行)—— 见 §6「调优报告」 |
|
|
446
|
-
| `Score` | 质量评分:`{ name; value; source?; comment? }` —— LLM-judge / 人工标注 / eval 结论挂到 trace 上;约定 `value` 为 0–1(布尔结论用 0/1),`source` 记评分来源(eval 名 / `'human'` / judge 模型 id) |
|
|
447
|
-
| `attachScore` | `attachScore(trace, score)`:把评分挂到 run 根 span(一条 `score` 事件,body 即 `Score`)。评分通常来自 run **之外**(跑完才评),所以走事件而非 span 字段;trace 找不到根 span 时静默忽略(观测不击穿业务) |
|
|
457
|
+
长上下文怎么裁、成本怎么硬停 —— 两套独立旋钮,各自的选项表跟在对应小节后。
|
|
448
458
|
|
|
449
|
-
|
|
450
|
-
(`gen_ai.evaluation.score.name` / `.value`,`source` / `comment` 走自有 `agentia.score.*` 键)→
|
|
451
|
-
`metricsSink` 聚合成 `agentia_score` 指标族(见 §6「指标」)。eval / 在线评估怎么用见 §6「evals」与「在线评估采样」。
|
|
452
|
-
|
|
453
|
-
**OTLP 的 `gen_ai.*` 对齐**(R7,对齐 OTel GenAI semconv **v1.37**,**additive** —— 只追加 `gen_ai.*` 键,既有 `usage.*` 等键一律保留):
|
|
454
|
-
run 根 → `gen_ai.operation.name=invoke_agent` + `gen_ai.agent.name`(attributes 有 `session.id` 时另发 `gen_ai.conversation.id`);
|
|
455
|
-
`llm.turn` → `gen_ai.operation.name=chat` + `gen_ai.request.model` + `gen_ai.usage.input_tokens` / `output_tokens`;
|
|
456
|
-
capability span 按前缀分:`subagent:*` → `invoke_agent` + `gen_ai.agent.name`,`skill:*` → `execute_tool` + `gen_ai.tool.name`;
|
|
457
|
-
`score` 事件 → `gen_ai.evaluation.result`。映射集中在 `createOtlpExporter` 一处,下游(Langfuse / Grafana / Datadog)按 1.37+ 识别这批键做 GenAI 专项视图。
|
|
458
|
-
|
|
459
|
-
> **生产落地**(按 runId 落库检索 / 日志关联 / 采样 / 脱敏)见 `docs/observability.md` ——
|
|
460
|
-
> 框架只保证 trace 出口,这些都在缝外用 sink 组合;四条现成 sink 的实码在
|
|
461
|
-
> `examples/observability/`。**完整的示例**(四类能力 + 三种触发 + 鉴权 + 全观测栈)在 `examples/complete/`;
|
|
462
|
-
> 最小可交付示例(Dockerfile + compose)在 `examples/deploy/`。
|
|
463
|
-
|
|
464
|
-
### 长上下文
|
|
459
|
+
#### 长上下文
|
|
465
460
|
|
|
466
461
|
| API | 说明 |
|
|
467
462
|
|---|---|
|
|
@@ -477,7 +472,7 @@ capability span 按前缀分:`subagent:*` → `invoke_agent` + `gen_ai.agent.n
|
|
|
477
472
|
引擎在每条 run 开始时调一次,拿**本 run 专用**的实例(`createBudgetPolicy` 已实现它);
|
|
478
473
|
不实现的自定义策略按单例复用,状态跨 run(含并发 run)共享 —— 适合无状态策略,有状态请实现 `forRun`。
|
|
479
474
|
|
|
480
|
-
|
|
475
|
+
#### 成本硬管控(**别与上面的上下文预算混为一谈**)
|
|
481
476
|
|
|
482
477
|
| API | 说明 |
|
|
483
478
|
|---|---|
|
|
@@ -504,20 +499,20 @@ if (result.stopReason === 'budget_exceeded') console.warn('这次 run 被预算
|
|
|
504
499
|
|
|
505
500
|
选项字段(`TrimOptions` / `CompactOptions` / `BudgetPolicyOptions`):
|
|
506
501
|
|
|
507
|
-
|
|
502
|
+
#### `TrimOptions`(`trimToolPairs` 的选项)
|
|
508
503
|
|
|
509
504
|
| 字段 | 说明 |
|
|
510
505
|
|---|---|
|
|
511
506
|
| `keepToolPairs` | 保留的最近工具**对数**(tool_use→tool_result);缺省 1 |
|
|
512
507
|
|
|
513
|
-
|
|
508
|
+
#### `CompactOptions`(`compactMessages` 的选项)
|
|
514
509
|
|
|
515
510
|
| 字段 | 说明 |
|
|
516
511
|
|---|---|
|
|
517
512
|
| `keepRecent` | 保留的最近消息**条数**;缺省 20 |
|
|
518
513
|
| `summarize` | 摘要器:输入被弃旧前缀的渲染文本,返回摘要(框架不替你造 token) |
|
|
519
514
|
|
|
520
|
-
|
|
515
|
+
#### `BudgetPolicyOptions`(`createBudgetPolicy` 的选项)
|
|
521
516
|
|
|
522
517
|
| 字段 | 说明 |
|
|
523
518
|
|---|---|
|
|
@@ -531,141 +526,39 @@ if (result.stopReason === 'budget_exceeded') console.warn('这次 run 被预算
|
|
|
531
526
|
|
|
532
527
|
> `keepRecent`(**消息条数**,compaction 用)与 `keepToolPairs`(**工具对数**,context editing 用)是两种单位,刻意分开命名 —— 别拿同一个值套过去。
|
|
533
528
|
|
|
534
|
-
###
|
|
535
|
-
|
|
536
|
-
| API | 说明 |
|
|
537
|
-
|---|---|
|
|
538
|
-
| `createAnthropicClient` | 默认 ModelClient(Anthropic):自定义只传 `apiKey` / `baseURL`;框架**零运行时依赖**,不装厂商 SDK |
|
|
539
|
-
| `createOpenAIClient` | OpenAI 兼容端点适配(DeepSeek 等;**真流式**、图片块转 `image_url`、cache token 恒 0) |
|
|
540
|
-
| `InMemoryMemoryStore` | 跨 run 的**键值黑板**记忆(`{ store, keys }` 配 `executeRun`) |
|
|
541
|
-
| `InMemorySessionStore` | 跨 run 的**对话历史**(`{ store, id }` 配 `executeRun` / `app.run`);与前者正交,可同时用 |
|
|
542
|
-
| `traceToMessages` | 把 trace 还原成 messages(重放基底) |
|
|
543
|
-
| `forkMessages` | 分叉重放:在主循环第 `atTurn` 回合之前截断重放历史、拼上 `append` 新消息喂回 `app.run`(「从第 N 回合换个问法重跑」的基底,**不是续跑**) |
|
|
544
|
-
| `diffTraces` | 两条 trace 的 A/B 比对(prompt / 模型实验):run 级 summary + 逐 span 字段差;纯函数,llm.turn 配对**忽略模型名**,缺省忽略墙钟 |
|
|
545
|
-
| `applyMiddleware` | 手动包裹配置菜单(装配层已自动做) |
|
|
546
|
-
|
|
547
|
-
### MCP 桥(MCP 是「工具来源」,不是新机制)
|
|
548
|
-
|
|
549
|
-
| API | 说明 |
|
|
550
|
-
|---|---|
|
|
551
|
-
| `mcpTools` | 把 MCP server 的 `tools/list` 映射成框架 `AgentTool[]`(进 `createApp({ tools })`) |
|
|
552
|
-
| `McpClientLike` | 最小结构面:`listTools()` + `callTool(name, args)`;框架**不 import** MCP SDK |
|
|
553
|
-
| `MCP_DEFAULT_TIMEOUT_MS` | 桥的缺省单次调用超时(60000 ms) |
|
|
529
|
+
### 6.4 观测与调优
|
|
554
530
|
|
|
555
|
-
|
|
556
|
-
- **原名**:每次调用写进发起 turn 的 `mcp.tool` attribute —— 审计 / 回放要还原它才能回调 server。
|
|
557
|
-
- **入参 schema**:MCP 的 `inputSchema` 已是 JSON Schema → 原样透传,由 engine 的子集校验器在 `callTool` **之前**校验(非法入参根本不会发给 server,模型自己会改)。
|
|
558
|
-
- **失败**:`callTool` 抛错 → 该条 `tool_result` 记 `is_error`,**不杀 run**(与本地工具抛错同语义)。⚠️ **协议层的 `isError: true` 框架看不见** —— 连接器必须转成抛错,否则模型以为成功了。
|
|
559
|
-
- **连接器不在框架里**(守「零运行时依赖」):stdio / StreamableHTTP 归独立可选包,或你自己接 SDK 后实现 `McpClientLike`。本仓库 `scripts/e2e-mcp.ts` 有一份最小连接器可参考。
|
|
560
|
-
|
|
561
|
-
```ts
|
|
562
|
-
// 任意实现了 listTools/callTool 的对象都能接(duck-typed,无需继承)
|
|
563
|
-
const client: McpClientLike = myStdioConnector;
|
|
564
|
-
const tools = await mcpTools(client, { server: 'time' }); // → mcp_time_get_current_time …
|
|
565
|
-
|
|
566
|
-
// 与本地 @Tool 同池:同过中间件链、同进重名查重
|
|
567
|
-
const app = createApp({ system, providers: [...], tools });
|
|
568
|
-
```
|
|
531
|
+
trace 出去之后能干什么:指标、调用树面板、调优报告、生效配置快照、资产版本与会话标记。
|
|
569
532
|
|
|
570
|
-
|
|
571
|
-
|
|
572
|
-
| 字段 | 说明 |
|
|
573
|
-
|---|---|
|
|
574
|
-
| `prefix` | 工具名前缀;缺省 `mcp_<server>_`(没给 `server` 时 `mcp_`);`''` = 不加前缀(撞名自负) |
|
|
575
|
-
| `server` | server 标识,只用于拼缺省前缀(不会发给 server) |
|
|
576
|
-
| `timeoutMs` | 单次 `callTool` 超时(毫秒);缺省 60000,非正数 = 不限 |
|
|
577
|
-
|
|
578
|
-
### evals(把 mockClient 提升为一等能力)
|
|
533
|
+
#### 观测
|
|
579
534
|
|
|
580
535
|
| API | 说明 |
|
|
581
536
|
|---|---|
|
|
582
|
-
| `
|
|
583
|
-
| `
|
|
584
|
-
|
|
585
|
-
|
|
586
|
-
|
|
587
|
-
|
|
588
|
-
|
|
589
|
-
|
|
590
|
-
|
|
591
|
-
```ts
|
|
592
|
-
const ev = defineEval<{ summary: string }>({
|
|
593
|
-
name: 'doc-review',
|
|
594
|
-
app: () => createApp({ system: new SystemPrompt({ version: 'v3' }).add('role', R), providers: [...] }),
|
|
595
|
-
// 每 case 可带 opts(透传 app.run):注入 resultSchema 就能断言 result.typed
|
|
596
|
-
cases: [{ name: '先检索再总结', input: '总结这份文档', client: scriptedClient([searchMsg, submitMsg]) }],
|
|
597
|
-
expect: (r, { trace }) => {
|
|
598
|
-
assert.equal(r.stopReason, 'end_turn');
|
|
599
|
-
const order = trace.spans.flatMap((s) => s.events)
|
|
600
|
-
.filter((e) => e.name === 'tool.input')
|
|
601
|
-
.map((e) => (e.body as { tool: string }).tool);
|
|
602
|
-
assert.deepEqual(order, ['search', 'summarize']); // 顺序断言从 trace 读
|
|
603
|
-
},
|
|
604
|
-
});
|
|
605
|
-
const report = await ev.run();
|
|
606
|
-
if (!report.ok) console.error(report.cases.filter((c) => !c.ok));
|
|
607
|
-
```
|
|
608
|
-
|
|
609
|
-
### 线上 trace 回流 eval 数据集(`agentia harvest`)
|
|
610
|
-
|
|
611
|
-
线上事故 → 回归用例:CLI 把 trace 落盘文件翻成 eval 用例脚手架。
|
|
612
|
-
|
|
613
|
-
```bash
|
|
614
|
-
agentia harvest trace.jsonl # 全部记录 → 脚手架打到 stdout
|
|
615
|
-
agentia harvest trace.jsonl --failed --limit 5 --out evals/harvested.ts
|
|
616
|
-
```
|
|
617
|
-
|
|
618
|
-
- 输入同 `agentia report`:每行一个 JSON(裸 Trace,或含 `result.trace` / `trace` 的 TaskRecord,如 `FileTaskStore` 的导出);`--failed` 只留失败记录。
|
|
619
|
-
- 产物是**可粘贴进 eval 文件的用例字面量**:`client: scriptedClient([...])` 按 trace 的主循环 llm.turn 逐回合重建,`expect` 预填「主循环工具序列」的轨迹断言(文件顶部附跑法注释)。
|
|
620
|
-
- ⚠️ **脚手架不是成品,人工核对后再进 CI**:
|
|
621
|
-
- **trace 不记 assistant 文本**(llm.turn 只记 usage/事件),脚本里的 text 块是占位 `'[harvest] assistant 文本未入 trace'`;
|
|
622
|
-
- 只重建**直属 run 根**的主循环回合 —— 子 agent 的嵌套回合不走主循环脚本(要覆盖子 agent 请单独写 eval);
|
|
623
|
-
- 预填的 `expect` 是从原 trace **抄录的实际轨迹** —— 发生过 ≠ 应该发生;
|
|
624
|
-
- `EvalCase` 没有 `expect` 字段,粘贴时把断言搬进 `defineEval({ expect })`(脚手架注释会教)。
|
|
625
|
-
|
|
626
|
-
### prompt / 模型 A/B(trace diff 与分叉重放)
|
|
627
|
-
|
|
628
|
-
同一份输入跑两条 run(换模型、换 `SystemPrompt` 版本、换 prompt 都行),用 `diffTraces` 比出**结构与成本差**;
|
|
629
|
-
想「从第 3 回合换个问法重跑」,用 `forkMessages` 在分叉点截断、拼上新消息喂回 `app.run`:
|
|
630
|
-
|
|
631
|
-
```ts
|
|
632
|
-
import { diffTraces, forkMessages } from '@migor/agentia';
|
|
633
|
-
|
|
634
|
-
// A/B:同输入,只换模型(或换 system 版本),各跑一条
|
|
635
|
-
const a = await app.run(input, { model: 'claude-sonnet-5' });
|
|
636
|
-
const b = await app.run(input, { model: 'claude-opus-5' });
|
|
637
|
-
|
|
638
|
-
const diff = diffTraces(a.result.trace, b.result.trace);
|
|
639
|
-
// diff.summary:status / totalUsage.* / 根 attributes 差 —— A/B 模型第一眼就看 attributes.model
|
|
640
|
-
// diff.spans:逐 span 字段级差异,path 形如 run:main/llm.turn#0/capability:search
|
|
641
|
-
if (!diff.equal) console.log(diff.summary, diff.spans);
|
|
537
|
+
| `TraceSink` | `{ export(trace) }`,run 收尾(成功/失败)都投递,抛错被吞 |
|
|
538
|
+
| `registerDefaultTraceSink` | 注册全局默认 sink(构造期快照合并) |
|
|
539
|
+
| `TraceRecorder` | 内存 recorder(一次 run 一个) |
|
|
540
|
+
| `createOtlpExporter` | OTLP/JSON 导出,零依赖;选项 `OtlpExporterOptions`:`endpoint` / `headers` / `serviceName` / `timeoutMs`(单次导出超时,缺省 10000,非正数 = 不限 —— 裸 fetch 无超时,collector 半开连接会让 run 收尾永久挂起;超时按导出失败处理,不击穿 run) |
|
|
541
|
+
| `metricsSink` | 指标累加器(Prometheus 文本 / OTLP metrics),满足 `TraceSink` 即接入 —— 见 §6「指标」 |
|
|
542
|
+
| `buildRunReport` | 从一条 trace 生成**调优报告**(能力/模型的耗时、token、成本、错误率排行)—— 见 §6「调优报告」 |
|
|
543
|
+
| `Score` | 质量评分:`{ name; value; source?; comment? }` —— LLM-judge / 人工标注 / eval 结论挂到 trace 上;约定 `value` 为 0–1(布尔结论用 0/1),`source` 记评分来源(eval 名 / `'human'` / judge 模型 id) |
|
|
544
|
+
| `attachScore` | `attachScore(trace, score)`:把评分挂到 run 根 span(一条 `score` 事件,body 即 `Score`)。评分通常来自 run **之外**(跑完才评),所以走事件而非 span 字段;trace 找不到根 span 时静默忽略(观测不击穿业务) |
|
|
642
545
|
|
|
643
|
-
|
|
644
|
-
|
|
645
|
-
|
|
646
|
-
append: [{ role: 'user', content: '换个思路:先给结论,再补证据。' }],
|
|
647
|
-
});
|
|
648
|
-
const c = await app.run(messages); // 起一条新 run,沿着分叉点前的真实 tool 历史继续
|
|
649
|
-
```
|
|
546
|
+
**评分链路**:`attachScore` 写 run 根 `score` 事件 → OTLP 导出时译为 `gen_ai.evaluation.result`
|
|
547
|
+
(`gen_ai.evaluation.name` / `.score.value`,`source` / `comment` 走自有 `agentia.score.*` 键)→
|
|
548
|
+
`metricsSink` 聚合成 `agentia_score` 指标族(见 §6「指标」)。eval / 在线评估怎么用见 §6「evals」与「在线评估采样」。
|
|
650
549
|
|
|
651
|
-
|
|
652
|
-
|
|
653
|
-
|
|
550
|
+
**OTLP 的 `gen_ai.*` 对齐**(对齐 OTel GenAI semconv **v1.37**,**additive** —— 只追加 `gen_ai.*` 键,既有 `usage.*` 等键一律保留):
|
|
551
|
+
run 根 → `gen_ai.operation.name=invoke_agent` + `gen_ai.agent.name`(attributes 有 `session.id` 时另发 `gen_ai.conversation.id`);
|
|
552
|
+
`llm.turn` → `gen_ai.operation.name=chat` + `gen_ai.request.model` + `gen_ai.usage.input_tokens` / `output_tokens`;
|
|
553
|
+
capability span 按 **attributes** 分(`subagent` / `skill`;span 的 `name` 是**裸能力名**):`subagent` → `invoke_agent` + `gen_ai.agent.name`,`skill` → `execute_tool` + `gen_ai.tool.name`;
|
|
554
|
+
`score` 事件 → `gen_ai.evaluation.result`。映射集中在 `createOtlpExporter` 一处,下游(Langfuse / Grafana / Datadog)按 1.37+ 识别这批键做 GenAI 专项视图。
|
|
654
555
|
|
|
655
|
-
|
|
656
|
-
|
|
657
|
-
|
|
658
|
-
|
|
659
|
-
(`SpanDiff.fields` 为空、`path` 照给),整支子树不再下钻。
|
|
660
|
-
- **墙钟缺省不比**:`ignoreTiming` 缺省 true(A/B 不关心时序);传 `false` 改比 span 时长
|
|
661
|
-
(`duration`),绝对时间戳永不比;`traceId` 是身份不是行为,同样永不比。
|
|
662
|
-
- ⚠️ **有损边界(与 `traceToMessages` / harvest 同源)**:trace **不记 assistant 文本与 run 的
|
|
663
|
-
原始输入** —— 重放里 assistant 是标注占位(非逐字原文)、首尾说明性 user 是合成。
|
|
664
|
-
因此 `forkMessages` **不是「续跑」**:它产出的是一份喂回 `app.run` / `runAgent` 的 messages,
|
|
665
|
-
跑的是一条**新 run**,不是接着原 run 的循环位置。分叉的 blackboard 种子由调用方自带
|
|
666
|
-
(`app.run(messages, { blackboard: {…} })` —— trace 不记 blackboard)。
|
|
556
|
+
> **生产落地**(按 runId 落库检索 / 日志关联 / 采样 / 脱敏)见 `docs/observability.md` ——
|
|
557
|
+
> 框架只保证 trace 出口,这些都在缝外用 sink 组合;四条现成 sink 的实码在
|
|
558
|
+
> `examples/observability/`。**完整的示例**(四类能力 + 三种触发 + 鉴权 + 全观测栈)在 `examples/complete/`;
|
|
559
|
+
> 最小可交付示例(Dockerfile + compose)在 `examples/deploy/`。
|
|
667
560
|
|
|
668
|
-
|
|
561
|
+
#### 指标(从 trace 派生)
|
|
669
562
|
|
|
670
563
|
| API | 说明 |
|
|
671
564
|
|---|---|
|
|
@@ -680,7 +573,7 @@ const c = await app.run(messages); // 起一条新 run,沿着分叉点前的
|
|
|
680
573
|
来自 `capability` span。**`@Prompt` 不建 span、无独立耗时,因此不产出能力指标**(如实缺省,不硬凑)。
|
|
681
574
|
- **模型级** —— 按模型(`llm.turn` 的 span name)归因 turn 数 / token / 成本 / 耗时,并单独给出
|
|
682
575
|
`model_unpriced_turns_total`(算不出成本的 turn 数 —— **成本护栏失效的显式信号**)。
|
|
683
|
-
-
|
|
576
|
+
- **评分级** —— 来自 run 根 span 的 `score` 事件(`attachScore` 写入):
|
|
684
577
|
`agentia_score{name,source}` gauge 记**最近一次**值(分数不是累加量),`agentia_score_total{name,source}` counter 记条数;
|
|
685
578
|
`snapshot().scores` 以 `name@source` 为键(source 缺省时裸 name)暴露 `{ value, count, sum }`(平均 = sum/count),
|
|
686
579
|
OTLP metrics payload 同样带这两个家族,`reset()` 一并清空。
|
|
@@ -695,7 +588,7 @@ const c = await app.run(messages); // 起一条新 run,沿着分叉点前的
|
|
|
695
588
|
分位 gauge 与 histogram **必须不同名**(同名指标只允许一种 TYPE,混发会被 expfmt 判硬错误、整次 scrape 失败),
|
|
696
589
|
故分位家族统一带 `_last` 后缀;capability / model 维度同理(`capability_duration_ms_last` / `model_duration_ms_last`)。
|
|
697
590
|
|
|
698
|
-
|
|
591
|
+
#### `MetricsSinkOptions`(`metricsSink` 的选项)
|
|
699
592
|
|
|
700
593
|
| 字段 | 说明 |
|
|
701
594
|
|---|---|
|
|
@@ -711,7 +604,7 @@ const c = await app.run(messages); // 起一条新 run,沿着分叉点前的
|
|
|
711
604
|
| `maxCapabilities` | 能力标签基数上限(缺省 200):超出后新能力归入 `capability="__other__"`(防标签爆炸);非正数抛错 |
|
|
712
605
|
| `buckets` | 直方图桶边界(毫秒,严格升序);缺省 `DEFAULT_BUCKETS` |
|
|
713
606
|
|
|
714
|
-
|
|
607
|
+
#### `MetricsSink`(`metricsSink()` 的返回值)
|
|
715
608
|
|
|
716
609
|
| 成员 | 说明 |
|
|
717
610
|
|---|---|
|
|
@@ -727,7 +620,7 @@ const c = await app.run(messages); // 起一条新 run,沿着分叉点前的
|
|
|
727
620
|
- **内存上限** ≈ `(1 + 能力数 + 模型数) × windowSize` —— 能力数由 `maxCapabilities` 封顶,长跑宿主不会被拖住。
|
|
728
621
|
- `costUsd` 依赖模型在价格表内(不在表里时不计、并计入 `unpricedTurns` 与 `usage.unpriced` 事件);根 span 未收尾(如失败路径的半截 trace)的 run 不进延迟样本。
|
|
729
622
|
|
|
730
|
-
|
|
623
|
+
#### 调用树面板(`agentia dev` 的本地面板 / 官网 Playground)
|
|
731
624
|
|
|
732
625
|
同一份 `@migor/trace-view` 渲染器,**面板 / Playground / `report` 的能力排行三处共用**,不各写一套。
|
|
733
626
|
|
|
@@ -739,7 +632,7 @@ const c = await app.run(messages); // 起一条新 run,沿着分叉点前的
|
|
|
739
632
|
- 入参折叠态的摘要被砍到 62 字符(4 个键 / 每值 21 字符);**展开拿到的是原文**,不是那份摘要 ——
|
|
740
633
|
本地面板与官网 Playground 两个宿主都是如此(两个宿主都不该只喂摘要,否则点开什么都没多出来)。
|
|
741
634
|
|
|
742
|
-
|
|
635
|
+
#### 调优报告(**哪个能力慢 / 贵 / 爱失败**)
|
|
743
636
|
|
|
744
637
|
指标回答「整体怎么样」,报告回答「**该拧哪个旋钮**」:
|
|
745
638
|
|
|
@@ -782,7 +675,7 @@ const app = await createApp({ /* … */ sinks: [jsonl] });
|
|
|
782
675
|
异步宿主更省事:把 `FileTaskStore` 的落盘文件直接喂给它 —— `TaskRecord` 里带 `result.trace`,
|
|
783
676
|
`report` 认这种形态,不用另写 sink。
|
|
784
677
|
|
|
785
|
-
|
|
678
|
+
#### 生效配置快照(「这条 run 用了哪套旋钮」)
|
|
786
679
|
|
|
787
680
|
每个 run 的**根 span** 都带一组 `config.*` attributes(`config.maxTokens` / `config.maxCostUsd` /
|
|
788
681
|
`config.retry.maxAttempts` / `config.contextPolicy.budgetTokens` / `config.priceOverrides` /
|
|
@@ -793,16 +686,161 @@ const app = await createApp({ /* … */ sinks: [jsonl] });
|
|
|
793
686
|
函数型选项(`summarize` / `confirm` 之类)只记「配没配」,不记函数体。
|
|
794
687
|
截断关掉时记的是 `'off'` 而不是 `false` —— 后者在日志/看板里会被读成「上限为 0」。
|
|
795
688
|
|
|
796
|
-
|
|
689
|
+
#### 提示词版本化与会话标记(run 根 attribute)
|
|
797
690
|
|
|
798
691
|
- `new SystemPrompt({ version: 'git-abc123' })` → 自动写到 **run 根 span 的 `system.version` attribute**:trace 里能查出「这个结果是哪个版本的提示词产出的」(换 prompt 前后对比、排查回归都靠它)。
|
|
799
692
|
- 版本号怎么来(git sha / 语义版本 / 手工)由你决定 —— 框架**不做**版本库与回滚平台。
|
|
800
693
|
- 单次 `app.run(..., { system })` 覆盖时,版本**跟当次那个 `SystemPrompt` 走**;`system` 传已拼好的 `SystemParam` 则无版本可记(不写空串冒充实有版本)。
|
|
801
694
|
- 直连 `runAgent` / `executeRun` 时可用引擎级选项 `systemVersion` 显式给。
|
|
802
|
-
- **`@Prompt`
|
|
803
|
-
-
|
|
695
|
+
- **`@Prompt` 资产版本**:`@Prompt({ version })` 声明后,装配期把菜单里全部带版本的 @Prompt 收集成 `{ 能力名: 版本 }` 表(与主菜单同一条收集路径,`toolSources` 收窄同样生效),每次 run 落 run 根 span 的 `prompts.versions` attribute(`name@ver` 逗号拼接、按名排序、空表不记)—— 质量回归能定位到具体资产版本。直连 `runAgent` 时用引擎级选项 `promptVersions` 显式给。
|
|
696
|
+
- **会话标识**:`app.run(..., { session })` / `executeRun` 给了 `session` 时,session id 自动落 run 根 span 的 `session.id` attribute(OTLP 导出时映射 `gen_ai.conversation.id`)—— 多轮对话的 run 由此可按会话聚合,不用手填。直连 `runAgent` 时用引擎级选项 `sessionId` 显式给。
|
|
697
|
+
|
|
698
|
+
### 6.5 集成
|
|
699
|
+
|
|
700
|
+
换模型 / 接 MCP / 离线 eval / prompt 与模型的 A-B。
|
|
701
|
+
|
|
702
|
+
#### 多模型 / 记忆 / 重放
|
|
703
|
+
|
|
704
|
+
| API | 说明 |
|
|
705
|
+
|---|---|
|
|
706
|
+
| `createAnthropicClient` | 默认 ModelClient(Anthropic):自定义只传 `apiKey` / `baseURL`;框架**零运行时依赖**,不装厂商 SDK |
|
|
707
|
+
| `createOpenAIClient` | OpenAI 兼容端点适配(DeepSeek 等;**真流式**、图片块转 `image_url`、cache token 恒 0) |
|
|
708
|
+
| `InMemoryMemoryStore` | 跨 run 的**键值黑板**记忆(`{ store, keys }` 配 `executeRun`) |
|
|
709
|
+
| `InMemorySessionStore` | 跨 run 的**对话历史**(`{ store, id }` 配 `executeRun` / `app.run`);与前者正交,可同时用 |
|
|
710
|
+
| `traceToMessages` | 把 trace 还原成 messages(重放基底) |
|
|
711
|
+
| `forkMessages` | 分叉重放:在主循环第 `atTurn` 回合之前截断重放历史、拼上 `append` 新消息喂回 `app.run`(「从第 N 回合换个问法重跑」的基底,**不是续跑**) |
|
|
712
|
+
| `diffTraces` | 两条 trace 的 A/B 比对(prompt / 模型实验):run 级 summary + 逐 span 字段差;纯函数,llm.turn 配对**忽略模型名**,缺省忽略墙钟 |
|
|
713
|
+
| `applyMiddleware` | 手动包裹配置菜单(装配层已自动做) |
|
|
714
|
+
|
|
715
|
+
#### MCP 桥(MCP 是「工具来源」,不是新机制)
|
|
716
|
+
|
|
717
|
+
| API | 说明 |
|
|
718
|
+
|---|---|
|
|
719
|
+
| `mcpTools` | 把 MCP server 的 `tools/list` 映射成框架 `AgentTool[]`(进 `createApp({ tools })`) |
|
|
720
|
+
| `McpClientLike` | 最小结构面:`listTools()` + `callTool(name, args)`;框架**不 import** MCP SDK |
|
|
721
|
+
| `MCP_DEFAULT_TIMEOUT_MS` | 桥的**兜底**单次调用超时(60000 ms)—— 引擎设了 `toolTimeoutMs` 时**不参与**判定 |
|
|
722
|
+
|
|
723
|
+
- **名字**:`prefix + 归一化原名`(MCP 名里的 `-` / `.` / 空格 → `_`)。归一化后**空名(原名不含任何 ASCII 字母/数字/下划线时产物为空,如全 emoji 名)/ 撞名 / 超 64 字符**一律**装配期抛错**(静默改名会得到一个调不回去的名字,比启动期报错难查得多)。
|
|
724
|
+
- **原名**:每次调用写进发起 turn 的两条 attribute —— `mcp.tool.<菜单名>`(每次调用各一条,并行调用互不覆盖,审计 / 回放靠它把菜单名还原成 server 认识的原名)与 `mcp.tool`(本次 turn **最近一次**的原名,兼容既有查询)。
|
|
725
|
+
- **入参 schema**:MCP 的 `inputSchema` 已是 JSON Schema → 原样透传,由 engine 的子集校验器在 `callTool` **之前**校验(非法入参根本不会发给 server,模型自己会改)。
|
|
726
|
+
- **失败**:`callTool` 抛错 → 该条 `tool_result` 记 `is_error`,**不杀 run**(与本地工具抛错同语义)。⚠️ **协议层的 `isError: true` 框架看不见** —— 连接器必须转成抛错,否则模型以为成功了。
|
|
727
|
+
- **超时**:**只有一个裁判**。引擎设了 `toolTimeoutMs` 时,桥的 `timeoutMs`(缺省 `MCP_DEFAULT_TIMEOUT_MS` = 60000)**不参与判定**;它只在「桥脱离引擎单用」或「引擎没设 `toolTimeoutMs`」时作为兜底。两条路径共用同一判定(`core/timeout.ts`:**看实测耗时,不看竞速**),超时都记 `errorKind='timeout'` + `is_error` 回模型、**不杀 run**。你自己写的工具要报超时,抛一个 `code === 'timeout'` 的错误即可(不必 import 框架的类)。
|
|
728
|
+
- **连接器不在框架里**(守「零运行时依赖」):stdio / StreamableHTTP 归独立可选包,或你自己接 SDK 后实现 `McpClientLike`。本仓库 `scripts/e2e-mcp.ts` 有一份最小连接器可参考。
|
|
729
|
+
|
|
730
|
+
```ts
|
|
731
|
+
// 任意实现了 listTools/callTool 的对象都能接(duck-typed,无需继承)
|
|
732
|
+
const client: McpClientLike = myStdioConnector;
|
|
733
|
+
const tools = await mcpTools(client, { server: 'time' }); // → mcp_time_get_current_time …
|
|
734
|
+
|
|
735
|
+
// 与本地 @Tool 同池:同过中间件链、同进重名查重
|
|
736
|
+
const app = createApp({ system, providers: [...], tools });
|
|
737
|
+
```
|
|
738
|
+
|
|
739
|
+
#### `McpToolsOptions`(`mcpTools` 的选项)
|
|
740
|
+
|
|
741
|
+
| 字段 | 说明 |
|
|
742
|
+
|---|---|
|
|
743
|
+
| `prefix` | 工具名前缀;缺省 `mcp_<server>_`(没给 `server` 时 `mcp_`);`''` = 不加前缀(撞名自负) |
|
|
744
|
+
| `server` | server 标识,只用于拼缺省前缀(不会发给 server) |
|
|
745
|
+
| `timeoutMs` | 单次 `callTool` 超时(毫秒);缺省 60000,非正数 = 不限 |
|
|
746
|
+
|
|
747
|
+
#### evals(把 mockClient 提升为一等能力)
|
|
748
|
+
|
|
749
|
+
| API | 说明 |
|
|
750
|
+
|---|---|
|
|
751
|
+
| `scriptedClient` | 按脚本依次返回模型响应(**真把文本块经 `on('text')` 吐出去**);脚本耗时报错 |
|
|
752
|
+
| `defineEval` | 定义「用例 + 断言」,`run()` 返回 `EvalReport` |
|
|
753
|
+
|
|
754
|
+
- **为什么需要**:单测覆盖的是框架语义,evals 覆盖的是**你的 agent 语义** —— 改 prompt / 换模型 / 加工具之后有没有回归,靠断言而不是人眼。
|
|
755
|
+
- 断言源是既有 `Trace`:「先 `search` 才 `summarize`」这类顺序断言全从 trace 读,框架不为此新增埋点。
|
|
756
|
+
- `run()` **不抛**(用例失败进报告,一次跑完能看到所有回归,而不是修一个跑一次);只有「应用建不起来」才冒泡 —— 那是环境错误,不是回归。失败 case 带 `trace`,直接看现场。
|
|
757
|
+
- `scriptedClient` 的步骤**在 `finalMessage()` 成功返回后才前进**:抛错的步骤(函数步骤 `throw` 模拟 429)会在重试时**重放同一步**,想验重试就这么写。
|
|
758
|
+
- **用例结论自动落 score**:每个用例跑完,结论以 `{ name: 'eval', value: 0|1, source: eval 名, comment: 失败原因 }` 自动 `attachScore` 到该用例的 trace —— eval 的 trace 自带质量结论,下游 sink / `metricsSink` 可直接聚合「这个 eval 的通过率」(`app.run` 抛错拿不到 trace 时不挂)。
|
|
759
|
+
|
|
760
|
+
```ts
|
|
761
|
+
const ev = defineEval<{ summary: string }>({
|
|
762
|
+
name: 'doc-review',
|
|
763
|
+
app: () => createApp({ system: new SystemPrompt({ version: 'v3' }).add('role', R), providers: [...] }),
|
|
764
|
+
// 每 case 可带 opts(透传 app.run):注入 resultSchema 就能断言 result.typed
|
|
765
|
+
cases: [{ name: '先检索再总结', input: '总结这份文档', client: scriptedClient([searchMsg, submitMsg]) }],
|
|
766
|
+
expect: (r, { trace }) => {
|
|
767
|
+
assert.equal(r.stopReason, 'end_turn');
|
|
768
|
+
const order = trace.spans.flatMap((s) => s.events)
|
|
769
|
+
.filter((e) => e.name === 'tool.input')
|
|
770
|
+
.map((e) => (e.body as { tool: string }).tool);
|
|
771
|
+
assert.deepEqual(order, ['search', 'summarize']); // 顺序断言从 trace 读
|
|
772
|
+
},
|
|
773
|
+
});
|
|
774
|
+
const report = await ev.run();
|
|
775
|
+
if (!report.ok) console.error(report.cases.filter((c) => !c.ok));
|
|
776
|
+
```
|
|
804
777
|
|
|
805
|
-
|
|
778
|
+
#### 线上 trace 回流 eval 数据集(`agentia harvest`)
|
|
779
|
+
|
|
780
|
+
线上事故 → 回归用例:CLI 把 trace 落盘文件翻成 eval 用例脚手架。
|
|
781
|
+
|
|
782
|
+
```bash
|
|
783
|
+
agentia harvest trace.jsonl # 全部记录 → 脚手架打到 stdout
|
|
784
|
+
agentia harvest trace.jsonl --failed --limit 5 --out evals/harvested.ts
|
|
785
|
+
agentia harvest trace.jsonl --out evals/harvested.ts --force # 覆盖已存在的产物(默认拒绝)
|
|
786
|
+
```
|
|
787
|
+
|
|
788
|
+
- 输入同 `agentia report`:每行一个 JSON(裸 Trace,或含 `result.trace` / `trace` 的 TaskRecord,如 `FileTaskStore` 的导出);`--failed` 只留失败记录。
|
|
789
|
+
- 产物是**可粘贴进 eval 文件的用例字面量**:`client: scriptedClient([...])` 按 trace 的主循环 llm.turn 逐回合重建,`expect` 预填「主循环工具序列」的轨迹断言(文件顶部附跑法注释)。
|
|
790
|
+
- `--out` 指向已存在的文件时**默认拒绝覆盖**(产物是要人工核对的脚手架,重跑一次就抹掉你改过的断言与 input);要覆盖显式加 `--force`。
|
|
791
|
+
- ⚠️ **脚手架不是成品,人工核对后再进 CI**:
|
|
792
|
+
- **trace 不记 assistant 文本**(llm.turn 只记 usage/事件),脚本里的 text 块是占位 `'[harvest] assistant 文本未入 trace'`;
|
|
793
|
+
- 只重建**直属 run 根**的主循环回合 —— 子 agent 的嵌套回合不走主循环脚本(要覆盖子 agent 请单独写 eval);
|
|
794
|
+
- 预填的 `expect` 是从原 trace **抄录的实际轨迹** —— 发生过 ≠ 应该发生;
|
|
795
|
+
- `EvalCase` 没有 `expect` 字段,粘贴时把断言搬进 `defineEval({ expect })`(脚手架注释会教)。
|
|
796
|
+
|
|
797
|
+
#### prompt / 模型 A/B(trace diff 与分叉重放)
|
|
798
|
+
|
|
799
|
+
同一份输入跑两条 run(换模型、换 `SystemPrompt` 版本、换 prompt 都行),用 `diffTraces` 比出**结构与成本差**;
|
|
800
|
+
想「从第 3 回合换个问法重跑」,用 `forkMessages` 在分叉点截断、拼上新消息喂回 `app.run`:
|
|
801
|
+
|
|
802
|
+
```ts
|
|
803
|
+
import { diffTraces, forkMessages } from '@migor/agentia';
|
|
804
|
+
|
|
805
|
+
// A/B:同输入,只换模型(或换 system 版本),各跑一条
|
|
806
|
+
const a = await app.run(input, { model: 'claude-sonnet-5' });
|
|
807
|
+
const b = await app.run(input, { model: 'claude-opus-5' });
|
|
808
|
+
|
|
809
|
+
const diff = diffTraces(a.result.trace, b.result.trace);
|
|
810
|
+
// diff.summary:status / totalUsage.* / 根 attributes 差 —— A/B 模型第一眼就看 attributes.model
|
|
811
|
+
// diff.spans:逐 span 字段级差异,path 形如 run:main/llm.turn#0/capability:search
|
|
812
|
+
if (!diff.equal) console.log(diff.summary, diff.spans);
|
|
813
|
+
|
|
814
|
+
// 分叉重放:在主循环第 3 回合(0-based)之前截断,该回合及其后丢弃,换个问法继续
|
|
815
|
+
const messages = forkMessages(a.result.trace, {
|
|
816
|
+
atTurn: 3, // 合法范围 0..主循环回合数-1,越界抛可读错误
|
|
817
|
+
append: [{ role: 'user', content: '换个思路:先给结论,再补证据。' }],
|
|
818
|
+
});
|
|
819
|
+
const c = await app.run(messages); // 起一条新 run,沿着分叉点前的真实 tool 历史继续
|
|
820
|
+
```
|
|
821
|
+
|
|
822
|
+
不落代码也可以直比两份 trace 导出:`agentia diff a.jsonl b.jsonl`(输入形态同 `agentia report`),
|
|
823
|
+
打印 run 级 summary + 逐 span 差异,**有差异时退出码 1**(diff(1) 语义)——可直接进 CI 挡
|
|
824
|
+
「换 prompt / 模型后轨迹漂移」。
|
|
825
|
+
|
|
826
|
+
- **配对语义**(结构性配对,字段差异不影响配对):llm.turn 按回合序配对、**忽略 span name** ——
|
|
827
|
+
name 是模型 id,而「换模型重跑」正是 A/B 主用例,按 name 配对会把两侧所有 turn 报成缺失;
|
|
828
|
+
模型差异降格为配对 turn 的 `name` 字段差。capability span 按 `kind:name` 配对
|
|
829
|
+
(`skill:foo` vs `skill:bar` 是不同能力,不该配上)。一侧多出的调用树记**一条缺侧记录**
|
|
830
|
+
(`SpanDiff.fields` 为空、`path` 照给),整支子树不再下钻。
|
|
831
|
+
- **墙钟缺省不比**:`ignoreTiming` 缺省 true(A/B 不关心时序);传 `false` 改比 span 时长
|
|
832
|
+
(`duration`),绝对时间戳永不比;`traceId` 是身份不是行为,同样永不比。
|
|
833
|
+
- ⚠️ **有损边界(与 `traceToMessages` / harvest 同源)**:trace **不记 assistant 文本与 run 的
|
|
834
|
+
原始输入** —— 重放里 assistant 是标注占位(非逐字原文)、首尾说明性 user 是合成。
|
|
835
|
+
因此 `forkMessages` **不是「续跑」**:它产出的是一份喂回 `app.run` / `runAgent` 的 messages,
|
|
836
|
+
跑的是一条**新 run**,不是接着原 run 的循环位置。分叉的 blackboard 种子由调用方自带
|
|
837
|
+
(`app.run(messages, { blackboard: {…} })` —— trace 不记 blackboard)。
|
|
838
|
+
|
|
839
|
+
### 6.6 横切缝(框架只给缝,不建子系统)
|
|
840
|
+
|
|
841
|
+
以下五件事策略千差万别(正则 / 分类模型 / 外部审核 API / 你自己的配额口径),框架硬编码必错 —— 所以只给缝,每节给出可直接粘贴的拼法。
|
|
842
|
+
|
|
843
|
+
#### 在线评估采样
|
|
806
844
|
|
|
807
845
|
生产流量按 N% 采样跑 LLM-judge、把分数回挂 trace —— 用**现有 sink 机制**拼:采样(`examples/observability` 的 `sampleSink` 配方)+ 对抽中的 run 调一次 judge(一次 `app.run` 或裸 client 调用)+ `attachScore` 回挂 + `metricsSink` 聚合。框架不提供 judge 子系统 —— 评什么、用什么模型评、采样率多少,都是你的策略:
|
|
808
846
|
|
|
@@ -832,7 +870,7 @@ createApp({ /* … */ sinks: [onlineEval, metrics] }); // metrics 必须同链
|
|
|
832
870
|
- judge 本身的 run 也会产生 trace —— 给它单独一个 app / runName,或按 run 名在 judge sink 里跳过自己,避免「评估评估的评估」。
|
|
833
871
|
- 成本自控:judge 调一次模型就是一份钱,采样率与 judge 模型档位是你的旋钮(judge 的 run 同样受 `maxCostUsd` 等护栏约束)。
|
|
834
872
|
|
|
835
|
-
|
|
873
|
+
#### 多租户配额
|
|
836
874
|
|
|
837
875
|
框架不提供配额组件 —— 用 `middleware`(拦在能力调用前)+ `TraceSink`(收尾后记账)+ `BudgetGuard`(单次 run 上限)组合即可,存储与策略是你的事:
|
|
838
876
|
|
|
@@ -866,7 +904,7 @@ createApp({ system, providers: [...], middleware: [quota], sinks: [billing] });
|
|
|
866
904
|
- 拦下来的那次 run **仍然要记账**(模型的钱已经花了)—— 记账在 sink 里、拦截在 middleware 里,两者独立。
|
|
867
905
|
- 被拦下的能力**不会执行**(副作用不发生),但 run 继续跑(模型可以换路)。
|
|
868
906
|
|
|
869
|
-
|
|
907
|
+
#### 人工审批闸门
|
|
870
908
|
|
|
871
909
|
框架不做审批子系统,但**闸门**这一层已经具备 —— `middleware` 可以 `await` 决策再放行,
|
|
872
910
|
引擎会等工具结果(`Promise.resolve(tool.run(...))`):
|
|
@@ -896,7 +934,7 @@ createApp({ system, providers: [...], middleware: [requireApproval] });
|
|
|
896
934
|
且 `traceToMessages` 重放**有损**(assistant 原文未记录)—— 拿它假装续跑只会拿到降级的上下文。
|
|
897
935
|
要跨重启审批,就自己上工作流引擎(见 §7)。
|
|
898
936
|
|
|
899
|
-
|
|
937
|
+
#### 内容护栏
|
|
900
938
|
|
|
901
939
|
和「多租户配额」同一个形状:策略千差万别(正则 / 分类模型 / 外部审核 API),框架硬编码必错,**只给缝**。
|
|
902
940
|
|
|
@@ -911,13 +949,13 @@ const callable = {
|
|
|
911
949
|
name: app.name,
|
|
912
950
|
async run(msgs, opts) {
|
|
913
951
|
const out = await app.run(redactInput(msgs), opts); // 入参护栏
|
|
914
|
-
if (flagged(out.finalText)) throw new Error('输出被护栏拦下'); // 出参护栏
|
|
952
|
+
if (flagged(out.result.finalText)) throw new Error('输出被护栏拦下'); // 出参护栏
|
|
915
953
|
return out;
|
|
916
954
|
},
|
|
917
955
|
};
|
|
918
956
|
```
|
|
919
957
|
|
|
920
|
-
|
|
958
|
+
#### 代码执行隔离
|
|
921
959
|
|
|
922
960
|
**框架从不执行模型生成的代码** —— `@Skill` 跑的是你写的方法体、`@Tool` 是你写的函数,
|
|
923
961
|
模型输出只会变成文本 / `tool_result`。所以「要不要沙箱」等价于「你那个*代码执行工具*要不要隔离」:
|
|
@@ -946,7 +984,7 @@ const callable = {
|
|
|
946
984
|
| `discover` 入口会回落 | 能力目录里源码与编译产物并存(`index.ts` + `index.js`)时,首选 `.ts` 加载失败会**回落 `.js` 并 warn** —— 命中的可能是**陈旧编译产物**(刚改过源码时注意);全部候选都失败才抛错并列出各自原因 |
|
|
947
985
|
| `asset()` 的 rel 必须是相对路径 | 带 scheme(`file:` / `https:` …)的 rel 会让 `new URL(rel, base)` 整个忽略 base(「以为读了能力目录、实际读了别处」),显式抛错;`../` 越出能力目录是**有意放行**(共享资产如 `../../shared/x.md` 是合法用法) |
|
|
948
986
|
| 取消要传进客户端才有效 | 传 `signal` 后框架会 abort 在飞请求(内置 Anthropic / OpenAI 适配器都转发);不转发 `signal` 的自定义 `ModelClient` 只能「放弃等待」(请求在后台跑完、产物丢弃) |
|
|
949
|
-
| 默认 client 的真端点验证范围 | `e2e:live` 跑在 DeepSeek 的 Anthropic **兼容**端点上;官方 Anthropic 端点的行为差异(thinking 细节、cache TTL 语义、新块型)目前只有本地假端点测试在守 ——
|
|
987
|
+
| 默认 client 的真端点验证范围 | `e2e:live` 跑在 DeepSeek 的 Anthropic **兼容**端点上;官方 Anthropic 端点的行为差异(thinking 细节、cache TTL 语义、新块型)目前只有本地假端点测试在守 —— mock 全绿发现不了厂商真实行为 —— 接入官方端点前自己跑一遍 `npm run e2e:live` |
|
|
950
988
|
| thinking 块「能收、不主动请求」 | 框架**从不**在请求里开 extended thinking;默认 client 能收拼 thinking 块(`signature_delta` 会累积),`redacted_thinking` 与未知块型**原样透传**不丢 —— 但官方 API 的 thinking 回灌要求带合法 `signature`,自定义 client 开 thinking 时自己验证这条链 |
|
|
951
989
|
| 工具阶段的 abort 有盲区 | abort 只在三处被观察:**回合边界 / 在飞模型请求 / 重试退避 sleep**。没设 `toolTimeoutMs` 且工具挂死时,abort 之后 run 也不会返回(工具的 Promise 永不 settle)—— 挂死的工具要么设超时,要么自己读 `ToolRunContext.signal` |
|
|
952
990
|
| 观测失败被吞 | sink 抛错不影响 run(观测是辅助动作);同理记忆水合/回写失败也不击穿 run |
|
|
@@ -957,16 +995,16 @@ const callable = {
|
|
|
957
995
|
| 停机可能切断 SSE | `drain()` 超时后会强制关闭仍开着的 SSE 流,其 run 以 `stopReason='aborted'` 收尾 —— 客户端应把断流当作可重试 |
|
|
958
996
|
| 鉴权失败即断连 | 未通过鉴权时在读到 body 之前就回响应,连接**不可复用**(显式 `connection: close`);这是「不收body省资源」的代价 |
|
|
959
997
|
| 预算护栏不是硬实时 | 一回合记账完才判,实际用量可能超上限一个回合的量;模型自然收尾的那回合超限**不算失败**(只留 `budget.exceeded` 事件) |
|
|
960
|
-
| `maxCostUsd` 依赖价格表 | 模型不在价格表内(且未用 `priceOverrides` 覆盖)时成本恒为 0,这条护栏**不触发** —— 要无条件兜底用 `maxTotalTokens
|
|
998
|
+
| `maxCostUsd` 依赖价格表 | 模型不在价格表内(且未用 `priceOverrides` 覆盖)时成本恒为 0,这条护栏**不触发** —— 要无条件兜底用 `maxTotalTokens`。**失效会响**:turn 上会记 `usage.unpriced` 事件、指标有 `model_unpriced_turns_total`、可回调 `onUnpricedModel` |
|
|
961
999
|
| 工具超时**不取消**工具 | `AgentTool.run` 没有 signal 参数,超时只是「不等了」;副作用可能已发生。想真停请让工具自己读 `ToolRunContext.signal` |
|
|
962
1000
|
| 会话只存对话轮次 | `SessionStore` 存「用户输入 + 最终回复」,run 内部的 tool 往返**不进历史**(要完整过程用 `traceToMessages`);且只有**跑成功**的轮次才回写 |
|
|
963
1001
|
| 同 session 并发 run 要自行串行化 | `SessionStore` 是 **append-only**:并发写不互相覆盖、不丢数据,但**不保证角色交替** —— 两个并发 run 共用同一 sessionId 时,各自追加的轮次可能交错成「连续两条 user」,下一轮 load 出来撞角色交替校验(400)。同一 session 的并发 run 请调用方自行串行化(每 session 一把锁 / 一条队列) |
|
|
964
1002
|
| OpenAI 适配器听端点的话 | 请求发 `stream:true`,但**按响应形态解析**:端点回 JSON 就退回一次性(没有打字机效果),回 `event-stream` 才逐 token |
|
|
965
|
-
| OpenAI
|
|
1003
|
+
| OpenAI 流式的上游故障按失败处理 | 流中 `error` 分片(上游把故障塞进 200 的流)与「流正常结束却无文本无 tool_calls」都**抛错**按失败处理 —— 一律抛错按失败处理(与非流式空 `choices` 同一守卫) |
|
|
966
1004
|
| MCP 只做 tools | `sampling`(server 反向请求模型)/ `resources` / `prompts` 原语不做;连接器(stdio / HTTP)不在框架内 |
|
|
967
1005
|
| MCP 的协议层错误框架看不见 | `isError: true` 只有连接器能看见 —— 它必须转成抛错,否则模型收到的是一条「成功」的结果 |
|
|
968
|
-
| MCP 超时同样是「不等了」 |
|
|
969
|
-
| MCP 名字可能被归一化 | 原名含 `-` / `.` / 空格 → 进菜单时变成 `_`;回调 server 用的仍是原名(`mcp.tool
|
|
1006
|
+
| MCP 超时同样是「不等了」 | 桥的 `timeoutMs` 取消不了 server 侧执行(拿不到取消句柄);它只是**兜底** —— 引擎设了 `toolTimeoutMs` 时**不参与**判定(一次调用只有一个裁判),两条路径**同判定、同账**(`errorKind='timeout'`) |
|
|
1007
|
+
| MCP 名字可能被归一化 | 原名含 `-` / `.` / 空格 → 进菜单时变成 `_`;回调 server 用的仍是原名(`mcp.tool.<菜单名>` attribute 逐次可查;`mcp.tool` 是最近一次) |
|
|
970
1008
|
| MCP 工具不能进 DI 容器 | 它没有 provider token,也不能被别的能力的 `tools` 引用(两种引用粒度都要先有 token) |
|
|
971
1009
|
| 指标分位是窗口内精确值 | `*_last{quantile=...}` 只反映最近 `windowSize`(缺省 1024)条样本;要跨实例聚合请用直方图(`*_bucket` / `_sum` / `_count`,累积语义) |
|
|
972
1010
|
| 指标是**进程内**累加 | 不做分布式聚合与持久化:多实例各算各的(直方图可相加),重启即清零。要长期保留请把 `render()` 抓走或用 `export:'otlp'` 推给采集端 |
|
|
@@ -1012,14 +1050,3 @@ const callable = {
|
|
|
1012
1050
|
| `metricsSink` 的数字一直是 0 | 没接进 `createApp({ sinks })`(或 `registerDefaultTraceSink`)—— 它靠 run 收尾投递,不自己埋点 |
|
|
1013
1051
|
| `metricsSink({ export: 'otlp' })` 构造期报错 | 没给 `endpoint` —— OTLP 导出必须知道往哪发,响亮失败好过静默不导出;补上 `endpoint`(如 `http://localhost:4318`)即可。`windowSize` / `maxCapabilities` 非正数、`buckets` 非严格升序同理是构造期配置校验 |
|
|
1014
1052
|
|
|
1015
|
-
---
|
|
1016
|
-
|
|
1017
|
-
## 9. 提交前自检
|
|
1018
|
-
|
|
1019
|
-
```bash
|
|
1020
|
-
npm run typecheck # src 类型
|
|
1021
|
-
npm run typecheck:tests # 测试目录类型(含类型断言测试)
|
|
1022
|
-
npm run test # 单测(node:test)
|
|
1023
|
-
```
|
|
1024
|
-
|
|
1025
|
-
框架仓库另有这些门禁:`npm run typecheck:types`(针对构建产物的类型测试)、`npm run e2e`(三步链:CLI 端到端 + `examples/complete` 与 `examples/deploy` 真起服务)、`npm run e2e:examples` / `npm run e2e:deploy`(单跑对应一步)、`npm run e2e:mcp`(真接一个 MCP server 走完「映射 → 菜单 → run」;无网时自动回落本地夹具 server)。
|