@migor/agentia 0.5.0 → 0.6.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +248 -0
- package/README.md +1 -2
- package/dist/AGENTS.md +253 -160
- package/dist/core/abort.js +4 -1
- package/dist/core/abort.js.map +1 -1
- package/dist/core/message.d.ts +148 -0
- package/dist/core/message.js +25 -0
- package/dist/core/message.js.map +1 -0
- package/dist/core/timeout.d.ts +72 -0
- package/dist/core/timeout.js +117 -0
- package/dist/core/timeout.js.map +1 -0
- package/dist/core/tool.d.ts +21 -9
- package/dist/engine/concurrency.d.ts +6 -30
- package/dist/engine/concurrency.js +6 -64
- package/dist/engine/concurrency.js.map +1 -1
- package/dist/engine/errors.d.ts +12 -0
- package/dist/engine/errors.js +56 -13
- package/dist/engine/errors.js.map +1 -1
- package/dist/engine/loop.d.ts +17 -11
- package/dist/engine/loop.js +34 -433
- package/dist/engine/loop.js.map +1 -1
- package/dist/engine/replay.d.ts +18 -3
- package/dist/engine/replay.js +53 -9
- package/dist/engine/replay.js.map +1 -1
- package/dist/engine/retry.d.ts +5 -4
- package/dist/engine/retry.js.map +1 -1
- package/dist/engine/spec.d.ts +5 -5
- package/dist/engine/spec.js.map +1 -1
- package/dist/engine/trace-diff.d.ts +57 -0
- package/dist/engine/trace-diff.js +188 -0
- package/dist/engine/trace-diff.js.map +1 -0
- package/dist/engine/trimming.d.ts +7 -7
- package/dist/engine/trimming.js +12 -5
- package/dist/engine/trimming.js.map +1 -1
- package/dist/engine/turn.d.ts +157 -0
- package/dist/engine/turn.js +512 -0
- package/dist/engine/turn.js.map +1 -0
- package/dist/engine/types.d.ts +6 -8
- package/dist/engine/usage.d.ts +2 -2
- package/dist/engine/usage.js +4 -1
- package/dist/engine/usage.js.map +1 -1
- package/dist/eval/defineEval.js.map +1 -1
- package/dist/eval/harvest.d.ts +2 -9
- package/dist/eval/harvest.js +20 -9
- package/dist/eval/harvest.js.map +1 -1
- package/dist/eval/scripted.js.map +1 -1
- package/dist/index.d.ts +6 -1
- package/dist/index.js +3 -1
- package/dist/index.js.map +1 -1
- package/dist/integrations/anthropic.d.ts +41 -37
- package/dist/integrations/anthropic.js +408 -17
- package/dist/integrations/anthropic.js.map +1 -1
- package/dist/integrations/mcp.d.ts +13 -4
- package/dist/integrations/mcp.js +27 -24
- package/dist/integrations/mcp.js.map +1 -1
- package/dist/integrations/openai.d.ts +1 -1
- package/dist/integrations/openai.js +3 -3
- package/dist/integrations/openai.js.map +1 -1
- package/dist/integrations/otlp.js +29 -11
- package/dist/integrations/otlp.js.map +1 -1
- package/dist/runtime/run.js.map +1 -1
- package/dist/runtime/session.d.ts +5 -5
- package/dist/runtime/session.js +5 -1
- package/dist/runtime/session.js.map +1 -1
- package/dist/toolkit/module.d.ts +16 -2
- package/dist/toolkit/module.js +42 -4
- package/dist/toolkit/module.js.map +1 -1
- package/dist/toolkit/skill.d.ts +3 -3
- package/dist/toolkit/subagent.d.ts +2 -2
- package/dist/toolkit/subagent.js +1 -1
- package/dist/transport/async.d.ts +2 -2
- package/package.json +4 -5
package/dist/AGENTS.md
CHANGED
|
@@ -2,10 +2,20 @@
|
|
|
2
2
|
|
|
3
3
|
> 本文件是 **AI 辅助编码的权威入口**,也是人类速查表。
|
|
4
4
|
> 仓库根部的 `AGENTS.md` 讲的是「怎么改这个仓库」;**本文件讲的是「怎么用这个框架」**。
|
|
5
|
-
> 文中所有 API 名与选项名都由框架仓库的测试对着源码校验 —— 改名会立刻失败,不会静默过期。
|
|
6
5
|
|
|
7
6
|
包名:`@migor/agentia`(框架)/ `@migor/cli`(命令行)。Node ≥ 18,ESM,TypeScript 7。
|
|
8
7
|
|
|
8
|
+
**目录**
|
|
9
|
+
- [0. 心智模型(先读这一段)](#0-心智模型先读这一段)
|
|
10
|
+
- [1. 最小可运行示例](#1-最小可运行示例)
|
|
11
|
+
- [2. 项目结构(CLI 约定)](#2-项目结构cli-约定)
|
|
12
|
+
- [3. 装饰器 spec 字段速查](#3-装饰器-spec-字段速查)
|
|
13
|
+
- [4. createApp 与 app.run 选项](#4-createapp-与-apprun-选项)
|
|
14
|
+
- [5. 类型链路(这块决定「编辑器给不给提示」)](#5-类型链路这块决定编辑器给不给提示)
|
|
15
|
+
- [6. 运行时 API](#6-运行时-api)
|
|
16
|
+
- [7. 已知边界(如实标注,不要指望框架替你兜)](#7-已知边界如实标注不要指望框架替你兜)
|
|
17
|
+
- [8. 常见错误](#8-常见错误)
|
|
18
|
+
|
|
9
19
|
---
|
|
10
20
|
|
|
11
21
|
## 0. 心智模型(先读这一段)
|
|
@@ -105,7 +115,7 @@ npx @migor/cli doctor # 静态体检(未登记/悬空/命名/重复
|
|
|
105
115
|
| `model` | `ctx.llm()` 的缺省模型 |
|
|
106
116
|
| `maxTokens` | 同上 |
|
|
107
117
|
| `maxIterations` | 同上 |
|
|
108
|
-
| `tools` | `ctx.llm()` 可调工具:**provider token 列表**(复用该 provider
|
|
118
|
+
| `tools` | `ctx.llm()` 可调工具:**provider token 列表**(复用该 provider 的能力菜单),或 `'<token>/<能力名>'` 能力级路径(只引菜单里的单个能力) |
|
|
109
119
|
|
|
110
120
|
技能方法体拿到的第二参是 `SkillContext`:`ctx.llm({ prompt })` 才会真正调模型(脚本式,调几次由你写死)。
|
|
111
121
|
|
|
@@ -117,7 +127,7 @@ npx @migor/cli doctor # 静态体检(未登记/悬空/命名/重复
|
|
|
117
127
|
| `schema` | 主 agent 填给子 agent 的任务入参 schema |
|
|
118
128
|
| `name` | 缺省取方法名 |
|
|
119
129
|
| `system` | 子 agent 的角色提示:`string` / `SystemPrompt` / `(task) => SystemParam` |
|
|
120
|
-
| `tools` | 子 agent 可调工具:**provider token
|
|
130
|
+
| `tools` | 子 agent 可调工具:**provider token 列表**,或 `'<token>/<能力名>'` 能力级路径 |
|
|
121
131
|
| `model` | 子 agent 自己的模型 |
|
|
122
132
|
| `maxTokens` | 同上 |
|
|
123
133
|
| `maxIterations` | 同上 |
|
|
@@ -192,6 +202,7 @@ npx @migor/cli doctor # 静态体检(未登记/悬空/命名/重复
|
|
|
192
202
|
| `maxToolConcurrency` | 同回合并行工具上限;缺省不限 |
|
|
193
203
|
| `maxEventChars` | trace 事件正文截断上限(字符):数字 = 入参/出参统一用该上限,`false` = **不截断**;缺省按类型收敛(入参/成功出参 2000、失败出参 1000)。**透传给子 agent/skill 的子循环** —— 同一棵调用树上口径一致。只影响**记账**,回给模型的 tool_result 永远完整 |
|
|
194
204
|
| `session` | 会话持久化 `{ store, id }`:run 前拼历史、成功收尾追加本轮(见 `SessionStore`) |
|
|
205
|
+
| `memory` | 跨 run 记忆 `{ store, keys }`:run 前水合进 blackboard(用户种子优先)、收尾写回;与 `session` 正交(见 `MemoryStore`) |
|
|
195
206
|
|
|
196
207
|
返回 `AgentRunOutput`:`{ run, result }`。`result` 含 `trace` / `stopReason` / `finalText` / `iterations` / `error` / `typed`。
|
|
197
208
|
|
|
@@ -251,11 +262,34 @@ result.typed; // { answer: string } | undefined
|
|
|
251
262
|
|
|
252
263
|
模型没提交就是 `undefined`(不是失败)。`stopReason` 仍以 `end_turn` 正常收尾。
|
|
253
264
|
|
|
265
|
+
### 5.4 消息类型族(自有公共类型,与厂商 SDK 结构兼容)
|
|
266
|
+
|
|
267
|
+
`messages` 与模型响应的类型是框架**自有定义**(不从 `@anthropic-ai/sdk` 引类型),字段口径与
|
|
268
|
+
Anthropic Messages API 逐字对齐(snake_case),并与 SDK 的对应类型**结构兼容**:
|
|
269
|
+
手里的 `Anthropic.MessageParam[]` 可以直接喂给 `app.run` / `executeRun`;装框架**不会**连带安装厂商 SDK。
|
|
270
|
+
|
|
271
|
+
| 类型 | 说明 |
|
|
272
|
+
|---|---|
|
|
273
|
+
| `MessageParam` | 请求消息 `{ role, content: string \| ContentBlockParam[] }`(`Role` 含 `'system'`,与 SDK 逐字对齐;发给端点仍是 user/assistant 语义) |
|
|
274
|
+
| `ContentBlockParam` | 请求块联合:text / image / tool_use / tool_result + `{ type: string }` 兜底成员(厂商新块型原样携带,读字段先按 `type` 收窄) |
|
|
275
|
+
| `Message` | 模型响应(`finalMessage()` 的产物):`{ id, type, role, content, model, stop_reason, stop_sequence, usage }` |
|
|
276
|
+
| `ContentBlock` | 响应块联合:text / tool_use / thinking + `{ type: string }` 兜底成员 |
|
|
277
|
+
| `ToolParam` | 发给模型的工具定义(**避让 @Tool 装饰器**,故不叫 Tool) |
|
|
278
|
+
| `MessageUsage` | 响应的 token 计量(**避让 trace 的 `Usage`**,故不叫 Usage) |
|
|
279
|
+
| `TextBlockParam` / `ImageBlockParam` / `ToolUseBlockParam` / `ToolResultBlockParam` | 请求侧具体块(与 SDK 同名类型逐字对齐) |
|
|
280
|
+
| `TextBlock` / `ToolUseBlock` / `ThinkingBlock` / `CacheControl` / `Role` | 响应侧具体块 / cache 断点标记 / 角色联合 |
|
|
281
|
+
|
|
282
|
+
注意命名避让:`Tool` 是装饰器、`Usage` 是 trace 的聚合用量(camelCase)—— 消息侧对应物分别是 `ToolParam` 与 `MessageUsage`(snake_case)。
|
|
283
|
+
|
|
254
284
|
---
|
|
255
285
|
|
|
256
286
|
## 6. 运行时 API
|
|
257
287
|
|
|
258
|
-
###
|
|
288
|
+
### 6.1 运行时上下文与装配
|
|
289
|
+
|
|
290
|
+
run 内取上下文(黑板 / `@Skill` 第二参)、把装饰器装配成 app、环境变量与 `.env` 的读法。
|
|
291
|
+
|
|
292
|
+
#### `RunContext`(`RunContext.current()`,run 内任意异步上下文可取)
|
|
259
293
|
|
|
260
294
|
| 成员 | 说明 |
|
|
261
295
|
|---|---|
|
|
@@ -266,14 +300,14 @@ result.typed; // { answer: string } | undefined
|
|
|
266
300
|
| `delete` | 删除键 |
|
|
267
301
|
| `keys` | 当前全部键 |
|
|
268
302
|
|
|
269
|
-
|
|
303
|
+
#### `SkillContext`(`@Skill` 方法第二参)
|
|
270
304
|
|
|
271
305
|
| 成员 | 说明 |
|
|
272
306
|
|---|---|
|
|
273
307
|
| `model` | 本次技能的缺省模型 |
|
|
274
308
|
| `llm` | 受限子运行:`await ctx.llm({ prompt })` / `{ messages, system, model, maxTokens, maxIterations }` |
|
|
275
309
|
|
|
276
|
-
|
|
310
|
+
#### 装配与执行
|
|
277
311
|
|
|
278
312
|
| API | 说明 |
|
|
279
313
|
|---|---|
|
|
@@ -289,7 +323,7 @@ result.typed; // { answer: string } | undefined
|
|
|
289
323
|
| `isSuccessStopReason` | `end_turn` / `stop_sequence` 都算正常收尾 |
|
|
290
324
|
| `resolveDefaultModel` | 显式 > `AGENTIA_MODEL` > `claude-opus-5` |
|
|
291
325
|
|
|
292
|
-
|
|
326
|
+
#### 环境变量与 `.env`(`loadEnvFile`)
|
|
293
327
|
|
|
294
328
|
| API | 说明 |
|
|
295
329
|
|---|---|
|
|
@@ -314,7 +348,11 @@ const app = await createApp({ ... });
|
|
|
314
348
|
|
|
315
349
|
解析规则(刻意窄,够用就好):`KEY=VALUE`,允许 `export ` 前缀与 `=` 两侧空白;`#` 整行注释;单引号内原样、双引号内认 `\n \r \t \" \\`;未加引号的值里 ` #` 起为行内注释。键名 `__proto__` **显式报错**(它会走原型 setter 被静默吞掉 —— 正是「以为配上了其实没配上」)。**不做变量展开、不合并续行**(需要就上专门的库);既不像 `KEY=VALUE` 又不是注释的行**直接报错并指出行号** —— 静默跳过等于让你以为「配上了其实没配上」。
|
|
316
350
|
|
|
317
|
-
###
|
|
351
|
+
### 6.2 触发与宿主
|
|
352
|
+
|
|
353
|
+
同一个 app 换宿主不换语义:HTTP handler、异步任务、定时、取消与并发闸门。
|
|
354
|
+
|
|
355
|
+
#### 宿主(换宿主不换语义)
|
|
318
356
|
|
|
319
357
|
| API | 说明 |
|
|
320
358
|
|---|---|
|
|
@@ -329,7 +367,7 @@ const app = await createApp({ ... });
|
|
|
329
367
|
| `SqliteTaskStore` | `node:sqlite` 耐久存储(WAL + busy_timeout) |
|
|
330
368
|
| `RedisTaskStore` | duck-typed Redis 存储(可设 `ttlSeconds`);客户端结构面 `get` / `set` / `del` / `keys`(或 `scanIterator`),外加设 TTL 时必需的 `expire`。`set` **只传两参** —— 尾参的选项形状两家相反:ioredis 认位置参数 `('EX', n)`、node-redis 认对象 `{ EX: n }`,取任何一种都会在另一家上失效(ioredis 会把对象字符串化成 `"[object Object]"` 报语法错;**node-redis 的 `SET` 只声明三个形参,位置参数被静默丢弃**)。所以 TTL 一律走 `expire(key, seconds)`(两家同名同形);设了 `ttlSeconds > 0` 却没给 `expire` 时**构造期抛错**,不静默丢掉 TTL |
|
|
331
369
|
|
|
332
|
-
|
|
370
|
+
#### HTTP 端点速查(`createHttpHandler` 的路由)
|
|
333
371
|
|
|
334
372
|
| 端点 | 请求 | 响应 |
|
|
335
373
|
|---|---|---|
|
|
@@ -355,7 +393,7 @@ const handler = createHttpHandler(callable, { runner });
|
|
|
355
393
|
(**不随 npm 包发布** —— 包里只有 `dist/`、README、LICENSE 与本说明):
|
|
356
394
|
<https://github.com/retrychx/agentia/tree/main/examples/complete>
|
|
357
395
|
|
|
358
|
-
|
|
396
|
+
#### `createHttpHandler(app, opts?: HttpHandlerOptions)`
|
|
359
397
|
|
|
360
398
|
| 选项 | 说明 |
|
|
361
399
|
|---|---|
|
|
@@ -389,7 +427,7 @@ process.on('SIGTERM', async () => {
|
|
|
389
427
|
});
|
|
390
428
|
```
|
|
391
429
|
|
|
392
|
-
|
|
430
|
+
#### `GET /healthz` → `HealthResponse`
|
|
393
431
|
|
|
394
432
|
| 字段 | 说明 |
|
|
395
433
|
|---|---|
|
|
@@ -400,7 +438,7 @@ process.on('SIGTERM', async () => {
|
|
|
400
438
|
|
|
401
439
|
**不鉴权**(探针带不了凭据),且停机中也照回 200。非 `GET` 回 405。
|
|
402
440
|
|
|
403
|
-
|
|
441
|
+
#### 取消 / 重试 / 流式 / 并发闸门
|
|
404
442
|
|
|
405
443
|
| API | 说明 |
|
|
406
444
|
|---|---|
|
|
@@ -410,39 +448,15 @@ process.on('SIGTERM', async () => {
|
|
|
410
448
|
| `mapWithConcurrency` | 有界并发 map(结果保序);`maxToolConcurrency` 的底座,也可自用 |
|
|
411
449
|
|
|
412
450
|
- **取消**:`app.run(messages, { signal })` 传 `AbortSignal` —— 框架会 abort 在飞请求(内置 Anthropic / OpenAI 适配器都转发 `signal`),run 以 `stopReason='aborted'` 收尾(算失败)。`createHttpHandler` 已内置「客户端断开即中止」;`AsyncRunner.runTimeoutMs` 到点同样是**真中止**(构造期校验:必须 ≥ 0 的**有限**数 —— NaN/Infinity 会被 `setTimeout` 钳到 1ms,等于每个任务立即超时,故直接抛错;要「不限」传 0 或不设)。
|
|
413
|
-
- **重试**:缺省自动重试可重试失败(429 / 5xx / 连接失败),指数退避 + 抖动。`retry: false` 关闭,或 `retry: { maxAttempts, baseDelayMs, maxDelayMs, jitter, onRetry }` 调参。**只在本次尝试尚未产出任何文本时重试**(已吐出的字无法撤回)。⚠️
|
|
451
|
+
- **重试**:缺省自动重试可重试失败(429 / 5xx / 连接失败),指数退避 + 抖动。`retry: false` 关闭,或 `retry: { maxAttempts, baseDelayMs, maxDelayMs, jitter, onRetry }` 调参。**只在本次尝试尚未产出任何文本时重试**(已吐出的字无法撤回)。⚠️ 与底层 client 的内置重试叠加(默认 client 的 `maxRetries` 缺省 2)—— 建议二选一调(这里 `maxAttempts: 1`,或 `createAnthropicClient({ maxRetries: 0 })`)。
|
|
414
452
|
- **流式**:`POST /run` 带 `Accept: text/event-stream` → SSE 逐帧下发(`text.delta` / `run.end` / `error`);不带该头仍回一元 JSON。
|
|
415
|
-
- **工具超时 / 并发闸门**:`toolTimeoutMs` 超时**不杀 run**(该条 tool_result 记 `is_error`,模型可换路);`maxToolConcurrency` 给同回合的并行工具设上限(默认全并行)。⚠️ 超时 = **放弃等待**,`AgentTool.run` 没有 signal 参数,**副作用可能已发生** —— 想真停的工具请自行读 `ToolRunContext.signal`。
|
|
416
|
-
|
|
417
|
-
### 观测
|
|
418
|
-
|
|
419
|
-
| API | 说明 |
|
|
420
|
-
|---|---|
|
|
421
|
-
| `TraceSink` | `{ export(trace) }`,run 收尾(成功/失败)都投递,抛错被吞 |
|
|
422
|
-
| `registerDefaultTraceSink` | 注册全局默认 sink(构造期快照合并) |
|
|
423
|
-
| `TraceRecorder` | 内存 recorder(一次 run 一个) |
|
|
424
|
-
| `createOtlpExporter` | OTLP/JSON 导出,零依赖;选项 `OtlpExporterOptions`:`endpoint` / `headers` / `serviceName` / `timeoutMs`(单次导出超时,缺省 10000,非正数 = 不限 —— 裸 fetch 无超时,collector 半开连接会让 run 收尾永久挂起;超时按导出失败处理,不击穿 run) |
|
|
425
|
-
| `metricsSink` | 指标累加器(Prometheus 文本 / OTLP metrics),满足 `TraceSink` 即接入 —— 见 §6「指标」 |
|
|
426
|
-
| `buildRunReport` | 从一条 trace 生成**调优报告**(能力/模型的耗时、token、成本、错误率排行)—— 见 §6「调优报告」 |
|
|
427
|
-
| `Score` | 质量评分:`{ name; value; source?; comment? }` —— LLM-judge / 人工标注 / eval 结论挂到 trace 上;约定 `value` 为 0–1(布尔结论用 0/1),`source` 记评分来源(eval 名 / `'human'` / judge 模型 id) |
|
|
428
|
-
| `attachScore` | `attachScore(trace, score)`:把评分挂到 run 根 span(一条 `score` 事件,body 即 `Score`)。评分通常来自 run **之外**(跑完才评),所以走事件而非 span 字段;trace 找不到根 span 时静默忽略(观测不击穿业务) |
|
|
453
|
+
- **工具超时 / 并发闸门**:`toolTimeoutMs` 超时**不杀 run**(该条 tool_result 记 `is_error`,模型可换路);`maxToolConcurrency` 给同回合的并行工具设上限(默认全并行)。⚠️ 超时 = **放弃等待**,`AgentTool.run` 没有 signal 参数,**副作用可能已发生** —— 想真停的工具请自行读 `ToolRunContext.signal`。**超时判定只有一个裁判**:`toolTimeoutMs` 是唯一判据 —— 工具自带的超时(如 MCP 桥的 `timeoutMs`)在设了本项时**不参与**判定;反过来说,工具自判的超时(抛 `code='timeout'` 的错误)与引擎判的记**同一类账**(`errorKind='timeout'`),并同样回 `is_error`。
|
|
429
454
|
|
|
430
|
-
|
|
431
|
-
(`gen_ai.evaluation.score.name` / `.value`,`source` / `comment` 走自有 `agentia.score.*` 键)→
|
|
432
|
-
`metricsSink` 聚合成 `agentia_score` 指标族(见 §6「指标」)。eval / 在线评估怎么用见 §6「evals」与「在线评估采样」。
|
|
455
|
+
### 6.3 上下文预算与成本
|
|
433
456
|
|
|
434
|
-
|
|
435
|
-
run 根 → `gen_ai.operation.name=invoke_agent` + `gen_ai.agent.name`(attributes 有 `session.id` 时另发 `gen_ai.conversation.id`);
|
|
436
|
-
`llm.turn` → `gen_ai.operation.name=chat` + `gen_ai.request.model` + `gen_ai.usage.input_tokens` / `output_tokens`;
|
|
437
|
-
capability span 按前缀分:`subagent:*` → `invoke_agent` + `gen_ai.agent.name`,`skill:*` → `execute_tool` + `gen_ai.tool.name`;
|
|
438
|
-
`score` 事件 → `gen_ai.evaluation.result`。映射集中在 `createOtlpExporter` 一处,下游(Langfuse / Grafana / Datadog)按 1.37+ 识别这批键做 GenAI 专项视图。
|
|
439
|
-
|
|
440
|
-
> **生产落地**(按 runId 落库检索 / 日志关联 / 采样 / 脱敏)见 `docs/observability.md` ——
|
|
441
|
-
> 框架只保证 trace 出口,这些都在缝外用 sink 组合;四条现成 sink 的实码在
|
|
442
|
-
> `examples/observability/`。**完整的示例**(四类能力 + 三种触发 + 鉴权 + 全观测栈)在 `examples/complete/`;
|
|
443
|
-
> 最小可交付示例(Dockerfile + compose)在 `examples/deploy/`。
|
|
457
|
+
长上下文怎么裁、成本怎么硬停 —— 两套独立旋钮,各自的选项表跟在对应小节后。
|
|
444
458
|
|
|
445
|
-
|
|
459
|
+
#### 长上下文
|
|
446
460
|
|
|
447
461
|
| API | 说明 |
|
|
448
462
|
|---|---|
|
|
@@ -458,7 +472,7 @@ capability span 按前缀分:`subagent:*` → `invoke_agent` + `gen_ai.agent.n
|
|
|
458
472
|
引擎在每条 run 开始时调一次,拿**本 run 专用**的实例(`createBudgetPolicy` 已实现它);
|
|
459
473
|
不实现的自定义策略按单例复用,状态跨 run(含并发 run)共享 —— 适合无状态策略,有状态请实现 `forRun`。
|
|
460
474
|
|
|
461
|
-
|
|
475
|
+
#### 成本硬管控(**别与上面的上下文预算混为一谈**)
|
|
462
476
|
|
|
463
477
|
| API | 说明 |
|
|
464
478
|
|---|---|
|
|
@@ -485,20 +499,20 @@ if (result.stopReason === 'budget_exceeded') console.warn('这次 run 被预算
|
|
|
485
499
|
|
|
486
500
|
选项字段(`TrimOptions` / `CompactOptions` / `BudgetPolicyOptions`):
|
|
487
501
|
|
|
488
|
-
|
|
502
|
+
#### `TrimOptions`(`trimToolPairs` 的选项)
|
|
489
503
|
|
|
490
504
|
| 字段 | 说明 |
|
|
491
505
|
|---|---|
|
|
492
506
|
| `keepToolPairs` | 保留的最近工具**对数**(tool_use→tool_result);缺省 1 |
|
|
493
507
|
|
|
494
|
-
|
|
508
|
+
#### `CompactOptions`(`compactMessages` 的选项)
|
|
495
509
|
|
|
496
510
|
| 字段 | 说明 |
|
|
497
511
|
|---|---|
|
|
498
512
|
| `keepRecent` | 保留的最近消息**条数**;缺省 20 |
|
|
499
513
|
| `summarize` | 摘要器:输入被弃旧前缀的渲染文本,返回摘要(框架不替你造 token) |
|
|
500
514
|
|
|
501
|
-
|
|
515
|
+
#### `BudgetPolicyOptions`(`createBudgetPolicy` 的选项)
|
|
502
516
|
|
|
503
517
|
| 字段 | 说明 |
|
|
504
518
|
|---|---|
|
|
@@ -512,97 +526,39 @@ if (result.stopReason === 'budget_exceeded') console.warn('这次 run 被预算
|
|
|
512
526
|
|
|
513
527
|
> `keepRecent`(**消息条数**,compaction 用)与 `keepToolPairs`(**工具对数**,context editing 用)是两种单位,刻意分开命名 —— 别拿同一个值套过去。
|
|
514
528
|
|
|
515
|
-
###
|
|
529
|
+
### 6.4 观测与调优
|
|
516
530
|
|
|
517
|
-
|
|
518
|
-
|---|---|
|
|
519
|
-
| `createAnthropicClient` | 默认 ModelClient(Anthropic):自定义只传 `apiKey` / `baseURL`,不必直接依赖厂商 SDK |
|
|
520
|
-
| `createOpenAIClient` | OpenAI 兼容端点适配(DeepSeek 等;**真流式**、图片块转 `image_url`、cache token 恒 0) |
|
|
521
|
-
| `InMemoryMemoryStore` | 跨 run 的**键值黑板**记忆(`{ store, keys }` 配 `executeRun`) |
|
|
522
|
-
| `InMemorySessionStore` | 跨 run 的**对话历史**(`{ store, id }` 配 `executeRun` / `app.run`);与前者正交,可同时用 |
|
|
523
|
-
| `traceToMessages` | 把 trace 还原成 messages(重放基底) |
|
|
524
|
-
| `applyMiddleware` | 手动包裹配置菜单(装配层已自动做) |
|
|
531
|
+
trace 出去之后能干什么:指标、调用树面板、调优报告、生效配置快照、资产版本与会话标记。
|
|
525
532
|
|
|
526
|
-
|
|
533
|
+
#### 观测
|
|
527
534
|
|
|
528
535
|
| API | 说明 |
|
|
529
536
|
|---|---|
|
|
530
|
-
| `
|
|
531
|
-
| `
|
|
532
|
-
| `
|
|
533
|
-
|
|
534
|
-
|
|
535
|
-
|
|
536
|
-
-
|
|
537
|
-
|
|
538
|
-
- **连接器不在框架里**(守「零运行时依赖」):stdio / StreamableHTTP 归独立可选包,或你自己接 SDK 后实现 `McpClientLike`。本仓库 `scripts/e2e-mcp.ts` 有一份最小连接器可参考。
|
|
539
|
-
|
|
540
|
-
```ts
|
|
541
|
-
// 任意实现了 listTools/callTool 的对象都能接(duck-typed,无需继承)
|
|
542
|
-
const client: McpClientLike = myStdioConnector;
|
|
543
|
-
const tools = await mcpTools(client, { server: 'time' }); // → mcp_time_get_current_time …
|
|
544
|
-
|
|
545
|
-
// 与本地 @Tool 同池:同过中间件链、同进重名查重
|
|
546
|
-
const app = createApp({ system, providers: [...], tools });
|
|
547
|
-
```
|
|
548
|
-
|
|
549
|
-
### `McpToolsOptions`(`mcpTools` 的选项)
|
|
550
|
-
|
|
551
|
-
| 字段 | 说明 |
|
|
552
|
-
|---|---|
|
|
553
|
-
| `prefix` | 工具名前缀;缺省 `mcp_<server>_`(没给 `server` 时 `mcp_`);`''` = 不加前缀(撞名自负) |
|
|
554
|
-
| `server` | server 标识,只用于拼缺省前缀(不会发给 server) |
|
|
555
|
-
| `timeoutMs` | 单次 `callTool` 超时(毫秒);缺省 60000,非正数 = 不限 |
|
|
556
|
-
|
|
557
|
-
### evals(把 mockClient 提升为一等能力)
|
|
558
|
-
|
|
559
|
-
| API | 说明 |
|
|
560
|
-
|---|---|
|
|
561
|
-
| `scriptedClient` | 按脚本依次返回模型响应(**真把文本块经 `on('text')` 吐出去**);脚本耗时报错 |
|
|
562
|
-
| `defineEval` | 定义「用例 + 断言」,`run()` 返回 `EvalReport` |
|
|
563
|
-
|
|
564
|
-
- **为什么需要**:单测覆盖的是框架语义,evals 覆盖的是**你的 agent 语义** —— 改 prompt / 换模型 / 加工具之后有没有回归,靠断言而不是人眼。
|
|
565
|
-
- 断言源是既有 `Trace`:「先 `search` 才 `summarize`」这类顺序断言全从 trace 读,框架不为此新增埋点。
|
|
566
|
-
- `run()` **不抛**(用例失败进报告,一次跑完能看到所有回归,而不是修一个跑一次);只有「应用建不起来」才冒泡 —— 那是环境错误,不是回归。失败 case 带 `trace`,直接看现场。
|
|
567
|
-
- `scriptedClient` 的步骤**在 `finalMessage()` 成功返回后才前进**:抛错的步骤(函数步骤 `throw` 模拟 429)会在重试时**重放同一步**,想验重试就这么写。
|
|
568
|
-
- **用例结论自动落 score**(R7):每个用例跑完,结论以 `{ name: 'eval', value: 0|1, source: eval 名, comment: 失败原因 }` 自动 `attachScore` 到该用例的 trace —— eval 的 trace 自带质量结论,下游 sink / `metricsSink` 可直接聚合「这个 eval 的通过率」(`app.run` 抛错拿不到 trace 时不挂)。
|
|
569
|
-
|
|
570
|
-
```ts
|
|
571
|
-
const ev = defineEval<{ summary: string }>({
|
|
572
|
-
name: 'doc-review',
|
|
573
|
-
app: () => createApp({ system: new SystemPrompt({ version: 'v3' }).add('role', R), providers: [...] }),
|
|
574
|
-
// 每 case 可带 opts(透传 app.run):注入 resultSchema 就能断言 result.typed
|
|
575
|
-
cases: [{ name: '先检索再总结', input: '总结这份文档', client: scriptedClient([searchMsg, submitMsg]) }],
|
|
576
|
-
expect: (r, { trace }) => {
|
|
577
|
-
assert.equal(r.stopReason, 'end_turn');
|
|
578
|
-
const order = trace.spans.flatMap((s) => s.events)
|
|
579
|
-
.filter((e) => e.name === 'tool.input')
|
|
580
|
-
.map((e) => (e.body as { tool: string }).tool);
|
|
581
|
-
assert.deepEqual(order, ['search', 'summarize']); // 顺序断言从 trace 读
|
|
582
|
-
},
|
|
583
|
-
});
|
|
584
|
-
const report = await ev.run();
|
|
585
|
-
if (!report.ok) console.error(report.cases.filter((c) => !c.ok));
|
|
586
|
-
```
|
|
587
|
-
|
|
588
|
-
### 线上 trace 回流 eval 数据集(`agentia harvest`)
|
|
537
|
+
| `TraceSink` | `{ export(trace) }`,run 收尾(成功/失败)都投递,抛错被吞 |
|
|
538
|
+
| `registerDefaultTraceSink` | 注册全局默认 sink(构造期快照合并) |
|
|
539
|
+
| `TraceRecorder` | 内存 recorder(一次 run 一个) |
|
|
540
|
+
| `createOtlpExporter` | OTLP/JSON 导出,零依赖;选项 `OtlpExporterOptions`:`endpoint` / `headers` / `serviceName` / `timeoutMs`(单次导出超时,缺省 10000,非正数 = 不限 —— 裸 fetch 无超时,collector 半开连接会让 run 收尾永久挂起;超时按导出失败处理,不击穿 run) |
|
|
541
|
+
| `metricsSink` | 指标累加器(Prometheus 文本 / OTLP metrics),满足 `TraceSink` 即接入 —— 见 §6「指标」 |
|
|
542
|
+
| `buildRunReport` | 从一条 trace 生成**调优报告**(能力/模型的耗时、token、成本、错误率排行)—— 见 §6「调优报告」 |
|
|
543
|
+
| `Score` | 质量评分:`{ name; value; source?; comment? }` —— LLM-judge / 人工标注 / eval 结论挂到 trace 上;约定 `value` 为 0–1(布尔结论用 0/1),`source` 记评分来源(eval 名 / `'human'` / judge 模型 id) |
|
|
544
|
+
| `attachScore` | `attachScore(trace, score)`:把评分挂到 run 根 span(一条 `score` 事件,body 即 `Score`)。评分通常来自 run **之外**(跑完才评),所以走事件而非 span 字段;trace 找不到根 span 时静默忽略(观测不击穿业务) |
|
|
589
545
|
|
|
590
|
-
|
|
546
|
+
**评分链路**:`attachScore` 写 run 根 `score` 事件 → OTLP 导出时译为 `gen_ai.evaluation.result`
|
|
547
|
+
(`gen_ai.evaluation.name` / `.score.value`,`source` / `comment` 走自有 `agentia.score.*` 键)→
|
|
548
|
+
`metricsSink` 聚合成 `agentia_score` 指标族(见 §6「指标」)。eval / 在线评估怎么用见 §6「evals」与「在线评估采样」。
|
|
591
549
|
|
|
592
|
-
|
|
593
|
-
|
|
594
|
-
|
|
595
|
-
|
|
550
|
+
**OTLP 的 `gen_ai.*` 对齐**(对齐 OTel GenAI semconv **v1.37**,**additive** —— 只追加 `gen_ai.*` 键,既有 `usage.*` 等键一律保留):
|
|
551
|
+
run 根 → `gen_ai.operation.name=invoke_agent` + `gen_ai.agent.name`(attributes 有 `session.id` 时另发 `gen_ai.conversation.id`);
|
|
552
|
+
`llm.turn` → `gen_ai.operation.name=chat` + `gen_ai.request.model` + `gen_ai.usage.input_tokens` / `output_tokens`;
|
|
553
|
+
capability span 按 **attributes** 分(`subagent` / `skill`;span 的 `name` 是**裸能力名**):`subagent` → `invoke_agent` + `gen_ai.agent.name`,`skill` → `execute_tool` + `gen_ai.tool.name`;
|
|
554
|
+
`score` 事件 → `gen_ai.evaluation.result`。映射集中在 `createOtlpExporter` 一处,下游(Langfuse / Grafana / Datadog)按 1.37+ 识别这批键做 GenAI 专项视图。
|
|
596
555
|
|
|
597
|
-
|
|
598
|
-
|
|
599
|
-
|
|
600
|
-
|
|
601
|
-
- 只重建**直属 run 根**的主循环回合 —— 子 agent 的嵌套回合不走主循环脚本(要覆盖子 agent 请单独写 eval);
|
|
602
|
-
- 预填的 `expect` 是从原 trace **抄录的实际轨迹** —— 发生过 ≠ 应该发生;
|
|
603
|
-
- `EvalCase` 没有 `expect` 字段,粘贴时把断言搬进 `defineEval({ expect })`(脚手架注释会教)。
|
|
556
|
+
> **生产落地**(按 runId 落库检索 / 日志关联 / 采样 / 脱敏)见 `docs/observability.md` ——
|
|
557
|
+
> 框架只保证 trace 出口,这些都在缝外用 sink 组合;四条现成 sink 的实码在
|
|
558
|
+
> `examples/observability/`。**完整的示例**(四类能力 + 三种触发 + 鉴权 + 全观测栈)在 `examples/complete/`;
|
|
559
|
+
> 最小可交付示例(Dockerfile + compose)在 `examples/deploy/`。
|
|
604
560
|
|
|
605
|
-
|
|
561
|
+
#### 指标(从 trace 派生)
|
|
606
562
|
|
|
607
563
|
| API | 说明 |
|
|
608
564
|
|---|---|
|
|
@@ -617,7 +573,7 @@ agentia harvest trace.jsonl --failed --limit 5 --out evals/harvested.ts
|
|
|
617
573
|
来自 `capability` span。**`@Prompt` 不建 span、无独立耗时,因此不产出能力指标**(如实缺省,不硬凑)。
|
|
618
574
|
- **模型级** —— 按模型(`llm.turn` 的 span name)归因 turn 数 / token / 成本 / 耗时,并单独给出
|
|
619
575
|
`model_unpriced_turns_total`(算不出成本的 turn 数 —— **成本护栏失效的显式信号**)。
|
|
620
|
-
-
|
|
576
|
+
- **评分级** —— 来自 run 根 span 的 `score` 事件(`attachScore` 写入):
|
|
621
577
|
`agentia_score{name,source}` gauge 记**最近一次**值(分数不是累加量),`agentia_score_total{name,source}` counter 记条数;
|
|
622
578
|
`snapshot().scores` 以 `name@source` 为键(source 缺省时裸 name)暴露 `{ value, count, sum }`(平均 = sum/count),
|
|
623
579
|
OTLP metrics payload 同样带这两个家族,`reset()` 一并清空。
|
|
@@ -632,7 +588,7 @@ agentia harvest trace.jsonl --failed --limit 5 --out evals/harvested.ts
|
|
|
632
588
|
分位 gauge 与 histogram **必须不同名**(同名指标只允许一种 TYPE,混发会被 expfmt 判硬错误、整次 scrape 失败),
|
|
633
589
|
故分位家族统一带 `_last` 后缀;capability / model 维度同理(`capability_duration_ms_last` / `model_duration_ms_last`)。
|
|
634
590
|
|
|
635
|
-
|
|
591
|
+
#### `MetricsSinkOptions`(`metricsSink` 的选项)
|
|
636
592
|
|
|
637
593
|
| 字段 | 说明 |
|
|
638
594
|
|---|---|
|
|
@@ -648,7 +604,7 @@ agentia harvest trace.jsonl --failed --limit 5 --out evals/harvested.ts
|
|
|
648
604
|
| `maxCapabilities` | 能力标签基数上限(缺省 200):超出后新能力归入 `capability="__other__"`(防标签爆炸);非正数抛错 |
|
|
649
605
|
| `buckets` | 直方图桶边界(毫秒,严格升序);缺省 `DEFAULT_BUCKETS` |
|
|
650
606
|
|
|
651
|
-
|
|
607
|
+
#### `MetricsSink`(`metricsSink()` 的返回值)
|
|
652
608
|
|
|
653
609
|
| 成员 | 说明 |
|
|
654
610
|
|---|---|
|
|
@@ -664,7 +620,7 @@ agentia harvest trace.jsonl --failed --limit 5 --out evals/harvested.ts
|
|
|
664
620
|
- **内存上限** ≈ `(1 + 能力数 + 模型数) × windowSize` —— 能力数由 `maxCapabilities` 封顶,长跑宿主不会被拖住。
|
|
665
621
|
- `costUsd` 依赖模型在价格表内(不在表里时不计、并计入 `unpricedTurns` 与 `usage.unpriced` 事件);根 span 未收尾(如失败路径的半截 trace)的 run 不进延迟样本。
|
|
666
622
|
|
|
667
|
-
|
|
623
|
+
#### 调用树面板(`agentia dev` 的本地面板 / 官网 Playground)
|
|
668
624
|
|
|
669
625
|
同一份 `@migor/trace-view` 渲染器,**面板 / Playground / `report` 的能力排行三处共用**,不各写一套。
|
|
670
626
|
|
|
@@ -676,7 +632,7 @@ agentia harvest trace.jsonl --failed --limit 5 --out evals/harvested.ts
|
|
|
676
632
|
- 入参折叠态的摘要被砍到 62 字符(4 个键 / 每值 21 字符);**展开拿到的是原文**,不是那份摘要 ——
|
|
677
633
|
本地面板与官网 Playground 两个宿主都是如此(两个宿主都不该只喂摘要,否则点开什么都没多出来)。
|
|
678
634
|
|
|
679
|
-
|
|
635
|
+
#### 调优报告(**哪个能力慢 / 贵 / 爱失败**)
|
|
680
636
|
|
|
681
637
|
指标回答「整体怎么样」,报告回答「**该拧哪个旋钮**」:
|
|
682
638
|
|
|
@@ -719,7 +675,7 @@ const app = await createApp({ /* … */ sinks: [jsonl] });
|
|
|
719
675
|
异步宿主更省事:把 `FileTaskStore` 的落盘文件直接喂给它 —— `TaskRecord` 里带 `result.trace`,
|
|
720
676
|
`report` 认这种形态,不用另写 sink。
|
|
721
677
|
|
|
722
|
-
|
|
678
|
+
#### 生效配置快照(「这条 run 用了哪套旋钮」)
|
|
723
679
|
|
|
724
680
|
每个 run 的**根 span** 都带一组 `config.*` attributes(`config.maxTokens` / `config.maxCostUsd` /
|
|
725
681
|
`config.retry.maxAttempts` / `config.contextPolicy.budgetTokens` / `config.priceOverrides` /
|
|
@@ -730,16 +686,161 @@ const app = await createApp({ /* … */ sinks: [jsonl] });
|
|
|
730
686
|
函数型选项(`summarize` / `confirm` 之类)只记「配没配」,不记函数体。
|
|
731
687
|
截断关掉时记的是 `'off'` 而不是 `false` —— 后者在日志/看板里会被读成「上限为 0」。
|
|
732
688
|
|
|
733
|
-
|
|
689
|
+
#### 提示词版本化与会话标记(run 根 attribute)
|
|
734
690
|
|
|
735
691
|
- `new SystemPrompt({ version: 'git-abc123' })` → 自动写到 **run 根 span 的 `system.version` attribute**:trace 里能查出「这个结果是哪个版本的提示词产出的」(换 prompt 前后对比、排查回归都靠它)。
|
|
736
692
|
- 版本号怎么来(git sha / 语义版本 / 手工)由你决定 —— 框架**不做**版本库与回滚平台。
|
|
737
693
|
- 单次 `app.run(..., { system })` 覆盖时,版本**跟当次那个 `SystemPrompt` 走**;`system` 传已拼好的 `SystemParam` 则无版本可记(不写空串冒充实有版本)。
|
|
738
694
|
- 直连 `runAgent` / `executeRun` 时可用引擎级选项 `systemVersion` 显式给。
|
|
739
|
-
- **`@Prompt`
|
|
740
|
-
-
|
|
695
|
+
- **`@Prompt` 资产版本**:`@Prompt({ version })` 声明后,装配期把菜单里全部带版本的 @Prompt 收集成 `{ 能力名: 版本 }` 表(与主菜单同一条收集路径,`toolSources` 收窄同样生效),每次 run 落 run 根 span 的 `prompts.versions` attribute(`name@ver` 逗号拼接、按名排序、空表不记)—— 质量回归能定位到具体资产版本。直连 `runAgent` 时用引擎级选项 `promptVersions` 显式给。
|
|
696
|
+
- **会话标识**:`app.run(..., { session })` / `executeRun` 给了 `session` 时,session id 自动落 run 根 span 的 `session.id` attribute(OTLP 导出时映射 `gen_ai.conversation.id`)—— 多轮对话的 run 由此可按会话聚合,不用手填。直连 `runAgent` 时用引擎级选项 `sessionId` 显式给。
|
|
697
|
+
|
|
698
|
+
### 6.5 集成
|
|
699
|
+
|
|
700
|
+
换模型 / 接 MCP / 离线 eval / prompt 与模型的 A-B。
|
|
701
|
+
|
|
702
|
+
#### 多模型 / 记忆 / 重放
|
|
703
|
+
|
|
704
|
+
| API | 说明 |
|
|
705
|
+
|---|---|
|
|
706
|
+
| `createAnthropicClient` | 默认 ModelClient(Anthropic):自定义只传 `apiKey` / `baseURL`;框架**零运行时依赖**,不装厂商 SDK |
|
|
707
|
+
| `createOpenAIClient` | OpenAI 兼容端点适配(DeepSeek 等;**真流式**、图片块转 `image_url`、cache token 恒 0) |
|
|
708
|
+
| `InMemoryMemoryStore` | 跨 run 的**键值黑板**记忆(`{ store, keys }` 配 `executeRun`) |
|
|
709
|
+
| `InMemorySessionStore` | 跨 run 的**对话历史**(`{ store, id }` 配 `executeRun` / `app.run`);与前者正交,可同时用 |
|
|
710
|
+
| `traceToMessages` | 把 trace 还原成 messages(重放基底) |
|
|
711
|
+
| `forkMessages` | 分叉重放:在主循环第 `atTurn` 回合之前截断重放历史、拼上 `append` 新消息喂回 `app.run`(「从第 N 回合换个问法重跑」的基底,**不是续跑**) |
|
|
712
|
+
| `diffTraces` | 两条 trace 的 A/B 比对(prompt / 模型实验):run 级 summary + 逐 span 字段差;纯函数,llm.turn 配对**忽略模型名**,缺省忽略墙钟 |
|
|
713
|
+
| `applyMiddleware` | 手动包裹配置菜单(装配层已自动做) |
|
|
714
|
+
|
|
715
|
+
#### MCP 桥(MCP 是「工具来源」,不是新机制)
|
|
716
|
+
|
|
717
|
+
| API | 说明 |
|
|
718
|
+
|---|---|
|
|
719
|
+
| `mcpTools` | 把 MCP server 的 `tools/list` 映射成框架 `AgentTool[]`(进 `createApp({ tools })`) |
|
|
720
|
+
| `McpClientLike` | 最小结构面:`listTools()` + `callTool(name, args)`;框架**不 import** MCP SDK |
|
|
721
|
+
| `MCP_DEFAULT_TIMEOUT_MS` | 桥的**兜底**单次调用超时(60000 ms)—— 引擎设了 `toolTimeoutMs` 时**不参与**判定 |
|
|
722
|
+
|
|
723
|
+
- **名字**:`prefix + 归一化原名`(MCP 名里的 `-` / `.` / 空格 → `_`)。归一化后**空名(原名不含任何 ASCII 字母/数字/下划线时产物为空,如全 emoji 名)/ 撞名 / 超 64 字符**一律**装配期抛错**(静默改名会得到一个调不回去的名字,比启动期报错难查得多)。
|
|
724
|
+
- **原名**:每次调用写进发起 turn 的两条 attribute —— `mcp.tool.<菜单名>`(每次调用各一条,并行调用互不覆盖,审计 / 回放靠它把菜单名还原成 server 认识的原名)与 `mcp.tool`(本次 turn **最近一次**的原名,兼容既有查询)。
|
|
725
|
+
- **入参 schema**:MCP 的 `inputSchema` 已是 JSON Schema → 原样透传,由 engine 的子集校验器在 `callTool` **之前**校验(非法入参根本不会发给 server,模型自己会改)。
|
|
726
|
+
- **失败**:`callTool` 抛错 → 该条 `tool_result` 记 `is_error`,**不杀 run**(与本地工具抛错同语义)。⚠️ **协议层的 `isError: true` 框架看不见** —— 连接器必须转成抛错,否则模型以为成功了。
|
|
727
|
+
- **超时**:**只有一个裁判**。引擎设了 `toolTimeoutMs` 时,桥的 `timeoutMs`(缺省 `MCP_DEFAULT_TIMEOUT_MS` = 60000)**不参与判定**;它只在「桥脱离引擎单用」或「引擎没设 `toolTimeoutMs`」时作为兜底。两条路径共用同一判定(`core/timeout.ts`:**看实测耗时,不看竞速**),超时都记 `errorKind='timeout'` + `is_error` 回模型、**不杀 run**。你自己写的工具要报超时,抛一个 `code === 'timeout'` 的错误即可(不必 import 框架的类)。
|
|
728
|
+
- **连接器不在框架里**(守「零运行时依赖」):stdio / StreamableHTTP 归独立可选包,或你自己接 SDK 后实现 `McpClientLike`。本仓库 `scripts/e2e-mcp.ts` 有一份最小连接器可参考。
|
|
729
|
+
|
|
730
|
+
```ts
|
|
731
|
+
// 任意实现了 listTools/callTool 的对象都能接(duck-typed,无需继承)
|
|
732
|
+
const client: McpClientLike = myStdioConnector;
|
|
733
|
+
const tools = await mcpTools(client, { server: 'time' }); // → mcp_time_get_current_time …
|
|
734
|
+
|
|
735
|
+
// 与本地 @Tool 同池:同过中间件链、同进重名查重
|
|
736
|
+
const app = createApp({ system, providers: [...], tools });
|
|
737
|
+
```
|
|
738
|
+
|
|
739
|
+
#### `McpToolsOptions`(`mcpTools` 的选项)
|
|
740
|
+
|
|
741
|
+
| 字段 | 说明 |
|
|
742
|
+
|---|---|
|
|
743
|
+
| `prefix` | 工具名前缀;缺省 `mcp_<server>_`(没给 `server` 时 `mcp_`);`''` = 不加前缀(撞名自负) |
|
|
744
|
+
| `server` | server 标识,只用于拼缺省前缀(不会发给 server) |
|
|
745
|
+
| `timeoutMs` | 单次 `callTool` 超时(毫秒);缺省 60000,非正数 = 不限 |
|
|
746
|
+
|
|
747
|
+
#### evals(把 mockClient 提升为一等能力)
|
|
748
|
+
|
|
749
|
+
| API | 说明 |
|
|
750
|
+
|---|---|
|
|
751
|
+
| `scriptedClient` | 按脚本依次返回模型响应(**真把文本块经 `on('text')` 吐出去**);脚本耗时报错 |
|
|
752
|
+
| `defineEval` | 定义「用例 + 断言」,`run()` 返回 `EvalReport` |
|
|
753
|
+
|
|
754
|
+
- **为什么需要**:单测覆盖的是框架语义,evals 覆盖的是**你的 agent 语义** —— 改 prompt / 换模型 / 加工具之后有没有回归,靠断言而不是人眼。
|
|
755
|
+
- 断言源是既有 `Trace`:「先 `search` 才 `summarize`」这类顺序断言全从 trace 读,框架不为此新增埋点。
|
|
756
|
+
- `run()` **不抛**(用例失败进报告,一次跑完能看到所有回归,而不是修一个跑一次);只有「应用建不起来」才冒泡 —— 那是环境错误,不是回归。失败 case 带 `trace`,直接看现场。
|
|
757
|
+
- `scriptedClient` 的步骤**在 `finalMessage()` 成功返回后才前进**:抛错的步骤(函数步骤 `throw` 模拟 429)会在重试时**重放同一步**,想验重试就这么写。
|
|
758
|
+
- **用例结论自动落 score**:每个用例跑完,结论以 `{ name: 'eval', value: 0|1, source: eval 名, comment: 失败原因 }` 自动 `attachScore` 到该用例的 trace —— eval 的 trace 自带质量结论,下游 sink / `metricsSink` 可直接聚合「这个 eval 的通过率」(`app.run` 抛错拿不到 trace 时不挂)。
|
|
759
|
+
|
|
760
|
+
```ts
|
|
761
|
+
const ev = defineEval<{ summary: string }>({
|
|
762
|
+
name: 'doc-review',
|
|
763
|
+
app: () => createApp({ system: new SystemPrompt({ version: 'v3' }).add('role', R), providers: [...] }),
|
|
764
|
+
// 每 case 可带 opts(透传 app.run):注入 resultSchema 就能断言 result.typed
|
|
765
|
+
cases: [{ name: '先检索再总结', input: '总结这份文档', client: scriptedClient([searchMsg, submitMsg]) }],
|
|
766
|
+
expect: (r, { trace }) => {
|
|
767
|
+
assert.equal(r.stopReason, 'end_turn');
|
|
768
|
+
const order = trace.spans.flatMap((s) => s.events)
|
|
769
|
+
.filter((e) => e.name === 'tool.input')
|
|
770
|
+
.map((e) => (e.body as { tool: string }).tool);
|
|
771
|
+
assert.deepEqual(order, ['search', 'summarize']); // 顺序断言从 trace 读
|
|
772
|
+
},
|
|
773
|
+
});
|
|
774
|
+
const report = await ev.run();
|
|
775
|
+
if (!report.ok) console.error(report.cases.filter((c) => !c.ok));
|
|
776
|
+
```
|
|
777
|
+
|
|
778
|
+
#### 线上 trace 回流 eval 数据集(`agentia harvest`)
|
|
741
779
|
|
|
742
|
-
|
|
780
|
+
线上事故 → 回归用例:CLI 把 trace 落盘文件翻成 eval 用例脚手架。
|
|
781
|
+
|
|
782
|
+
```bash
|
|
783
|
+
agentia harvest trace.jsonl # 全部记录 → 脚手架打到 stdout
|
|
784
|
+
agentia harvest trace.jsonl --failed --limit 5 --out evals/harvested.ts
|
|
785
|
+
agentia harvest trace.jsonl --out evals/harvested.ts --force # 覆盖已存在的产物(默认拒绝)
|
|
786
|
+
```
|
|
787
|
+
|
|
788
|
+
- 输入同 `agentia report`:每行一个 JSON(裸 Trace,或含 `result.trace` / `trace` 的 TaskRecord,如 `FileTaskStore` 的导出);`--failed` 只留失败记录。
|
|
789
|
+
- 产物是**可粘贴进 eval 文件的用例字面量**:`client: scriptedClient([...])` 按 trace 的主循环 llm.turn 逐回合重建,`expect` 预填「主循环工具序列」的轨迹断言(文件顶部附跑法注释)。
|
|
790
|
+
- `--out` 指向已存在的文件时**默认拒绝覆盖**(产物是要人工核对的脚手架,重跑一次就抹掉你改过的断言与 input);要覆盖显式加 `--force`。
|
|
791
|
+
- ⚠️ **脚手架不是成品,人工核对后再进 CI**:
|
|
792
|
+
- **trace 不记 assistant 文本**(llm.turn 只记 usage/事件),脚本里的 text 块是占位 `'[harvest] assistant 文本未入 trace'`;
|
|
793
|
+
- 只重建**直属 run 根**的主循环回合 —— 子 agent 的嵌套回合不走主循环脚本(要覆盖子 agent 请单独写 eval);
|
|
794
|
+
- 预填的 `expect` 是从原 trace **抄录的实际轨迹** —— 发生过 ≠ 应该发生;
|
|
795
|
+
- `EvalCase` 没有 `expect` 字段,粘贴时把断言搬进 `defineEval({ expect })`(脚手架注释会教)。
|
|
796
|
+
|
|
797
|
+
#### prompt / 模型 A/B(trace diff 与分叉重放)
|
|
798
|
+
|
|
799
|
+
同一份输入跑两条 run(换模型、换 `SystemPrompt` 版本、换 prompt 都行),用 `diffTraces` 比出**结构与成本差**;
|
|
800
|
+
想「从第 3 回合换个问法重跑」,用 `forkMessages` 在分叉点截断、拼上新消息喂回 `app.run`:
|
|
801
|
+
|
|
802
|
+
```ts
|
|
803
|
+
import { diffTraces, forkMessages } from '@migor/agentia';
|
|
804
|
+
|
|
805
|
+
// A/B:同输入,只换模型(或换 system 版本),各跑一条
|
|
806
|
+
const a = await app.run(input, { model: 'claude-sonnet-5' });
|
|
807
|
+
const b = await app.run(input, { model: 'claude-opus-5' });
|
|
808
|
+
|
|
809
|
+
const diff = diffTraces(a.result.trace, b.result.trace);
|
|
810
|
+
// diff.summary:status / totalUsage.* / 根 attributes 差 —— A/B 模型第一眼就看 attributes.model
|
|
811
|
+
// diff.spans:逐 span 字段级差异,path 形如 run:main/llm.turn#0/capability:search
|
|
812
|
+
if (!diff.equal) console.log(diff.summary, diff.spans);
|
|
813
|
+
|
|
814
|
+
// 分叉重放:在主循环第 3 回合(0-based)之前截断,该回合及其后丢弃,换个问法继续
|
|
815
|
+
const messages = forkMessages(a.result.trace, {
|
|
816
|
+
atTurn: 3, // 合法范围 0..主循环回合数-1,越界抛可读错误
|
|
817
|
+
append: [{ role: 'user', content: '换个思路:先给结论,再补证据。' }],
|
|
818
|
+
});
|
|
819
|
+
const c = await app.run(messages); // 起一条新 run,沿着分叉点前的真实 tool 历史继续
|
|
820
|
+
```
|
|
821
|
+
|
|
822
|
+
不落代码也可以直比两份 trace 导出:`agentia diff a.jsonl b.jsonl`(输入形态同 `agentia report`),
|
|
823
|
+
打印 run 级 summary + 逐 span 差异,**有差异时退出码 1**(diff(1) 语义)——可直接进 CI 挡
|
|
824
|
+
「换 prompt / 模型后轨迹漂移」。
|
|
825
|
+
|
|
826
|
+
- **配对语义**(结构性配对,字段差异不影响配对):llm.turn 按回合序配对、**忽略 span name** ——
|
|
827
|
+
name 是模型 id,而「换模型重跑」正是 A/B 主用例,按 name 配对会把两侧所有 turn 报成缺失;
|
|
828
|
+
模型差异降格为配对 turn 的 `name` 字段差。capability span 按 `kind:name` 配对
|
|
829
|
+
(`skill:foo` vs `skill:bar` 是不同能力,不该配上)。一侧多出的调用树记**一条缺侧记录**
|
|
830
|
+
(`SpanDiff.fields` 为空、`path` 照给),整支子树不再下钻。
|
|
831
|
+
- **墙钟缺省不比**:`ignoreTiming` 缺省 true(A/B 不关心时序);传 `false` 改比 span 时长
|
|
832
|
+
(`duration`),绝对时间戳永不比;`traceId` 是身份不是行为,同样永不比。
|
|
833
|
+
- ⚠️ **有损边界(与 `traceToMessages` / harvest 同源)**:trace **不记 assistant 文本与 run 的
|
|
834
|
+
原始输入** —— 重放里 assistant 是标注占位(非逐字原文)、首尾说明性 user 是合成。
|
|
835
|
+
因此 `forkMessages` **不是「续跑」**:它产出的是一份喂回 `app.run` / `runAgent` 的 messages,
|
|
836
|
+
跑的是一条**新 run**,不是接着原 run 的循环位置。分叉的 blackboard 种子由调用方自带
|
|
837
|
+
(`app.run(messages, { blackboard: {…} })` —— trace 不记 blackboard)。
|
|
838
|
+
|
|
839
|
+
### 6.6 横切缝(框架只给缝,不建子系统)
|
|
840
|
+
|
|
841
|
+
以下五件事策略千差万别(正则 / 分类模型 / 外部审核 API / 你自己的配额口径),框架硬编码必错 —— 所以只给缝,每节给出可直接粘贴的拼法。
|
|
842
|
+
|
|
843
|
+
#### 在线评估采样
|
|
743
844
|
|
|
744
845
|
生产流量按 N% 采样跑 LLM-judge、把分数回挂 trace —— 用**现有 sink 机制**拼:采样(`examples/observability` 的 `sampleSink` 配方)+ 对抽中的 run 调一次 judge(一次 `app.run` 或裸 client 调用)+ `attachScore` 回挂 + `metricsSink` 聚合。框架不提供 judge 子系统 —— 评什么、用什么模型评、采样率多少,都是你的策略:
|
|
745
846
|
|
|
@@ -769,7 +870,7 @@ createApp({ /* … */ sinks: [onlineEval, metrics] }); // metrics 必须同链
|
|
|
769
870
|
- judge 本身的 run 也会产生 trace —— 给它单独一个 app / runName,或按 run 名在 judge sink 里跳过自己,避免「评估评估的评估」。
|
|
770
871
|
- 成本自控:judge 调一次模型就是一份钱,采样率与 judge 模型档位是你的旋钮(judge 的 run 同样受 `maxCostUsd` 等护栏约束)。
|
|
771
872
|
|
|
772
|
-
|
|
873
|
+
#### 多租户配额
|
|
773
874
|
|
|
774
875
|
框架不提供配额组件 —— 用 `middleware`(拦在能力调用前)+ `TraceSink`(收尾后记账)+ `BudgetGuard`(单次 run 上限)组合即可,存储与策略是你的事:
|
|
775
876
|
|
|
@@ -803,7 +904,7 @@ createApp({ system, providers: [...], middleware: [quota], sinks: [billing] });
|
|
|
803
904
|
- 拦下来的那次 run **仍然要记账**(模型的钱已经花了)—— 记账在 sink 里、拦截在 middleware 里,两者独立。
|
|
804
905
|
- 被拦下的能力**不会执行**(副作用不发生),但 run 继续跑(模型可以换路)。
|
|
805
906
|
|
|
806
|
-
|
|
907
|
+
#### 人工审批闸门
|
|
807
908
|
|
|
808
909
|
框架不做审批子系统,但**闸门**这一层已经具备 —— `middleware` 可以 `await` 决策再放行,
|
|
809
910
|
引擎会等工具结果(`Promise.resolve(tool.run(...))`):
|
|
@@ -833,7 +934,7 @@ createApp({ system, providers: [...], middleware: [requireApproval] });
|
|
|
833
934
|
且 `traceToMessages` 重放**有损**(assistant 原文未记录)—— 拿它假装续跑只会拿到降级的上下文。
|
|
834
935
|
要跨重启审批,就自己上工作流引擎(见 §7)。
|
|
835
936
|
|
|
836
|
-
|
|
937
|
+
#### 内容护栏
|
|
837
938
|
|
|
838
939
|
和「多租户配额」同一个形状:策略千差万别(正则 / 分类模型 / 外部审核 API),框架硬编码必错,**只给缝**。
|
|
839
940
|
|
|
@@ -848,13 +949,13 @@ const callable = {
|
|
|
848
949
|
name: app.name,
|
|
849
950
|
async run(msgs, opts) {
|
|
850
951
|
const out = await app.run(redactInput(msgs), opts); // 入参护栏
|
|
851
|
-
if (flagged(out.finalText)) throw new Error('输出被护栏拦下'); // 出参护栏
|
|
952
|
+
if (flagged(out.result.finalText)) throw new Error('输出被护栏拦下'); // 出参护栏
|
|
852
953
|
return out;
|
|
853
954
|
},
|
|
854
955
|
};
|
|
855
956
|
```
|
|
856
957
|
|
|
857
|
-
|
|
958
|
+
#### 代码执行隔离
|
|
858
959
|
|
|
859
960
|
**框架从不执行模型生成的代码** —— `@Skill` 跑的是你写的方法体、`@Tool` 是你写的函数,
|
|
860
961
|
模型输出只会变成文本 / `tool_result`。所以「要不要沙箱」等价于「你那个*代码执行工具*要不要隔离」:
|
|
@@ -878,11 +979,13 @@ const callable = {
|
|
|
878
979
|
| schema 校验是**子集** | 只覆盖 `type/properties/required/additionalProperties/enum/items`;`format`/`minimum`/`oneOf` 一律放行 |
|
|
879
980
|
| 历史畸形就放弃裁剪 | `trimToolPairs` 遇到非严格交替历史会整体放弃(宁可少裁,也不切出孤立 tool_use 让请求 400) |
|
|
880
981
|
| 缺省内存 store 不淘汰 | 长跑宿主请设 `InMemoryTaskStore({ maxRecords })` 或换 `FileTaskStore` / `SqliteTaskStore` |
|
|
881
|
-
|
|
|
982
|
+
| 能力引用两种粒度 | `tools` 写 **provider token** = 整片能力菜单;写 `'<token>/<能力名>'` = 只引单个能力(@Tool/@Skill/@SubAgent/@Prompt 都可点名,装配期校验,名字不存在即抛错并列出可用名单) |
|
|
882
983
|
| 能力名有格式校验 | 装饰器能力名(`name` 或缺省的方法名)必须匹配 `^[A-Za-z0-9_-]{1,64}$`(与 MCP 桥同口径),非法名在 `createApp` **装配期即抛错** —— 含空格/点/中文的名字会让模型 API 400,宁可在启动期拦住 |
|
|
883
984
|
| `discover` 入口会回落 | 能力目录里源码与编译产物并存(`index.ts` + `index.js`)时,首选 `.ts` 加载失败会**回落 `.js` 并 warn** —— 命中的可能是**陈旧编译产物**(刚改过源码时注意);全部候选都失败才抛错并列出各自原因 |
|
|
884
985
|
| `asset()` 的 rel 必须是相对路径 | 带 scheme(`file:` / `https:` …)的 rel 会让 `new URL(rel, base)` 整个忽略 base(「以为读了能力目录、实际读了别处」),显式抛错;`../` 越出能力目录是**有意放行**(共享资产如 `../../shared/x.md` 是合法用法) |
|
|
885
986
|
| 取消要传进客户端才有效 | 传 `signal` 后框架会 abort 在飞请求(内置 Anthropic / OpenAI 适配器都转发);不转发 `signal` 的自定义 `ModelClient` 只能「放弃等待」(请求在后台跑完、产物丢弃) |
|
|
987
|
+
| 默认 client 的真端点验证范围 | `e2e:live` 跑在 DeepSeek 的 Anthropic **兼容**端点上;官方 Anthropic 端点的行为差异(thinking 细节、cache TTL 语义、新块型)目前只有本地假端点测试在守 —— mock 全绿发现不了厂商真实行为 —— 接入官方端点前自己跑一遍 `npm run e2e:live` |
|
|
988
|
+
| thinking 块「能收、不主动请求」 | 框架**从不**在请求里开 extended thinking;默认 client 能收拼 thinking 块(`signature_delta` 会累积),`redacted_thinking` 与未知块型**原样透传**不丢 —— 但官方 API 的 thinking 回灌要求带合法 `signature`,自定义 client 开 thinking 时自己验证这条链 |
|
|
886
989
|
| 工具阶段的 abort 有盲区 | abort 只在三处被观察:**回合边界 / 在飞模型请求 / 重试退避 sleep**。没设 `toolTimeoutMs` 且工具挂死时,abort 之后 run 也不会返回(工具的 Promise 永不 settle)—— 挂死的工具要么设超时,要么自己读 `ToolRunContext.signal` |
|
|
887
990
|
| 观测失败被吞 | sink 抛错不影响 run(观测是辅助动作);同理记忆水合/回写失败也不击穿 run |
|
|
888
991
|
| 框架不自动读 .env | 除 `AGENTIA_MODEL`(缺省模型覆盖)与 `OPENAI_API_KEY`(OpenAI 适配器)外,框架自己不去翻环境变量,也不读 `.env`;要读就在启动代码里调 `loadEnvFile()`(脚手架已内置那行),**真实环境变量优先**于文件 |
|
|
@@ -892,17 +995,17 @@ const callable = {
|
|
|
892
995
|
| 停机可能切断 SSE | `drain()` 超时后会强制关闭仍开着的 SSE 流,其 run 以 `stopReason='aborted'` 收尾 —— 客户端应把断流当作可重试 |
|
|
893
996
|
| 鉴权失败即断连 | 未通过鉴权时在读到 body 之前就回响应,连接**不可复用**(显式 `connection: close`);这是「不收body省资源」的代价 |
|
|
894
997
|
| 预算护栏不是硬实时 | 一回合记账完才判,实际用量可能超上限一个回合的量;模型自然收尾的那回合超限**不算失败**(只留 `budget.exceeded` 事件) |
|
|
895
|
-
| `maxCostUsd` 依赖价格表 | 模型不在价格表内(且未用 `priceOverrides` 覆盖)时成本恒为 0,这条护栏**不触发** —— 要无条件兜底用 `maxTotalTokens
|
|
998
|
+
| `maxCostUsd` 依赖价格表 | 模型不在价格表内(且未用 `priceOverrides` 覆盖)时成本恒为 0,这条护栏**不触发** —— 要无条件兜底用 `maxTotalTokens`。**失效会响**:turn 上会记 `usage.unpriced` 事件、指标有 `model_unpriced_turns_total`、可回调 `onUnpricedModel` |
|
|
896
999
|
| 工具超时**不取消**工具 | `AgentTool.run` 没有 signal 参数,超时只是「不等了」;副作用可能已发生。想真停请让工具自己读 `ToolRunContext.signal` |
|
|
897
1000
|
| 会话只存对话轮次 | `SessionStore` 存「用户输入 + 最终回复」,run 内部的 tool 往返**不进历史**(要完整过程用 `traceToMessages`);且只有**跑成功**的轮次才回写 |
|
|
898
1001
|
| 同 session 并发 run 要自行串行化 | `SessionStore` 是 **append-only**:并发写不互相覆盖、不丢数据,但**不保证角色交替** —— 两个并发 run 共用同一 sessionId 时,各自追加的轮次可能交错成「连续两条 user」,下一轮 load 出来撞角色交替校验(400)。同一 session 的并发 run 请调用方自行串行化(每 session 一把锁 / 一条队列) |
|
|
899
1002
|
| OpenAI 适配器听端点的话 | 请求发 `stream:true`,但**按响应形态解析**:端点回 JSON 就退回一次性(没有打字机效果),回 `event-stream` 才逐 token |
|
|
900
|
-
| OpenAI
|
|
1003
|
+
| OpenAI 流式的上游故障按失败处理 | 流中 `error` 分片(上游把故障塞进 200 的流)与「流正常结束却无文本无 tool_calls」都**抛错**按失败处理 —— 一律抛错按失败处理(与非流式空 `choices` 同一守卫) |
|
|
901
1004
|
| MCP 只做 tools | `sampling`(server 反向请求模型)/ `resources` / `prompts` 原语不做;连接器(stdio / HTTP)不在框架内 |
|
|
902
1005
|
| MCP 的协议层错误框架看不见 | `isError: true` 只有连接器能看见 —— 它必须转成抛错,否则模型收到的是一条「成功」的结果 |
|
|
903
|
-
| MCP 超时同样是「不等了」 |
|
|
904
|
-
| MCP 名字可能被归一化 | 原名含 `-` / `.` / 空格 → 进菜单时变成 `_`;回调 server 用的仍是原名(`mcp.tool
|
|
905
|
-
| MCP 工具不能进 DI 容器 | 它没有 provider token,也不能被别的能力的 `tools`
|
|
1006
|
+
| MCP 超时同样是「不等了」 | 桥的 `timeoutMs` 取消不了 server 侧执行(拿不到取消句柄);它只是**兜底** —— 引擎设了 `toolTimeoutMs` 时**不参与**判定(一次调用只有一个裁判),两条路径**同判定、同账**(`errorKind='timeout'`) |
|
|
1007
|
+
| MCP 名字可能被归一化 | 原名含 `-` / `.` / 空格 → 进菜单时变成 `_`;回调 server 用的仍是原名(`mcp.tool.<菜单名>` attribute 逐次可查;`mcp.tool` 是最近一次) |
|
|
1008
|
+
| MCP 工具不能进 DI 容器 | 它没有 provider token,也不能被别的能力的 `tools` 引用(两种引用粒度都要先有 token) |
|
|
906
1009
|
| 指标分位是窗口内精确值 | `*_last{quantile=...}` 只反映最近 `windowSize`(缺省 1024)条样本;要跨实例聚合请用直方图(`*_bucket` / `_sum` / `_count`,累积语义) |
|
|
907
1010
|
| 指标是**进程内**累加 | 不做分布式聚合与持久化:多实例各算各的(直方图可相加),重启即清零。要长期保留请把 `render()` 抓走或用 `export:'otlp'` 推给采集端 |
|
|
908
1011
|
| OTLP metrics 只推当前累计 | 按 `intervalMs` 周期导出**累积值**(CUMULATIVE),不做增量/背压;导出失败按 `onExportError` 处理(缺省吞掉,不重试、不阻塞 run) |
|
|
@@ -912,6 +1015,7 @@ const callable = {
|
|
|
912
1015
|
| 能力标签有基数上限 | `labelMode:'capability'`(缺省)+ `maxCapabilities`(缺省 200),超出的能力归入 `capability="__other__"`;`snapshot().droppedCapabilities` 给出被归并的能力个数。要完整明细请用 `buildRunReport`(不设上限) |
|
|
913
1016
|
| 提示词版本只是标记 | 框架不存版本库、不回滚:`version` 只落 run 根 attribute;`system` 传已拼好的 `SystemParam` 时无版本可记 |
|
|
914
1017
|
| `agentia harvest` 的产物是轨迹骨架 | trace **不记 assistant 文本**(llm.turn 只记 usage/事件),故 harvest 用例脚本里的 text 块是占位、预填 `expect` 是从原 trace 抄录的实际轨迹 —— 脚手架不是成品,人工核对后再进 CI(见 §6「线上 trace 回流」) |
|
|
1018
|
+
| 分叉重放不是续跑 | `forkMessages` 与 `traceToMessages` / harvest **同源有损**:trace 不记 assistant 文本与 run 原始输入(重放里 assistant 是标注占位、首尾 user 是合成),也不记 blackboard(分叉种子经 `RunInvocationOptions.blackboard` 自带);它产出喂回 `app.run` 的 messages、起的是**新 run**,不是接着原 run 的循环位置跑 |
|
|
915
1019
|
| 评分来自 run 之外 | `Score` 走 run 根 `score` **事件**而非 span 字段(评分通常在 run 跑完后才产生);`attachScore` 找不到根 span 时静默忽略,多次调用即多条事件(不同维度各记各的) |
|
|
916
1020
|
| 配额不是框架子系统 | 只给缝(middleware + TraceSink + BudgetGuard),计数放哪(内存 / Redis / DB)与超限怎么办都是你的策略 |
|
|
917
1021
|
| 人工介入只到「闸门」 | `middleware` 能 `await` 审批决策再放行;**跨进程挂起/续跑框架不做** —— `RunStatus` 无「待批准」态、循环位置不落库,`traceToMessages` 重放有损,不能拿它假装续跑(要跨重启审批请上工作流引擎)|
|
|
@@ -931,7 +1035,7 @@ const callable = {
|
|
|
931
1035
|
| `ctx.get('k')` 没有类型 | 没做 `Blackboard` 声明合并(见 5.1) |
|
|
932
1036
|
| `result.typed` 是 `unknown` | `resultSchema` 用的是裸 JsonSchema;改 `fromZod<T>`(见 5.3) |
|
|
933
1037
|
| TS 里想 `app.my_tool(...)` | 不要这样写:能力由模型选择,不是你的方法。要确定性调用就**直接调类方法** |
|
|
934
|
-
| 子 agent 调不到工具 | `tools`
|
|
1038
|
+
| 子 agent 调不到工具 | `tools` 的元素是 **provider token** 或 `'<token>/<能力名>'` 路径,不是裸工具名(裸名字会按「未注册 provider」在装配期抛错) |
|
|
935
1039
|
| 长跑内存涨 | 缺省内存 store 不淘汰;设 `InMemoryTaskStore({ maxRecords })` 或换耐久 store |
|
|
936
1040
|
| 鉴权钩子抛错,客户端只看到「未通过鉴权」 | 这是设计:非 `HttpException` 的错误原文只进服务端日志(要回给调用方就抛 `HttpException(status, body)`) |
|
|
937
1041
|
| 停机后 `POST /tasks` 回 503 | `drain()` 已被调用(或注入的 runner 已 drain)—— 这是「拒新单」的正常行为,任务没丢 |
|
|
@@ -946,14 +1050,3 @@ const callable = {
|
|
|
946
1050
|
| `metricsSink` 的数字一直是 0 | 没接进 `createApp({ sinks })`(或 `registerDefaultTraceSink`)—— 它靠 run 收尾投递,不自己埋点 |
|
|
947
1051
|
| `metricsSink({ export: 'otlp' })` 构造期报错 | 没给 `endpoint` —— OTLP 导出必须知道往哪发,响亮失败好过静默不导出;补上 `endpoint`(如 `http://localhost:4318`)即可。`windowSize` / `maxCapabilities` 非正数、`buckets` 非严格升序同理是构造期配置校验 |
|
|
948
1052
|
|
|
949
|
-
---
|
|
950
|
-
|
|
951
|
-
## 9. 提交前自检
|
|
952
|
-
|
|
953
|
-
```bash
|
|
954
|
-
npm run typecheck # src 类型
|
|
955
|
-
npm run typecheck:tests # 测试目录类型(含类型断言测试)
|
|
956
|
-
npm run test # 单测(node:test)
|
|
957
|
-
```
|
|
958
|
-
|
|
959
|
-
框架仓库另有这些门禁:`npm run typecheck:types`(针对构建产物的类型测试)、`npm run e2e`(三步链:CLI 端到端 + `examples/complete` 与 `examples/deploy` 真起服务)、`npm run e2e:examples` / `npm run e2e:deploy`(单跑对应一步)、`npm run e2e:mcp`(真接一个 MCP server 走完「映射 → 菜单 → run」;无网时自动回落本地夹具 server)。
|