niceeval 0.12.1 → 0.12.2-canary.31

package/INDEX.md

@@ -16,64 +16,70 @@
 
 ## `docs-site/zh/tutorials/`
 
-- `docs-site/zh/tutorials/agent-feedback-loop.mdx` — 用 Coding Agent 编写评估用例并迭代程序:让 Coding Agent 读取随包文档，用 Bash 运行实验、查看结果、定位失败并持续迭代，最后通过全量重跑确认结果。
+- `docs-site/zh/tutorials/agent-feedback-loop.mdx` — 让 Coding Agent 根据结果迭代:让 Coding Agent 读取 receipt 的 runIds，再用 show 或 view 查看已发布 Record 中的结果。
 - `docs-site/zh/tutorials/agent-onboarding.mdx` — Coding Agent 从零接入项目:给 Coding Agent 的完整接入流程：探索项目、与用户确认路径、配置 Judge、写出 Adapter / Experiment / 评估用例并跑通第一个实验。
 - `docs-site/zh/tutorials/authoring.mdx` — 编写评估用例: 单轮、多轮和测试集模式:用 defineEval 编写评估用例，包括单轮对话、多轮对话、数据驱动测试、Sandbox Workspace 和评估的生命周期与 Fixture。
-- `docs-site/zh/tutorials/ci-integration.mdx` — 在 GitHub Actions 和 CI 中运行 NiceEval:把 NiceEval 接入 GitHub Actions 或任意 CI。评估用例失败时非零退出，输出 JUnit XML，并通过缓存加速重复运行。
-- `docs-site/zh/tutorials/concurrency.mdx` — 调好并发：吞吐、共享状态与固定执行顺序:全局并发位和实验自己的 maxConcurrency 是两道闸。这一页说明各自管什么、共享状态怎么串行、执行顺序怎么钉死，以及多开一个终端为什么能加速。
-- `docs-site/zh/tutorials/configuration.mdx` — 把配置和密钥各放到该放的地方:跑几次、超时、并发、judge、语言这些值写进代码的哪一层，API key 和 provider token 用哪些环境变量。
-- `docs-site/zh/tutorials/connect-otel.mdx` — OTel 接入:把应用已有的 OTel span 发送给 NiceEval，在 niceeval view 中查看每轮调用瀑布图；评估用例断言仍以 Send 返回的事件和用量为准。
-- `docs-site/zh/tutorials/connect-your-agent.mdx` — 接入你的 Agent:写一个 Adapter、配置一个 Experiment，并运行第一条评估用例；再把配置和参数从 Experiment 传给 Adapter 与被测应用。
+- `docs-site/zh/tutorials/ci-integration.mdx` — 在 CI 中运行 NiceEval:让 CI 使用退出状态判定门禁，保留最后的 receipt，并向平台提供 JUnit 文件。
+- `docs-site/zh/tutorials/concurrency.mdx` — 调好并发：吞吐、共享状态与固定执行顺序:全局并发位和实验自己的 maxConcurrency 是两级并发限制。这一页说明各自管什么、共享状态怎么串行、执行顺序怎么固定，以及多开一个终端为什么能加速。
+- `docs-site/zh/tutorials/configuration.mdx` — 把配置和密钥各放到该放的地方:跑几次、超时、并发、judge 这些值写进代码的哪一层，API key 和 provider token 用哪些环境变量。
+- `docs-site/zh/tutorials/connect-otel.mdx` — OTel 接入:把应用已有的 OTel span 发送给 NiceEval，在 niceeval view 中查看每轮调用瀑布图。评估用例断言仍以 Send 返回的事件和用量为准。
+- `docs-site/zh/tutorials/connect-your-agent.mdx` — 接入你的 Agent:写一个 Adapter、配置一个 Experiment，并运行第一条评估用例。再把配置和参数从 Experiment 传给 Adapter 与被测应用。
 - `docs-site/zh/tutorials/criteria-files.mdx` — 隐藏测试判分：让判据文件进缓存 fingerprint:用 loadText 在模块顶层读入隐藏测试、跑测脚本等判据文件，文件内容进入 fingerprint：改一字节自动重跑，不靠人工 --rerun。
-- `docs-site/zh/tutorials/custom-reports.mdx` — 编写自定义报告:用普通 TypeScript 函数计算结果，并同时生成终端与网页报告。
+- `docs-site/zh/tutorials/custom-reports.mdx` — 编写自定义报告:声明 RecordProjection，把投影结果组织成 Calculation、页面和一次固定的 ReportExecution。
 - `docs-site/zh/tutorials/dataset-fanout.mdx` — 数据驱动测试（dataset fan-out）：用多份数据运行同一套评估用例:从 .eval.ts 文件导出数组或 keyed record，将一套评估逻辑展开为多个 case。用 loadYaml 或 loadJson 读取外部测试集，并获得稳定 ID。
-- `docs-site/zh/tutorials/deploy-report-site.mdx` — 把报告站发布上线:把 .niceeval 直接提交进仓库、配一份排除运行时状态的 .gitignore,再用不装整仓依赖的 CI 脚本和 Vercel CLI,在打 tag 时把报告站发布上线。
-- `docs-site/zh/tutorials/evaluation-kinds.mdx` — 题型、断言、Judge 和成本限制:值断言、作用域断言、LLM-as-judge、严重度怎么折成一个判定、计分制怎么给部分分，以及成本上限怎么写。
+- `docs-site/zh/tutorials/deploy-report-site.mdx` — 部署静态报告站:将 view --out 生成的自包含目录部署到任意静态托管服务。
+- `docs-site/zh/tutorials/docker-in-docker.mdx` — 让 Sandbox 使用 Docker:根据任务信任边界选择 Docker socket、raw privileged DinD 或受管 rootless DinD，并为 Agent 准备 Docker CLI 与 daemon。
+- `docs-site/zh/tutorials/eval-groups.mdx` — 用评估组复用 Sandbox:用 defineEvalGroup 显式声明兼容成员：同组按稳定 ID 串行复用一台 Sandbox，不同组继续并行，并把公共准备放到正确的 Sandbox Layer。
+- `docs-site/zh/tutorials/evaluation-kinds.mdx` — 通过制与计分制评估:用 defineEval 与 defineScoreEval 编写通过制和计分制评估，调用即登记 Assertion。
 - `docs-site/zh/tutorials/experiments.mdx` — 实验矩阵：用运行矩阵比较 agents 和 models:使用 NiceEval experiments 让同一批评估用例横跨多个 agents、models 和 flags，比较 pass rate、成本和延迟。
 - `docs-site/zh/tutorials/fixtures.mdx` — Sandbox Fixture：用任务评估 coding agents:用 .eval.ts 给 coding agent 准备隔离 workspace、发送真实任务，并用 Sandbox 文件、命令、diff 和 judge 验证结果。
-- `docs-site/zh/tutorials/publish-report.mdx` — 通过 CI 发布报告:把经过 publish 大小预检的记录目录提交进仓库,CI 用一行 view --record 导出报告站;超大文件在 commit 前就会得到可执行错误。
+- `docs-site/zh/tutorials/handle-execution-failures.mdx` — 在基础设施失败时停止无效运行:读懂自动重试，为确定性故障声明影响范围，修复后继续未完成的评估。
+- `docs-site/zh/tutorials/install-custom-sandbox-agent.mdx` — 为自定义 Sandbox Agent 安装 CLI:用 ensure 和 installer 检查、安装并复检自定义 coding-agent CLI 的精确版本。
+- `docs-site/zh/tutorials/plugins.mdx` — 用 Plugin 组合生命周期:用 definePlugin 为实验、评估组、Sandbox 和评估组合多个生命周期。
+- `docs-site/zh/tutorials/publish-report.mdx` — 发布静态报告:用 view --out 导出一个可离线打开、与源 Record 脱离的自包含报告站。
 - `docs-site/zh/tutorials/quickstart.mdx` — 为你的 Agent 项目设置评估:安装 NiceEval，写三个文件，10 分钟内对你自己的应用跑通第一条评估用例。
-- `docs-site/zh/tutorials/reporters.mdx` — 把结果上报到 Braintrust 与其它目的地:用内置 reporters 把评估用例结果送到 Braintrust 实验、JUnit XML 或自定义目的地。
-- `docs-site/zh/tutorials/rerun-and-cache.mdx` — 让改动只重跑该重跑的那些评估用例:同一条命令再跑一遍时，NiceEval 沿用已经跑完的结果，只补跑缺的部分。这一页说明哪一处改动作废哪些结果，以及指纹之外的东西变了要怎么用 --rerun 复验。
+- `docs-site/zh/tutorials/reporters.mdx` — 将当前运行接入外部系统:使用 Reporter、JUnit 和 receipt 把当前 Invocation 的信息交给外部系统，同时保持 Record 的所有权边界。
+- `docs-site/zh/tutorials/rerun-and-cache.mdx` — 重跑与沿用结果:查看每个 slot 会执行、自动采用还是由操作者接受，并理解这些关系怎样进入 Record。
 - `docs-site/zh/tutorials/sandbox-agent.mdx` — Sandbox Agent：评估 Claude Code、Codex 和 bub:使用 NiceEval 内置 agents 或自定义 adapter，在 Docker 或云端 sandbox 中运行 coding-agent CLI。
 - `docs-site/zh/tutorials/sandbox-providers.mdx` — Sandbox:官方 Sandbox Docker、Vercel 或 E2B Provider。通过预制快照加速评估
-- `docs-site/zh/tutorials/sandbox-reuse.mdx` — 复用 Sandbox：一批评估共用环境，公共准备只付一次:在 Experiment 里声明 sandboxReuse 让多条 Attempt 共用 Sandbox：写对四层生命周期、配好 lifetimeMs；准备代码做不到幂等重放时改用并发，不要复用。
-- `docs-site/zh/tutorials/theming.mdx` — 给报告换一套主题:用 --theme 换报告外观，用 defineTheme 写一份自己的主题，并把它设成项目默认或发成 npm 包。
-- `docs-site/zh/tutorials/viewing-results.mdx` — 查看 NiceEval 结果并调试 agent 行为:用 niceeval show 在终端按 @<locator> 查看 Attempt 的评估用例源码、执行记录与 diff，对照多个条件、看稳定性与用量、跨 Attempt 搜索执行记录，或用 niceeval view 在网页中查看同一份证据。
+- `docs-site/zh/tutorials/sandbox-reuse.mdx` — 复用 Sandbox：一批评估共用环境，公共准备只付一次:在 Experiment 里声明 sandboxReuse 让多条 Attempt 共用 Sandbox：写对四层生命周期、配好 lifetimeMs。准备代码做不到幂等重放时改用并发，不要复用。
+- `docs-site/zh/tutorials/theming.mdx` — 报告外观与安全边界:理解当前报告宿主的固定样式，以及为什么 Report 不能注入主题文件、CSS 或浏览器代码。
+- `docs-site/zh/tutorials/viewing-results.mdx` — 查看 NiceEval 结果:用 show 或 view 从已发布的 Record 选择 Sample，并查看固定的 ReportExecution。
 - `docs-site/zh/tutorials/write-experiment.mdx` — 实验与生命周期:如何写好实验。选择 Agent、传递 model 和 flags，设置 attempts、预算、并发与 Sandbox，并用 setup / teardown 起停实验级共享服务。
 - `docs-site/zh/tutorials/write-send.mdx` — 编写 Send:分七步编写 Adapter 的 send 函数：发送消息、续接会话、记录用量、映射工具事件、处理人工介入（HITL）、接入 OTel trace，并透传 Experiment flags。
 
 ## `docs-site/zh/explanation/`
 
 - `docs-site/zh/explanation/adapter.mdx` — Adapter：把 Agent 接入 NiceEval:Adapter 是你写的适配器。本文讲清楚 send 函数传入什么返回什么、被测系统配置怎么传、三个接入等级，以及 t 上的能力从哪来。
-- `docs-site/zh/explanation/assert.mdx` — NiceEval 断言：值、作用域事实、测试与成本:NiceEval 的断言词汇——值断言、作用域断言、项目测试断言和效率断言——以及 gate / soft 严重度和判定 verdict 的规则。
+- `docs-site/zh/explanation/assert.mdx` — NiceEval Assertion 与 Match:用 Match 描述值比较，调用即登记 Assertion；handle 只配置同一条 Assertion。
 - `docs-site/zh/explanation/drive.mdx` — NiceEval 里怎么驱动 agent：send、session 与 HITL:t.send() 和它返回的 Turn、t.sendFile()、多轮对话、t.newSession()，以及 respond() 处理的人工介入(HITL)。
 - `docs-site/zh/explanation/evals.mdx` — NiceEval 中的评估用例：生命周期、verdict 与文件:评估用例是一个测试用例：描述和 test 函数，agent-neutral。了解评估用例如何被发现、调度、评分和报告。
 - `docs-site/zh/explanation/experiment.mdx` — 实验（Experiment）：评谁、怎么跑:Experiment 是可签入的运行配置：同一批评估用例对着哪个 agent、哪个模型、开哪些 flags、跑几次。评估用例与 experiment 分开的原因——晚绑定，让同一份评估用例换着对象跑。
-- `docs-site/zh/explanation/hitl.mdx` — 人工介入（HITL）：停轮、回答、继续:什么是 Human-in-the-loop，Claude Code / Codex / AI SDK 应用里它长什么样；NiceEval 如何把它变成可评的路径——waiting 停轮、input.requested 说明在等什么、t.respond 替人回答后同一轮继续。
-- `docs-site/zh/explanation/judge.mdx` — NiceEval 里的 LLM-as-judge: 给开放式输出打分:t.judge / session.judge / turn.judge 如何用独立裁判模型评估事实性、闭合式质量和摘要忠实度，以及模型解析优先级和严重度。
-- `docs-site/zh/explanation/overview.mdx` — NiceEval 架构：评估用例、agents 与 sandboxes:理解 NiceEval、Adapter 和 Sandbox Provider 如何配合，用统一 API 评估任意 AI Agent。
-- `docs-site/zh/explanation/runner.mdx` — NiceEval runner 如何调度和执行评估用例:NiceEval runner 发现评估用例，用有界并发调度，缓存结果，重试脆弱基础设施，并执行预算保护。
+- `docs-site/zh/explanation/hitl.mdx` — 人工介入（HITL）：停轮、回答、继续:什么是 Human-in-the-loop，Claude Code / Codex / AI SDK 应用里它长什么样。NiceEval 如何把它变成可评的路径——waiting 停轮、input.requested 说明在等什么、t.respond 替人回答后同一轮继续。
+- `docs-site/zh/explanation/judge.mdx` — NiceEval 里的 Judge：评开放式输出:用 t.judge 和 turn.judge 直接登记 Judge Assertion，再在同一 handle 上配置阈值或分数。
+- `docs-site/zh/explanation/overview.mdx` — NiceEval 的评估与报告路径:理解 Experiment、Record、AnalysisSample 与 ReportExecution 如何组成一次可查看、可分享的评估。
+- `docs-site/zh/explanation/record.mdx` — Record：持久事实与报告输入:理解 Record Core、RecordAttachment、完成标识，以及从选择到 ReportExecution 的固定数据路径。
+- `docs-site/zh/explanation/runner.mdx` — Runner 如何执行评估:了解 Runner 怎样建立 Run、选择执行或采用 Attempt，并返回可供后续读取的 receipt。
 - `docs-site/zh/explanation/tier.mdx` — 接入等级（Tier）：三级投入，三组能力:按「Adapter 接到哪里、额外拿到什么观测数据」接入分三级：Tier 1 只接 send，Tier 2 加 OTel，Tier 3 侵入改造暴露 experiment flags。每档买到什么、什么时候升级。
 
 ## `docs-site/zh/reference/`
 
 - `docs-site/zh/reference/builtin-agents.mdx` — 内置 Agent 能力参考:NiceEval 内置的 claude-code、codex、bub 适配器分别做到了哪些能力，对应哪些断言，以及已知限制。
 - `docs-site/zh/reference/capabilities.mdx` — 能力与证据覆盖参考:Agent 的构造方式、运行时行为与必填的六通道 evidenceCoverage 声明，怎样共同决定 NiceEval 的断言能相信什么。
-- `docs-site/zh/reference/cli.mdx` — NiceEval CLI：命令、flags 和退出码参考:NiceEval CLI 参考：exp、show、view、init、list 和 clean 命令，以及结果下钻、experiment、评估用例过滤、并发、预算和 CI 输出。
-- `docs-site/zh/reference/define-agent.mdx` — defineDirectAgent 和 defineSandboxAgent：Adapter 参考:defineDirectAgent 和 defineSandboxAgent 参考：AgentContext、AgentSession、Sandbox 接口和共享 Sandbox helpers。
+- `docs-site/zh/reference/cli.mdx` — NiceEval CLI：命令、flags 和退出码参考:NiceEval CLI 参考：exp、debug、show、view、init、list 和 clean 命令，以及结果下钻、experiment、评估用例过滤、并发、预算和 CI 输出。
+- `docs-site/zh/reference/define-agent.mdx` — defineAgent 和 defineSandboxAgent：Adapter 参考:defineAgent 和 defineSandboxAgent 参考：AgentContext、AgentSession、Sandbox 接口和共享 Sandbox 辅助函数。
 - `docs-site/zh/reference/define-config.mdx` — defineConfig：项目默认配置:defineConfig 参考：judge、reporters、并发、超时和 sandbox 默认值。
-- `docs-site/zh/reference/define-eval.mdx` — defineEval：声明、配置并运行 NiceEval 评估用例:defineEval 参考：选项、test context t、Turn 返回值、Sandbox helper，以及数组和 keyed record 测试集导出。
+- `docs-site/zh/reference/define-eval.mdx` — defineEval：声明、配置并运行 NiceEval 评估用例:defineEval 参考：选项、test context t、Turn 返回值、Sandbox 辅助函数，以及数组和 keyed record 测试集导出。
 - `docs-site/zh/reference/events.mdx` — 标准事件流参考:StreamEvent 的十种事件：每种的字段、什么时候吐、哪些断言消费它。adapter 的核心工作就是产出这条流。
-- `docs-site/zh/reference/expect.mdx` — niceeval/expect matchers 与自定义断言参考:niceeval/expect 参考：includes、equals、matches、similarity、satisfies，以及形状断言 includesUrl、hasSections。可链式调用 .gate() 或 .atLeast(0.7)，也可以用 makeAssertion 构建自定义 matcher。
+- `docs-site/zh/reference/expect.mdx` — niceeval/expect Match 参考:niceeval/expect 的纯 Match factory：组合文字、结构、条件，再交给 t.check 登记 Assertion。
 - `docs-site/zh/reference/official-adapters.mdx` — 官方适配器一览:NiceEval 内置的 Sandbox 和非 Sandbox 适配器分别是什么、怎么鉴权，Sandbox 型里怎么装 MCP server、Skill、插件，怎么使用 Agent 官方配置文件。
-- `docs-site/zh/reference/report-components.mdx` — 报告组件 API:niceeval/report 的 page、计算函数、结果值与双面组件参考。
-- `docs-site/zh/reference/results-data.mdx` — 用 niceeval/record 读写记录数据:报告脚下的数据层：openRecord 把 .niceeval/ 的落盘 artifact 解析成「实验 → Run → 评估 → Attempt」的类型化层次，createWriter 把别家结果写成 NiceEval 格式，publish 负责发布。
+- `docs-site/zh/reference/report-components.mdx` — 报告 API:RecordProjection、Calculation、Page、ReportExecution 与静态导出的公开边界。
+- `docs-site/zh/reference/results-data.mdx` — 在 Report 中读取结果数据:通过 niceeval/report 的 AnalysisSample 与官方 opaque projector 声明读取结果。
 
 ## `docs-site/zh/troubleshooting/`
 
 - `docs-site/zh/troubleshooting/debug-sandbox.mdx` — 保留 Sandbox 现场排查问题:用 --keep-sandbox 把失败 Attempt 的 Sandbox 保留成可随时唤醒的现场，用 niceeval sandbox enter 进去手动排查，用 sandbox list / stop 查看和清理。
-- `docs-site/zh/troubleshooting/debugging.mdx` — 排查失败与复盘历史运行:一份按场景组织的排查手册：断言失败怎么定位、环境错误怎么进 Sandbox、agent 改了什么怎么看、旧的运行怎么翻出来复盘——每一步都有命令顺序和输出示例。
+- `docs-site/zh/troubleshooting/debugging.mdx` — 排查 Record 与报告问题:根据可见错误、Sample 状态、Attachment 状态和 rebuild 反馈，定位查看、重跑与导出问题。
 - `docs-site/zh/troubleshooting/recover-after-kill.mdx` — 运行被强杀后恢复:进程被 kill -9、CI 超时或断电杀掉后，重跑同一条命令续跑没跑完的部分，用 niceeval sandbox prune 收回没清理的容器，用 --teardown 补齐实验收尾。
 
 ## `docs-site/zh/examples/`

package/bin/niceeval.js

@@ -5,12 +5,14 @@
 // CJS,宿主项目是 CJS 形态(npm init -y 默认)时用户文件落进 Node 的 CJS loader,只注册 ESM
 // hook 就没人转译(见 docs/cli.md「装载用户 .ts」)。
 // 这样框架与被测项目都不需要编译步骤,也不挑宿主的模块形态。
-import { fileURLToPath } from "node:url";
-import { register as registerCjs } from "tsx/cjs/api";
-import { register as registerEsm } from "tsx/esm/api";
-
+// NiceEval 自身始终执行已发布的 canonical CJS runtime；tsx 只负责随后动态装载用户项目的
+// TypeScript，绝不把已安装包回跳到 checkout 的 src/。
+// 两个 hook 必须早于 bootstrap：CLI 之后的 config、eval、experiment 与 report 动态 import
+// 立刻可用，同时 bootstrap 本身仍只加载预编译的 dist graph。
+const { register: registerCjs } = await import("tsx/cjs/api");
+const { register: registerEsm } = await import("tsx/esm/api");
 registerCjs();
 registerEsm();
 
-const cliUrl = new URL("../src/cli.ts", import.meta.url);
-await import(fileURLToPath(cliUrl));
+const cliUrl = new URL("../dist/cli/bootstrap.cjs", import.meta.url);
+await import(cliUrl.href);

package/dist/agents/ai-sdk-otel.cjs

@@ -0,0 +1,54 @@
+"use strict";
+Object.defineProperty(exports, "__esModule", { value: true });
+exports.aiSdkOtel = aiSdkOtel;
+// `niceeval/adapter/otel` 入口:aiSdkAgent 的内置 OTel tracing 管线。
+//
+// 独立子路径导出,不从 `niceeval/adapter` re-export——顶部这三个 OTel 包是可选 peer 依赖,
+// 只有显式 import 本入口(要瀑布图)的项目才需要安装;只用 claude-code/codex/bub 等其他
+// adapter 的消费者,类型检查和运行时都碰不到这里。
+//
+// 并发安全的关键:不用全局 provider。按 endpoint 缓存 provider,每轮把绑定该 endpoint
+// tracer 的 @ai-sdk/otel 集成经 `telemetry.integrations` 传给 generateText(per-call 覆盖
+// 全局注册),并行 attempt 各用各的出口,span 不串流。
+const otel_1 = require("@ai-sdk/otel");
+const exporter_trace_otlp_http_1 = require("@opentelemetry/exporter-trace-otlp-http");
+const sdk_trace_node_1 = require("@opentelemetry/sdk-trace-node");
+/**
+ * 建一条给 `aiSdkAgent` 的 OTel tracing 管线:
+ *
+ * ```typescript
+ * import { aiSdkAgent } from "niceeval/adapter";
+ * import { aiSdkOtel } from "niceeval/adapter/otel";
+ *
+ * export const assistant = aiSdkAgent<ModelMessage>({
+ *   tracing: aiSdkOtel(),
+ *   generate: ({ messages, signal, telemetry }) =>
+ *     generateText({ model, tools, messages, abortSignal: signal, telemetry }),
+ * });
+ * ```
+ *
+ * provider 按 endpoint 缓存(per-attempt 端点各建一条,同 attempt 的后续轮复用),
+ * 用 SimpleSpanProcessor 即时导出——轮次归属靠时间窗口,span 不能等 batch。
+ */
+function aiSdkOtel(options = {}) {
+    const providers = new Map();
+    return {
+        telemetryForEndpoint(endpoint) {
+            let provider = providers.get(endpoint);
+            if (!provider) {
+                const spanProcessors = [new sdk_trace_node_1.SimpleSpanProcessor(new exporter_trace_otlp_http_1.OTLPTraceExporter({ url: endpoint }))];
+                if (options.backendUrl) {
+                    spanProcessors.push(new sdk_trace_node_1.SimpleSpanProcessor(new exporter_trace_otlp_http_1.OTLPTraceExporter({ url: options.backendUrl })));
+                }
+                provider = new sdk_trace_node_1.NodeTracerProvider({ spanProcessors });
+                providers.set(endpoint, provider);
+            }
+            const p = provider;
+            return {
+                settings: { integrations: [new otel_1.OpenTelemetry({ tracer: p.getTracer("gen_ai") })] },
+                flush: () => p.forceFlush(),
+            };
+        },
+    };
+}
+//# sourceMappingURL=ai-sdk-otel.cjs.map

package/dist/agents/ai-sdk-otel.cjs.map

@@ -0,0 +1 @@
+{"version":3,"file":"ai-sdk-otel.js","sourceRoot":"","sources":["ai-sdk-otel.ts"],"names":[],"mappings":";;AAqCA,8BAoBC;AAzDD,6DAA6D;AAC7D,EAAE;AACF,oEAAoE;AACpE,6DAA6D;AAC7D,+BAA+B;AAC/B,EAAE;AACF,+DAA+D;AAC/D,iFAAiF;AACjF,oCAAoC;AACpC,uCAA6C;AAC7C,sFAA4E;AAC5E,kEAAwF;AASxF;;;;;;;;;;;;;;;;GAgBG;AACH,SAAgB,SAAS,CAAC,UAA4B,EAAE;IACpD,MAAM,SAAS,GAAG,IAAI,GAAG,EAA8B,CAAC;IACxD,OAAO;QACH,oBAAoB,CAAC,QAAgB;YACjC,IAAI,QAAQ,GAAG,SAAS,CAAC,GAAG,CAAC,QAAQ,CAAC,CAAC;YACvC,IAAI,CAAC,QAAQ,EAAE,CAAC;gBACZ,MAAM,cAAc,GAAG,CAAC,IAAI,oCAAmB,CAAC,IAAI,4CAAiB,CAAC,EAAE,GAAG,EAAE,QAAQ,EAAE,CAAC,CAAC,CAAC,CAAC;gBAC3F,IAAI,OAAO,CAAC,UAAU,EAAE,CAAC;oBACrB,cAAc,CAAC,IAAI,CAAC,IAAI,oCAAmB,CAAC,IAAI,4CAAiB,CAAC,EAAE,GAAG,EAAE,OAAO,CAAC,UAAU,EAAE,CAAC,CAAC,CAAC,CAAC;gBACrG,CAAC;gBACD,QAAQ,GAAG,IAAI,mCAAkB,CAAC,EAAE,cAAc,EAAE,CAAC,CAAC;gBACtD,SAAS,CAAC,GAAG,CAAC,QAAQ,EAAE,QAAQ,CAAC,CAAC;YACtC,CAAC;YACD,MAAM,CAAC,GAAG,QAAQ,CAAC;YACnB,OAAO;gBACH,QAAQ,EAAE,EAAE,YAAY,EAAE,CAAC,IAAI,oBAAa,CAAC,EAAE,MAAM,EAAE,CAAC,CAAC,SAAS,CAAC,QAAQ,CAAC,EAAE,CAAC,CAAC,EAAE;gBAClF,KAAK,EAAE,GAAG,EAAE,CAAC,CAAC,CAAC,UAAU,EAAE;aAC9B,CAAC;QACN,CAAC;KACJ,CAAC;AACN,CAAC","sourcesContent":["// `niceeval/adapter/otel` 入口:aiSdkAgent 的内置 OTel tracing 管线。\n//\n// 独立子路径导出,不从 `niceeval/adapter` re-export——顶部这三个 OTel 包是可选 peer 依赖,\n// 只有显式 import 本入口(要瀑布图)的项目才需要安装;只用 claude-code/codex/bub 等其他\n// adapter 的消费者,类型检查和运行时都碰不到这里。\n//\n// 并发安全的关键:不用全局 provider。按 endpoint 缓存 provider,每轮把绑定该 endpoint\n// tracer 的 @ai-sdk/otel 集成经 `telemetry.integrations` 传给 generateText(per-call 覆盖\n// 全局注册),并行 attempt 各用各的出口,span 不串流。\nimport { OpenTelemetry } from \"@ai-sdk/otel\";\nimport { OTLPTraceExporter } from \"@opentelemetry/exporter-trace-otlp-http\";\nimport { NodeTracerProvider, SimpleSpanProcessor } from \"@opentelemetry/sdk-trace-node\";\nimport type { AiSdkTracing, AiSdkTurnTelemetry } from \"./ai-sdk.ts\";\nexport interface AiSdkOtelOptions {\n    /**\n     * 可选双发:span 除发给 niceeval 的接收器外,同一批也发到你自己的 OTLP 后端\n     * (Langfuse / SigNoz / 生产 collector)。\n     */\n    backendUrl?: string;\n}\n/**\n * 建一条给 `aiSdkAgent` 的 OTel tracing 管线:\n *\n * ```typescript\n * import { aiSdkAgent } from \"niceeval/adapter\";\n * import { aiSdkOtel } from \"niceeval/adapter/otel\";\n *\n * export const assistant = aiSdkAgent<ModelMessage>({\n *   tracing: aiSdkOtel(),\n *   generate: ({ messages, signal, telemetry }) =>\n *     generateText({ model, tools, messages, abortSignal: signal, telemetry }),\n * });\n * ```\n *\n * provider 按 endpoint 缓存(per-attempt 端点各建一条,同 attempt 的后续轮复用),\n * 用 SimpleSpanProcessor 即时导出——轮次归属靠时间窗口,span 不能等 batch。\n */\nexport function aiSdkOtel(options: AiSdkOtelOptions = {}): AiSdkTracing<OpenTelemetry> {\n    const providers = new Map<string, NodeTracerProvider>();\n    return {\n        telemetryForEndpoint(endpoint: string): AiSdkTurnTelemetry<OpenTelemetry> {\n            let provider = providers.get(endpoint);\n            if (!provider) {\n                const spanProcessors = [new SimpleSpanProcessor(new OTLPTraceExporter({ url: endpoint }))];\n                if (options.backendUrl) {\n                    spanProcessors.push(new SimpleSpanProcessor(new OTLPTraceExporter({ url: options.backendUrl })));\n                }\n                provider = new NodeTracerProvider({ spanProcessors });\n                providers.set(endpoint, provider);\n            }\n            const p = provider;\n            return {\n                settings: { integrations: [new OpenTelemetry({ tracer: p.getTracer(\"gen_ai\") })] },\n                flush: () => p.forceFlush(),\n            };\n        },\n    };\n}\n"]}

package/dist/agents/ai-sdk-otel.d.cts

@@ -0,0 +1,27 @@
+import { OpenTelemetry } from "@ai-sdk/otel";
+import type { AiSdkTracing } from "./ai-sdk.cjs";
+export interface AiSdkOtelOptions {
+    /**
+     * 可选双发:span 除发给 niceeval 的接收器外,同一批也发到你自己的 OTLP 后端
+     * (Langfuse / SigNoz / 生产 collector)。
+     */
+    backendUrl?: string;
+}
+/**
+ * 建一条给 `aiSdkAgent` 的 OTel tracing 管线:
+ *
+ * ```typescript
+ * import { aiSdkAgent } from "niceeval/adapter";
+ * import { aiSdkOtel } from "niceeval/adapter/otel";
+ *
+ * export const assistant = aiSdkAgent<ModelMessage>({
+ *   tracing: aiSdkOtel(),
+ *   generate: ({ messages, signal, telemetry }) =>
+ *     generateText({ model, tools, messages, abortSignal: signal, telemetry }),
+ * });
+ * ```
+ *
+ * provider 按 endpoint 缓存(per-attempt 端点各建一条,同 attempt 的后续轮复用),
+ * 用 SimpleSpanProcessor 即时导出——轮次归属靠时间窗口,span 不能等 batch。
+ */
+export declare function aiSdkOtel(options?: AiSdkOtelOptions): AiSdkTracing<OpenTelemetry>;

package/dist/agents/ai-sdk-otel.d.mts

@@ -0,0 +1,27 @@
+import { OpenTelemetry } from "@ai-sdk/otel";
+import type { AiSdkTracing } from "./ai-sdk.mjs";
+export interface AiSdkOtelOptions {
+    /**
+     * 可选双发:span 除发给 niceeval 的接收器外,同一批也发到你自己的 OTLP 后端
+     * (Langfuse / SigNoz / 生产 collector)。
+     */
+    backendUrl?: string;
+}
+/**
+ * 建一条给 `aiSdkAgent` 的 OTel tracing 管线:
+ *
+ * ```typescript
+ * import { aiSdkAgent } from "niceeval/adapter";
+ * import { aiSdkOtel } from "niceeval/adapter/otel";
+ *
+ * export const assistant = aiSdkAgent<ModelMessage>({
+ *   tracing: aiSdkOtel(),
+ *   generate: ({ messages, signal, telemetry }) =>
+ *     generateText({ model, tools, messages, abortSignal: signal, telemetry }),
+ * });
+ * ```
+ *
+ * provider 按 endpoint 缓存(per-attempt 端点各建一条,同 attempt 的后续轮复用),
+ * 用 SimpleSpanProcessor 即时导出——轮次归属靠时间窗口,span 不能等 batch。
+ */
+export declare function aiSdkOtel(options?: AiSdkOtelOptions): AiSdkTracing<OpenTelemetry>;

package/dist/agents/ai-sdk-otel.d.ts

@@ -0,0 +1,27 @@
+import { OpenTelemetry } from "@ai-sdk/otel";
+import type { AiSdkTracing } from "./ai-sdk.js";
+export interface AiSdkOtelOptions {
+    /**
+     * 可选双发:span 除发给 niceeval 的接收器外,同一批也发到你自己的 OTLP 后端
+     * (Langfuse / SigNoz / 生产 collector)。
+     */
+    backendUrl?: string;
+}
+/**
+ * 建一条给 `aiSdkAgent` 的 OTel tracing 管线:
+ *
+ * ```typescript
+ * import { aiSdkAgent } from "niceeval/adapter";
+ * import { aiSdkOtel } from "niceeval/adapter/otel";
+ *
+ * export const assistant = aiSdkAgent<ModelMessage>({
+ *   tracing: aiSdkOtel(),
+ *   generate: ({ messages, signal, telemetry }) =>
+ *     generateText({ model, tools, messages, abortSignal: signal, telemetry }),
+ * });
+ * ```
+ *
+ * provider 按 endpoint 缓存(per-attempt 端点各建一条,同 attempt 的后续轮复用),
+ * 用 SimpleSpanProcessor 即时导出——轮次归属靠时间窗口,span 不能等 batch。
+ */
+export declare function aiSdkOtel(options?: AiSdkOtelOptions): AiSdkTracing<OpenTelemetry>;

package/dist/agents/ai-sdk-otel.js

@@ -0,0 +1,6 @@
+import { createRequire as __niceevalCreateRequire } from "node:module";
+const __niceevalRequire = __niceevalCreateRequire(import.meta.url);
+const __niceevalCanonical = __niceevalRequire("./ai-sdk-otel.cjs");
+const __niceevalExport0 = __niceevalCanonical["aiSdkOtel"];
+export { __niceevalExport0 as aiSdkOtel };
+//# sourceMappingURL=ai-sdk-otel.js.map

package/dist/agents/ai-sdk-otel.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"ai-sdk-otel.js","sources":[],"names":[],"mappings":""}

package/dist/agents/ai-sdk-otel.mjs

@@ -0,0 +1,6 @@
+import { createRequire as __niceevalCreateRequire } from "node:module";
+const __niceevalRequire = __niceevalCreateRequire(import.meta.url);
+const __niceevalCanonical = __niceevalRequire("./ai-sdk-otel.cjs");
+const __niceevalExport0 = __niceevalCanonical["aiSdkOtel"];
+export { __niceevalExport0 as aiSdkOtel };
+//# sourceMappingURL=ai-sdk-otel.mjs.map

package/dist/agents/ai-sdk-otel.mjs.map

@@ -0,0 +1 @@
+{"version":3,"file":"ai-sdk-otel.mjs","sources":[],"names":[],"mappings":""}