niceeval 0.6.0 → 0.6.2

package/src/view/data.test.ts

@@ -1,3 +1,4 @@
+// cases: docs/engineering/unit-tests/reports/cases.md
 // view 数据层(data.ts)的单测:loader 收编到 openResults、统计整体住进报告槽之后,
 // 守护三件事——skipped 三种原因如实进 viewData(producer 感知的 npx 提示)、报告槽是
 // 现刻水位口径(裸跑经 selectCurrentResults 跨快照合成每 experiment × eval 的最新判定,
@@ -251,7 +252,7 @@ describe("loadViewScan · 新布局落盘直接可读(写入面 / 读取面同
     );
 
     const { viewData, reportHtml } = await loadViewScan(root);
-    // 报告槽(CostPassRateComparison 的 web 面):Experiment 工作台行 + 官方通过率格子(1 过 1 败 = 50%)。
+    // 报告槽(ExperimentComparison 的 web 面):Experiment 工作台行 + 官方通过率格子(1 过 1 败 = 50%)。
     expect(reportHtml.en).toContain("compare/bub");
     expect(reportHtml.en).toContain("50%");
     const snapshot = viewData.snapshots[0]!;

package/src/view/data.ts

@@ -1,7 +1,7 @@
 // view 的数据层:读取经 niceeval/results 的 openResults(布局/版本知识只住在那)。
 // 这里只做编排:报告槽 Selection 恒经 selectCurrentResults(现刻水位;与 show 调同一个函数,
 // 两扇门判定不分叉)、快照明细注入(locator / artifactBase)、skipped 透传、报告槽渲染
-// (renderReportSlot:裸跑填充 CostPassRateComparison,--report 整槽替换,en / zh-CN 双语各渲染一遍)。
+// (renderReportSlot:裸跑填充 ExperimentComparison,--report 整槽替换,en / zh-CN 双语各渲染一遍)。
 // --report 只换报告定义,注入的 Selection 与裸跑同一份。统计口径整体住在报告槽里
 // (报告组件的官方计算函数),viewData 不再携带 overview / 榜单这类统计产物,
 // 见 docs/feature/reports/view.md「打开与收窄」。
@@ -37,11 +37,17 @@ export interface ViewScan {
   attemptsByBase: Map<string, AttemptHandle>;
   /**
    * 报告槽:报告树经 renderReportToStaticHtml 渲染出的静态 HTML(en / zh-CN 各一份),
-   * 裸跑填充内置默认报告 CostPassRateComparison,--report 整槽替换。作为两个 <template> 静态块
+   * 裸跑填充内置默认报告 ExperimentComparison,--report 整槽替换。作为两个 <template> 静态块
    * 烘进页面(与 __NICEEVAL_VIEW_DATA__ 相邻),不进 viewData —— 前端只负责把当前
    * 界面语言对应的那块 HTML 摆进报告槽位置,不解析。
    */
   reportHtml: ReportSlotHtml;
+  /**
+   * --out 的数据等级(见 docs/feature/reports/view.md「静态导出」):全部选中快照带
+   * publish:{redaction:"applied"} 才是 "applied",否则 "sensitive"(含本地事实根与
+   * redaction:"none"——上游声明过原文发布也不豁免导出时的确认)。
+   */
+  publishState: "applied" | "sensitive";
 }
 
 /** view 宿主输入的组合语义(与 show 对齐,docs/feature/reports/architecture.md「Selection 是计算入口」)。 */
@@ -154,7 +160,7 @@ export async function loadLatestResultsPerEval(root = ".niceeval"): Promise<Eval
  * 报告槽 Selection 恒经 selectCurrentResults 合成(现刻水位;与 `niceeval show` 调同一个
  * 函数,裸跑与局部收窄不分叉),位置前缀 / --experiment 只作为 scope 传入,不切换选择口径。
  * --report 本身不改挑选——它只换报告槽的填充,注入的 Selection 与裸跑同一份,
- * 「裸跑 ≡ --report <CostPassRateComparison>」靠这条成立(docs/feature/reports/architecture.md「Selection 是计算入口」)。
+ * 「裸跑 ≡ --report <ExperimentComparison>」靠这条成立(docs/feature/reports/architecture.md「Selection 是计算入口」)。
  * 证据室数据(快照明细 / skipped)恒为全量,深链在任何收窄下都可达。
  * 零可读结果一律抛 ViewInputError,不渲染/导出空页面(server 起不来,--out 非零退出)。
  */
@@ -200,7 +206,7 @@ export async function loadViewScan(input?: string, opts: ViewScanOptions = {}):
     );
   }
 
-  // 报告槽:裸跑填充 CostPassRateComparison,--report 整槽替换。报告吃同一份注入 Selection,
+  // 报告槽:裸跑填充 ExperimentComparison,--report 整槽替换。报告吃同一份注入 Selection,
   // web 面在计算侧静态渲染成 HTML(en / zh-CN 各一遍,切界面语言不重算数据)。
   const reportHtml = await renderReportSlot(opts.report, results, selection);
 
@@ -261,7 +267,11 @@ export async function loadViewScan(input?: string, opts: ViewScanOptions = {}):
     snapshots,
     skippedRuns: results.skipped.map(toSkippedNotice),
   };
-  return { viewData, artifactDirs, attemptsByBase, reportHtml };
+  const publishState =
+    selection.snapshots.length > 0 && selection.snapshots.every((snap) => snap.publish?.redaction === "applied")
+      ? ("applied" as const)
+      : ("sensitive" as const);
+  return { viewData, artifactDirs, attemptsByBase, reportHtml, publishState };
 }
 
 /**
@@ -288,7 +298,7 @@ export async function loadAttemptIndex(input?: string): Promise<Map<string, Atte
 
 /**
  * 报告槽渲染:装载报告文件(--report;dev server 语义 —— 文件变更下次请求整页重算,
- * 经 mtime cache-busting),缺省用内置默认报告 CostPassRateComparison → 注入 Selection →
+ * 经 mtime cache-busting),缺省用内置默认报告 ExperimentComparison → 注入 Selection →
  * web 面 renderToStaticMarkup 成静态 HTML,en / zh-CN 各渲染一遍(chrome 文案按 locale)。
  * react / react-dom 动态加载:data.ts 还被 runner 的续跑携带(loadLatestResultsPerEval)
  * 消费,渲染依赖不进那条路径。attemptHref 缺省即 `#/attempt/@<locator>` 深链路由(web.ts 的默认值),
@@ -307,7 +317,7 @@ async function renderReportSlot(
   // 一个走 src。
   const definition = report
     ? await loadReportFile(report.cwd, report.path, { freshImport: true })
-    : (await import("../../dist/report/built-ins/index.js")).CostPassRateComparison;
+    : (await import("../../dist/report/built-ins/index.js")).ExperimentComparison;
   const { renderReportToStaticHtml } = await import("../../dist/report/web.js");
   const ctx = { selection, results };
   return {

package/src/view/index.ts

@@ -77,7 +77,7 @@ export function resolveViewInput(
  * 导出静态报告(--out):只有目录式一种形态。写 <dir>/index.html,并把前端会 fetch 的 artifact
  * (sources.json / events.json / trace.json)复制到 <dir>/artifact/<base>/——与本地
  * server 的 /artifact/<rel> 路由同一布局,整个目录扔给任何静态托管即是完整体验。
- * 首页即报告槽(裸跑填充 CostPassRateComparison,--report 整槽替换),证据室同站。
+ * 首页即报告槽(裸跑填充 ExperimentComparison,--report 整槽替换),证据室同站。
  * 单文件(*.html)导出已移除:代码/transcript/trace 视图依赖 artifact 文件,单文件注定残缺,
  * 存在本身就在诱导用户导出一份看不了证据的报告(docs/feature/reports/view.md「静态导出」)。
  */
@@ -89,6 +89,17 @@ export async function buildView(opts: ViewOptions = {}): Promise<string> {
     );
   }
   const scan = await loadViewScan(opts.input, opts.scan);
+  // --out 按数据等级防呆(见 docs/feature/reports/view.md「静态导出」):目标结果根的全部快照
+  // 带 publish:{redaction:"applied"}(copySnapshots 补记)时直接导出;redaction:"none"、
+  // 无标记结果或本地事实根,都必须显式传 --allow-sensitive-artifacts——静态站原样携带证据文件,
+  // 上游声明过原文发布也不豁免这里的确认。
+  if (!opts.allowSensitiveArtifacts && scan.publishState !== "applied") {
+    throw new ViewInputError(
+      `--out refuses to export unsanitized results: not every selected snapshot carries publish: { redaction: "applied" }. ` +
+        `Produce a publish root first with copySnapshots({ redact }) and export that (niceeval view --run <publish-root> --out <site>), ` +
+        `or pass --allow-sensitive-artifacts to explicitly export raw evidence (prompts, tool args, full outputs, sources).`,
+    );
+  }
   await mkdir(out, { recursive: true });
   await writeFile(join(out, "index.html"), await renderHtml(scan), "utf-8");
   await copyFetchedArtifacts(scan, join(out, "artifact"));

package/src/view/server.ts

@@ -12,6 +12,8 @@ export interface ViewOptions {
   input?: string;
   out?: string;
   port?: number;
+  /** `--out` 对非发布根(无 publish:applied 标记)导出时的显式确认;静态站原样携带证据文件。 */
+  allowSensitiveArtifacts?: boolean;
   /** 报告槽的组合语义(位置前缀 / --experiment / --report),透传给 loadViewScan。 */
   scan?: ViewScanOptions;
 }

package/src/view/shared/types.ts

@@ -3,7 +3,7 @@
 //
 // viewData 只携带证据室与壳需要的东西:快照明细(locator / artifactBase 已注入)、
 // skipped、项目名与 run 元信息。统计口径(KPI / 榜单 / 挑选警告)整体住在报告槽的
-// 静态 HTML 里(CostPassRateComparison 或 --report 的报告自己算),壳与报告之间没有第二条数据通道。
+// 静态 HTML 里(ExperimentComparison 或 --report 的报告自己算),壳与报告之间没有第二条数据通道。
 
 import type { EvalResult, LocalizedText } from "../../types.ts";
 import type { ReportLocale } from "../../report/locale.ts";

package/src/view/styles.css

@@ -849,6 +849,7 @@ a.brand:hover { opacity: 0.75; }
 .gstat.good { color: var(--good); }
 .gstat.bad { color: var(--bad); }
 .gstat.warn { color: var(--warn); }
+.gstat.na { color: var(--muted, #8a8f98); }
 .gsend { width: 13px; height: 13px; flex-shrink: 0; color: var(--blue); }
 
 .ctext { white-space: pre; color: var(--text); padding-left: 8px; }
@@ -866,6 +867,8 @@ a.brand:hover { opacity: 0.75; }
 .abadge.good { color: var(--good); border-color: color-mix(in oklch, var(--good), var(--line) 55%); background: color-mix(in oklch, var(--good), transparent 90%); }
 .abadge.bad { color: var(--bad); border-color: color-mix(in oklch, var(--bad), var(--line) 55%); background: color-mix(in oklch, var(--bad), transparent 90%); }
 .abadge.warn { color: var(--warn); border-color: color-mix(in oklch, var(--warn), var(--line) 55%); background: color-mix(in oklch, var(--warn), transparent 90%); }
+/* unavailable:独立第三态(非红非绿),证据评不了 ≠ 失败 */
+.abadge.na { color: var(--muted, #8a8f98); border-color: var(--line); background: color-mix(in oklch, var(--muted, #8a8f98), transparent 92%); }
 .abadge-th { opacity: 0.55; font-weight: 400; }
 
 /* 可点击行的显式提示:send 行一个 "reply" 药丸,断言行一个右侧展开箭头;hover 时变亮。 */

package/src/view/view-report.test.ts

@@ -1,10 +1,11 @@
+// cases: docs/engineering/unit-tests/reports/cases.md
 // niceeval view 的报告槽与宿主组合语义(docs/feature/reports/architecture.md「Selection 是计算入口」
 // 与裁决记录 6;公开行为准绳 docs-site/zh/guides/viewing-results.mdx / custom-reports.mdx)。
 // 覆盖:
 // - 组合语义与 show 对齐:位置前缀收窄报告槽 Selection、--experiment 过滤、匹配不到直说;
 // - 单文件模式共存:存在的文件路径 → 单文件模式,目录报错直说走 --run,其余按 eval 前缀;
-// - 报告槽恒在:裸跑填充 CostPassRateComparison,--report 整槽替换;en / zh-CN 双语各渲染一遍;
-//   裸跑 ≡ --report <re-export CostPassRateComparison 的文件>(等价性);
+// - 报告槽恒在:裸跑填充 ExperimentComparison,--report 整槽替换;en / zh-CN 双语各渲染一遍;
+//   裸跑 ≡ --report <re-export ExperimentComparison 的文件>(等价性);
 // - --out 静态导出:index.html 含两个语言的报告块、官方样式与增强 runtime,报告块零 <script>;
 // - dev server 装载语义:报告文件变更 → 下次装载整页重算(mtime cache-busting)。
 //
@@ -84,7 +85,7 @@ async function seedRoot(): Promise<string> {
   await writeSnapshot(root, "compare_bub", "2026-07-08T10-00-00-000Z", { experimentId: "compare/bub", agent: "bub", startedAt: "2026-07-08T10:00:00.000Z" }, [
     res("weather/brooklyn", "passed"),
     res("fixtures/button", "failed", {
-      assertions: [{ name: 'fileChanged("Button.tsx")', severity: "gate", score: 0, passed: false }],
+      assertions: [{ name: 'fileChanged("Button.tsx")', severity: "gate", score: 0, outcome: "failed" as const }],
     }),
   ]);
   await writeSnapshot(root, "compare_codex", "2026-07-09T10-00-00-000Z", { experimentId: "compare/codex", agent: "codex", startedAt: "2026-07-09T10:00:00.000Z" }, [
@@ -169,10 +170,10 @@ describe("loadViewScan · 组合语义", () => {
   });
 });
 
-// ─────────────────── 报告槽恒在:裸跑 ≡ --report <CostPassRateComparison> ───────────────────
+// ─────────────────── 报告槽恒在:裸跑 ≡ --report <ExperimentComparison> ───────────────────
 
 describe("loadViewScan · 默认报告槽(裸跑)", () => {
-  it("裸跑产出的报告槽 HTML 与 --report <re-export CostPassRateComparison 的文件> 完全一致(双语)", async () => {
+  it("裸跑产出的报告槽 HTML 与 --report <re-export ExperimentComparison 的文件> 完全一致(双语)", async () => {
     const root = await seedRoot();
     const bare = await loadViewScan(root);
     const viaReport = await loadViewScan(root, {
@@ -185,8 +186,8 @@ describe("loadViewScan · 默认报告槽(裸跑)", () => {
   it("报告槽双语渲染:同一棵树按 locale 渲染两遍,chrome 文案分语言、数据不分语言", async () => {
     const root = await seedRoot();
     const { reportHtml } = await loadViewScan(root);
-    expect(reportHtml.en).toContain("Pass rate"); // ExperimentList 主行(en)
-    expect(reportHtml["zh-CN"]).toContain("成功率"); // ExperimentList 主行(zh-CN,passRate 的 zh label)
+    expect(reportHtml.en).toContain("End-to-end pass rate"); // ExperimentList 主行(en)
+    expect(reportHtml["zh-CN"]).toContain("端到端成功率"); // ExperimentList 主行(zh-CN)
     for (const html of [reportHtml.en, reportHtml["zh-CN"]]) {
       expect(html).toContain("compare/bub");
       // 失败案例深链进证据室:不透明 AttemptLocator 单段路由 `#/attempt/@<locator>`,
@@ -323,7 +324,7 @@ describe("buildView · --out 与 --report", () => {
     await writeFile(join(artifactDir, "events.json"), "[]", "utf-8");
 
     const out = join(root, "site");
-    await buildView({ input: root, out, scan: { report: { path: EXAM_REPORT, cwd: root } } });
+    await buildView({ input: root, out, allowSensitiveArtifacts: true, scan: { report: { path: EXAM_REPORT, cwd: root } } });
 
     const html = await readFile(join(out, "index.html"), "utf-8");
     // 双语两个 <template> 静态块都在,壳按界面语言摆放。
@@ -340,10 +341,10 @@ describe("buildView · --out 与 --report", () => {
     ).toBe(true);
   });
 
-  it("默认导出(无 --report):报告槽填充 CostPassRateComparison,双语块与增强 runtime 恒内联", async () => {
+  it("默认导出(无 --report):报告槽填充 ExperimentComparison,双语块与增强 runtime 恒内联", async () => {
     const root = await seedRoot();
     const out = join(root, "site");
-    await buildView({ input: root, out });
+    await buildView({ input: root, out, allowSensitiveArtifacts: true });
     const html = await readFile(join(out, "index.html"), "utf-8");
     expect(html).toContain('<template id="niceeval-report-en">');
     expect(html).toContain('<template id="niceeval-report-zh-CN">');

package/dist/o11y/execution-tree.d.ts

@@ -1,103 +0,0 @@
-import type { InputRequest, JsonValue, StreamEvent, ToolName, TraceSpan } from "../types.ts";
-interface ExecutionNodeBase {
-    /** 本函数内确定性生成,同一份 (events, spans) 输入永远产出同一批 id(不是全局稳定 id,
-     * 不跨调用持久化——目前没有下游需要跨次运行比对同一个节点)。 */
-    id: string;
-    /** 唯一关联上的 OTel span(供下钻;渲染层用 endMs - startMs 算耗时)。action 节点的
-     * span.attributes 额外补了 io.tool/io.input/io.output/io.status(见 withIoAttributes);
-     * 其余节点原样保留。缺失 = timing unavailable——要么这次运行没有 OTel 接入,要么有 span
-     * 但没能唯一关联到这个节点上;两种情况都不是「假装有耗时」,统一表现为字段不存在。 */
-    span?: TraceSpan;
-}
-export interface ExecutionMessageNode extends ExecutionNodeBase {
-    kind: "message";
-    role: "assistant" | "user";
-    text: string;
-}
-export interface ExecutionThinkingNode extends ExecutionNodeBase {
-    kind: "thinking";
-    text: string;
-}
-/** Skill 加载节点——一等,直接来自 StreamEvent 的 "skill.loaded",不靠工具名/文本猜。 */
-export interface ExecutionSkillNode extends ExecutionNodeBase {
-    kind: "skill.loaded";
-    skill: string;
-    /**
-     * 仅当原生协议把 Skill 加载表达成可关联的工具调用时才有,和 StreamEvent 同名字段同一含义。
-     * 存在时参与和 action/subagent 节点同一套 callId 关联(见主函数 nodeByCallId):Claude Code
-     * 的 Skill 调用本身就是一次 tool_use,OTel mapper 同样会把它的 tool_use_id 复制成
-     * span.attributes.call_id,唯一命中时这个节点也应该拿到 timing,不因为节点 kind 是
-     * skill.loaded 就被排除在 enrichment 之外。
-     */
-    callId?: string;
-}
-/**
- * action.called + action.result 按 callId 合并成一个节点。`status` 多了 "pending"
- * (StreamEvent 的 action.result.status 没有这一档)——这是 ExecutionTree 独有的中间态,
- * 表示这次运行结束时结果始终没有回来(如超时截断的 transcript),诚实地区分「还没完成」
- * 和「跑完但失败/被拒绝」。
- */
-export interface ExecutionActionNode extends ExecutionNodeBase {
-    kind: "action";
-    callId: string;
-    /** 原始工具名(未归一化),对齐 StreamEvent.action.called.name。 */
-    name: string;
-    /** 归一化后的规范工具名,省略表示 adapter 没能归一(等同 ToolCall.name 缺省为 "unknown")。 */
-    tool?: ToolName;
-    input: JsonValue;
-    output?: JsonValue;
-    status: "pending" | "completed" | "failed" | "rejected";
-}
-/** subagent.called + subagent.completed 按 callId 合并;pending 语义同 ExecutionActionNode。 */
-export interface ExecutionSubagentNode extends ExecutionNodeBase {
-    kind: "subagent";
-    callId: string;
-    name: string;
-    remoteUrl?: string;
-    output?: JsonValue;
-    status: "pending" | "completed" | "failed";
-}
-export interface ExecutionInputRequestedNode extends ExecutionNodeBase {
-    kind: "input.requested";
-    request: InputRequest;
-}
-export interface ExecutionCompactionNode extends ExecutionNodeBase {
-    kind: "compaction";
-    reason?: string;
-}
-export interface ExecutionErrorNode extends ExecutionNodeBase {
-    kind: "error";
-    message: string;
-}
-/**
- * span 存在、有意义,但唯一关联不到任何骨架节点——原样保留成独立节点,清楚标注「只有遥测、
- * 没有对应事件」,不悄悄猜着并进某个骨架节点。`span` 是必填字段:这类节点的全部内容就是
- * 这一条 span 本身,没有骨架事件可以叠加。
- */
-export interface ExecutionTelemetryNode {
-    kind: "telemetry";
-    id: string;
-    span: TraceSpan;
-}
-export type ExecutionNode = ExecutionMessageNode | ExecutionThinkingNode | ExecutionSkillNode | ExecutionActionNode | ExecutionSubagentNode | ExecutionInputRequestedNode | ExecutionCompactionNode | ExecutionErrorNode | ExecutionTelemetryNode;
-export interface ExecutionTree {
-    /**
-     * 骨架节点在前,顺序 = 事件出现顺序;telemetry-only 节点(未能唯一关联的 span)
-     * 按 span.startMs 追加在骨架之后——它们不属于骨架,不改变骨架的节点/顺序/内容,
-     * 只是叠加在末尾的额外证据。
-     */
-    nodes: ExecutionNode[];
-    /**
-     * 这次运行是否提供过任何 span——不代表关联成功,只代表「OTel 接入过」。供渲染层区分
-     * 两种不同的诚实提示:整体没有 OTel 接入(该字段为 false,所有节点自然都没有 span),
-     * 和 OTel 接入了但这一个节点恰好关联不上(该字段为 true,该节点的 span 仍缺失)。
-     */
-    timingAvailable: boolean;
-}
-/**
- * 纯函数:把标准事件流(骨架)与一批已挑选好的 OTel span(可选 enrichment)合成一棵
- * ExecutionTree。events 决定节点的存在、顺序与内容;spans 只能给已存在的节点补时间,
- * 从不新增、删除或重排骨架节点。
- */
-export declare function buildExecutionTree(events: readonly StreamEvent[], spans: readonly TraceSpan[]): ExecutionTree;
-export {};

package/dist/o11y/otlp/select.d.ts

@@ -1,22 +0,0 @@
-import type { ToolCall, TraceSpan } from "../../types.ts";
-/**
- * 选出要保留并落盘的 span。
- * 小 trace 原样返回;大 trace 按 canonical kind 过滤(kind ≠ "other" 留);
- * 没 mapper(kind 全 "other")则回落到 firehose 频率过滤;仍过多再按耗时硬截断。
- * 最后一律按起点排序,view 直接当瀑布图渲染。
- */
-export declare function selectTraceSpans(spans: TraceSpan[]): TraceSpan[];
-/**
- * I/O 文本上限:文件内容/命令输出可能很大,截一下别把 trace 撑爆。导出给
- * `execution-tree.ts` 复用——ExecutionTree 的 action 节点给合并上去的 span 补同一份
- * io.* attributes,必须和这里同一个截断预算,不能另立一个数字。
- */
-export declare const IO_MAX = 4000;
-export declare function ioText(v: unknown): string;
-/**
- * 给工具执行 span 补上真实「入参/出参」:codex 等的 OTLP span 只带 tool_name/call_id,
- * 命令文本与输出在 stdout transcript(events)里 —— 按 call_id 把 deriveRunFacts 的
- * ToolCall.input/output join 到对应 span 的 attributes(io.input / io.output / io.tool)。
- * 没匹配上的 span 原样返回。
- */
-export declare function enrichTraceWithIO(spans: TraceSpan[], toolCalls: readonly ToolCall[]): TraceSpan[];

package/dist/report/built-ins/cost-pass-rate-comparison.d.ts

@@ -1 +0,0 @@
-export declare const CostPassRateComparison: import("../report.ts").ReportDefinition;

package/dist/report/built-ins/cost-pass-rate-comparison.js

@@ -1,17 +0,0 @@
-import { jsx as _jsx, jsxs as _jsxs } from "react/jsx-runtime";
-// CostPassRateComparison:show / view 裸跑时的出厂报告槽。
-//
-// 它是一份普通 ReportDefinition,零特权:只声明「摆什么」——成本 × 通过率的散点(比较
-// experiments)和实验列表。散点走 selection-form(`MetricScatter` 声明了 `resolve`,宿主
-// 渲染前的 resolveReportTree 会替它调 `.data`);`ExperimentList` 没有 selection-form,
-// 报告函数体里直接 `await ExperimentList.data(selection)` 拿到普通数组再传 `items`——
-// 这正是三个实体列表统一的用法,内置默认报告不搞一套特权写法。包外用户复制这段 TSX
-// (只改 import 路径与 export 形式)会走完全相同的解析与渲染管线。
-import { Col } from "../primitives.js";
-import { ExperimentList, MetricScatter } from "../components.js";
-import { costUSD, passRate } from "../metrics.js";
-import { defineReport } from "../report.js";
-export const CostPassRateComparison = defineReport(async ({ selection }) => {
-    const experiments = await ExperimentList.data(selection);
-    return (_jsxs(Col, { children: [_jsx(MetricScatter, { selection: selection, points: "experiment", series: "agent", x: costUSD, y: passRate }), _jsx(ExperimentList, { items: experiments })] }));
-});

package/dist/results/annotated-source.d.ts

@@ -1,61 +0,0 @@
-import type { AssertionResult } from "../types.ts";
-/** 一行源码 + 映射到这一行的全部断言(保持原始顺序;可以是空数组)。 */
-export interface AnnotatedSourceLine {
-    /** 1-indexed 行号,与 SourceLoc.line 同一坐标系。 */
-    line: number;
-    /** 这一行的原始文本(已按 normalizeEvalSource 归一化,不含行尾换行符)。 */
-    text: string;
-    /**
-     * 映射到这一行的断言,按输入顺序(通常即执行顺序)排列。每条断言自带 severity / score /
-     * passed / detail / evidence —— 这就是"状态 / 严重度 / 分数 / detail / evidence"标回源码行
-     * 的完整信息,不需要额外的行级折叠字段:折叠成单一显示态是 renderer 的展示决定,不是这份
-     * 领域 model 的职责(与 indexAsserts() 的先例一致,它同样只分桶、不折叠)。
-     */
-    assertions: AssertionResult[];
-}
-export interface AnnotatedEvalSourceSummary {
-    /** 参与统计的断言总数 = mappedAssertions + unmappedAssertions。 */
-    totalAssertions: number;
-    /** 成功映射到某一行源码的断言数。 */
-    mappedAssertions: number;
-    /** 落进 unmapped 桶的断言数。 */
-    unmappedAssertions: number;
-    /** 按 passed 计票(映射与未映射的断言都计入)。 */
-    passed: number;
-    failed: number;
-    /** 按 severity 计票(映射与未映射的断言都计入)。 */
-    gate: number;
-    soft: number;
-    /** 源码总行数,等于 lines.length。 */
-    totalLines: number;
-    /** 至少挂了一条断言的行数。 */
-    annotatedLines: number;
-}
-export interface AnnotatedEvalSource {
-    /** 项目相对路径,与 SourceArtifact.path / SourceLoc.file 同一约定。 */
-    sourcePath: string;
-    /** 归一化后源码文本的 SHA-256(与 captureEvalSource() 的算法一致,见 source-hash.ts)。 */
-    sourceSha256: string;
-    lines: AnnotatedSourceLine[];
-    /**
-     * 没有落到 lines 里任何一行的断言,原始顺序保留,永不丢弃。三种情况都进这里:
-     * 没有 SourceLoc(如 skip 前就出错的 eval、或调用方尚未收集到位置)、SourceLoc 指向
-     * 另一个文件(loc.file !== sourcePath —— 罕见,如断言写在共享 helper 里)、
-     * SourceLoc 的行号落在这份源码的行范围之外(源码与断言记录不同步的边界情况)。
-     * 后两种不是文档明确要求的场景,但"never silently dropped"的契约对它们同样成立 ——
-     * 这份 model 是分桶断言的唯一出口,不属于任何一行就必须出现在这里。
-     */
-    unmapped: AssertionResult[];
-    summary: AnnotatedEvalSourceSummary;
-}
-/**
- * 纯函数:给定一份源码文本(未归一化也可以,内部会 normalizeEvalSource)与一批断言,
- * 产出标注好的 AnnotatedEvalSource。幂等 / 无 IO —— 可以在渲染路径上安全调用。
- *
- * 断言 → 源码行的映射规则:`a.loc` 存在、`a.loc.file === source.path`、且
- * `1 <= a.loc.line <= lines.length` 三者同时成立才落到对应行;否则进 `unmapped`。
- */
-export declare function buildAnnotatedEvalSource(source: {
-    path: string;
-    content: string;
-}, assertions: readonly AssertionResult[]): AnnotatedEvalSource;

package/dist/results/attempt-evidence.d.ts

@@ -1,69 +0,0 @@
-import type { AttemptHandle } from "./types.ts";
-import { type AttemptIdentity, type AttemptLocator } from "./locator.ts";
-import type { AnnotatedEvalSource } from "./annotated-source.ts";
-import { type ExecutionTree } from "../o11y/execution-tree.ts";
-import type { DiffData, EvalResult } from "../types.ts";
-/**
- * 一个 Attempt 的 artifact 落盘位置。单一目录足够:一个 attempt 的全部 artifact
- * (events.json / trace.json / o11y.json / diff.json / sources.json,见 ARTIFACT_KINDS)
- * 要么全在它自己的 attempt 目录,要么(--resume 携带条目——本轮没写任何新数据,
- * 见 writer.ts 对携带分支的说明)全在 artifactBase 回退到的原快照 attempt 目录,
- * 从不出现"这个 kind 在自己目录、那个 kind 在 artifactBase"的拆分场景,不需要
- * 按 kind 逐个给路径。想要某一种 artifact 的具体文件,自己拼
- * `join(artifactPaths.dir, "<kind>.json")`(kind 见 `ArtifactKind`)。
- *
- * 与 show/render.ts 的 `attemptArtifactsPath(attempt, cwd)` 是同一份"这个 attempt 的证据在哪"
- * 知识的两种呈现:那边为 CLI 文本展示把它转成 cwd 相对的短路径,这里给 evidence 层的调用方
- * (view / 静态导出 / 报告列表,它们没有统一的"cwd"概念)一份绝对路径,不做相对化。
- */
-export interface EvidencePaths {
-    /** 绝对路径。 */
-    dir: string;
-}
-/**
- * 每一位只在数据真的存在且非空时为 true——从不因为对应的 artifact 文件"存在"就点亮,
- * 见本文件头注逐位的门槛说明。show/view/静态导出/报告列表读这四位来决定要不要显示
- * 对应的证据切面,不自己重新判断"这个 attempt 有没有 X"。
- */
-export interface AttemptEvidenceCapabilities {
-    /** evalSource 非空且有内容(源码行或断言二选一非空)。 */
-    eval: boolean;
-    /** events 非空数组——有骨架可看。 */
-    execution: boolean;
-    /** execution 成立且这次运行接入过 OTel(ExecutionTree.timingAvailable)。 */
-    timing: boolean;
-    /** diff 非空且至少改动/删除了一个文件。 */
-    diff: boolean;
-}
-/**
- * 一个 Attempt 的完整证据聚合。除 `locator` 外每个字段要么是别的模块已经产出的纯数据类型,
- * 要么是这四样拼出来的判定——本类型自己不发明新的证据形状。
- */
-export interface AttemptEvidence {
-    locator: AttemptLocator;
-    /** locator 派生自的不可变身份元组,与 `locator` 编码的是同一份数据,供不想解码 locator
-     * 的调用方直接读结构化字段(如按 experimentId 分组、按时间排序)。 */
-    identity: AttemptIdentity;
-    result: EvalResult;
-    /** 运行时保存的 Eval 源码标注(`--eval` 切面);没有 sources() 就是 null,不伪造空文档。 */
-    evalSource: AnnotatedEvalSource | null;
-    /** 标准事件流 + OTel enrichment(`--execution` 切面);没有非空 events 就是 null,
-     * 不产出一棵只剩 telemetry-only 节点、没有真实骨架的误导性树(见头注 execution 门槛)。 */
-    execution: ExecutionTree | null;
-    /** 被测 Agent 对 Sandbox 工作区的文件变化(`--diff` 切面);原样透传 attempt.diff()。 */
-    diff: DiffData | null;
-    artifactPaths: EvidencePaths;
-    capabilities: AttemptEvidenceCapabilities;
-}
-/**
- * 纯组合:一次性 await 好 attempt 的四类懒加载证据(events / trace / diff / 经
- * loadAnnotatedEvalSource 解引用的 eval 源码),拼成一份 AttemptEvidence。不重新实现
- * Eval 源码标注、ExecutionTree 合并或 diff 语义的任何一条规则——那些规则的家分别在
- * annotated-source.ts / execution-tree.ts / attempt.diff() 自身,这里只调用与判定"够不够
- * 亮起对应的证据切面"。
- *
- * `attempt.locator` 在真实读取路径(openResults() 产出的 handle)恒有值;缺失时按当前身份
- * 元组按 encodeAttemptLocator 兜底算一份,同 open.ts 给 record.locator 做的兜底同一口径——
- * 只服务手工构造 AttemptHandle 的测试场景,不改变真实读取路径的行为。
- */
-export declare function loadAttemptEvidence(attempt: AttemptHandle): Promise<AttemptEvidence>;

package/dist/results/attempt-source.d.ts

@@ -1,15 +0,0 @@
-import type { AttemptHandle } from "./types.ts";
-import { type AnnotatedEvalSource } from "./annotated-source.ts";
-/**
- * 给定一个 attempt,取回它的 eval 源码(经 sources() 解引用,可能来自本快照或
- * artifactBase 回退到的原快照)与它的断言,产出标注好的 AnnotatedEvalSource。
- *
- * 没有 sources()(eval 从没被 `loc` 引用到、或落盘里压根没有 sources.json/artifactBase
- * 已失效)时返回 null——没有源码就没有「标注源码」这回事,不伪造一份空文档。
- *
- * 一个 attempt 的 sources() 理论上可以有多份文件(主 eval 文件 + 罕见的跨文件 loc);
- * 这里按「哪份文件被最多断言的 loc 命中」选一份作为主文件喂给 buildAnnotatedEvalSource——
- * 只服务这条打通链路的验证目的,不是最终选择策略(后续阶段如需要为每份引用到的文件
- * 都出一份 AnnotatedEvalSource,在这基础上很容易扩成返回数组)。
- */
-export declare function loadAnnotatedEvalSource(attempt: AttemptHandle): Promise<AnnotatedEvalSource | null>;

package/src/report/built-ins/cost-pass-rate-comparison.tsx

@@ -1,23 +0,0 @@
-// CostPassRateComparison:show / view 裸跑时的出厂报告槽。
-//
-// 它是一份普通 ReportDefinition,零特权:只声明「摆什么」——成本 × 通过率的散点(比较
-// experiments)和实验列表。散点走 selection-form(`MetricScatter` 声明了 `resolve`,宿主
-// 渲染前的 resolveReportTree 会替它调 `.data`);`ExperimentList` 没有 selection-form,
-// 报告函数体里直接 `await ExperimentList.data(selection)` 拿到普通数组再传 `items`——
-// 这正是三个实体列表统一的用法,内置默认报告不搞一套特权写法。包外用户复制这段 TSX
-// (只改 import 路径与 export 形式)会走完全相同的解析与渲染管线。
-
-import { Col } from "../primitives.tsx";
-import { ExperimentList, MetricScatter } from "../components.tsx";
-import { costUSD, passRate } from "../metrics.ts";
-import { defineReport } from "../report.ts";
-
-export const CostPassRateComparison = defineReport(async ({ selection }) => {
-  const experiments = await ExperimentList.data(selection);
-  return (
-    <Col>
-      <MetricScatter selection={selection} points="experiment" series="agent" x={costUSD} y={passRate} />
-      <ExperimentList items={experiments} />
-    </Col>
-  );
-});

package/src/runner/reporters/console.ts

@@ -1,70 +0,0 @@
-// 控制台报告器:流式逐行输出,失败断言内联展开,末尾出效率三件套(时间 / token / $)。
-
-import type { EvalResult, Reporter, RunSummary } from "../../types.ts";
-import { t } from "../../i18n/index.ts";
-import { formatCost, formatDuration, formatTokens, renderRunReport } from "./table.ts";
-import { verdictSymbol } from "./shared.ts";
-
-export function Console(): Reporter {
-  return {
-    onRunStart(evals, _agent, shape) {
-      // compare(多 agent / 多 model)或 runs>1 时,实际 attempt 数 > eval 数。头部如实报清,
-      // 否则「本次运行 5 个 eval」会和末尾「5 passed, 5 failed」(按 attempt 计 10)对不上。
-      const n = shape?.evals ?? evals.length;
-      const extra =
-        shape && shape.totalRuns > n
-          ? t("report.runStartExtra", { configs: shape.configs, totalRuns: shape.totalRuns })
-          : "";
-      process.stdout.write(t("report.runStart", { count: n, extra, concurrency: shape?.maxConcurrency ?? "?" }));
-    },
-    onEvalComplete(result: EvalResult) {
-      const sym = verdictSymbol(result.verdict);
-      const tok = (result.usage?.inputTokens ?? 0) + (result.usage?.outputTokens ?? 0);
-      // requests > 0 但 tokens = 0 → agent 跑了但不上报用量(如 bub);显示 — 而非误导性的 0
-      const tokStr = tok > 0 ? `${formatTokens(tok)} tok` : (result.usage?.requests ?? 0) > 0 ? `— tok` : `0 tok`;
-      const cost = result.estimatedCostUSD !== undefined ? `  ${formatCost(result.estimatedCostUSD)}` : "";
-      const who = result.model ? `${result.agent}/${result.model}` : result.agent;
-      const meta = `(${formatDuration(result.durationMs)}  ${tokStr}${cost})`;
-      const label = result.verdict === "passed" ? "" : ` ${formatVerdict(result.verdict)}`;
-      process.stdout.write(`  ${sym} ${result.id}${label}  [${who}]  ${meta}\n`);
-
-      if (result.skipReason) {
-        process.stdout.write(`      ○ ${t("report.skipped")}: ${result.skipReason}\n`);
-      }
-      if (result.error) {
-        process.stdout.write(`      ! ${t("report.error")}: ${truncate(result.error, 400)}\n`);
-      }
-      let lastGroup: string | undefined;
-      for (const a of result.assertions) {
-        if (a.passed) continue;
-        if (a.group !== undefined && a.group !== lastGroup) {
-          process.stdout.write(`      ▸ ${a.group}\n`);
-        }
-        lastGroup = a.group;
-        const sev = a.severity === "gate" ? t("report.gate") : t("report.soft");
-        const thr = a.threshold !== undefined
-          ? t("report.assertionThreshold", { score: a.score.toFixed(2), threshold: a.threshold })
-          : "";
-        const indent = a.group !== undefined ? "        " : "      ";
-        process.stdout.write(`${indent}- ${sev}: ${a.name}${thr}${a.detail ? ` — ${truncate(a.detail, 300)}` : ""}\n`);
-      }
-    },
-    onRunComplete(summary: RunSummary) {
-      process.stdout.write(renderRunReport(summary));
-    },
-  };
-}
-
-function formatVerdict(verdict: string): string {
-  switch (verdict) {
-    case "passed": return t("report.passed");
-    case "failed": return t("report.failed");
-    case "errored": return t("report.errored");
-    case "skipped": return t("report.skipped");
-    default: return verdict;
-  }
-}
-
-function truncate(s: string, n: number): string {
-  return s.length > n ? s.slice(0, n) + "…" : s;
-}