niceeval 0.6.0 → 0.6.1

package/dist/results/annotated-source.d.ts

@@ -1,61 +0,0 @@
-import type { AssertionResult } from "../types.ts";
-/** 一行源码 + 映射到这一行的全部断言(保持原始顺序;可以是空数组)。 */
-export interface AnnotatedSourceLine {
-    /** 1-indexed 行号,与 SourceLoc.line 同一坐标系。 */
-    line: number;
-    /** 这一行的原始文本(已按 normalizeEvalSource 归一化,不含行尾换行符)。 */
-    text: string;
-    /**
-     * 映射到这一行的断言,按输入顺序(通常即执行顺序)排列。每条断言自带 severity / score /
-     * passed / detail / evidence —— 这就是"状态 / 严重度 / 分数 / detail / evidence"标回源码行
-     * 的完整信息,不需要额外的行级折叠字段:折叠成单一显示态是 renderer 的展示决定,不是这份
-     * 领域 model 的职责(与 indexAsserts() 的先例一致,它同样只分桶、不折叠)。
-     */
-    assertions: AssertionResult[];
-}
-export interface AnnotatedEvalSourceSummary {
-    /** 参与统计的断言总数 = mappedAssertions + unmappedAssertions。 */
-    totalAssertions: number;
-    /** 成功映射到某一行源码的断言数。 */
-    mappedAssertions: number;
-    /** 落进 unmapped 桶的断言数。 */
-    unmappedAssertions: number;
-    /** 按 passed 计票(映射与未映射的断言都计入)。 */
-    passed: number;
-    failed: number;
-    /** 按 severity 计票(映射与未映射的断言都计入)。 */
-    gate: number;
-    soft: number;
-    /** 源码总行数,等于 lines.length。 */
-    totalLines: number;
-    /** 至少挂了一条断言的行数。 */
-    annotatedLines: number;
-}
-export interface AnnotatedEvalSource {
-    /** 项目相对路径,与 SourceArtifact.path / SourceLoc.file 同一约定。 */
-    sourcePath: string;
-    /** 归一化后源码文本的 SHA-256(与 captureEvalSource() 的算法一致,见 source-hash.ts)。 */
-    sourceSha256: string;
-    lines: AnnotatedSourceLine[];
-    /**
-     * 没有落到 lines 里任何一行的断言,原始顺序保留,永不丢弃。三种情况都进这里:
-     * 没有 SourceLoc(如 skip 前就出错的 eval、或调用方尚未收集到位置)、SourceLoc 指向
-     * 另一个文件(loc.file !== sourcePath —— 罕见,如断言写在共享 helper 里)、
-     * SourceLoc 的行号落在这份源码的行范围之外(源码与断言记录不同步的边界情况)。
-     * 后两种不是文档明确要求的场景,但"never silently dropped"的契约对它们同样成立 ——
-     * 这份 model 是分桶断言的唯一出口,不属于任何一行就必须出现在这里。
-     */
-    unmapped: AssertionResult[];
-    summary: AnnotatedEvalSourceSummary;
-}
-/**
- * 纯函数:给定一份源码文本(未归一化也可以,内部会 normalizeEvalSource)与一批断言,
- * 产出标注好的 AnnotatedEvalSource。幂等 / 无 IO —— 可以在渲染路径上安全调用。
- *
- * 断言 → 源码行的映射规则:`a.loc` 存在、`a.loc.file === source.path`、且
- * `1 <= a.loc.line <= lines.length` 三者同时成立才落到对应行;否则进 `unmapped`。
- */
-export declare function buildAnnotatedEvalSource(source: {
-    path: string;
-    content: string;
-}, assertions: readonly AssertionResult[]): AnnotatedEvalSource;

package/dist/results/attempt-evidence.d.ts

@@ -1,69 +0,0 @@
-import type { AttemptHandle } from "./types.ts";
-import { type AttemptIdentity, type AttemptLocator } from "./locator.ts";
-import type { AnnotatedEvalSource } from "./annotated-source.ts";
-import { type ExecutionTree } from "../o11y/execution-tree.ts";
-import type { DiffData, EvalResult } from "../types.ts";
-/**
- * 一个 Attempt 的 artifact 落盘位置。单一目录足够:一个 attempt 的全部 artifact
- * (events.json / trace.json / o11y.json / diff.json / sources.json,见 ARTIFACT_KINDS)
- * 要么全在它自己的 attempt 目录,要么(--resume 携带条目——本轮没写任何新数据,
- * 见 writer.ts 对携带分支的说明)全在 artifactBase 回退到的原快照 attempt 目录,
- * 从不出现"这个 kind 在自己目录、那个 kind 在 artifactBase"的拆分场景,不需要
- * 按 kind 逐个给路径。想要某一种 artifact 的具体文件,自己拼
- * `join(artifactPaths.dir, "<kind>.json")`(kind 见 `ArtifactKind`)。
- *
- * 与 show/render.ts 的 `attemptArtifactsPath(attempt, cwd)` 是同一份"这个 attempt 的证据在哪"
- * 知识的两种呈现:那边为 CLI 文本展示把它转成 cwd 相对的短路径,这里给 evidence 层的调用方
- * (view / 静态导出 / 报告列表,它们没有统一的"cwd"概念)一份绝对路径,不做相对化。
- */
-export interface EvidencePaths {
-    /** 绝对路径。 */
-    dir: string;
-}
-/**
- * 每一位只在数据真的存在且非空时为 true——从不因为对应的 artifact 文件"存在"就点亮,
- * 见本文件头注逐位的门槛说明。show/view/静态导出/报告列表读这四位来决定要不要显示
- * 对应的证据切面,不自己重新判断"这个 attempt 有没有 X"。
- */
-export interface AttemptEvidenceCapabilities {
-    /** evalSource 非空且有内容(源码行或断言二选一非空)。 */
-    eval: boolean;
-    /** events 非空数组——有骨架可看。 */
-    execution: boolean;
-    /** execution 成立且这次运行接入过 OTel(ExecutionTree.timingAvailable)。 */
-    timing: boolean;
-    /** diff 非空且至少改动/删除了一个文件。 */
-    diff: boolean;
-}
-/**
- * 一个 Attempt 的完整证据聚合。除 `locator` 外每个字段要么是别的模块已经产出的纯数据类型,
- * 要么是这四样拼出来的判定——本类型自己不发明新的证据形状。
- */
-export interface AttemptEvidence {
-    locator: AttemptLocator;
-    /** locator 派生自的不可变身份元组,与 `locator` 编码的是同一份数据,供不想解码 locator
-     * 的调用方直接读结构化字段(如按 experimentId 分组、按时间排序)。 */
-    identity: AttemptIdentity;
-    result: EvalResult;
-    /** 运行时保存的 Eval 源码标注(`--eval` 切面);没有 sources() 就是 null,不伪造空文档。 */
-    evalSource: AnnotatedEvalSource | null;
-    /** 标准事件流 + OTel enrichment(`--execution` 切面);没有非空 events 就是 null,
-     * 不产出一棵只剩 telemetry-only 节点、没有真实骨架的误导性树(见头注 execution 门槛)。 */
-    execution: ExecutionTree | null;
-    /** 被测 Agent 对 Sandbox 工作区的文件变化(`--diff` 切面);原样透传 attempt.diff()。 */
-    diff: DiffData | null;
-    artifactPaths: EvidencePaths;
-    capabilities: AttemptEvidenceCapabilities;
-}
-/**
- * 纯组合:一次性 await 好 attempt 的四类懒加载证据(events / trace / diff / 经
- * loadAnnotatedEvalSource 解引用的 eval 源码),拼成一份 AttemptEvidence。不重新实现
- * Eval 源码标注、ExecutionTree 合并或 diff 语义的任何一条规则——那些规则的家分别在
- * annotated-source.ts / execution-tree.ts / attempt.diff() 自身,这里只调用与判定"够不够
- * 亮起对应的证据切面"。
- *
- * `attempt.locator` 在真实读取路径(openResults() 产出的 handle)恒有值;缺失时按当前身份
- * 元组按 encodeAttemptLocator 兜底算一份,同 open.ts 给 record.locator 做的兜底同一口径——
- * 只服务手工构造 AttemptHandle 的测试场景,不改变真实读取路径的行为。
- */
-export declare function loadAttemptEvidence(attempt: AttemptHandle): Promise<AttemptEvidence>;

package/dist/results/attempt-source.d.ts

@@ -1,15 +0,0 @@
-import type { AttemptHandle } from "./types.ts";
-import { type AnnotatedEvalSource } from "./annotated-source.ts";
-/**
- * 给定一个 attempt,取回它的 eval 源码(经 sources() 解引用,可能来自本快照或
- * artifactBase 回退到的原快照)与它的断言,产出标注好的 AnnotatedEvalSource。
- *
- * 没有 sources()(eval 从没被 `loc` 引用到、或落盘里压根没有 sources.json/artifactBase
- * 已失效)时返回 null——没有源码就没有「标注源码」这回事,不伪造一份空文档。
- *
- * 一个 attempt 的 sources() 理论上可以有多份文件(主 eval 文件 + 罕见的跨文件 loc);
- * 这里按「哪份文件被最多断言的 loc 命中」选一份作为主文件喂给 buildAnnotatedEvalSource——
- * 只服务这条打通链路的验证目的,不是最终选择策略(后续阶段如需要为每份引用到的文件
- * 都出一份 AnnotatedEvalSource,在这基础上很容易扩成返回数组)。
- */
-export declare function loadAnnotatedEvalSource(attempt: AttemptHandle): Promise<AnnotatedEvalSource | null>;

package/src/report/built-ins/cost-pass-rate-comparison.tsx

@@ -1,23 +0,0 @@
-// CostPassRateComparison:show / view 裸跑时的出厂报告槽。
-//
-// 它是一份普通 ReportDefinition,零特权:只声明「摆什么」——成本 × 通过率的散点(比较
-// experiments)和实验列表。散点走 selection-form(`MetricScatter` 声明了 `resolve`,宿主
-// 渲染前的 resolveReportTree 会替它调 `.data`);`ExperimentList` 没有 selection-form,
-// 报告函数体里直接 `await ExperimentList.data(selection)` 拿到普通数组再传 `items`——
-// 这正是三个实体列表统一的用法,内置默认报告不搞一套特权写法。包外用户复制这段 TSX
-// (只改 import 路径与 export 形式)会走完全相同的解析与渲染管线。
-
-import { Col } from "../primitives.tsx";
-import { ExperimentList, MetricScatter } from "../components.tsx";
-import { costUSD, passRate } from "../metrics.ts";
-import { defineReport } from "../report.ts";
-
-export const CostPassRateComparison = defineReport(async ({ selection }) => {
-  const experiments = await ExperimentList.data(selection);
-  return (
-    <Col>
-      <MetricScatter selection={selection} points="experiment" series="agent" x={costUSD} y={passRate} />
-      <ExperimentList items={experiments} />
-    </Col>
-  );
-});