niceeval 0.9.1 → 0.10.2

package/dist/report/compute.d.ts

@@ -1,139 +0,0 @@
-import type { AttemptListItem, CopyFixPromptData, DeltaData, DeltaPair, DimensionInput, EvalListItem, ExperimentComparisonData, ExperimentListItem, FlagPairs, HeroData, LineData, MatrixData, Metric, NumericAxis, ReportInput, ScatterData, ScopeSummaryData, ScopeWarning, ScoreboardData, TableData, TraceWaterfallRow } from "./types.ts";
-import type { JsonValue } from "../types.ts";
-export interface MetricTableOptions {
-    /** 行维度(内置 / 自定义 / flag() / runConfig())。 */
-    rows: DimensionInput;
-    /** 每列一个指标;非空元组,元素是静态 import 的 Metric 实例。 */
-    columns: readonly [Metric, ...Metric[]];
-    /**
-     * 初始行序:必须是 columns 中同一个 Metric 实例且声明了 better,方向随 better
-     * (「好」的一头在上),缺数据行沉底;省略时按行 key 字典序。
-     */
-    sort?: Metric;
-    /** eval id 前缀过滤,同 CLI 位置参数语义;在聚合之前收窄题集。 */
-    evals?: string | readonly string[];
-}
-export declare function metricTableData(input: ReportInput, options: MetricTableOptions): Promise<TableData>;
-export interface MetricMatrixOptions {
-    rows: DimensionInput;
-    columns: DimensionInput;
-    cell: Metric;
-    /** eval id 前缀过滤,同 CLI 位置参数语义。 */
-    evals?: string | readonly string[];
-}
-export declare function metricMatrixData(input: ReportInput, options: MetricMatrixOptions): Promise<MatrixData>;
-/** `attemptListData(input)`:每个 Attempt 一项,顺序取自 Scope 展平顺序(不重排)。 */
-export declare function attemptListData(input: ReportInput): Promise<AttemptListItem[]>;
-/** `evalListData(input)`:每个 `experimentId + evalId` 一项,按 evalId 再按 experimentId 升序。 */
-export declare function evalListData(input: ReportInput): Promise<EvalListItem[]>;
-/**
- * `experimentListData(input)`:每个 experiment 一项,展开到每道 Eval;初始按端到端成功率
- * 从高到低(缺数据沉底,同分按 id)。一行只有一套 agent / model / flags 是输入约束:
- * 宿主注入的 current() Scope 保证每个 experiment 只由可比性配置一致的快照拼成;作者自选
- * Snapshot[] 时若同一 experiment 混入不一致的可比性配置,按完整用户反馈失败并指引——
- * 看跨配置演化用 snapshot 维度或 MetricLine,不把两套配置拼成一行冒充单一配置。
- */
-export declare function experimentListData(input: ReportInput): Promise<ExperimentListItem[]>;
-/**
- * `scopeSummaryData(input)`:范围摘要——快照时间窗、experiment / eval / attempt 数、
- * 两级判定计票、端到端成功率与总成本(docs/feature/reports/library/summaries.md)。
- * data 恒携带两级计票;成功率来自官方两级指标引擎,不从任一计票重算。
- */
-export declare function scopeSummaryData(input: ReportInput): Promise<ScopeSummaryData>;
-/** 完整父路径是组键;没有父路径的 experiment 不能互相比,自己形成单例组。 */
-export declare function experimentComparisonGroupKey(experimentId: string): string;
-/**
- * `experimentComparisonData(input)`:先把 input 按可比组分区(experiment id 的完整父路径),
- * 再为每组分别计算 ScopeSummary、成本 × 端到端成功率散点和 ExperimentList——分区发生在任何
- * 指标计算之前,组外 attempt 不可能污染该组的坐标尺度、series、成功率、成本、排序或缺数据计数。
- */
-export declare function experimentComparisonData(input: ReportInput): Promise<ExperimentComparisonData>;
-export interface ScoreboardOptions {
-    rows: DimensionInput;
-    /** 固定题集;eval id 必须唯一。元素引用运行时数据,类型放宽为普通数组,空数组在计算时报错。 */
-    questions: readonly string[];
-    /** 分科函数;默认与 evalGroup 维度同一条规则:取 eval id 的完整父路径,无 `/` 取完整 id。 */
-    subject?: (evalId: string) => string;
-    /** 权重按 eval id 前缀匹配,多个命中时最长前缀生效;默认 1。 */
-    weights?: Readonly<Record<string, number>>;
-    fullMarks?: number;
-    score?: Metric;
-}
-/**
- * 固定题集分母:未跑题按 0 分计入 `notRun`,跑了但指标为 null 的题按 0 分计入 `unscorable`,
- * 两个计数不合并——成绩单能回答「这 0 分是没去考还是考了判不了」。组件不从已观测 attempt
- * 的并集猜分母;Scope 中题集之外的 eval 被忽略并计入 `ignoredEvals`。
- */
-export declare function scoreboardData(input: ReportInput, options: ScoreboardOptions): Promise<ScoreboardData>;
-export interface MetricScatterOptions {
-    /** 点维度:每个点 = 该组 attempt 的聚合。 */
-    points: DimensionInput;
-    /** 可选:只决定颜色和分组,默认不连线。 */
-    series?: DimensionInput;
-    x: Metric;
-    y: Metric;
-    /** eval id 前缀过滤,同 CLI 位置参数语义。 */
-    evals?: string | readonly string[];
-}
-export declare function metricScatterData(input: ReportInput, options: MetricScatterOptions): Promise<ScatterData>;
-export interface MetricLineOptions {
-    /** x 轴:NumericAxis(numericFlag() / numericRunConfig() 或自定义 of),不解析 experiment 命名。 */
-    x: NumericAxis;
-    series?: DimensionInput;
-    y: Metric;
-    /** eval id 前缀过滤,同 CLI 位置参数语义。 */
-    evals?: string | readonly string[];
-}
-/**
- * 点身份 = (series, x):落进同一桶的全部 attempt 先在各自 experiment × eval 内 perEval 聚合,
- * 再 acrossEvals 跨题折成该点唯一的 y——聚合顺序是 (series, x, experiment, eval),同一桶里有
- * 多个 experiment 时它们合成一个点,不画垂直来回线。前提是 x 在同一 experiment × eval 内恒定:
- * 自定义 NumericAxis.of() 对同一 experiment × eval 的不同 attempt 返回不同值时按完整用户反馈失败。
- * x 为 null 的 attempt 不伪造 x 值,归入该 series 的未绘制行,组件报告未绘制数量。
- */
-export declare function metricLineData(input: ReportInput, options: MetricLineOptions): Promise<LineData>;
-/**
- * 按 flag 派生 A/B 对(docs/feature/reports/library/metric-views.md「DeltaTable」):
- * 配对域 = 同可比组 + 删除该 flag 后可比性配置深相等;a 取 baseline(缺省 = 未声明该 flag),
- * b 侧该 flag 的每个其它取值各成一对;label 自动 `<a 末段> · <flag>=<显示键>`。
- */
-export declare function pairsByFlag(name: string, options?: {
-    baseline?: JsonValue;
-}): FlagPairs;
-export interface DeltaTableOptions {
-    /** 显式维度,必填——"baseline" 不会被猜成 experiment、agent、flag 或 snapshot 中的某一种。 */
-    by: DimensionInput;
-    /** 字面 pair 数组(自定义 label),或 pairsByFlag() 的派生声明;空数组在计算时报错。 */
-    pairs: readonly DeltaPair[] | FlagPairs;
-    metrics: readonly [Metric, ...Metric[]];
-    /** eval id 前缀过滤,同 CLI 位置参数语义。 */
-    evals?: string | readonly string[];
-}
-export declare function deltaTableData(input: ReportInput, options: DeltaTableOptions): Promise<DeltaData>;
-/**
- * `heroData(input)`:站点标题区的运行 meta——`latestStartedAt` 取范围内最新快照的开始时间
- * (空范围为 null,不编造当前时间),`snapshots` 计贡献当前水位的快照数
- * (docs/feature/reports/library/site-components.md「HeroCard」)。
- */
-export declare function heroData(input: ReportInput): Promise<HeroData>;
-/**
- * `scopeWarningsData(input)`:Scope 携带的挑选警告原样透出;`input` 是裸 `Snapshot[]` 时
- * 没有挑选过程、没有警告,返回空数组,也如实
- * (docs/feature/reports/library/site-components.md「ScopeWarnings」)。
- */
-export declare function scopeWarningsData(input: ReportInput): Promise<readonly ScopeWarning[]>;
-/**
- * `copyFixPromptData(input)`:把范围内全部失败(verdict 为 failed / errored 的 attempt)
- * 整理成一段可交给 coding agent 的修复 prompt——逐失败含 eval id、主失败摘要与 attempt
- * 下钻命令(`niceeval show @<locator>`)。prompt 面向 agent,固定英文
- * (docs/feature/reports/library/site-components.md「CopyFixPrompt」)。
- */
-export declare function copyFixPromptData(input: ReportInput): Promise<CopyFixPromptData>;
-/**
- * `traceWaterfallData(input)`:每个 attempt 一行的执行时间瀑布摘要。span 事实只来自
- * trace artifact(经 AttemptHandle 懒加载的 canonical OTel span);runner 生命周期节点
- * (`result.phases`)不进瀑布。行内只汇总顶层 span(parentSpanId 缺失或不在本 trace 内),
- * 按 startOffsetMs 升序;trace 缺失或为空时 `durationMs` 为 null、行照常出现
- * (docs/feature/reports/library/site-components.md「TraceWaterfall」)。
- */
-export declare function traceWaterfallData(input: ReportInput): Promise<readonly TraceWaterfallRow[]>;

package/dist/report/react/ExperimentComparison.d.ts

@@ -1,10 +0,0 @@
-import type { ReactElement } from "react";
-import type { ExperimentComparisonData } from "../types.ts";
-import { type ReportLocale } from "../locale.ts";
-import type { AttemptLocator } from "../../results/locator.ts";
-export declare function ExperimentComparisonView({ data, className, locale, attemptHref, }: {
-    data: ExperimentComparisonData;
-    className?: string;
-    locale?: ReportLocale;
-    attemptHref?: (locator: AttemptLocator) => string;
-}): ReactElement;

package/dist/report/react/ExperimentComparison.js

@@ -1,12 +0,0 @@
-import { jsx as _jsx, jsxs as _jsxs } from "react/jsx-runtime";
-import { DEFAULT_REPORT_LOCALE, localeText } from "../locale.js";
-import { ScopeSummary } from "./ScopeSummary.js";
-import { MetricScatter } from "./MetricScatter.js";
-import { ExperimentList } from "./ExperimentList.js";
-import { cx } from "./format.js";
-export function ExperimentComparisonView({ data, className, locale = DEFAULT_REPORT_LOCALE, attemptHref, }) {
-    if (data.groups.length === 0) {
-        return (_jsx("div", { className: cx("nre", "nre-experiment-comparison", className), children: _jsx("p", { className: "nre-experiment-groups-empty", children: localeText(locale, "experimentComparison.empty") }) }));
-    }
-    return (_jsxs("div", { className: cx("nre", "nre-experiment-comparison", className), "data-nre-experiment-groups": true, children: [_jsx("div", { className: "nre-experiment-group-tabs", role: "tablist", "aria-label": localeText(locale, "experimentComparison.groups"), children: data.groups.map((group, index) => (_jsxs("div", { className: "nre-experiment-group-tab", role: "tab", tabIndex: index === 0 ? 0 : -1, "aria-selected": index === 0 ? "true" : "false", "aria-label": localeText(locale, "experimentComparison.selectGroup", { group: group.key }), "data-nre-experiment-group-select": index, children: [_jsx("strong", { className: "nre-experiment-group-name", children: group.key }), _jsx(ScopeSummary, { data: group.summary, locale: locale })] }, group.key))) }), _jsx("div", { className: "nre-experiment-group-panels", children: data.groups.map((group, index) => (_jsxs("details", { className: "nre-experiment-group-panel", "data-nre-experiment-group-panel": index, role: "tabpanel", open: index === 0, children: [_jsx("summary", { children: group.key }), _jsx(MetricScatter, { data: group.scatter, locale: locale }), _jsx(ExperimentList, { data: group.experiments, filter: true, locale: locale, relativeTo: group.key, attemptHref: attemptHref })] }, group.key))) })] }));
-}

package/dist/report/react/MetricScatter.d.ts

@@ -1,9 +0,0 @@
-import type { ReactElement } from "react";
-import type { ScatterData } from "../types.ts";
-import { type ReportLocale } from "../locale.ts";
-export declare function MetricScatter({ data, pointHref, className, locale, }: {
-    data: ScatterData;
-    pointHref?: (row: ScatterData["rows"][number]) => string;
-    className?: string;
-    locale?: ReportLocale;
-}): ReactElement;

package/dist/report/react/format.d.ts

@@ -1,3 +0,0 @@
-export { MISSING_TEXT, formatDurationMs, formatPercent, formatUSD, verdictMark } from "../format.ts";
-/** 拼 class 名:过滤空值,末尾接使用者透传的 className。 */
-export declare function cx(...parts: (string | undefined | false)[]): string;

package/dist/report/react/format.js

@@ -1,7 +0,0 @@
-// web 面的小工具:展示格式化统一住在计算侧的 ../format.ts(两个渲染面同一份),
-// 这里 re-export 并补 class 名拼接。MetricCell 一律自带 display,组件不重算。
-export { MISSING_TEXT, formatDurationMs, formatPercent, formatUSD, verdictMark } from "../format.js";
-/** 拼 class 名:过滤空值,末尾接使用者透传的 className。 */
-export function cx(...parts) {
-    return parts.filter(Boolean).join(" ");
-}

package/dist/report/text/faces.d.ts

@@ -1,45 +0,0 @@
-import type { AttemptListItem, DeltaData, EvalListItem, ExperimentComparisonData, ExperimentListItem, HeroData, LineData, MatrixData, MetricCell, ScatterData, ScopeSummaryData, ScopeWarning, ScoreboardData, TableData, TraceWaterfallRow, VerdictTally } from "../types.ts";
-import type { LocalizedText } from "../locale.ts";
-import type { TextContext } from "../tree.ts";
-import { type ReportLocale } from "../locale.ts";
-/** 格子的文本形态:缺数据 —,覆盖不全带 samples/total 角标;display 按 locale 解析。 */
-export declare function cellText(cell: MetricCell, locale: ReportLocale): string;
-/** verdict 计票的紧凑文案("3 passed / 1 failed"):非零判定逐个列,全部为零如实 —。 */
-export declare function verdictTallyText(tally: VerdictTally, locale: ReportLocale): string;
-/**
- * 一至两行:头行是端到端成功率(官方 MetricCell,不重算)+ experiment/eval/attempt 数 +
- * `votes` 选中的那级计票 + 总成本;第二行(有则加)是快照时间窗。
- */
-export declare function scopeSummaryText(data: ScopeSummaryData, votes: "eval" | "attempt", ctx: TextContext): string;
-/**
- * text 面:命中多个可比组时只输出组索引与可复制的单组查看命令,不倾倒全部组详情;
- * 命中单组时省略索引,直接输出该组的散点与实验列表。
- */
-export declare function experimentComparisonText(data: ExperimentComparisonData, _className: string | undefined, ctx: TextContext): string;
-export declare function tableText(data: TableData, ctx: TextContext): string;
-export declare function matrixText(data: MatrixData, ctx: TextContext): string;
-export declare function barsText(data: MatrixData, ctx: TextContext): string;
-export declare function scoreboardText(data: ScoreboardData, ctx: TextContext): string;
-export declare function scatterText(data: ScatterData, ctx: TextContext): string;
-export declare function lineText(data: LineData, ctx: TextContext): string;
-export declare function deltaText(data: DeltaData, ctx: TextContext): string;
-export declare function experimentListText(items: readonly ExperimentListItem[], ctx: TextContext, relativeTo?: string): string;
-export declare function evalListText(items: readonly EvalListItem[], ctx: TextContext): string;
-export declare function attemptListText(items: readonly AttemptListItem[], total: number | undefined, ctx: TextContext): string;
-/**
- * HeroCard 的 text 面:标题行 + meta 行(最后运行时间;空范围为内置「暂无运行」文案;
- * 多快照时标注合成来源),不含品牌行(品牌行是纯 web 件,text 面零输出)。
- */
-export declare function heroCardText(title: LocalizedText, data: HeroData, ctx: TextContext): string;
-/**
- * ScopeWarnings 的 text 面:按动作聚合(../scope-warnings.ts,与 web 面共用),同构但不折叠——
- * 多组时首行 "! <分类计数汇总>";每组一行组头 "! <标题> — <徽标> → <组头命令>",其下缩进
- * 逐条原样打印 message(已以下一步收尾,不截断掉尾段)。空警告集零输出。
- */
-export declare function scopeWarningsText(warnings: readonly ScopeWarning[], ctx: TextContext): string;
-/**
- * TraceWaterfall 的 text 面:每 attempt 一行——locator、总耗时(缺 trace 如实显示缺失)、
- * 顶层 span 计数与失败标记,行尾是可复制的 `--timing` 下钻命令(经宿主注入的
- * attemptCommand 通道拼出,携带宿主上下文)。attempt 有选择器,索引终结于可执行命令。
- */
-export declare function traceWaterfallText(rows: readonly TraceWaterfallRow[], ctx: TextContext): string;