niceeval 0.13.1 → 0.13.2

package/docs-site/zh/tutorials/verify-judge.mdx

@@ -0,0 +1,78 @@
+---
+title: "配置并验证 Judge"
+sidebarTitle: "配置并验证 Judge"
+description: "连接 OpenAI 兼容 Judge 网关，用一条最小评估真实预检和判分，再从结果区分配置缺失、网络失败与低质量输出。"
+---
+
+Judge 适合规则难以写成精确 Match 的开放式质量判断。先用一条最小评估确认模型、密钥和端点都能真实判分，再把 Judge 加进正式题目。
+
+## 配置模型和凭据来源
+
+```ts title="niceeval.config.ts"
+import { defineConfig } from "niceeval";
+
+export default defineConfig({
+  judge: {
+    model: "judge-model",
+    baseUrl: "https://gateway.example.com/v1",
+    apiKeyEnv: "JUDGE_GATEWAY_KEY",
+    timeoutMs: 180_000,
+  },
+});
+```
+
+密钥只放进进程环境：
+
+```sh
+export JUDGE_GATEWAY_KEY="..."
+```
+
+配置文件只保存环境变量名，不保存密钥值。项目需要比较 Judge 模型时，在不同 Experiment 中覆盖 `judge.model`，不要添加单次 recipe model 参数。
+
+## 写一条最小真实判分
+
+```ts title="evals/judge-smoke.eval.ts"
+import { defineEval } from "niceeval";
+
+export default defineEval({
+  judge: true,
+  async test(t) {
+    t.judge.autoevals.closedQA("文本是否明确表达成功？", {
+      input: "operation completed successfully",
+      output: "operation completed successfully",
+    })
+      .gate(0.8)
+      .label("成功表达");
+  },
+});
+```
+
+`judge: true` 声明这条评估需要 Judge，并从 Experiment 与项目配置继承字段。`.gate(0.8)` 把 measurement 变成通过制要求；低于阈值时 Attempt 为 `failed`。
+
+## 只运行这条验证评估
+
+先确保一个现有 Experiment 的 `evals` 选择范围包含 `judge-smoke`，再用第二个位置参数只选择这条评估。下面以 Experiment ID `local` 为例：
+
+```sh
+pnpm exec niceeval exp local judge-smoke
+```
+
+用 `pnpm exec niceeval exp list` 查实际 Experiment ID；不要把评估用例 ID 同时当成 Experiment ID。模型和密钥都存在时，Runner 会在派发前预检 Judge 端点。预检失败属于 setup error，不会生成伪造的 Judge 分数。
+
+## 查看判分结果
+
+从完成反馈复制 Run ID：
+
+```sh
+pnpm exec niceeval show --run <run-id>
+```
+
+结果应包含 Judge measurement、threshold、condition、理由和裁剪后的材料。重点区分三类失败：
+
+| 结果 | 含义 |
+| --- | --- |
+| `judge-model-unresolved` / `judge-key-unresolved` | 配置或环境变量缺失，没有发起网络预检。 |
+| `unavailable` | 请求开始后网络或 Provider 不可用，不等于零分。 |
+| evaluator `errored` | 响应无效、分数不是有限数或超出 `[0, 1]`。 |
+
+正式题目应先用代表性结果校准 rubric 和阈值。比较两个 Judge 模型时，让两个 Experiment 选择同一批评估用例，并用不同 `labels` 标出 Judge 条件；完整矩阵写法见[实验矩阵](/zh/tutorials/experiments)。

package/docs-site/zh/tutorials/viewing-results.mdx

@@ -29,6 +29,8 @@ pnpm exec niceeval show --run 7b8d2ea4-b840-4870-9840-f85a436a5527
 
 不带 locator、`--run` 或 `--experiment` 时，命令使用 `project-current`：它保留全部仍与当前项目身份匹配的已发布结果，而不是只选最新一条。需要阅读历史结果时，传入完整 `--run`；要限制当前项目结果时，重复传入完整的 `--experiment <id>`。
 
+`project-current` 按 Run 中的 slot occurrence 保留结果。它不会把多个 Run 里同名的 Experiment、评估用例和 Attempt 序号合并成一个位置。重复运行或分多次执行 `accept` 都可能增加当前 `Sample` 的分母。
+
 Sample 记录每个位置的状态：
 
 | 状态 | 含义 |
@@ -51,6 +53,24 @@ pnpm exec niceeval show --run <run-id> --report ./reports/quality.tsx --json
 
 省略 `--page` 时，`show` 使用 Report 的默认可导航页面。提供 `--page` 时，它只 decode、load、render 和关闭这一个精确 route。参数 Page 不会因此调用 `enumerate()`；其它 Page、Analysis 查询和作者 callback 也不会执行。
 
+显式 `--run` 在没有指定 `--report` 时使用内建 Run 结果页。例如，某个 Run 引用了历史 Attempt 时：
+
+```text
+Report run-membership-overview
+Sample: 1 run(s), 1 slot(s)
+
+Page /
+  Run results
+  Planned attempts
+  Experiment | Eval | Attempt | Result | Details
+  checkout | checkout/basic | #1 | using result @91DDC61BAE96 | @91DDC61BAE96
+
+Problems
+  none
+```
+
+`Result` 显示 `passed`、`failed`、`errored`、`not started` 或 `using result @<locator>`；`Details` 的 locator 可继续下钻。Attempt 创建前失败时，页面另外显示 `Run errors` 和该错误真正影响的未启动 Attempt 数。Human 页不显示 Slot 等内部字段；机器 `--json` 仍保留稳定 membership keys。
+
 `show --json` 仍是同一个单目标操作。内建 Report 返回 Host 拥有的具名领域 JSON；自定义 Report 返回该 Page 的 route、标题、固定英语 80-column rendered text、下载摘要和问题表。
 两种 v1 JSON 都在顶层带有同一形状的 `projections` 对象，只包含目标 Page 捕获的闭合投影。
 
@@ -66,6 +86,23 @@ pnpm exec niceeval show --run <run-id> --report ./reports/quality.tsx --json
 
 JSON 不包含其它 Page、HTML、React tree、站点 identity 或 Record 读取能力。
 
+## 按题型读取主读数
+
+默认报告按评估类型选择主读数：
+
+- 通过制评估显示通过率。
+- 计分制评估显示 earned score。
+- mixed Experiment 显示 Score，并在通过制评估子行显示通过率，不把两者合成百分比。
+
+计分制评估上声明的 `points` 是评分项的贡献权重，不是 Experiment 的固定满分。动态执行、条件分支或不可用材料可能让评分项集合不同，因此默认报告不会自动把 earned score 除以所有源码里声明的 `points`。
+
+项目没有配置 Report 时，`project-current` 使用内建 `standard`。Overview 通过同一个 `ExperimentTable` 呈现通过制和分数制结果，
+并提供筛选、逐层展开与 Attempt 详情链接。`standard` 只额外包含由该表链接到的 Experiment 和 Attempt 详情 Page；两种详情
+不会改变 Score 或通过率的计算口径。
+
+Overview 的实验对比图使用同一题型判断：通过制画成本 × 通过率，分数制画成本 × 总分。两种题型同时存在时显示两张图，
+不会把 points 和 ratio 放进同一纵轴。通过率刻度显示百分比；内部的 `ratio` 量纲不会出现在图表文案里。
+
 ## 在浏览器读取完整站点
 
 ```sh
@@ -81,7 +118,7 @@ view 在启动 server 前枚举所有显式声明的普通 Page 与参数 Page
 
 ## 读懂不完整数据
 
-`MetricValue` 的 `samples` 是实际贡献数，`total` 是既定分母，`state` 和 `issues` 说明为什么数据不完整。`partial` 可以有数值；`empty`、`unsupported` 与 `failed` 不是零。Evidence refs 保留可复核的定位信息。
+`MetricValue` 的 `samples` 是实际贡献数，`total` 是既定分母，`state` 和 `issues` 说明为什么数据不完整。自定义 Report 使用 `formatMetricValue()` 时仍可得到 `2 / 4 slot · partial` 这类紧凑格式；它表示四个已选位置中有两个提供该指标，不是 score，也不是“完成了一半”。默认 Overview 改用上面的独立覆盖区域。`partial` 可以有数值；`empty`、`unsupported` 与 `failed` 不是零。Evidence refs 保留可复核的定位信息。
 
 Analysis 数据问题继续作为页面内容显示。相反，选中 Page 的 callback、参数 key 或成员资格失败会让 `show` 返回单目标错误；任何全站 Page、路径、资源或预算失败都会阻止新的站点发布。
 

package/docs-site/zh/tutorials/write-experiment.mdx

@@ -121,7 +121,7 @@ npx niceeval exp prompts/concise
 | `flags` | 实验条件（A/B 里的 feature flag），任意 JSON 对象，经 `ctx.flags` / `t.flags` 透传 |
 | `attempts` | 每个评估用例 × 配置最多跑几次 |
 | `earlyExit` | 多次运行里通过一次就提前停止。默认关，`attempts` 默认跑满测完整通过率 |
-| `evals` | `"*"`、id 前缀数组，或遍历只读 eval 描述并返回 boolean 的函数 |
+| `evals` | `"*"`、ID 前缀数组，或遍历只读评估用例描述并返回 Boolean 的函数 |
 | `timeoutMs` | 单个 attempt 的超时 |
 | `budget` | 这一格配置的预算上限 |
 | `maxConcurrency` | 这一格配置的并发上限 |
@@ -220,6 +220,8 @@ export default defineExperiment({
 });
 ```
 
+`maxConcurrency: 1` 只串行本 Invocation。`sharedState.key` 在同一项目 Coordination 域内保护跨 Invocation 的 checkpoint。租约从 Experiment 与 Sandbox setup 前开始，到全部 Sandbox teardown、Provider finalizer 和 Experiment teardown 完成。它只提供互斥；存储、原子回存、强杀恢复与跨机器协调仍由作者负责。
+
 固定的 Agent CLI、系统包和大模型缓存应先做进 image/template/snapshot。`.setup()` 不应在每个 Attempt 重建同一套环境。从官方 Docker 镜像、E2B 模板或 Vercel runtime 派生预制环境的步骤见 [Sandbox Provider · 从官方基线继续构建以提速](/zh/tutorials/sandbox-providers#从官方基线继续构建以提速)。
 
 Hook 的执行时机、多 Hook 顺序和失败语义见 [Sandbox provider · 生命周期](/zh/tutorials/sandbox-providers#生命周期)。
@@ -263,7 +265,7 @@ export default defineExperiment({
 });
 ```
 
-一份实验文件从上往下读就是完整的运行说明：整场一次的宿主机资源在实验级 Hook 对里。每 Sandbox 的写入与回存在 `sandbox` 链式 Hook 里，读实验级产物。agent 怎么连自己、评估用例的Fixture各在 agent 定义与 `EvalDef` 里，不进实验文件。
+一份实验文件从上往下读就是完整的运行说明：整场一次的宿主机资源在实验级 Hook 对里。每 Sandbox 的写入与回存在 `sandbox` 链式 Hook 里，读实验级产物。Agent 怎么连接被测对象、评估用例的 Fixture，各自在 Agent 定义与 `EvalDef` 里，不进实验文件。
 
 ### 多个实验共享同一套生命周期代码
 
@@ -357,7 +359,7 @@ export const sharedNowledge = {
 
 ## 让不同评估用例使用不同预制环境
 
-一批真实任务可能需要不同版本的运行时和依赖。把具体的 template-bearing factory 直接放在每条 Eval 上，让任务与执行环境保持为同一份声明：
+一批真实任务可能需要不同版本的运行时和依赖。把具体的 template-bearing factory 直接放在每条评估用例上，让任务与执行环境保持为同一份声明：
 
 ```ts
 // evals/astropy-2021.eval.ts
@@ -377,7 +379,7 @@ export const python39 = () => e2bSandbox({ template: "codex-python39" });
 ```
 
 ```ts
-// experiments/e2b.ts —— Eval 拥有 template，Experiment 只拥有 agent
+// experiments/e2b.ts —— 评估用例拥有 template，Experiment 只拥有 Agent
 import { defineExperiment } from "niceeval";
 
 export default defineExperiment({
@@ -385,6 +387,6 @@ export default defineExperiment({
 });
 ```
 
-没有 profile registry，也没有按 source kind 登记的 materializer 表。每个 factory 同时拥有支持声明与实现，physical planning 会在创建任何 Sandbox 前校验所有选中 Eval。重复 template 用普通 TypeScript 辅助函数 共享。同一个 Experiment 仍能覆盖全部 Eval，link planning 会逐条把 Eval layer 与 Experiment layer 配对。
+没有 profile registry，也没有按 source kind 登记的 materializer 表。每个 factory 同时拥有支持声明与实现，physical planning 会在创建任何 Sandbox 前校验所有选中评估用例。重复 template 用普通 TypeScript 辅助函数共享。同一个 Experiment 仍能覆盖全部评估用例，link planning 会逐条把评估用例 layer 与 Experiment layer 配对。
 
 跨配置比较的设计建议见[实验矩阵](/zh/tutorials/experiments)。Adapter 对 `ctx.model` 和 `ctx.flags` 的用法见 [Adapter](/zh/explanation/adapter)。

package/docs-site/zh/tutorials/write-send.mdx

@@ -75,7 +75,7 @@ if (!res.requestId) {
 
 `progress` 不落盘。diagnostic 会写入 Attempt-owned 通道，并从已选 Run 的详情页面回顾。HTTP 连接失败或响应无法解析时直接抛错；runner 会记录错误发生在 `agent.run`，并在 `niceeval.verdict` 通道形成 `errored` Verdict。
 
-**这一步支持**：`t.reply`、`t.messageIncludes()`、Judge 的全部对话材料，以及 Experiment 侧的**模型对比**。`ctx.model` 来自 Experiment 的 `model`。运行器原样传递，Adapter 只负责转发。接入等级见 [Tier](/zh/explanation/tier)。
+**这一步支持**：`t.reply` 的直接值检查（`t.check(t.reply, includes(...))` 或 `pattern(...)`）、Judge 的全部对话材料，以及 Experiment 侧的**模型对比**。`ctx.model` 来自 Experiment 的 `model`。运行器原样传递，Adapter 只负责转发。接入等级见 [Tier](/zh/explanation/tier)。
 
 它有两个明显的局限：每轮都是一场全新对话（第二次 `t.send` 接不上第一次），工具调用完全看不见。后面两步各解决一个。
 
@@ -155,8 +155,8 @@ export default defineAgent({
 `Usage` 的完整字段还有可选的 `cacheReadTokens` / `cacheCreationTokens`、推理 token 数 `reasoningTokens`、请求次数 `requests`，以及
 `costUSD`。`costUSD` 只在 provider 或 adapter 如实返回 USD observed 成本时填写；上游估算、模型目录价目表或本地计算绝不写入它。每个字段只在接口真实提供时填，接口不回用量就整个不填 `usage`，其它断言不受影响。
 
-Runner 始终从 Config/runtime price table 独立计算 `estimatedCostUSD`，即使有 observed `costUSD` 也不改变该计算；只有
-`t.maxCost()` 使用这个 estimate。Report 则只使用显式 `PricingProfile` 和 sealed Usage 进行 Analysis 成本投影，绝不消费 Runner
+Runner 始终从 `model`、上报的 token 用量和 Config/runtime price table 独立计算 `estimatedCostUSD`，即使有 observed `costUSD`
+也不改变该计算；Experiment budget 与 `t.maxCost()` 使用这个 estimate。Report 则只使用显式 `PricingProfile` 和 sealed Usage 进行 Analysis 成本投影，绝不消费 Runner
 estimate。
 
 当 Config/runtime price table 无法形成 Runner estimate 时，`t.maxCost()` 为 `unavailable`，绝不能把缺失当成 `0`。显式零费率实际
@@ -236,10 +236,10 @@ type StreamEvent =
 
 | 你吐的事件 | 解锁的断言 |
 |---|---|
-| `message` | `t.reply`、`t.messageIncludes()`、judge 的对话材料 |
+| `message` | `t.reply`、`t.check(turn.message, includes(...))` / `pattern(...)`、Judge 的对话材料 |
 | tool `operation.started` / `operation.finished`（靠 `operationId` 配对） | `turn.calledTool()` / `turn.toolOrder()` / `turn.maxToolCalls()` / `turn.noFailedActions()`… |
-| `input.requested`（配合 status `"waiting"`） | `t.parked()`、`t.requireInputRequest()`、`t.respond()`（第五步） |
-| `thinking` / `compaction` / `error` | 对应断言与 o11y 计数 |
+| `input.requested`（配合 status `"waiting"`） | `t.check(turn.status, equals("waiting"))`、`t.requireInputRequest()`、`t.respond()`（第五步） |
+| `thinking` / `compaction` / `error` | 报告与诊断；当前没有对应的公开 `eventMatch` selector |
 
 Chat Completions 响应**不保证包含完整过程记录**。应用可能在服务端完成工具循环，只返回最终答案。因此，`turnFromChatCompletion` 的返回不带完整性证明：`calledTool` 等正断言可用，`notCalledTool` 等负断言会提示证据不完整。Responses 协议要求 `output` 数组记录完整过程，`turnFromResponses` 的返回带完整性证明，负断言可信。两者的可信度差异来自接口契约。
 
@@ -249,7 +249,7 @@ Chat Completions 响应**不保证包含完整过程记录**。应用可能在
 
 应用中途停下来等人（工具审批、等补充信息）时，`send` 两侧各有义务：
 
-- **停轮**：返回 `status: "waiting"`，并且每个待回答的问题吐一条带稳定 `id` 的 `input.requested` 事件——`t.parked()`、`t.requireInputRequest()` 读它，回答靠这个 `id` 对位。
+- **停轮**：返回 `status: "waiting"`，并且每个待回答的问题吐一条带稳定 `id` 的 `input.requested` 事件——`t.check(turn.status, equals("waiting"))` 与 `t.requireInputRequest()` 读取它，回答靠这个 `id` 对位。
 - **回答轮**：评估用例里的 `t.respond(...)` 到 Adapter 是**又一次普通的 `send`**（还是同一条会话线、同一份状态），人的裁决以结构化形式随 `input.responses` 到达，每条带 `requestId`、`optionId` 或 `text`（形态见[不同回答的入参](/zh/explanation/adapter#不同回答的入参)）。Adapter 先把裁决交回应用，再接着取结果。被人拒绝的调用，tool `operation.finished` 的 `status` 置 `"rejected"` 而不是 `"failed"`——拒绝是人的决定、不是工具故障，`noFailedActions()` 不误伤。
 
 "停轮时读了一半的现场"（比如一条读到一半的 SSE 流）也存在 `ctx.session` 上。Adapter 先用 `createSessionSlot<Pending>()` 创建私有 slot，停轮时 `ctx.session.set(slot, pending)`，回答轮开头 `ctx.session.take(slot)` 取回。取到即清除，一次消费。
@@ -312,7 +312,8 @@ export default defineAgent({
 
 不需要 HITL 的接口，删掉停轮现场相关的三处（`Pending`、`hold`、开头的 `take` 分支）即可，其余不变。停轮 / 回答 / 续跑的完整心智模型见 [HITL](/zh/explanation/hitl)。
 
-**这一步支持**：`t.parked()`、`t.requireInputRequest()`、`t.respond()` / `t.respondAll()`，以及 `calledTool(toolMatch(..., { status: "rejected" }))` 的精确断言。
+**这一步支持**：`t.check(turn.status, equals("waiting"))`、`t.requireInputRequest()`、`t.respond()` / `t.respondAll()`。
+被人拒绝的调用可用 `calledTool(toolMatch(..., { status: "rejected" }))` 精确断言。
 
 ## 第六步：接上 OTel trace
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "niceeval",
-  "version": "0.13.1",
+  "version": "0.13.2",
   "description": "Agent-native eval tool — eval agents, services, functions, and coding-agent fixtures",
   "type": "module",
   "license": "MIT",
@@ -264,6 +264,7 @@
     "braintrust": "^3.20.0",
     "class-variance-authority": "^0.7.1",
     "clsx": "^2.1.1",
+    "concurrently": "^10.0.5",
     "dockerode": "^4.0.2",
     "e2b": "^2.31.0",
     "esbuild": "^0.28.1",
@@ -319,12 +320,14 @@
   },
   "scripts": {
     "typecheck": "tsc --noEmit && tsc -p docs/feature/assertions/reference/tsconfig.json",
-    "lint": "vitest run --project lint-docs --project lint-docs-site && pnpm run docs:validate && pnpm run docs:links",
+    "lint": "pnpm run docs:mint && concurrently --names vitest,validate,links \"pnpm run lint:vitest\" \"pnpm run docs:validate\" \"pnpm run docs:links\"",
+    "lint:vitest": "vitest run --project lint-docs --project lint-docs-site",
     "lint:docs": "vitest run --project lint-docs",
-    "lint:docs-site": "vitest run --project lint-docs-site && pnpm run docs:validate && pnpm run docs:links",
+    "lint:docs-site": "pnpm run docs:mint && concurrently --names vitest,validate,links \"vitest run --project lint-docs-site\" \"pnpm run docs:validate\" \"pnpm run docs:links\"",
     "niceeval": "node bin/niceeval.js",
     "e2e": "tsx e2e/scripts/cli.ts",
     "gen:diff-code": "tsx scripts/gen-diff-code.ts",
+    "pr:body": "tsx scripts/pr-body.ts",
     "docs:reference": "tsx scripts/generate-reference.ts",
     "tiers:sync": "node scripts/sync-tiers.mjs sync",
     "view:build": "vite build --config src/view/app/vite.config.ts",
@@ -334,7 +337,8 @@
     "site:dev": "cd site && node scripts/dev.mjs",
     "site:build": "cd site && next build && cd .. && tsx scripts/submit-indexnow.ts",
     "docs:dev": "node scripts/docs-dev.mjs",
-    "docs:validate": "cd docs-site && npx --yes mint@latest validate",
-    "docs:links": "cd docs-site && npx --yes mint@latest broken-links --check-anchors --check-redirects"
+    "docs:mint": "cd docs-site && npx --yes mint@4.2.812 --version",
+    "docs:validate": "cd docs-site && npx --yes mint@4.2.812 validate",
+    "docs:links": "cd docs-site && npx --yes mint@4.2.812 broken-links --check-anchors --check-redirects"
   }
 }

package/dist/report/built-in/overview.cjs

@@ -1,44 +0,0 @@
-"use strict";
-Object.defineProperty(exports, "__esModule", { value: true });
-exports.overview = exports.defaultOverviewReport = void 0;
-const jsx_runtime_1 = require("react/jsx-runtime");
-const analysis_values_ts_1 = require("./analysis-values.cjs");
-const result_components_tsx_1 = require("./result-components.cjs");
-const machine_ts_1 = require("./machine.cjs");
-function heroData(snapshot) {
-    const latest = snapshot.runs.reduce((current, run) => current === null || Number(run.startedAt) > current ? Number(run.startedAt) : current, null);
-    return Object.freeze({
-        latestStartedAt: latest === null ? null : new Date(latest).toISOString(),
-        runs: snapshot.runs.length,
-    });
-}
-const overviewPage = {
-    id: "overview",
-    path: "/",
-    title: "Overview",
-    load: async (sample) => {
-        const [summary, experiments] = await Promise.all([
-            (0, analysis_values_ts_1.loadBuiltInSummaryRows)(sample),
-            (0, analysis_values_ts_1.loadBuiltInExperimentRows)(sample),
-        ]);
-        return Object.freeze({
-            hero: heroData(sample.snapshot),
-            summary,
-            experiments,
-            counts: Object.freeze({
-                experiments: experiments.length,
-                attempts: sample.snapshot.slots.filter((slot) => slot.state === "included").length,
-            }),
-        });
-    },
-    render: (input) => (0, jsx_runtime_1.jsx)(result_components_tsx_1.StandardOverviewResultView, input),
-};
-/** The default project-current report over Analysis-issued closed rows. */
-exports.defaultOverviewReport = (0, machine_ts_1.defineBuiltInReport)(machine_ts_1.builtInMachineProducerIds.defaultOverview, {
-    title: "NiceEval overview",
-    pages: [overviewPage],
-});
-/** Stable built-in token target for an explicit `--report overview`. */
-exports.overview = exports.defaultOverviewReport;
-exports.default = exports.defaultOverviewReport;
-//# sourceMappingURL=overview.cjs.map

package/dist/report/built-in/overview.cjs.map

@@ -1 +0,0 @@
-{"version":3,"file":"overview.js","sourceRoot":"","sources":["overview.ts"],"names":[],"mappings":";;;AAEA,mDAAwC;AAGxC,6DAA+I;AAC/I,kEAAsE;AACtE,6CAA+E;AAU/E,SAAS,QAAQ,CAAC,QAAwB;IACtC,MAAM,MAAM,GAAG,QAAQ,CAAC,IAAI,CAAC,MAAM,CAAgB,CAAC,OAAO,EAAE,GAAG,EAAE,EAAE,CAAC,OAAO,KAAK,IAAI,IAAI,MAAM,CAAC,GAAG,CAAC,SAAS,CAAC,GAAG,OAAO,CAAC,CAAC,CAAC,MAAM,CAAC,GAAG,CAAC,SAAS,CAAC,CAAC,CAAC,CAAC,OAAO,EAAE,IAAI,CAAC,CAAC;IAClK,OAAO,MAAM,CAAC,MAAM,CAAC;QACjB,eAAe,EAAE,MAAM,KAAK,IAAI,CAAC,CAAC,CAAC,IAAI,CAAC,CAAC,CAAC,IAAI,IAAI,CAAC,MAAM,CAAC,CAAC,WAAW,EAAE;QACxE,IAAI,EAAE,QAAQ,CAAC,IAAI,CAAC,MAAM;KAC7B,CAAC,CAAC;AACP,CAAC;AACD,MAAM,YAAY,GAAG;IACjB,EAAE,EAAE,UAAU;IACd,IAAI,EAAE,GAAG;IACT,KAAK,EAAE,UAAU;IACjB,IAAI,EAAE,KAAK,EAAE,MAAc,EAA8B,EAAE;QACvD,MAAM,CAAC,OAAO,EAAE,WAAW,CAAC,GAAG,MAAM,OAAO,CAAC,GAAG,CAAC;YAC7C,IAAA,2CAAsB,EAAC,MAAM,CAAC;YAC9B,IAAA,8CAAyB,EAAC,MAAM,CAAC;SACpC,CAAC,CAAC;QACH,OAAO,MAAM,CAAC,MAAM,CAAC;YACjB,IAAI,EAAE,QAAQ,CAAC,MAAM,CAAC,QAAQ,CAAC;YAC/B,OAAO;YACP,WAAW;YACX,MAAM,EAAE,MAAM,CAAC,MAAM,CAAC;gBAClB,WAAW,EAAE,WAAW,CAAC,MAAM;gBAC/B,QAAQ,EAAE,MAAM,CAAC,QAAQ,CAAC,KAAK,CAAC,MAAM,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,IAAI,CAAC,KAAK,KAAK,UAAU,CAAC,CAAC,MAAM;aACrF,CAAC;SACL,CAAC,CAAC;IACP,CAAC;IACD,MAAM,EAAE,CAAC,KAAwB,EAAE,EAAE,CAAC,IAAA,iBAAG,EAAC,kDAA0B,EAAE,KAAK,CAAC;CACvC,CAAC;AAC1C,2EAA2E;AAC9D,QAAA,qBAAqB,GAAG,IAAA,gCAAmB,EAAC,sCAAyB,CAAC,eAAe,EAAE;IAChG,KAAK,EAAE,mBAAmB;IAC1B,KAAK,EAAE,CAAC,YAAY,CAAC;CACxB,CAAC,CAAC;AACH,wEAAwE;AAC3D,QAAA,QAAQ,GAAG,6BAAqB,CAAC;AAC9C,kBAAe,6BAAqB,CAAC","sourcesContent":["/** The stable project-current built-in selector. */\nimport type { Sample, SampleSnapshot, } from \"../../analysis/index.ts\";\nimport { jsx } from \"react/jsx-runtime\";\nimport type { Page } from \"../definition/report.ts\";\nimport { type HeroData } from \"../components/site-components/index.tsx\";\nimport { loadBuiltInExperimentRows, loadBuiltInSummaryRows, type BuiltInExperimentRows, type BuiltInSummaryRows, } from \"./analysis-values.ts\";\nimport { StandardOverviewResultView, } from \"./result-components.tsx\";\nimport { builtInMachineProducerIds, defineBuiltInReport, } from \"./machine.ts\";\ninterface OverviewPageInput {\n    readonly hero: HeroData;\n    readonly summary: BuiltInSummaryRows;\n    readonly experiments: BuiltInExperimentRows;\n    readonly counts: {\n        readonly experiments: number;\n        readonly attempts: number;\n    };\n}\nfunction heroData(snapshot: SampleSnapshot): HeroData {\n    const latest = snapshot.runs.reduce<number | null>((current, run) => current === null || Number(run.startedAt) > current ? Number(run.startedAt) : current, null);\n    return Object.freeze({\n        latestStartedAt: latest === null ? null : new Date(latest).toISOString(),\n        runs: snapshot.runs.length,\n    });\n}\nconst overviewPage = {\n    id: \"overview\",\n    path: \"/\",\n    title: \"Overview\",\n    load: async (sample: Sample): Promise<OverviewPageInput> => {\n        const [summary, experiments] = await Promise.all([\n            loadBuiltInSummaryRows(sample),\n            loadBuiltInExperimentRows(sample),\n        ]);\n        return Object.freeze({\n            hero: heroData(sample.snapshot),\n            summary,\n            experiments,\n            counts: Object.freeze({\n                experiments: experiments.length,\n                attempts: sample.snapshot.slots.filter((slot) => slot.state === \"included\").length,\n            }),\n        });\n    },\n    render: (input: OverviewPageInput) => jsx(StandardOverviewResultView, input),\n} satisfies Page<void, OverviewPageInput>;\n/** The default project-current report over Analysis-issued closed rows. */\nexport const defaultOverviewReport = defineBuiltInReport(builtInMachineProducerIds.defaultOverview, {\n    title: \"NiceEval overview\",\n    pages: [overviewPage],\n});\n/** Stable built-in token target for an explicit `--report overview`. */\nexport const overview = defaultOverviewReport;\nexport default defaultOverviewReport;\n"]}

package/dist/report/built-in/overview.d.cts

@@ -1,6 +0,0 @@
-/** The stable project-current built-in selector. */
-/** The default project-current report over Analysis-issued closed rows. */
-export declare const defaultOverviewReport: import("../definition/report.cjs").ReportDefinition;
-/** Stable built-in token target for an explicit `--report overview`. */
-export declare const overview: import("../definition/report.cjs").ReportDefinition;
-export default defaultOverviewReport;

package/dist/report/built-in/overview.d.mts

@@ -1,6 +0,0 @@
-/** The stable project-current built-in selector. */
-/** The default project-current report over Analysis-issued closed rows. */
-export declare const defaultOverviewReport: import("../definition/report.mjs").ReportDefinition;
-/** Stable built-in token target for an explicit `--report overview`. */
-export declare const overview: import("../definition/report.mjs").ReportDefinition;
-export default defaultOverviewReport;

package/dist/report/built-in/overview.d.ts

@@ -1,6 +0,0 @@
-/** The stable project-current built-in selector. */
-/** The default project-current report over Analysis-issued closed rows. */
-export declare const defaultOverviewReport: import("../definition/report.js").ReportDefinition;
-/** Stable built-in token target for an explicit `--report overview`. */
-export declare const overview: import("../definition/report.js").ReportDefinition;
-export default defaultOverviewReport;

package/dist/report/built-in/overview.js

@@ -1,9 +0,0 @@
-import { createRequire as __niceevalCreateRequire } from "node:module";
-const __niceevalRequire = __niceevalCreateRequire(import.meta.url);
-const __niceevalCanonical = __niceevalRequire("./overview.cjs");
-export default __niceevalCanonical.default;
-const __niceevalExport0 = __niceevalCanonical["defaultOverviewReport"];
-export { __niceevalExport0 as defaultOverviewReport };
-const __niceevalExport1 = __niceevalCanonical["overview"];
-export { __niceevalExport1 as overview };
-//# sourceMappingURL=overview.js.map

package/dist/report/built-in/overview.js.map

@@ -1 +0,0 @@
-{"version":3,"file":"overview.js","sources":[],"names":[],"mappings":""}