niceeval 0.13.2-canary.35 → 0.13.2

package/docs-site/zh/tutorials/sandbox-reuse.mdx

@@ -64,18 +64,11 @@ export default defineExperiment({
 
 ## 多开终端时 Sandbox 不共享
 
-Sandbox 复用只发生在一次 Invocation 里。两个终端同时跑一个实验时，两边有各自的 Run 和 Sandbox 池。NiceEval 不把运行中的 Sandbox handle 交给另一个进程。同一个 Record root 同时只允许一项操作；第二个终端指向同一个 root 会立即得到 `record-root-busy`，不会和第一个终端并行写入。
+Sandbox 复用只发生在一次 Invocation 里。两个终端同时跑一个实验时，两边有各自的 Run 和 Sandbox 池。NiceEval 不把运行中的 Sandbox handle 交给另一个进程；两个 Invocation 可以并发向同一个 Record root 追加已发布结果。
 
-确实需要并行时，给两个终端不同的 Record root：
+Record maintenance 是独占操作。`clean` 或其它维护命令报告 `record-maintenance-busy` 时，先停止占用该 root 的 reader 和 writer，再重试维护命令。正常并发运行不需要为了避开 writer 冲突而拆成多个 Record root。
 
-```bash
-niceeval exp experiments/mempal.ts --record .niceeval/mempal-a
-niceeval exp experiments/mempal.ts --record .niceeval/mempal-b
-```
-
-两个 root 各自形成完整结果，NiceEval 不自动合并它们。
-
-如果 Sandbox 只保留自己的临时状态，两边可以同时跑不同评估用例。两边都会在 Sandbox `setup()` 恢复同一 checkpoint，并在 `teardown()` 回存时，再给实验声明稳定的非密 key：
+如果 Sandbox 只保留自己的临时状态，两边可以同时跑不同评估用例。Sandbox Hook 恢复、回存同一个外部 checkpoint 时，为 Experiment 声明稳定且不含秘密的 key：
 
 ```typescript
 export default defineExperiment({
@@ -88,9 +81,9 @@ export default defineExperiment({
 });
 ```
 
-NiceEval 会在创建 Sandbox 前独占这个 key，到 Sandbox `teardown`、Provider finalizer 和实验 `teardown` 后才释放。等待方不创建 Sandbox。租约释放后，等待方继续自己的既定计划；它不读取或沿用另一 Record 的结果。
+NiceEval 会在 Experiment setup 或创建 Sandbox 前取得这个 key，直到 Sandbox `teardown`、Provider finalizer 与 Experiment `teardown` 全部完成才释放。等待方不会创建 Sandbox；租约释放后，它继续自己的计划，不读取或采用另一条 Run 的结果。
 
-key 会进入结果的配置身份。换 key 表示换了状态 cohort，旧结果不会混入。这个租约只按 `sharedState.key` 保护外部 checkpoint，不替代 Record root 的独占规则。不同机器或工作副本需要外部分布式互斥。
+key 会进入结果的配置身份。更换 key 就是更换状态 cohort，旧结果不会混进来。租约只保护外部 checkpoint，与 Record root 无关；普通 append writer 仍可并发使用同一个 root。不同机器或 working copy 仍需外部分布式锁。
 
 ## 生命周期：谁跑几次
 
@@ -120,8 +113,9 @@ key 会进入结果的配置身份。换 key 表示换了状态 cohort，旧结
   `.setup()`。它每个 Sandbox 只跑一次，产物成为题间重置点的一部分，每道题白拿。
 - **只有这道题要的素材**（它自己的仓库、数据、依赖）→ 评估用例自己的 `setup` 或
   `test(t)`。每题重置后重放，所以必须是重放一遍还对的代码。每题各自 clone 时，
-  临时 clone 目录整个实验统一用一个名字、加进 `diff.ignore`，clone 前先
-  `rm -rf .git <临时目录>` 清掉上一题的残留——`.git` 会活过题间重置。
+  整个 Experiment 使用同一个具名临时目录，例如 `.niceeval-task-clone`，并把它加进
+  `diff.ignore`。clone 前只运行 `rm -rf .niceeval-task-clone` 清掉上一题的残留。
+  绝不能删除 `workdir` 根的 `.git`：题间 `git reset` 依赖它，且它会活过题间重置。
 - **起了后台进程、占了端口** → 评估用例的 `teardown` 自己收，题间重置不杀进程。
 
 ## 幂等是硬要求：一反一正
@@ -164,12 +158,11 @@ npm install          # 调和到 package.json/lockfile 声明的状态，本身
 `setup`。marketplace 拉取太慢时用 `sparse` 只拉插件路径，或把插件烘进 template
 并从 `plugins` 里拿掉声明——代价是安装 manifest 里就没有插件与解析版本的记录了。
 
-## 一批里混了不同环境
+## 一批里混了不同 Sandbox layer
 
-选中的评估用例用 `environment` 解析到不同预制产物时，不需要拆命令。Runner 按解析后的
-环境 profile 分组：同一个 Sandbox 只承接同组 Attempt，每组建立自己的题间重置点，
-组之间不共享 Sandbox 也不共享 Sandbox 级 `setup` 的产物。实验的 `maxConcurrency`
-约束的是所有组加起来的同时执行数。
+选中的评估用例声明不同 template-bearing `sandbox` layer 时，不需要拆命令。Link planning
+逐条解析评估用例 × Experiment 配对。物理 Sandbox identity 不同的 Attempt 不共享 Sandbox，
+也不共享 Sandbox 级 `setup` 产物；实验的 `maxConcurrency` 约束全部选中工作的同时执行数。
 
 ## 典型节奏
 

package/docs-site/zh/tutorials/select-and-preview.mdx

@@ -0,0 +1,65 @@
+---
+title: "选择并预览运行范围"
+sidebarTitle: "选择并预览运行范围"
+description: "先列出 Experiment，再用路径、评估用例前缀和 tag 收窄范围，最后用 --dry 确认计划后再花费模型与 Sandbox 成本。"
+---
+
+仓库里有多组 Experiment 和大量评估用例时，先确认定义，再预览本次计划。不要靠文件名猜 ID，也不要直接启动一批可能选错的任务。
+
+## 列出可运行的 Experiment
+
+```sh
+pnpm exec niceeval exp list
+pnpm exec niceeval exp list compare/codex
+```
+
+每行会显示 Experiment ID、描述、Agent、模型、Attempt 数量、选中的评估用例数量和 labels。`exp list` 只做发现与选择，不创建 Invocation、Sandbox 或模型调用。
+
+脚本需要完整清单时使用 JSON：
+
+```sh
+pnpm exec niceeval exp list --json > experiments.json
+```
+
+## 用位置参数收窄范围
+
+第一个位置参数选择 Experiment ID、目录或文件名前缀。后续参数只从这些 Experiment 已经选择的评估用例中继续按 ID 前缀收窄：
+
+```sh
+pnpm exec niceeval exp compare/codex memory/commit0
+```
+
+精确 Experiment ID 优先于前缀。目录段必须精确匹配；评估用例前缀不能把 Experiment 长期范围之外的题目加回来。
+
+只想运行带有某个标签的评估用例时使用 `--tag`：
+
+```sh
+pnpm exec niceeval exp compare --tag smoke
+```
+
+长期范围应写进 Experiment 的 `evals`。位置参数和 `--tag` 只负责一次调用的临时收窄。
+
+## 用 `--dry` 检查计划
+
+在真实运行前加上 `--dry`：
+
+```sh
+pnpm exec niceeval exp compare/codex memory/commit0 --dry
+```
+
+计划会列出评估用例、运行配置、Attempt 序号，以及每个位置会执行还是采用历史结果。它不会创建 Invocation、Run、Sandbox 或模型调用，也不会写 JUnit。
+
+机器需要读取计划时组合 `--json`：
+
+```sh
+pnpm exec niceeval exp compare/codex memory/commit0 --dry --json > plan.json
+```
+
+确认数量、模型、Attempt 和历史结果处置都符合预期后，去掉 `--dry` 运行同一条命令。
+
+## 处理选择失败
+
+- Experiment 零命中时，CLI 会列出可浏览的目录，并提示先运行 `exp <path> --dry`。
+- 评估用例零命中时，CLI 会明确报告 `No evals selected`，不会退回整个 Experiment 范围。
+- 想查看生命周期命令而不是运行矩阵时，使用[运行前检查生命周期计划](/zh/tutorials/debug-lifecycle-plan)。
+- 想决定哪些旧结果可以沿用时，继续阅读[重跑与沿用结果](/zh/tutorials/rerun-and-cache)。

package/docs-site/zh/tutorials/verify-judge.mdx

@@ -0,0 +1,78 @@
+---
+title: "配置并验证 Judge"
+sidebarTitle: "配置并验证 Judge"
+description: "连接 OpenAI 兼容 Judge 网关，用一条最小评估真实预检和判分，再从结果区分配置缺失、网络失败与低质量输出。"
+---
+
+Judge 适合规则难以写成精确 Match 的开放式质量判断。先用一条最小评估确认模型、密钥和端点都能真实判分，再把 Judge 加进正式题目。
+
+## 配置模型和凭据来源
+
+```ts title="niceeval.config.ts"
+import { defineConfig } from "niceeval";
+
+export default defineConfig({
+  judge: {
+    model: "judge-model",
+    baseUrl: "https://gateway.example.com/v1",
+    apiKeyEnv: "JUDGE_GATEWAY_KEY",
+    timeoutMs: 180_000,
+  },
+});
+```
+
+密钥只放进进程环境：
+
+```sh
+export JUDGE_GATEWAY_KEY="..."
+```
+
+配置文件只保存环境变量名，不保存密钥值。项目需要比较 Judge 模型时，在不同 Experiment 中覆盖 `judge.model`，不要添加单次 recipe model 参数。
+
+## 写一条最小真实判分
+
+```ts title="evals/judge-smoke.eval.ts"
+import { defineEval } from "niceeval";
+
+export default defineEval({
+  judge: true,
+  async test(t) {
+    t.judge.autoevals.closedQA("文本是否明确表达成功？", {
+      input: "operation completed successfully",
+      output: "operation completed successfully",
+    })
+      .gate(0.8)
+      .label("成功表达");
+  },
+});
+```
+
+`judge: true` 声明这条评估需要 Judge，并从 Experiment 与项目配置继承字段。`.gate(0.8)` 把 measurement 变成通过制要求；低于阈值时 Attempt 为 `failed`。
+
+## 只运行这条验证评估
+
+先确保一个现有 Experiment 的 `evals` 选择范围包含 `judge-smoke`，再用第二个位置参数只选择这条评估。下面以 Experiment ID `local` 为例：
+
+```sh
+pnpm exec niceeval exp local judge-smoke
+```
+
+用 `pnpm exec niceeval exp list` 查实际 Experiment ID；不要把评估用例 ID 同时当成 Experiment ID。模型和密钥都存在时，Runner 会在派发前预检 Judge 端点。预检失败属于 setup error，不会生成伪造的 Judge 分数。
+
+## 查看判分结果
+
+从完成反馈复制 Run ID：
+
+```sh
+pnpm exec niceeval show --run <run-id>
+```
+
+结果应包含 Judge measurement、threshold、condition、理由和裁剪后的材料。重点区分三类失败：
+
+| 结果 | 含义 |
+| --- | --- |
+| `judge-model-unresolved` / `judge-key-unresolved` | 配置或环境变量缺失，没有发起网络预检。 |
+| `unavailable` | 请求开始后网络或 Provider 不可用，不等于零分。 |
+| evaluator `errored` | 响应无效、分数不是有限数或超出 `[0, 1]`。 |
+
+正式题目应先用代表性结果校准 rubric 和阈值。比较两个 Judge 模型时，让两个 Experiment 选择同一批评估用例，并用不同 `labels` 标出 Judge 条件；完整矩阵写法见[实验矩阵](/zh/tutorials/experiments)。

package/docs-site/zh/tutorials/viewing-results.mdx

@@ -53,6 +53,24 @@ pnpm exec niceeval show --run <run-id> --report ./reports/quality.tsx --json
 
 省略 `--page` 时，`show` 使用 Report 的默认可导航页面。提供 `--page` 时，它只 decode、load、render 和关闭这一个精确 route。参数 Page 不会因此调用 `enumerate()`；其它 Page、Analysis 查询和作者 callback 也不会执行。
 
+显式 `--run` 在没有指定 `--report` 时使用内建 Run 结果页。例如，某个 Run 引用了历史 Attempt 时：
+
+```text
+Report run-membership-overview
+Sample: 1 run(s), 1 slot(s)
+
+Page /
+  Run results
+  Planned attempts
+  Experiment | Eval | Attempt | Result | Details
+  checkout | checkout/basic | #1 | using result @91DDC61BAE96 | @91DDC61BAE96
+
+Problems
+  none
+```
+
+`Result` 显示 `passed`、`failed`、`errored`、`not started` 或 `using result @<locator>`；`Details` 的 locator 可继续下钻。Attempt 创建前失败时，页面另外显示 `Run errors` 和该错误真正影响的未启动 Attempt 数。Human 页不显示 Slot 等内部字段；机器 `--json` 仍保留稳定 membership keys。
+
 `show --json` 仍是同一个单目标操作。内建 Report 返回 Host 拥有的具名领域 JSON；自定义 Report 返回该 Page 的 route、标题、固定英语 80-column rendered text、下载摘要和问题表。
 两种 v1 JSON 都在顶层带有同一形状的 `projections` 对象，只包含目标 Page 捕获的闭合投影。
 
@@ -72,17 +90,18 @@ JSON 不包含其它 Page、HTML、React tree、站点 identity 或 Record 读
 
 默认报告按评估类型选择主读数：
 
-- Pass Eval 显示通过率。
-- Score Eval 显示 earned score。
-- mixed Experiment 显示 Score，并在 Pass Eval 子行显示通过率，不把两者合成百分比。
-
-Score Eval 上声明的 `points` 是评分项的贡献权重，不是 Experiment 的固定满分。动态执行、条件分支或不可用材料可能让评分项集合不同，因此默认报告不会自动把 earned score 除以所有源码里声明的 `points`。
+- 通过制评估显示通过率。
+- 计分制评估显示 earned score。
+- mixed Experiment 显示 Score，并在通过制评估子行显示通过率，不把两者合成百分比。
 
-项目没有配置 Report 时，`project-current` 使用单页 `default-overview`。显式传入 `--report standard` 会使用相同的题型主读数，并额外提供 Attempts、Traces、Experiment 和 Attempt 详情页。增加详情页不会改变 Score 或通过率的计算口径。
+计分制评估上声明的 `points` 是评分项的贡献权重，不是 Experiment 的固定满分。动态执行、条件分支或不可用材料可能让评分项集合不同，因此默认报告不会自动把 earned score 除以所有源码里声明的 `points`。
 
-默认 Overview 让主读数保持独立：Score 只显示 earned score，耗时和 token 也只显示各自的值。它不会在这些单元格后面追加容易与分数混淆的 `2 / 4 slot · partial`。
+项目没有配置 Report 时，`project-current` 使用内建 `standard`。Overview 通过同一个 `ExperimentTable` 呈现通过制和分数制结果，
+并提供筛选、逐层展开与 Attempt 详情链接。`standard` 只额外包含由该表链接到的 Experiment 和 Attempt 详情 Page；两种详情
+不会改变 Score 或通过率的计算口径。
 
-如果部分预期结果不可用，Overview 会在 KPI 和实验表之外显示独立的 `Result coverage` 区域。终端中的这个区域有边框，标题行直接写出“多少个结果可用”；它说明结果完整度，不表示分数、通过率或工作完成比例。结果完整时不显示这个区域。
+Overview 的实验对比图使用同一题型判断：通过制画成本 × 通过率，分数制画成本 × 总分。两种题型同时存在时显示两张图，
+不会把 points 和 ratio 放进同一纵轴。通过率刻度显示百分比；内部的 `ratio` 量纲不会出现在图表文案里。
 
 ## 在浏览器读取完整站点
 

package/docs-site/zh/tutorials/write-experiment.mdx

@@ -121,7 +121,7 @@ npx niceeval exp prompts/concise
 | `flags` | 实验条件（A/B 里的 feature flag），任意 JSON 对象，经 `ctx.flags` / `t.flags` 透传 |
 | `attempts` | 每个评估用例 × 配置最多跑几次 |
 | `earlyExit` | 多次运行里通过一次就提前停止。默认关，`attempts` 默认跑满测完整通过率 |
-| `evals` | `"*"`、id 前缀数组，或遍历只读 eval 描述并返回 boolean 的函数 |
+| `evals` | `"*"`、ID 前缀数组，或遍历只读评估用例描述并返回 Boolean 的函数 |
 | `timeoutMs` | 单个 attempt 的超时 |
 | `budget` | 这一格配置的预算上限 |
 | `maxConcurrency` | 这一格配置的并发上限 |
@@ -220,6 +220,8 @@ export default defineExperiment({
 });
 ```
 
+`maxConcurrency: 1` 只串行本 Invocation。`sharedState.key` 在同一项目 Coordination 域内保护跨 Invocation 的 checkpoint。租约从 Experiment 与 Sandbox setup 前开始，到全部 Sandbox teardown、Provider finalizer 和 Experiment teardown 完成。它只提供互斥；存储、原子回存、强杀恢复与跨机器协调仍由作者负责。
+
 固定的 Agent CLI、系统包和大模型缓存应先做进 image/template/snapshot。`.setup()` 不应在每个 Attempt 重建同一套环境。从官方 Docker 镜像、E2B 模板或 Vercel runtime 派生预制环境的步骤见 [Sandbox Provider · 从官方基线继续构建以提速](/zh/tutorials/sandbox-providers#从官方基线继续构建以提速)。
 
 Hook 的执行时机、多 Hook 顺序和失败语义见 [Sandbox provider · 生命周期](/zh/tutorials/sandbox-providers#生命周期)。
@@ -263,7 +265,7 @@ export default defineExperiment({
 });
 ```
 
-一份实验文件从上往下读就是完整的运行说明：整场一次的宿主机资源在实验级 Hook 对里。每 Sandbox 的写入与回存在 `sandbox` 链式 Hook 里，读实验级产物。agent 怎么连自己、评估用例的Fixture各在 agent 定义与 `EvalDef` 里，不进实验文件。
+一份实验文件从上往下读就是完整的运行说明：整场一次的宿主机资源在实验级 Hook 对里。每 Sandbox 的写入与回存在 `sandbox` 链式 Hook 里，读实验级产物。Agent 怎么连接被测对象、评估用例的 Fixture，各自在 Agent 定义与 `EvalDef` 里，不进实验文件。
 
 ### 多个实验共享同一套生命周期代码
 
@@ -357,7 +359,7 @@ export const sharedNowledge = {
 
 ## 让不同评估用例使用不同预制环境
 
-一批真实任务可能需要不同版本的运行时和依赖。把具体的 template-bearing factory 直接放在每条 Eval 上，让任务与执行环境保持为同一份声明：
+一批真实任务可能需要不同版本的运行时和依赖。把具体的 template-bearing factory 直接放在每条评估用例上，让任务与执行环境保持为同一份声明：
 
 ```ts
 // evals/astropy-2021.eval.ts
@@ -377,7 +379,7 @@ export const python39 = () => e2bSandbox({ template: "codex-python39" });
 ```
 
 ```ts
-// experiments/e2b.ts —— Eval 拥有 template，Experiment 只拥有 agent
+// experiments/e2b.ts —— 评估用例拥有 template，Experiment 只拥有 Agent
 import { defineExperiment } from "niceeval";
 
 export default defineExperiment({
@@ -385,6 +387,6 @@ export default defineExperiment({
 });
 ```
 
-没有 profile registry，也没有按 source kind 登记的 materializer 表。每个 factory 同时拥有支持声明与实现，physical planning 会在创建任何 Sandbox 前校验所有选中 Eval。重复 template 用普通 TypeScript 辅助函数 共享。同一个 Experiment 仍能覆盖全部 Eval，link planning 会逐条把 Eval layer 与 Experiment layer 配对。
+没有 profile registry，也没有按 source kind 登记的 materializer 表。每个 factory 同时拥有支持声明与实现，physical planning 会在创建任何 Sandbox 前校验所有选中评估用例。重复 template 用普通 TypeScript 辅助函数共享。同一个 Experiment 仍能覆盖全部评估用例，link planning 会逐条把评估用例 layer 与 Experiment layer 配对。
 
 跨配置比较的设计建议见[实验矩阵](/zh/tutorials/experiments)。Adapter 对 `ctx.model` 和 `ctx.flags` 的用法见 [Adapter](/zh/explanation/adapter)。

package/docs-site/zh/tutorials/write-send.mdx

@@ -155,8 +155,8 @@ export default defineAgent({
 `Usage` 的完整字段还有可选的 `cacheReadTokens` / `cacheCreationTokens`、推理 token 数 `reasoningTokens`、请求次数 `requests`，以及
 `costUSD`。`costUSD` 只在 provider 或 adapter 如实返回 USD observed 成本时填写；上游估算、模型目录价目表或本地计算绝不写入它。每个字段只在接口真实提供时填，接口不回用量就整个不填 `usage`，其它断言不受影响。
 
-Runner 始终从 Config/runtime price table 独立计算 `estimatedCostUSD`，即使有 observed `costUSD` 也不改变该计算；只有
-`t.maxCost()` 使用这个 estimate。Report 则只使用显式 `PricingProfile` 和 sealed Usage 进行 Analysis 成本投影，绝不消费 Runner
+Runner 始终从 `model`、上报的 token 用量和 Config/runtime price table 独立计算 `estimatedCostUSD`，即使有 observed `costUSD`
+也不改变该计算；Experiment budget 与 `t.maxCost()` 使用这个 estimate。Report 则只使用显式 `PricingProfile` 和 sealed Usage 进行 Analysis 成本投影，绝不消费 Runner
 estimate。
 
 当 Config/runtime price table 无法形成 Runner estimate 时，`t.maxCost()` 为 `unavailable`，绝不能把缺失当成 `0`。显式零费率实际

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "niceeval",
-  "version": "0.13.2-canary.35",
+  "version": "0.13.2",
   "description": "Agent-native eval tool — eval agents, services, functions, and coding-agent fixtures",
   "type": "module",
   "license": "MIT",
@@ -264,6 +264,7 @@
     "braintrust": "^3.20.0",
     "class-variance-authority": "^0.7.1",
     "clsx": "^2.1.1",
+    "concurrently": "^10.0.5",
     "dockerode": "^4.0.2",
     "e2b": "^2.31.0",
     "esbuild": "^0.28.1",
@@ -319,12 +320,14 @@
   },
   "scripts": {
     "typecheck": "tsc --noEmit && tsc -p docs/feature/assertions/reference/tsconfig.json",
-    "lint": "vitest run --project lint-docs --project lint-docs-site && pnpm run docs:validate && pnpm run docs:links",
+    "lint": "pnpm run docs:mint && concurrently --names vitest,validate,links \"pnpm run lint:vitest\" \"pnpm run docs:validate\" \"pnpm run docs:links\"",
+    "lint:vitest": "vitest run --project lint-docs --project lint-docs-site",
     "lint:docs": "vitest run --project lint-docs",
-    "lint:docs-site": "vitest run --project lint-docs-site && pnpm run docs:validate && pnpm run docs:links",
+    "lint:docs-site": "pnpm run docs:mint && concurrently --names vitest,validate,links \"vitest run --project lint-docs-site\" \"pnpm run docs:validate\" \"pnpm run docs:links\"",
     "niceeval": "node bin/niceeval.js",
     "e2e": "tsx e2e/scripts/cli.ts",
     "gen:diff-code": "tsx scripts/gen-diff-code.ts",
+    "pr:body": "tsx scripts/pr-body.ts",
     "docs:reference": "tsx scripts/generate-reference.ts",
     "tiers:sync": "node scripts/sync-tiers.mjs sync",
     "view:build": "vite build --config src/view/app/vite.config.ts",
@@ -334,7 +337,8 @@
     "site:dev": "cd site && node scripts/dev.mjs",
     "site:build": "cd site && next build && cd .. && tsx scripts/submit-indexnow.ts",
     "docs:dev": "node scripts/docs-dev.mjs",
-    "docs:validate": "cd docs-site && npx --yes mint@latest validate",
-    "docs:links": "cd docs-site && npx --yes mint@latest broken-links --check-anchors --check-redirects"
+    "docs:mint": "cd docs-site && npx --yes mint@4.2.812 --version",
+    "docs:validate": "cd docs-site && npx --yes mint@4.2.812 validate",
+    "docs:links": "cd docs-site && npx --yes mint@4.2.812 broken-links --check-anchors --check-redirects"
   }
 }

package/dist/report/built-in/overview.cjs

@@ -1,45 +0,0 @@
-"use strict";
-Object.defineProperty(exports, "__esModule", { value: true });
-exports.overview = exports.defaultOverviewReport = void 0;
-const jsx_runtime_1 = require("react/jsx-runtime");
-const analysis_values_ts_1 = require("./analysis-values.cjs");
-const result_components_tsx_1 = require("./result-components.cjs");
-const machine_ts_1 = require("./machine.cjs");
-function heroData(snapshot) {
-    const latest = snapshot.runs.reduce((current, run) => current === null || Number(run.startedAt) > current ? Number(run.startedAt) : current, null);
-    return Object.freeze({
-        latestStartedAt: latest === null ? null : new Date(latest).toISOString(),
-        runs: snapshot.runs.length,
-    });
-}
-const overviewPage = {
-    id: "overview",
-    path: "/",
-    title: "Overview",
-    load: async (sample) => {
-        const [summary, experiments] = await Promise.all([
-            (0, analysis_values_ts_1.loadBuiltInSummaryRows)(sample),
-            (0, analysis_values_ts_1.loadBuiltInExperimentRows)(sample),
-        ]);
-        return Object.freeze({
-            hero: heroData(sample.snapshot),
-            summary,
-            experiments,
-            counts: Object.freeze({
-                experiments: experiments.length,
-                attempts: sample.snapshot.slots.filter((slot) => slot.state === "included").length,
-                expectedResults: sample.snapshot.slots.filter((slot) => slot.state !== "excluded").length,
-            }),
-        });
-    },
-    render: (input) => (0, jsx_runtime_1.jsx)(result_components_tsx_1.StandardOverviewResultView, input),
-};
-/** The default project-current report over Analysis-issued closed rows. */
-exports.defaultOverviewReport = (0, machine_ts_1.defineBuiltInReport)(machine_ts_1.builtInMachineProducerIds.defaultOverview, {
-    title: "NiceEval overview",
-    pages: [overviewPage],
-});
-/** Stable built-in token target for an explicit `--report overview`. */
-exports.overview = exports.defaultOverviewReport;
-exports.default = exports.defaultOverviewReport;
-//# sourceMappingURL=overview.cjs.map

package/dist/report/built-in/overview.cjs.map

@@ -1 +0,0 @@
-{"version":3,"file":"overview.js","sourceRoot":"","sources":["overview.ts"],"names":[],"mappings":";;;AAEA,mDAAwC;AAGxC,6DAA+I;AAC/I,kEAAsE;AACtE,6CAA+E;AAW/E,SAAS,QAAQ,CAAC,QAAwB;IACtC,MAAM,MAAM,GAAG,QAAQ,CAAC,IAAI,CAAC,MAAM,CAAgB,CAAC,OAAO,EAAE,GAAG,EAAE,EAAE,CAAC,OAAO,KAAK,IAAI,IAAI,MAAM,CAAC,GAAG,CAAC,SAAS,CAAC,GAAG,OAAO,CAAC,CAAC,CAAC,MAAM,CAAC,GAAG,CAAC,SAAS,CAAC,CAAC,CAAC,CAAC,OAAO,EAAE,IAAI,CAAC,CAAC;IAClK,OAAO,MAAM,CAAC,MAAM,CAAC;QACjB,eAAe,EAAE,MAAM,KAAK,IAAI,CAAC,CAAC,CAAC,IAAI,CAAC,CAAC,CAAC,IAAI,IAAI,CAAC,MAAM,CAAC,CAAC,WAAW,EAAE;QACxE,IAAI,EAAE,QAAQ,CAAC,IAAI,CAAC,MAAM;KAC7B,CAAC,CAAC;AACP,CAAC;AACD,MAAM,YAAY,GAAG;IACjB,EAAE,EAAE,UAAU;IACd,IAAI,EAAE,GAAG;IACT,KAAK,EAAE,UAAU;IACjB,IAAI,EAAE,KAAK,EAAE,MAAc,EAA8B,EAAE;QACvD,MAAM,CAAC,OAAO,EAAE,WAAW,CAAC,GAAG,MAAM,OAAO,CAAC,GAAG,CAAC;YAC7C,IAAA,2CAAsB,EAAC,MAAM,CAAC;YAC9B,IAAA,8CAAyB,EAAC,MAAM,CAAC;SACpC,CAAC,CAAC;QACH,OAAO,MAAM,CAAC,MAAM,CAAC;YACjB,IAAI,EAAE,QAAQ,CAAC,MAAM,CAAC,QAAQ,CAAC;YAC/B,OAAO;YACP,WAAW;YACX,MAAM,EAAE,MAAM,CAAC,MAAM,CAAC;gBAClB,WAAW,EAAE,WAAW,CAAC,MAAM;gBAC/B,QAAQ,EAAE,MAAM,CAAC,QAAQ,CAAC,KAAK,CAAC,MAAM,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,IAAI,CAAC,KAAK,KAAK,UAAU,CAAC,CAAC,MAAM;gBAClF,eAAe,EAAE,MAAM,CAAC,QAAQ,CAAC,KAAK,CAAC,MAAM,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,IAAI,CAAC,KAAK,KAAK,UAAU,CAAC,CAAC,MAAM;aAC5F,CAAC;SACL,CAAC,CAAC;IACP,CAAC;IACD,MAAM,EAAE,CAAC,KAAwB,EAAE,EAAE,CAAC,IAAA,iBAAG,EAAC,kDAA0B,EAAE,KAAK,CAAC;CACvC,CAAC;AAC1C,2EAA2E;AAC9D,QAAA,qBAAqB,GAAG,IAAA,gCAAmB,EAAC,sCAAyB,CAAC,eAAe,EAAE;IAChG,KAAK,EAAE,mBAAmB;IAC1B,KAAK,EAAE,CAAC,YAAY,CAAC;CACxB,CAAC,CAAC;AACH,wEAAwE;AAC3D,QAAA,QAAQ,GAAG,6BAAqB,CAAC;AAC9C,kBAAe,6BAAqB,CAAC","sourcesContent":["/** The stable project-current built-in selector. */\nimport type { Sample, SampleSnapshot, } from \"../../analysis/index.ts\";\nimport { jsx } from \"react/jsx-runtime\";\nimport type { Page } from \"../definition/report.ts\";\nimport { type HeroData } from \"../components/site-components/index.tsx\";\nimport { loadBuiltInExperimentRows, loadBuiltInSummaryRows, type BuiltInExperimentRows, type BuiltInSummaryRows, } from \"./analysis-values.ts\";\nimport { StandardOverviewResultView, } from \"./result-components.tsx\";\nimport { builtInMachineProducerIds, defineBuiltInReport, } from \"./machine.ts\";\ninterface OverviewPageInput {\n    readonly hero: HeroData;\n    readonly summary: BuiltInSummaryRows;\n    readonly experiments: BuiltInExperimentRows;\n    readonly counts: {\n        readonly experiments: number;\n        readonly attempts: number;\n        readonly expectedResults: number;\n    };\n}\nfunction heroData(snapshot: SampleSnapshot): HeroData {\n    const latest = snapshot.runs.reduce<number | null>((current, run) => current === null || Number(run.startedAt) > current ? Number(run.startedAt) : current, null);\n    return Object.freeze({\n        latestStartedAt: latest === null ? null : new Date(latest).toISOString(),\n        runs: snapshot.runs.length,\n    });\n}\nconst overviewPage = {\n    id: \"overview\",\n    path: \"/\",\n    title: \"Overview\",\n    load: async (sample: Sample): Promise<OverviewPageInput> => {\n        const [summary, experiments] = await Promise.all([\n            loadBuiltInSummaryRows(sample),\n            loadBuiltInExperimentRows(sample),\n        ]);\n        return Object.freeze({\n            hero: heroData(sample.snapshot),\n            summary,\n            experiments,\n            counts: Object.freeze({\n                experiments: experiments.length,\n                attempts: sample.snapshot.slots.filter((slot) => slot.state === \"included\").length,\n                expectedResults: sample.snapshot.slots.filter((slot) => slot.state !== \"excluded\").length,\n            }),\n        });\n    },\n    render: (input: OverviewPageInput) => jsx(StandardOverviewResultView, input),\n} satisfies Page<void, OverviewPageInput>;\n/** The default project-current report over Analysis-issued closed rows. */\nexport const defaultOverviewReport = defineBuiltInReport(builtInMachineProducerIds.defaultOverview, {\n    title: \"NiceEval overview\",\n    pages: [overviewPage],\n});\n/** Stable built-in token target for an explicit `--report overview`. */\nexport const overview = defaultOverviewReport;\nexport default defaultOverviewReport;\n"]}

package/dist/report/built-in/overview.d.cts

@@ -1,6 +0,0 @@
-/** The stable project-current built-in selector. */
-/** The default project-current report over Analysis-issued closed rows. */
-export declare const defaultOverviewReport: import("../definition/report.cjs").ReportDefinition;
-/** Stable built-in token target for an explicit `--report overview`. */
-export declare const overview: import("../definition/report.cjs").ReportDefinition;
-export default defaultOverviewReport;

package/dist/report/built-in/overview.d.mts

@@ -1,6 +0,0 @@
-/** The stable project-current built-in selector. */
-/** The default project-current report over Analysis-issued closed rows. */
-export declare const defaultOverviewReport: import("../definition/report.mjs").ReportDefinition;
-/** Stable built-in token target for an explicit `--report overview`. */
-export declare const overview: import("../definition/report.mjs").ReportDefinition;
-export default defaultOverviewReport;

package/dist/report/built-in/overview.d.ts

@@ -1,6 +0,0 @@
-/** The stable project-current built-in selector. */
-/** The default project-current report over Analysis-issued closed rows. */
-export declare const defaultOverviewReport: import("../definition/report.js").ReportDefinition;
-/** Stable built-in token target for an explicit `--report overview`. */
-export declare const overview: import("../definition/report.js").ReportDefinition;
-export default defaultOverviewReport;

package/dist/report/built-in/overview.js

@@ -1,9 +0,0 @@
-import { createRequire as __niceevalCreateRequire } from "node:module";
-const __niceevalRequire = __niceevalCreateRequire(import.meta.url);
-const __niceevalCanonical = __niceevalRequire("./overview.cjs");
-export default __niceevalCanonical.default;
-const __niceevalExport0 = __niceevalCanonical["defaultOverviewReport"];
-export { __niceevalExport0 as defaultOverviewReport };
-const __niceevalExport1 = __niceevalCanonical["overview"];
-export { __niceevalExport1 as overview };
-//# sourceMappingURL=overview.js.map

package/dist/report/built-in/overview.js.map

@@ -1 +0,0 @@
-{"version":3,"file":"overview.js","sources":[],"names":[],"mappings":""}