niceeval 0.5.4 → 0.6.0

package/dist/context/types.d.ts

@@ -0,0 +1,335 @@
+import type { InputRequest, StreamEvent, ToolCall, Usage } from "../o11y/types.ts";
+import type { AssertionHandle, ValueAssertion } from "../scoring/types.ts";
+import type { CommandOptions, CommandResult, ReadSourceFilesOptions, SandboxFile, SourceFiles } from "../sandbox/types.ts";
+/** t.send() 返回的句柄:从事件流派生便利字段 + expectOk。 */
+export interface TurnHandle {
+    /** 本轮的原始事件流(工具调用、消息增量等);下面的派生字段都算自它。 */
+    readonly events: StreamEvent[];
+    /** 本轮内被调用的工具列表,从 events 派生。 */
+    readonly toolCalls: readonly ToolCall[];
+    /** 本轮结束状态:"completed" 正常结束、"failed" 出错、"waiting" 卡在 HITL 输入请求上。 */
+    readonly status: "completed" | "failed" | "waiting";
+    /** 本轮助手最终文本回复(events 里的消息增量拼接结果)。 */
+    readonly message: string;
+    /** adapter 附带的结构化输出(如有),供 outputEquals / outputMatches 比对。 */
+    readonly data?: unknown;
+    /** 本轮 token 用量与估算成本(仅上报了 usage 的 agent 才有)。 */
+    readonly usage?: Usage;
+    /** 上一轮若 failed 则抛(中止后续)。 */
+    expectOk(): TurnHandle;
+    /** 断言 data 与给定值深度相等。 */
+    outputEquals(value: unknown): AssertionHandle;
+    /** 断言 data 满足给定 schema(如 zod schema)。 */
+    outputMatches(schema: unknown): AssertionHandle;
+    /** 断言本轮助手回复包含 token(仅限本轮事件流,不跨轮)。 */
+    messageIncludes(token: string | RegExp): AssertionHandle;
+    /** 断言本轮 status 为 "completed"。 */
+    succeeded(): AssertionHandle;
+    /** 断言本轮卡在 HITL 输入请求上(status 为 "waiting")。 */
+    parked(): AssertionHandle;
+    /** 断言本轮调用过指定名字的工具;`match` 可进一步约束入参 / 次数 / 状态。 */
+    calledTool(name: string, match?: ToolMatch): AssertionHandle;
+    /** 断言本轮未调用指定工具(或未按 match 条件调用)。 */
+    notCalledTool(name: string, match?: ToolMatch): AssertionHandle;
+    /** 断言本轮工具调用按给定顺序出现(允许中间夹杂其它调用)。 */
+    toolOrder(names: string[]): AssertionHandle;
+    /** 断言本轮未调用任何工具。 */
+    usedNoTools(): AssertionHandle;
+    /** 断言本轮工具调用总数不超过 max。 */
+    maxToolCalls(max: number): AssertionHandle;
+    /** 断言本轮加载过指定 skill。 */
+    loadedSkill(skill: string): AssertionHandle;
+    /** 断言本轮没有失败的工具调用 / 命令。 */
+    noFailedActions(): AssertionHandle;
+    /** 断言本轮出现过指定类型的事件;`opts.count` 可约束出现次数。 */
+    event(type: StreamEvent["type"], opts?: {
+        count?: number;
+    }): AssertionHandle;
+    /** 断言本轮未出现指定类型的事件。 */
+    notEvent(type: StreamEvent["type"]): AssertionHandle;
+    /** 断言本轮调用过指定名字的子 agent;`match` 可约束次数 / 状态 / remoteUrl。 */
+    calledSubagent(name: string, match?: SubagentMatch): AssertionHandle;
+    /** 断言本轮事件按给定类型顺序出现(允许中间夹杂其它事件)。 */
+    eventOrder(types: StreamEvent["type"][]): AssertionHandle;
+    /** 用自定义谓词对本轮整段事件流断言;失败时用 label 说明原因。 */
+    eventsSatisfy(predicate: (events: readonly StreamEvent[]) => boolean, label?: string): AssertionHandle;
+    /** 断言本轮 token 用量不超过 max。 */
+    maxTokens(max: number): AssertionHandle;
+    /** 断言本轮花费(USD)不超过 usd。 */
+    maxCost(usd: number): AssertionHandle;
+    /** 本轮可用的 judge 命名空间(t.judge.autoevals.*)。 */
+    readonly judge: JudgeNamespace;
+}
+/** autoevals 子命名空间:结构化的参考材料对照评估(closedQA / factuality / summarizes)。 */
+export interface AutoevalsNamespace {
+    closedQA(question: string, opts?: {
+        on?: string;
+        model?: string;
+    }): AssertionHandle;
+    factuality(expected: string, opts?: {
+        on?: string;
+        model?: string;
+    }): AssertionHandle;
+    summarizes(source: string, opts?: {
+        on?: string;
+        model?: string;
+    }): AssertionHandle;
+}
+export interface JudgeNamespace {
+    /** 结构化对照评估的子命名空间(t.judge.autoevals.closedQA / .factuality / .summarizes)。 */
+    autoevals: AutoevalsNamespace;
+}
+/** 最终 diff 的只读视图(t.sandbox.diff);内容在 test() 跑完、finalize 前才落定。 */
+export interface DiffView {
+    /** 取某个生成 / 修改文件的最终内容;文件不在 diff 里则 undefined。 */
+    get(path: string): string | undefined;
+    /** 整个 diff 是否为空(既没有生成/修改的文件,也没有删除的文件)。 */
+    isEmpty(): boolean;
+    /** 正则是否命中 diff 里任意文件的路径或内容。 */
+    matches(re: RegExp): boolean;
+}
+/** 工具匹配小语言。 */
+export interface ToolMatch {
+    /** 只匹配入参包含这些键值的调用(浅层包含,非深度相等)。 */
+    input?: Record<string, unknown>;
+    /** 精确匹配调用次数,省略则只要求「至少一次」。 */
+    count?: number;
+    /** 只匹配处于该状态的调用(如 HITL 场景下的 rejected)。 */
+    status?: "completed" | "failed" | "rejected";
+}
+/** calledSubagent 的匹配小语言,语义同 ToolMatch。 */
+export interface SubagentMatch {
+    /** 精确匹配调用次数,省略则只要求「至少一次」。 */
+    count?: number;
+    status?: "completed" | "failed";
+    /** 只匹配指向该远程地址的子 agent 调用。 */
+    remoteUrl?: string | RegExp;
+}
+/** requireInputRequest 的过滤条件;多个字段之间是 AND 关系。 */
+export interface InputRequestFilter {
+    id?: string | RegExp;
+    prompt?: string | RegExp;
+    display?: string | RegExp;
+    action?: string | RegExp;
+    input?: Record<string, unknown>;
+    /** 请求的可选项 id 集合必须与此完全一致(顺序无关)。 */
+    optionIds?: readonly string[];
+}
+/**
+ * `t.respond(...)` 的对象形式:显式指名回答的是哪条请求(多个请求并停时用它消歧,
+ * 字符串形式做不到)。`optionId` 与 `text` 二选一——`optionId` 必须存在于
+ * `request.options` 里,写错直接抛;`text` 是自由文本,不做校验。
+ */
+export interface RespondAnswer {
+    readonly request: InputRequest;
+    readonly optionId?: string;
+    readonly text?: string;
+}
+/** eval 作者可见的受限沙箱视图:能执行命令 / 文件 IO / 读最终 diff,但不能 stop。 */
+export interface SandboxHandle {
+    /** 沙箱内的工作目录绝对路径。 */
+    readonly workdir: string;
+    /** 在沙箱里执行一条命令(argv 形式,不经 shell)。装系统依赖等需要 root 时传 `{ root: true }`。 */
+    runCommand(cmd: string, args?: string[], opts?: CommandOptions): Promise<CommandResult>;
+    /** 在沙箱里执行一段 shell 脚本(经 shell 解释,支持管道 / 重定向)。 */
+    runShell(script: string, opts?: CommandOptions): Promise<CommandResult>;
+    /** 读沙箱内某文件此刻的文本内容(实时读,不是 diff 快照)。 */
+    readFile(path: string): Promise<string>;
+    /** 沙箱内某路径此刻是否存在。 */
+    fileExists(path: string): Promise<boolean>;
+    /** 按选项批量读回沙箱里的源文件,供比对 / judge 用材料。 */
+    readSourceFiles(opts?: ReadSourceFilesOptions): Promise<SourceFiles>;
+    /** 把一组内容写进沙箱(路径相对 targetDir,默认 workdir)。 */
+    writeFiles(files: Record<string, string>, targetDir?: string): Promise<void>;
+    /** 把一批内存中的文件上传进沙箱。 */
+    uploadFiles(files: SandboxFile[], targetDir?: string): Promise<void>;
+    /** 把本地目录整体上传进沙箱;`opts.ignore` 排除指定路径。 */
+    uploadDirectory(localDir: string, targetDir?: string, opts?: {
+        ignore?: string[];
+    }): Promise<void>;
+    /** 从沙箱下载某文件内容。 */
+    downloadFile(path: string): Promise<Buffer>;
+    /** 把一段内容上传成沙箱里的单个文件。 */
+    uploadFile(path: string, content: Buffer): Promise<void>;
+    /** 沙箱 provider 分配的实例 id,用于排查 / 关联日志。 */
+    readonly sandboxId: string;
+    /** 相对 git 基线的最终 diff 视图(test() 跑完、finalize 前才落定)。 */
+    readonly diff: DiffView;
+    /** 取沙箱内某文件的最终内容,占位延迟到 finalize 才真正读取;只能配合 t.check 使用。 */
+    file(path: string): string;
+    /** 断言 diff 里某路径发生了变化(新增或修改)。 */
+    fileChanged(path: string): AssertionHandle;
+    /** 断言 diff 里某路径被删除。 */
+    fileDeleted(path: string): AssertionHandle;
+    /** 断言 diff 的路径与内容都不匹配给定正则(常用来否定式检查不该出现的改动)。 */
+    notInDiff(re: RegExp): AssertionHandle;
+    /** 断言沙箱里执行过的命令都没有失败退出。 */
+    noFailedShellCommands(): AssertionHandle;
+}
+/**
+ * `t.newSession()` 返回的独立会话句柄:另开一路对话,发送与断言都与默认会话及其它
+ * `newSession()` 会话相互隔离(各自的 events / usage 互不叠加)。下面的断言方法都按
+ * 「这个会话到目前为止的累计事件流」评估(跨该会话所有轮次),不是仅最后一轮——
+ * 只看最后一轮要用 `send()` 返回的 TurnHandle。
+ */
+export interface SessionHandle {
+    /** 在这个会话里发一条消息,返回该轮的 TurnHandle。 */
+    send(text: string): Promise<TurnHandle>;
+    /** 在这个会话里发一条带文件的消息,语义同 TestContext.sendFile。 */
+    sendFile(path: string, text?: string): Promise<TurnHandle>;
+    /** 取这个会话里等待中的 HITL 输入请求;拿不到就抛,语义同 TestContext.requireInputRequest。 */
+    requireInputRequest(filter?: InputRequestFilter): InputRequest;
+    /** 回答这个会话里等待中的输入请求,返回续接的 TurnHandle。 */
+    respond(...responses: (string | RespondAnswer)[]): Promise<TurnHandle>;
+    /** 用同一个 optionId 批量回答这个会话里全部等待中的输入请求。 */
+    respondAll(optionId: string): Promise<TurnHandle>;
+    /** 这个会话最近一轮的助手回复文本。 */
+    readonly reply: string;
+    /** adapter 侧的会话 id(有会话概念的 agent 才有)。 */
+    readonly sessionId: string | undefined;
+    /** 这个会话累计的事件流(跨该会话内所有轮次,不含其它会话)。 */
+    readonly events: readonly StreamEvent[];
+    /** 断言这个会话累计状态为 "completed"(跨全部轮次)。 */
+    succeeded(): AssertionHandle;
+    /** 断言这个会话当前卡在 HITL 输入请求上。 */
+    parked(): AssertionHandle;
+    /** 断言这个会话累计的助手回复包含 token(跨全部轮次)。 */
+    messageIncludes(token: string | RegExp): AssertionHandle;
+    /** 断言这个会话累计调用过指定名字的工具;match 可约束入参 / 次数 / 状态。 */
+    calledTool(name: string, match?: ToolMatch): AssertionHandle;
+    /** 断言这个会话累计未调用指定工具(或未按 match 条件调用)。 */
+    notCalledTool(name: string, match?: ToolMatch): AssertionHandle;
+    /** 断言这个会话累计工具调用按给定顺序出现。 */
+    toolOrder(names: string[]): AssertionHandle;
+    /** 断言这个会话至今未调用任何工具。 */
+    usedNoTools(): AssertionHandle;
+    /** 断言这个会话累计工具调用总数不超过 max。 */
+    maxToolCalls(max: number): AssertionHandle;
+    /** 断言这个会话累计加载过指定 skill。 */
+    loadedSkill(skill: string): AssertionHandle;
+    /** 断言这个会话累计没有失败的工具调用 / 命令。 */
+    noFailedActions(): AssertionHandle;
+    /** 断言这个会话累计出现过指定类型的事件;opts.count 可约束次数。 */
+    event(type: StreamEvent["type"], opts?: {
+        count?: number;
+    }): AssertionHandle;
+    /** 断言这个会话累计未出现指定类型的事件。 */
+    notEvent(type: StreamEvent["type"]): AssertionHandle;
+    /** 断言这个会话累计调用过指定名字的子 agent;match 可约束次数 / 状态 / remoteUrl。 */
+    calledSubagent(name: string, match?: SubagentMatch): AssertionHandle;
+    /** 断言这个会话累计事件按给定类型顺序出现。 */
+    eventOrder(types: StreamEvent["type"][]): AssertionHandle;
+    /** 用自定义谓词对这个会话累计的整段事件流断言。 */
+    eventsSatisfy(predicate: (events: readonly StreamEvent[]) => boolean, label?: string): AssertionHandle;
+    /** 断言这个会话累计 token 用量不超过 max。 */
+    maxTokens(max: number): AssertionHandle;
+    /** 断言这个会话累计花费(USD)不超过 usd。 */
+    maxCost(usd: number): AssertionHandle;
+    /** 这个会话累计的 token 用量与估算成本。 */
+    readonly usage: Usage;
+    /** 这个会话可用的 judge 命名空间。 */
+    readonly judge: JudgeNamespace;
+}
+/**
+ * eval 作者拿到的高层上下文。运行器按 agent 能力组装;tsx 不做类型检查,所以这里
+ * 用一个宽接口承载全部动作(运行时按 capability 守卫)。
+ */
+export interface TestContext {
+    /** 向默认会话发一条消息,返回该轮的 TurnHandle。事件同时累加进默认会话的累计事件流,供下面的作用域断言使用。 */
+    send(text: string): Promise<TurnHandle>;
+    /** 发一条带文件(图片等多模态输入)的消息。`path` 相对项目根;读出后 base64 随 TurnInput.files 交给 adapter。 */
+    sendFile(path: string, text?: string): Promise<TurnHandle>;
+    /** 取默认会话里等待中的 HITL 输入请求;不传 filter 要求恰好一条,拿不到就抛。 */
+    requireInputRequest(filter?: InputRequestFilter): InputRequest;
+    /**
+     * 回答默认会话里等待中的输入请求,返回续接的 TurnHandle。字符串形式按顺序对应各请求;
+     * 多个请求并停、需要指名回答哪一条时用 RespondAnswer 对象形式(见其类型注释)。
+     */
+    respond(...responses: (string | RespondAnswer)[]): Promise<TurnHandle>;
+    /** 用同一个 optionId 批量回答默认会话里全部等待中的输入请求。 */
+    respondAll(optionId: string): Promise<TurnHandle>;
+    /** 默认会话最近一轮的助手回复文本。 */
+    readonly reply: string;
+    /** adapter 侧的默认会话 id(有会话概念的 agent 才有)。 */
+    readonly sessionId: string | undefined;
+    /** 默认会话累计的事件流(跨该会话所有轮次)。 */
+    readonly events: readonly StreamEvent[];
+    /**
+     * 另开一路独立会话,返回它的 SessionHandle——不是 void。多会话隔离的关键入口:
+     * 新会话的发送与断言都与默认会话及其它 newSession() 会话相互隔离,常用于「多用户
+     * 并行对话」「一条主线 + 一条旁支」这类场景。
+     */
+    newSession(): SessionHandle;
+    /** 本次 attempt 的中止信号;超时 / 首过即停 / 用户 Ctrl-C 时触发,传给 adapter 的长耗时调用做取消。 */
+    readonly signal: AbortSignal;
+    /** 本次 attempt 使用的模型名(由 experiment/CLI flag 决定);省略即 agent 原生默认,不代表「无模型」。 */
+    readonly model?: string;
+    /** 本次 attempt 的推理努力程度(如 "low"/"medium"/"high",取值由 adapter/模型决定)。 */
+    readonly reasoningEffort?: string;
+    /** 本次 attempt 生效的实验 flags(experiment.flags 的只读视图;实验条件,非命令行开关)。 */
+    readonly flags: Readonly<Record<string, unknown>>;
+    /** 打一行调试日志;有 live 进度回调时走该回调,否则落到 stderr,不出现在最终结果里。 */
+    log(msg: string): void;
+    /** 立即中止本 eval 并标记为 skipped(verdict / EvalResult.skipReason),reason 不能为空。 */
+    skip(reason: string): never;
+    /**
+     * 对任意值跑一个 ValueAssertion,返回可链 `.gate()` / `.atLeast()` 的 AssertionHandle。
+     * 打分延迟到 eval 结束后统一 finalize,调用本身同步、不抛错——不通过只是记一条失败断言,
+     * 不会中止后续代码。要「不满足就立即中止 eval」用 require。
+     */
+    check(value: unknown, assertion: ValueAssertion): AssertionHandle;
+    /**
+     * 对任意值跑一个 ValueAssertion,立即(await 时)求值;不满足就抛错中止整个 eval 剩余步骤
+     * (仍会把这条断言计入报告,不影响已记录的其它断言)。跟 check 的区别:check 只记录、
+     * 从不抛错,打分留到最后统一算;require 当场判定、失败即中止,适合「前置条件不满足,
+     * 后面写了也没意义」的场景。
+     */
+    require(value: unknown, assertion: ValueAssertion): Promise<unknown>;
+    /**
+     * 把一组断言归到一个有标题的分组下(对照 vitest 的 test('title', ...))。纯组织/报告用,
+     * 不改打分:组里每条断言仍独立计分。可嵌套(标题用 › 连接)。
+     */
+    group<T>(title: string, fn: () => Promise<T> | T): Promise<T>;
+    /** 断言默认会话累计状态为 "completed"(跨该会话所有轮次,不止最后一轮)。 */
+    succeeded(): AssertionHandle;
+    /** 断言默认会话当前卡在 HITL 输入请求上。 */
+    parked(): AssertionHandle;
+    /** 断言默认会话累计的助手回复包含 token(跨该会话所有轮次,不止最后一轮)。 */
+    messageIncludes(token: string | RegExp): AssertionHandle;
+    /** 断言默认会话累计调用过指定名字的工具;match 可约束入参 / 次数 / 状态。 */
+    calledTool(name: string, match?: ToolMatch): AssertionHandle;
+    /** 断言默认会话累计未调用指定工具(或未按 match 条件调用)。 */
+    notCalledTool(name: string, match?: ToolMatch): AssertionHandle;
+    /** 断言默认会话累计工具调用按给定顺序出现(允许中间夹杂其它调用)。 */
+    toolOrder(names: string[]): AssertionHandle;
+    /** 断言默认会话至今未调用任何工具。 */
+    usedNoTools(): AssertionHandle;
+    /** 断言默认会话累计工具调用总数不超过 max。 */
+    maxToolCalls(max: number): AssertionHandle;
+    /** 断言默认会话累计加载过指定 skill。 */
+    loadedSkill(skill: string): AssertionHandle;
+    /** 断言默认会话累计没有失败的工具调用 / 命令。 */
+    noFailedActions(): AssertionHandle;
+    /** 断言默认会话累计出现过指定类型的事件;opts.count 可约束出现次数。 */
+    event(type: StreamEvent["type"], opts?: {
+        count?: number;
+    }): AssertionHandle;
+    /** 断言默认会话累计未出现指定类型的事件。 */
+    notEvent(type: StreamEvent["type"]): AssertionHandle;
+    /** 断言默认会话累计调用过指定名字的子 agent;match 可约束次数 / 状态 / remoteUrl。 */
+    calledSubagent(name: string, match?: SubagentMatch): AssertionHandle;
+    /** 断言默认会话累计事件按给定类型顺序出现(允许中间夹杂其它事件)。 */
+    eventOrder(types: StreamEvent["type"][]): AssertionHandle;
+    /** 用自定义谓词对默认会话累计的整段事件流断言;失败时用 label 说明原因。 */
+    eventsSatisfy(predicate: (events: readonly StreamEvent[]) => boolean, label?: string): AssertionHandle;
+    /** 受限沙箱视图:能执行命令 / 读写文件 / 看最终 diff,不能 stop 沙箱本身(见 SandboxHandle)。 */
+    readonly sandbox: SandboxHandle;
+    /** 默认会话累计的 token 用量与估算成本。 */
+    readonly usage: Usage;
+    /** 断言默认会话累计 token 用量不超过 max。 */
+    maxTokens(max: number): AssertionHandle;
+    /** 断言默认会话累计花费(USD)不超过 usd。 */
+    maxCost(usd: number): AssertionHandle;
+    /** 可用的 judge 命名空间(t.judge.autoevals.*)。 */
+    readonly judge: JudgeNamespace;
+}

package/dist/i18n/core.d.ts

@@ -0,0 +1,11 @@
+export type Locale = "zh-CN" | "en";
+export type Vars = Record<string, string | number | boolean | undefined>;
+/** 一份字典:消息 key → 文案(可含 {{var}} 占位)。 */
+export type Dictionary<K extends string = string> = Record<K, string>;
+/** 把 {{var}} 占位替换成 vars 里的值;缺失的变量替换成空串而不是保留占位。 */
+export declare function interpolate(message: string, vars?: Vars): string;
+/**
+ * 把 "zh_CN"、"en-US"、navigator.language 这类原始值归一成受支持的 Locale。
+ * C / POSIX 视为「未指定」返回 undefined(交给下一个候选);非中文一律落 en。
+ */
+export declare function normalizeLocale(raw: string | undefined): Locale | undefined;

package/dist/i18n/en.d.ts

@@ -0,0 +1,181 @@
+export declare const en: {
+    "agent.installFailed": string;
+    "agent.unknown": string;
+    "agent.diagnose.exitCode": string;
+    "agent.diagnose.lastError": string;
+    "agent.diagnose.noTranscript": string;
+    "agent.diagnose.outputTail": string;
+    "agent.diagnose.zeroEvents": string;
+    "bub.homeDetectFailed": string;
+    "bub.checkpointCaptureFailed": string;
+    "bub.checkpointRestoreFailed": string;
+    "bub.installFailed": string;
+    "bub.setupNotRun": string;
+    "checkpoint.emptyTar": string;
+    "skill.localMissing": string;
+    "skill.localDirNoSkillFile": string;
+    "skill.localUnsupportedShape": string;
+    "skill.repoCloneFailed": string;
+    "skill.repoNoSkills": string;
+    "skill.repoAmbiguous": string;
+    "skill.repoUnknownSkill": string;
+    "skill.copyFailed": string;
+    "plugin.marketplaceFailed": string;
+    "plugin.installFailed": string;
+    "cli.all": string;
+    "cli.browserOpenFailed": string;
+    "cli.clean.done": string;
+    "cli.config.missing": string;
+    "cli.config.noDefault": string;
+    "cli.dry.header": string;
+    "cli.dry.noMatches": string;
+    "cli.dry.row": string;
+    "cli.error": string;
+    "cli.flag.invalidNumber": string;
+    "runner.budgetUnenforceable": string;
+    "judge.modelMissing": string;
+    "loaders.yamlMissing": string;
+    "cli.flag.parseError": string;
+    "cli.envInvalidNumber": string;
+    "cli.help": string;
+    "cli.show.noResults": string;
+    "cli.show.runDirMissing": string;
+    "cli.show.noEvalMatch": string;
+    "cli.show.noExperimentMatch": string;
+    "cli.show.historyReportConflict": string;
+    "cli.show.evidenceNeedsEval": string;
+    "cli.show.locatorMalformed": string;
+    "cli.show.locatorNotFound": string;
+    "cli.eval.noMatch": string;
+    "cli.eval.noMatchHintExperiment": string;
+    "cli.eval.noMatchKnown": string;
+    "cli.exp.agentModelFlagUnsupported": string;
+    "cli.experiment.noMatch": string;
+    "cli.experimentGroup": string;
+    "cli.fallbackCleanupTimeout": string;
+    "cli.forceCleanupExit": string;
+    "cli.init.done": string;
+    "cli.interruptCleanup": string;
+    "cli.list.header": string;
+    "cli.noAgent": string;
+    "cli.none": string;
+    "cli.pressCtrlC": string;
+    "cli.resultsPath": string;
+    "cli.run.experimentRequired": string;
+    "cli.run.experimentRequiredHint": string;
+    "cli.run.experimentRequiredKnown": string;
+    "cli.unimplemented": string;
+    "cli.view.exportedDir": string;
+    "cli.view.incompatible": string;
+    "cli.view.noResults": string;
+    "cli.view.incompatibleForeign": string;
+    "cli.view.url": string;
+    "context.capabilityMissing": string;
+    "context.skipEmpty": string;
+    "context.turnFailed": string;
+    "context.turnFailedDefault": string;
+    "define.agentNameRequired": string;
+    "define.evalIdRejected": string;
+    "define.evalTestRequired": string;
+    "define.experimentAgentRequired": string;
+    "define.experimentIdRejected": string;
+    "define.sandboxAgentNameRequired": string;
+    "define.sandboxCreateRequired": string;
+    "define.sandboxNameRequired": string;
+    "docker.commandTimeout": string;
+    "docker.containerNotInitialized": string;
+    "docker.imagePullDone": string;
+    "docker.imagePullStart": string;
+    "docker.readFileFailed": string;
+    "docker.unsupportedRuntime": string;
+    "hitl.answerNeedsOptionOrText": string;
+    "hitl.invalidOption": string;
+    "hitl.noOptions": string;
+    "hitl.requestMissingId": string;
+    "hitl.respondAllEmpty": string;
+    "hitl.respondEmpty": string;
+    "hitl.stringAmbiguous": string;
+    "judge.apiKeyMissing": string;
+    "judge.httpError": string;
+    "judge.probeFailed": string;
+    "judge.probeMissingKey": string;
+    "live.more": string;
+    "live.running": string;
+    "live.runningUnknown": string;
+    "live.waiting": string;
+    "report.assertionThreshold": string;
+    "report.error": string;
+    "report.errored": string;
+    "report.failed": string;
+    "report.gate": string;
+    "report.passed": string;
+    "report.result": string;
+    "report.runStart": string;
+    "report.runStartExtra": string;
+    "report.viewHint": string;
+    "report.skipped": string;
+    "report.soft": string;
+    "report.summary.errored": string;
+    "report.summary.failed": string;
+    "report.summary.passed": string;
+    "report.summary.skipped": string;
+    "report.table.agent": string;
+    "report.table.avgDuration": string;
+    "report.table.cost": string;
+    "report.table.default": string;
+    "report.table.duration": string;
+    "report.table.eval": string;
+    "report.table.evalTitle": string;
+    "report.table.experiment": string;
+    "report.table.experimentsTitle": string;
+    "report.table.model": string;
+    "report.table.reason": string;
+    "report.table.result": string;
+    "report.table.runs": string;
+    "report.table.status": string;
+    "report.table.successRate": string;
+    "report.table.tokens": string;
+    "otel.noSpans": string;
+    "otel.portInUse": string;
+    "otel.windowAttribution": string;
+    "runner.diffProgress": string;
+    "runner.driveAgent": string;
+    "runner.evalSetup": string;
+    "runner.interrupted": string;
+    "runner.judgePrecheck": string;
+    "runner.otlpInSandbox": string;
+    "runner.otlpOverride": string;
+    "runner.otlpReceiver": string;
+    "runner.otlpShared": string;
+    "runner.remoteSandboxUnavailable": string;
+    "runner.reporterDiagnostic": string;
+    "runner.scoreJudge": string;
+    "runner.skip": string;
+    "runner.startAgentSetup": string;
+    "runner.startAgentTracing": string;
+    "runner.startSandbox": string;
+    "runner.startSandboxSetup": string;
+    "runner.startSandboxTeardown": string;
+    "runner.timeout": string;
+    "runner.traceSelected": string;
+    "runner.resumeCarry": string;
+    "runner.resumeCarryDetail": string;
+    "runner.useRemoteAgent": string;
+    "sandbox.providerNotImplemented": string;
+    "sandbox.missingSpec": string;
+    "sandbox.dependencyMissing.docker": string;
+    "sandbox.dependencyMissing.e2b": string;
+    "sandbox.dependencyMissing.vercel": string;
+    "sandbox.forceCleanup": string;
+    "sandbox.stopFailed": string;
+    "sandbox.stopTimeout": string;
+    "scoring.evalError": string;
+    "session.fileFallback": string;
+    "session.tools": string;
+    "session.turn.primary": string;
+    "session.turn.secondary": string;
+    "util.requiredEnv": string;
+    "vercel.fileNotFound": string;
+    "vercel.rotateFailed": string;
+    "vercel.rotated": string;
+};

package/dist/i18n/index.d.ts

@@ -0,0 +1,5 @@
+import { type MessageKey } from "./zh-CN.ts";
+import { type Locale, type Vars } from "./core.ts";
+export type { Locale, Vars } from "./core.ts";
+export declare function detectLocale(env?: NodeJS.ProcessEnv): Locale;
+export declare function t(key: MessageKey, vars?: Vars): string;