niceeval 0.6.2 → 0.7.1

package/docs-site/zh/example/claude-code-codex-skill.mdx

@@ -1,152 +0,0 @@
----
-title: "评估你的 Skill 在 Claude Code / Codex 上的表现"
-sidebarTitle: "评估 Skill 效果"
-description: "用 NiceEval 对比有 Skill 和无 Skill 的 coding-agent 任务，通过真实 workspace、断言和 judge 衡量 Skill 是否真的提升结果。"
----
-
-Skill 的价值不只是“agent 最后答案对不对”，还包括它是否在正确场景遵循你的流程、是否避免反模式、是否稳定提升通过率、成本和耗时。[NiceEval](https://niceeval.com/) 的推荐做法是把 Skill 注入到 sandbox 里的真实 coding-agent 工作区，再与无 Skill baseline 对比。
-
-当前可运行示例在 [coding-agent-skill](https://github.com/CorrectRoadH/coding-agent-skill)，一个独立仓库。它包含两组实验：
-
-- Zod skill：自编写 `skills/zod.md`，验证 agent 是否用 Zod 做请求体和环境变量校验。
-- Ponytail plugin：迁移第三方 Ponytail benchmark，验证安全、复用和简洁性。
-
-## 目录结构
-
-```text
-coding-agent-skill/
-├─ skills/
-│  ├─ zod.md
-│  └─ ponytail.md
-├─ workspaces/
-│  └─ ts-starter/
-├─ evals/
-│  ├─ api-validation.eval.ts
-│  ├─ config-schema.eval.ts
-│  ├─ ponytail-safe-path.eval.ts
-│  ├─ ponytail-csv-sum.eval.ts
-│  └─ ponytail-reuse.eval.ts
-└─ experiments/
-   ├─ with-skill.ts
-   ├─ baseline.ts
-   ├─ ponytail.ts
-   └─ ponytail-baseline.ts
-```
-
-## 定义 Skill 实验组
-
-Skill 是否注入属于 experiment 配置。示例在 sandbox setup 阶段把 `skills/zod.md` 写入工作区的 `CLAUDE.md`，让 Claude Code 启动后自动读取。
-
-```ts
-import { defineExperiment } from "niceeval";
-import { claudeCodeAgent } from "niceeval/adapter";
-import { dockerSandbox } from "niceeval/sandbox";
-import { readFileSync } from "node:fs";
-import { dirname, join } from "node:path";
-import { fileURLToPath } from "node:url";
-
-const __dir = dirname(fileURLToPath(import.meta.url));
-const zodSkill = readFileSync(join(__dir, "../skills/zod.md"), "utf-8");
-const baseAgent = claudeCodeAgent();
-
-const zodAgent = {
-  ...baseAgent,
-  name: "claude-code+zod-skill",
-  async setup(sb, ctx) {
-    const cleanup = await baseAgent.setup?.(sb, ctx);
-    await sb.writeFiles({ "CLAUDE.md": zodSkill });
-    return cleanup;
-  },
-} satisfies typeof baseAgent;
-
-export default defineExperiment({
-  description: "claude-code + zod skill（本地注入）",
-  agent: zodAgent,
-  model: "claude-sonnet-4-6",
-  sandbox: dockerSandbox(),
-  runs: 3,
-  earlyExit: false,
-  budget: 10,
-  evals: (id) => !id.startsWith("ponytail-"),
-});
-```
-
-对照组使用同样的 eval 过滤、模型、runs 和预算，只把 agent 换成未注入 Skill 的 `claudeCodeAgent()`。
-
-## 写 eval
-
-`.eval.ts` 文件同时负责三件事：准备 workspace、发送真实任务、验证结果。下面是 Zod 请求体校验任务的简化版。
-
-```ts
-import { defineEval } from "niceeval";
-import { excludes, includes } from "niceeval/expect";
-
-export default defineEval({
-  description: "用 Zod 校验 POST /users 的请求体，失败时返回结构化错误",
-
-  async test(t) {
-    await t.sandbox.uploadDirectory("../workspaces/ts-starter");
-
-    await t
-      .send(
-        `在 src/routes/users.ts 里实现 POST /users 路由。
-要求：
-- 用 Zod 定义 CreateUserSchema
-- 用 .safeParse() 校验 req.body（不要用 .parse()）
-- 校验失败返回 HTTP 422，body 为 { errors: result.error.issues }
-- 校验成功返回 HTTP 201`,
-      )
-      .then((turn) => turn.succeeded());
-
-    const src = await t.sandbox.readSourceFiles({ extensions: ["ts"] });
-    const route = src.fileMatching(/users/);
-    const code = route?.content ?? "";
-
-    t.check(code, includes(/z\.object\s*\(/));
-    t.check(code, includes(/\.safeParse\s*\(/));
-    t.check(code, includes(/422|UNPROCESSABLE/));
-    t.check(code, excludes(/JSON\.parse/));
-    t.sandbox.fileChanged("src/routes/users.ts");
-
-    t.judge.autoevals
-      .closedQA("代码是否正确使用了 Zod 的惯用校验模式？", { on: code })
-      .atLeast(0.75);
-  },
-});
-```
-
-优先验证最终产物和真实测试。只有当事件名稳定时，再把“是否加载 Skill”“是否调用某工具”作为硬断言。
-
-## 运行
-
-```bash
-git clone https://github.com/CorrectRoadH/coding-agent-skill.git
-cd coding-agent-skill
-pnpm install
-
-# Zod skill A/B 对比(各是独立实验文件,不是同一个 group,分开跑)
-pnpm exec niceeval exp with-skill
-pnpm exec niceeval exp baseline
-
-# Ponytail plugin:baseline / caveman / ponytail / yagni-oneliner 四臂对比
-pnpm exec niceeval exp ponytail-baseline
-pnpm exec niceeval exp caveman
-pnpm exec niceeval exp ponytail
-pnpm exec niceeval exp yagni-oneliner
-
-pnpm exec niceeval view
-```
-
-## 评什么
-
-- Skill 是否显著提高通过率。
-- 是否减少反模式，例如裸 `JSON.parse`、不安全路径拼接、重复造轮子。
-- 是否让 agent 更稳定地改对目标文件。
-- 成本和耗时是否仍在可接受范围。
-- 失败样本里 agent 是没读 Skill、读了没遵循，还是验证目标本身设计得不清楚。
-
-## 下一步
-
-- [Fixtures](/zh/guides/fixtures) — 组织 sandbox workspace、任务和验证。
-- [Experiments](/zh/guides/experiments) — 做有 Skill / 无 Skill 的对照实验。
-- [评分指南](/zh/guides/scoring-guide) — 把最终结果和行为约束一起评分。

package/docs-site/zh/example/showcase.mdx

@@ -1,39 +0,0 @@
----
-title: "Showcase"
-sidebarTitle: "Showcase"
-description: "用 NiceEval 搭建评测的真实项目和线上网站，持续收录。"
----
-
-这里收录用 [NiceEval](https://niceeval.com/) 搭建评测的真实项目和线上网站。每个案例都是可运行、可复现的完整仓库——不是摘录片段，点进源码仓库能看到完整的 eval、experiment 和 sandbox 配置。
-
-## coding-agent-memory-evals
-
-Tape、Nowledge Mem、mem9、db9.ai、OpenClaw……coding agent 的记忆实现开始分化，但缺一个可复现的评测面来说清楚它们到底有没有用。[coding-agent-memory-evals](https://github.com/CorrectRoadH/coding-agent-memory-evals) 用 NiceEval 搭了这个 benchmark：同一批 coding 任务、同一个模型（`gpt-5.4`），只换 agent 的记忆机制——[bub](https://github.com/CorrectRoadH/coding-agent-memory-evals)（内置 [Tape](https://tape.systems/)）对比无对应持久记忆的 codex。
-
-- 在线报告：[coding-agent-memory-evals.vercel.app](https://coding-agent-memory-evals.vercel.app/)
-- 源码仓库：[github.com/CorrectRoadH/coding-agent-memory-evals](https://github.com/CorrectRoadH/coding-agent-memory-evals)
-
-主评分只看开发任务本身是否完成（build / tests / upstream verifier），不额外考“agent 是否记得某条事实”——记忆机制的价值体现在 duration、token、成本和 `pass^k` 这些副指标上。
-
-### 案例
-
-每条 eval 都把某个公开 benchmark 的原始任务和验证脚本原样接进来，不是重写的断言。
-
-| Eval | 来源 | 验证什么 |
-|---|---|---|
-| [`agent-029-use-cache-directive`](https://github.com/CorrectRoadH/coding-agent-memory-evals/blob/main/evals/memory/agent-029-use-cache-directive.eval.ts) | next-evals | Server Action 是否用 `use cache` + `revalidateTag` 做目录数据的最终一致刷新 |
-| [`agent-030-app-router-migration-hard`](https://github.com/CorrectRoadH/coding-agent-memory-evals/blob/main/evals/memory/agent-030-app-router-migration-hard.eval.ts) | next-evals | 复杂 Pages Router 应用整体迁移到 App Router，legacy 文件是否被删、legacy API 是否残留 |
-| [`agent-037-updatetag-cache`](https://github.com/CorrectRoadH/coding-agent-memory-evals/blob/main/evals/memory/agent-037-updatetag-cache.eval.ts) | next-evals | read-your-own-writes 场景下是否用 `updateTag` 而不是只用 `revalidateTag` |
-| [`terminal-cancel-async-tasks`](https://github.com/CorrectRoadH/coding-agent-memory-evals/blob/main/evals/memory/terminal-cancel-async-tasks.eval.ts) | [Terminal-Bench](https://www.tbench.ai/) | 实现可取消的并发受限异步任务运行器，跑原始 `pytest` 验证 |
-| [`repomod-hello-world-api`](https://github.com/CorrectRoadH/coding-agent-memory-evals/blob/main/evals/memory/repomod-hello-world-api.eval.ts) | RepoMod-Bench | 把 Flask API 迁移成 Java Spring Boot，起服务后跑上游隐藏 HTTP 测试 |
-| [`tool-call-observability`](https://github.com/CorrectRoadH/coding-agent-memory-evals/blob/main/evals/memory/tool-call-observability.eval.ts) | 自编写 smoke | agent 的 shell 工具调用是否被正确记录为标准事件 |
-
-### 对比实验
-
-[`experiments/compare/`](https://github.com/CorrectRoadH/coding-agent-memory-evals/tree/main/experiments/compare) 是唯一一组可对比实验：钉死同一个模型（`gpt-5.4`）和同一个 sandbox（docker），只换 agent——[`bub-gpt-5.4.ts`](https://github.com/CorrectRoadH/coding-agent-memory-evals/blob/main/experiments/compare/bub-gpt-5.4.ts) vs. [`codex-gpt-5.4.ts`](https://github.com/CorrectRoadH/coding-agent-memory-evals/blob/main/experiments/compare/codex-gpt-5.4.ts)，差异才能归因到记忆机制本身，而不是模型或运行环境。`niceeval exp compare` 跑整组，结果快照发布到线上报告。
-
-## 下一步
-
-- [接入你的 Agent](/zh/guides/connect-your-agent) — 从零接入一个 coding agent adapter。
-- [Experiments](/zh/guides/experiments) — 组织可对比的实验矩阵。
-- [评估 Skill 效果](/zh/example/claude-code-codex-skill) — 同一套「有/无 X 对比」思路，换成对比 Skill。