niceeval 0.1.0

package/src/agents/claude-code.ts

@@ -0,0 +1,96 @@
+import { defineSandboxAgent } from "../define.ts";
+import { requireEnv, getEnv } from "../util.ts";
+import { shared } from "./shared.ts";
+import type { Agent, McpServer } from "../types.ts";
+
+// ───────────────────────────────────────────────────────────────────────────
+// Claude Code 的 agent adapter(沙箱型)。
+//
+// 连接方式:在沙箱里 spawn `claude` CLI,跑完读回 transcript JSONL → 标准事件流。
+// ───────────────────────────────────────────────────────────────────────────
+
+export interface ClaudeCodeConfig {
+  /** Anthropic API key。省略时读 ANTHROPIC_API_KEY env。 */
+  apiKey?: string;
+  /**
+   * 自定义 API base URL(代理 / 内网端点)。省略时读 ANTHROPIC_BASE_URL env;
+   * 两者都没有则用 Anthropic 官方端点(claude CLI 默认行为)。
+   */
+  baseUrl?: string;
+  /**
+   * 最多跑几个 tool-use 轮次(→ `--max-turns`)。
+   * 控制 eval 成本上限;省略时用 CLI 原生默认(无限制)。
+   */
+  maxTurns?: number;
+  /**
+   * 额外 MCP server(每个沙箱 setup 时写进 ~/.claude/claude.json)。
+   * 示例:{ name: "browser", command: "npx", args: ["-y", "@anthropic/mcp-browser"] }
+   */
+  mcpServers?: McpServer[];
+  /**
+   * 额外安装的 skill，格式为 GitHub `"org/repo"`（如 `"Effect-TS/skills"`）。
+   * setup 阶段在沙箱里执行 `npx skills add <org/repo>`；
+   * 结果写进沙箱工作区的 skills-lock.json，claude CLI 启动时自动读取。
+   *
+   * @example skills: ["Effect-TS/skills"]
+   */
+  skills?: string[];
+}
+
+export function claudeCodeAgent(config?: ClaudeCodeConfig): Agent {
+  const getApiKey = () => config?.apiKey ?? requireEnv("ANTHROPIC_API_KEY");
+  const getBaseUrl = () => config?.baseUrl ?? getEnv("ANTHROPIC_BASE_URL");
+
+  return defineSandboxAgent({
+    name: "claude-code",
+    capabilities: { conversation: true, toolObservability: true, workspace: true, compactionObservability: true },
+
+    async setup(sb) {
+      // 预制模板已把 claude 烘焙进镜像(PATH 上)就跳过安装;否则 npm 全局装。
+      await sb.runShell("command -v claude >/dev/null 2>&1 || npm install -g @anthropic-ai/claude-code");
+
+      if (config?.mcpServers?.length) {
+        const servers: Record<string, object> = {};
+        for (const s of config.mcpServers) {
+          servers[s.name] = {
+            command: s.command,
+            ...(s.args?.length && { args: s.args }),
+            ...(s.env && { env: s.env }),
+          };
+        }
+        await shared.writeFile(sb, "~/.claude/claude.json", JSON.stringify({ mcpServers: servers }, null, 2));
+      }
+
+      if (config?.skills?.length) {
+        for (const source of config.skills) {
+          // source = "Effect-TS/skills"（GitHub org/repo）
+          // `npx skills add` 拉 repo、读 manifest、写 skills-lock.json，claude CLI 自动读取。
+          await sb.runShell(`npx skills add ${source}`);
+        }
+      }
+    },
+
+    async send(input, ctx) {
+      const sb = ctx.sandbox;
+      const args = ["--print", "--dangerously-skip-permissions"];
+      if (ctx.model) args.push("--model", ctx.model);
+      if (config?.maxTurns != null) args.push("--max-turns", String(config.maxTurns));
+      if (ctx.flags.webResearch) args.push("--allowedTools", "WebSearch,WebFetch");
+      if (!ctx.session.isNew && ctx.session.id) args.push("--resume", ctx.session.id);
+      args.push(input.text);
+
+      const env: Record<string, string> = { ANTHROPIC_API_KEY: getApiKey() };
+      const baseUrl = getBaseUrl();
+      if (baseUrl) env["ANTHROPIC_BASE_URL"] = baseUrl;
+
+      const res = await sb.runCommand("claude", args, { env, stream: true });
+
+      const raw = await shared.captureLatestJsonl(sb, "~/.claude/projects");
+      ctx.session.id = shared.sessionIdFromClaudeTranscript(raw) ?? ctx.session.id;
+      const parsed = shared.parseClaudeCode(raw);
+      return { events: parsed.events, usage: parsed.usage, status: res.exitCode === 0 ? "completed" : "failed" };
+    },
+  });
+}
+
+export default claudeCodeAgent();

package/src/agents/codex.ts

@@ -0,0 +1,122 @@
+import { defineSandboxAgent } from "../define.ts";
+import { requireEnv, getEnv } from "../util.ts";
+import { shared } from "./shared.ts";
+import type { Agent, McpServer } from "../types.ts";
+
+// ───────────────────────────────────────────────────────────────────────────
+// OpenAI Codex CLI 的 agent adapter(沙箱型)。
+//
+// 连接方式:在沙箱里 spawn `codex exec --json`,stdout JSONL → parseCodex → 标准事件流。
+// 配置:鉴权本地(config / env),模型交给实验(ctx.model),feature flags 经 ctx.flags。
+// ───────────────────────────────────────────────────────────────────────────
+
+export interface CodexConfig {
+  /** 代理 / OpenAI API key。省略时读 CODEX_API_KEY env。 */
+  apiKey?: string;
+  /** OpenAI 兼容代理 base URL(如 https://s2a.example.com/v1)。省略时读 CODEX_BASE_URL env。 */
+  baseUrl?: string;
+  /**
+   * 额外 MCP server(每个沙箱 setup 时追加进 ~/.codex/config.toml)。
+   * 格式对应 codex config.toml 的 [mcp_server.<name>] 表。
+   */
+  mcpServers?: McpServer[];
+  /**
+   * 额外安装的 skill，格式为 GitHub `"org/repo"`（如 `"Effect-TS/skills"`）。
+   * setup 阶段执行 `npx skills add <org/repo>`，结果写进 skills-lock.json。
+   *
+   * @example skills: ["Effect-TS/skills"]
+   */
+  skills?: string[];
+}
+
+export function codexAgent(config?: CodexConfig): Agent {
+  const getApiKey = () => config?.apiKey ?? requireEnv("CODEX_API_KEY");
+  const getBaseUrl = () => config?.baseUrl ?? getEnv("CODEX_BASE_URL");
+
+  return defineSandboxAgent({
+    name: "codex",
+    capabilities: { conversation: true, toolObservability: true, workspace: true, compactionObservability: true, tracing: true },
+
+    async setup(sb, ctx) {
+      // 预制模板已把 codex 烘焙进镜像(PATH 上)就跳过安装;否则 npm 全局装。
+      await sb.runShell("command -v codex >/dev/null 2>&1 || npm install -g @openai/codex");
+
+      const model = ctx.model ?? "gpt-5.4";
+      const effort = (ctx.flags.effort as string | undefined) ?? "medium";
+      const base = getBaseUrl();
+
+      if (base) {
+        await shared.writeFile(
+          sb,
+          "~/.codex/config.toml",
+          `model = "${model}"\n` +
+            `model_provider = "s2a"\n` +
+            `model_reasoning_effort = "${effort}"\n\n` +
+            `[model_providers.s2a]\n` +
+            `name = "s2a"\n` +
+            `base_url = "${base}"\n` +
+            `env_key = "CODEX_API_KEY"\n` +
+            `wire_api = "responses"\n`,
+        );
+      } else {
+        await shared.writeFile(sb, "~/.codex/config.toml", `model = "${model}"\nmodel_reasoning_effort = "${effort}"\n`);
+      }
+
+      if (config?.mcpServers?.length) {
+        const mcpToml = config.mcpServers
+          .map((s) => {
+            const lines: string[] = [`[mcp_server.${s.name}]`, `command = "${s.command}"`];
+            if (s.args?.length) lines.push(`args = [${s.args.map((a) => `"${a}"`).join(", ")}]`);
+            if (s.env && Object.keys(s.env).length) {
+              lines.push(`[mcp_server.${s.name}.env]`);
+              for (const [k, v] of Object.entries(s.env)) lines.push(`${k} = "${v}"`);
+            }
+            return lines.join("\n");
+          })
+          .join("\n\n");
+        await sb.runShell(`cat >> ~/.codex/config.toml <<'MCPEOF'\n\n${mcpToml}\nMCPEOF\n`);
+      }
+
+      if (config?.skills?.length) {
+        for (const source of config.skills) {
+          await sb.runShell(`npx skills add ${source}`);
+        }
+      }
+    },
+
+    tracing: {
+      protocol: "http/json",
+      async configure(sb, ctx) {
+        const endpoint = ctx.telemetry!.endpoint;
+        const otel =
+          `\n[otel]\n` +
+          `environment = "niceeval"\n` +
+          `exporter = "none"\n` +
+          `metrics_exporter = "none"\n\n` +
+          `[otel.trace_exporter.otlp-http]\n` +
+          `endpoint = "${endpoint}"\n` +
+          `protocol = "json"\n`;
+        await sb.runShell(`cat >> ~/.codex/config.toml <<'EOF'\n${otel}EOF\n`);
+      },
+    },
+
+    async send(input, ctx) {
+      const sb = ctx.sandbox;
+      const flags = "--json --dangerously-bypass-approvals-and-sandbox --skip-git-repo-check";
+      const escaped = input.text.replace(/'/g, "'\\''");
+      const resuming = !ctx.session.isNew && ctx.session.id;
+      const cmd = resuming
+        ? `codex exec resume ${ctx.session.id} ${flags} '${escaped}'`
+        : `codex exec ${flags} '${escaped}'`;
+
+      const res = await sb.runShell(cmd, { env: { CODEX_API_KEY: getApiKey() }, stream: true });
+
+      const raw = shared.extractJsonlFromStdout(res.stdout);
+      ctx.session.id = shared.codexThreadId(res.stdout) ?? ctx.session.id;
+      const parsed = shared.parseCodex(raw);
+      return { events: parsed.events, usage: parsed.usage, status: res.exitCode === 0 ? "completed" : "failed" };
+    },
+  });
+}
+
+export default codexAgent();

package/src/agents/index.ts

@@ -0,0 +1,25 @@
+// niceeval/adapter 公开导出:「连到哪个 AI」相关的类型 + 内置 adapter + 自定义 adapter 的入口。
+
+export { defineAgent, defineSandboxAgent } from "../define.ts";
+export { shared } from "./shared.ts";
+export type { Shared } from "./shared.ts";
+
+export { BUILTIN_AGENTS } from "./builtin.ts";
+export { claudeCodeAgent } from "./claude-code.ts";
+export { codexAgent } from "./codex.ts";
+export { bubAgent } from "./bub.ts";
+export type { ClaudeCodeConfig } from "./claude-code.ts";
+export type { CodexConfig } from "./codex.ts";
+export type { BubConfig } from "./bub.ts";
+
+export type {
+  Agent,
+  AgentContext,
+  AgentCapabilities,
+  AgentSession,
+  AgentTracing,
+  Telemetry,
+  SandboxAgentDef,
+  RemoteAgentDef,
+  McpServer,
+} from "../types.ts";

package/src/agents/shared.ts

@@ -0,0 +1,145 @@
+// 沙箱型 adapter 的共享工具(对应 agent-eval 的 shared.ts)。
+//
+// adapter 真正要写的只有「装 CLI / 鉴权 / 拼调用 / 模型 / 读 transcript」那几行,
+// 其余跨 agent 一致的活(装包去重、定位最新 transcript、写配置文件、从 stdout
+// 抠 JSONL、解析成标准事件流)都收在这里,经 `shared` 暴露给用户写的 adapter。
+
+import type { ParsedTranscript } from "../o11y/parsers/index.ts";
+import {
+  parseCodexTranscript,
+  parseClaudeCodeTranscript,
+  parseBubTranscript,
+} from "../o11y/parsers/index.ts";
+import type { Sandbox } from "../types.ts";
+import { t } from "../i18n/index.ts";
+
+/** 每个沙箱里「已经装过的全局包」去重,避免每轮 send 重复 npm i -g。 */
+const installedBySandbox = new WeakMap<Sandbox, Set<string>>();
+
+function installKey(cmd: string, args: string[]): string {
+  return [cmd, ...args].join(" ");
+}
+
+async function ensureInstalled(sandbox: Sandbox, cmd: string, args: string[]): Promise<void> {
+  let set = installedBySandbox.get(sandbox);
+  if (!set) {
+    set = new Set();
+    installedBySandbox.set(sandbox, set);
+  }
+  const key = installKey(cmd, args);
+  if (set.has(key)) return;
+  const res = await sandbox.runCommand(cmd, args);
+  if (res.exitCode !== 0) {
+    const tail = (res.stdout + res.stderr).trim().split("\n").slice(-12).join("\n");
+    throw new Error(t("agent.installFailed", { key, tail }));
+  }
+  set.add(key);
+}
+
+/** 在 dir(可含 ~)下找最新的 *.jsonl,读回其内容;没有则 undefined。 */
+async function captureLatestJsonl(sandbox: Sandbox, dir: string): Promise<string | undefined> {
+  try {
+    const find = await sandbox.runShell(
+      `find ${dir} -type f -name '*.jsonl' -printf '%T@\\t%p\\n' 2>/dev/null | sort -nr | head -1 | cut -f2-`,
+    );
+    const path = find.stdout.trim();
+    if (!path) return undefined;
+    return await sandbox.readFile(path);
+  } catch {
+    return undefined;
+  }
+}
+
+/** 写一个文件到沙箱任意路径(含 ~ / 绝对路径),用随机定界符的 heredoc,内容不被解释。 */
+async function writeFile(sandbox: Sandbox, path: string, content: string): Promise<void> {
+  const delim = `FE_EOF_${Date.now().toString(36)}_${Math.floor(Math.random() * 1e9).toString(36)}`;
+  // path 不加引号,以便 bash 展开 ~;dirname 也走 $() 不加引号同理。这些是受信内部路径。
+  await sandbox.runShell(`mkdir -p $(dirname ${path}) && cat > ${path} <<'${delim}'\n${content}\n${delim}\n`);
+}
+
+/** Claude Code 的 transcript JSONL 里抠 sessionId(取最后一个,供下一轮 --resume)。 */
+function sessionIdFromClaudeTranscript(raw: string | undefined): string | undefined {
+  if (!raw) return undefined;
+  let last: string | undefined;
+  for (const line of raw.split("\n")) {
+    const t = line.trim();
+    if (!t) continue;
+    try {
+      const obj = JSON.parse(t) as { sessionId?: unknown; session_id?: unknown };
+      const id = (obj.sessionId ?? obj.session_id) as unknown;
+      if (typeof id === "string" && id) last = id;
+    } catch {
+      // 跳过非 JSON 行
+    }
+  }
+  return last;
+}
+
+/** 从混了普通日志的 stdout 里抠出 JSONL(只留看起来是 JSON 对象的行)。 */
+function extractJsonlFromStdout(stdout: string | undefined): string | undefined {
+  if (!stdout || !stdout.trim()) return undefined;
+  const lines = stdout.split("\n").filter((line) => {
+    const t = line.trim();
+    return t.startsWith("{") && t.endsWith("}");
+  });
+  return lines.length ? lines.join("\n") : undefined;
+}
+
+/** 从 codex 的 --json stdout 里取 thread_id(thread.started 事件),供下一轮 resume。 */
+function codexThreadId(stdout: string | undefined): string | undefined {
+  if (!stdout) return undefined;
+  for (const line of stdout.split("\n")) {
+    const t = line.trim();
+    if (!t) continue;
+    try {
+      const e = JSON.parse(t) as { type?: string; thread_id?: unknown };
+      if (e.type === "thread.started" && typeof e.thread_id === "string") return e.thread_id;
+    } catch {
+      // 跳过
+    }
+  }
+  return undefined;
+}
+
+/** 扫 JSONL,返回第一个出现的 field 的字符串值。 */
+function firstJsonField(raw: string | undefined, field: string): string | undefined {
+  if (!raw) return undefined;
+  for (const line of raw.split("\n")) {
+    const t = line.trim();
+    if (!t) continue;
+    try {
+      const obj = JSON.parse(t) as Record<string, unknown>;
+      const v = obj[field];
+      if (typeof v === "string" && v) return v;
+    } catch {
+      // 跳过
+    }
+  }
+  return undefined;
+}
+
+/**
+ * `shared`:用户写的沙箱 adapter 唯一要碰的工具袋。解析器把各 agent 的原始 JSONL
+ * 归一化成标准事件流 + token 用量(ParsedTranscript),adapter 直接 return 即可。
+ */
+export const shared = {
+  ensureInstalled,
+  captureLatestJsonl,
+  writeFile,
+  sessionIdFromClaudeTranscript,
+  extractJsonlFromStdout,
+  codexThreadId,
+  firstJsonField,
+  /** 原始 codex JSONL → 标准事件流 + 用量 + 压缩计数。 */
+  parseCodex(raw: string | undefined): ParsedTranscript {
+    return parseCodexTranscript(raw);
+  },
+  parseClaudeCode(raw: string | undefined): ParsedTranscript {
+    return parseClaudeCodeTranscript(raw);
+  },
+  parseBub(raw: string | undefined): ParsedTranscript {
+    return parseBubTranscript(raw);
+  },
+};
+
+export type Shared = typeof shared;