@qwen-code/arena-agent 0.0.10-dev.6 → 0.0.10-dev.8

package/scripts/README.md

@@ -0,0 +1,62 @@
+# 轨迹复刻脚本
+
+本目录保存 DataWorks SQL Arena 轨迹数据的复刻与环境准备脚本。数据集位于
+`tasks/`，运行产物位于 `tasks/reproductions/`。
+
+## 通用脚本
+
+`reproduce_case.mjs` 运行单个 case，`reproduce_all.mjs`
+批量运行数据集中标记为可复刻的 case。
+
+每个 case 可以通过可选的 `prepare.json` 声明运行前环境准备。没有配置时
+prepare phase 是 no-op；存在配置时，单任务和批量入口都会在调用模型前自动
+执行并校验。当前支持固定 Git commit、从原始 history 恢复附件和文件断言。
+
+```bash
+# 单个 case；默认数据集可省略 --dataset
+node scripts/reproduce_case.mjs --case 010
+
+# 指定其他数据集
+node scripts/reproduce_case.mjs \
+  --dataset /path/to/dataset \
+  --case 010
+
+# 以 5 个并发运行全部可复刻 case
+node scripts/reproduce_all.mjs \
+  --dataset /path/to/dataset \
+  --concurrency 5
+```
+
+单独验证某个 prepare 配置，不调用模型：
+
+```bash
+node scripts/prepare_workspace.mjs \
+  --case-dir /path/to/dataset/cases/case-xxx \
+  --workspace /path/to/empty/workspace
+```
+
+脚本读取项目根目录 `.env` 中的 `ARENA_API_MODEL`、`OPENAI_BASE_URL` 和
+`OPENAI_API_KEY`。固定生成参数由数据集自身的 `reproduction.config.json`
+提供。
+
+批量入口具有以下行为：
+
+- 每个失败 case 自动重试一次。
+- 第一次失败后删除该次失败目录。
+- 成功或最终失败后，只保留该 case 最新的最终运行目录。
+- prepare 失败时不会调用模型，错误会写入该次 `result.json`。
+- 单次运行默认 60 分钟超时，可通过 `--timeout-minutes` 或
+  `ARENA_REPRO_TIMEOUT_MINUTES` 调整。
+- `--case` 的退出码只反映本次指定 case，不受历史失败记录影响。
+- `--clean` 仅在数据集清单和可复刻性审计验证通过后清理
+  `reproductions/`。
+
+完整清理后重新运行：
+
+```bash
+node scripts/reproduce_all.mjs \
+  --dataset /path/to/dataset \
+  --concurrency 5 \
+  --timeout-minutes 60 \
+  --clean
+```

package/scripts/check-changelog.mjs

@@ -0,0 +1,66 @@
+import { readFileSync } from "node:fs";
+import path from "node:path";
+import { fileURLToPath } from "node:url";
+
+const root = path.resolve(path.dirname(fileURLToPath(import.meta.url)), "..");
+
+export function checkChangelog(directory = root) {
+  const { version } = JSON.parse(
+    readFileSync(path.join(directory, "package.json"), "utf8"),
+  );
+  const fail = (message) => {
+    throw new Error(`CHANGELOG.md: ${message}. Update the changelog before releasing ${version}.`);
+  };
+  let changelog;
+  try {
+    changelog = readFileSync(path.join(directory, "CHANGELOG.md"), "utf8");
+  } catch (error) {
+    if (error.code === "ENOENT") fail("file is missing");
+    throw error;
+  }
+  // Examples and comments are not release notes.
+  const content = changelog
+    .replace(/<!--[^]*?-->/g, "")
+    .replace(/^(`{3,}|~{3,})[^\n]*\n[^]*?^\1[^\S\r\n]*$/gm, "");
+  const sections = [...content.matchAll(/^##[ \t]+(.+?)[ \t]*\r?$/gm)];
+  if (sections[0]?.[1] !== "[Unreleased]") {
+    fail("the first section must be ## [Unreleased]");
+  }
+  if (sections.filter((section) => section[1] === "[Unreleased]").length !== 1) {
+    fail("Unreleased must appear exactly once");
+  }
+  const currentSections = sections.filter((section) =>
+    section[1].startsWith(`[${version}]`),
+  );
+  if (currentSections.length !== 1 || currentSections[0] !== sections[1]) {
+    fail(`the newest release section must be a single ## [${version}] - YYYY-MM-DD`);
+  }
+  const current = currentSections[0];
+  const date = current[1].slice(`[${version}] - `.length);
+  if (
+    current[1] !== `[${version}] - ${date}` ||
+    !/^\d{4}-\d{2}-\d{2}$/.test(date) ||
+    !Number.isFinite(Date.parse(`${date}T00:00:00Z`)) ||
+    new Date(`${date}T00:00:00Z`).toISOString().slice(0, 10) !== date
+  ) {
+    fail(`release ${version} needs a valid date in YYYY-MM-DD format`);
+  }
+  const body = content.slice(current.index + current[0].length, sections[2]?.index);
+  const entries = [...body.matchAll(/^[-*][ \t]+(.+?)\r?$/gm)];
+  if (!entries.some((entry) =>
+    /[\p{L}\p{N}]/u.test(entry[1]) &&
+    !/^(?:TODO|TBD|待补充|待填写|暂无)(?:[\s:：.!！。…-]|$)/i.test(entry[1]),
+  )) {
+    fail(`release ${version} needs at least one non-placeholder change entry`);
+  }
+  return version;
+}
+
+if (process.argv[1] && path.resolve(process.argv[1]) === fileURLToPath(import.meta.url)) {
+  try {
+    console.log(`Changelog ready for ${checkChangelog()}`);
+  } catch (error) {
+    console.error(error.message);
+    process.exitCode = 1;
+  }
+}

package/dist/web/app.d.ts

@@ -1 +0,0 @@
-export {};