sillyspec 3.27.6 → 3.27.9

package/.worktrees/dafc71ad/eval/run.mjs

@@ -0,0 +1,83 @@
+#!/usr/bin/env node
+// SillySpec A/B 评测入口。
+// A 臂 = 裸 agent 直接做任务；B 臂 = 同 agent + SillySpec 流程。同任务、同模型、同判分脚本（verify.mjs），
+// 差值 Δ 即 SillySpec 的真实增量。详细文档见 eval/README.md。
+import { loadConfig } from './lib/config.mjs';
+import { runEval } from './lib/runner.mjs';
+import { buildReport, printReport, setBaseline } from './lib/report.mjs';
+import { spawnCapture, tail } from './lib/util.mjs';
+
+function parseArgs(argv) {
+  const opts = {
+    dryRun: false, dryMode: 'mixed', taskIds: [], arms: [], sample: 0,
+    force: false, onlyFailed: false, report: false, setBaseline: false, preflight: false, help: false,
+  };
+  for (let i = 0; i < argv.length; i++) {
+    const a = argv[i];
+    if (a === '--dry-run') opts.dryRun = true;
+    else if (a.startsWith('--dry-run=')) { opts.dryRun = true; opts.dryMode = a.slice('--dry-run='.length); }
+    else if (a === '--task') opts.taskIds.push(argv[++i]);
+    else if (a === '--arm') opts.arms.push(...(argv[++i] ?? '').split(',').map((s) => s.trim().toUpperCase()).filter(Boolean));
+    else if (a === '--sample') opts.sample = Number(argv[++i]);
+    else if (a === '--pilot') opts.sample = 20; // pilot = 前 20 个任务双臂
+    else if (a === '--force') opts.force = true;
+    else if (a === '--rerun-failed') opts.onlyFailed = true;
+    else if (a === '--report') opts.report = true;
+    else if (a === '--set-baseline') opts.setBaseline = true;
+    else if (a === '--preflight') opts.preflight = true;
+    else if (a === '--help' || a === '-h') opts.help = true;
+    else { console.error(`未知参数: ${a}`); opts.help = true; }
+  }
+  return opts;
+}
+
+function help() {
+  console.log(`SillySpec A/B 评测（A=裸 agent，B=SillySpec 流程，verify.mjs 客观判分）
+
+用法：node eval/run.mjs <选项>
+
+  --dry-run[=mixed|pass|fail]  零 token 验证管道（假 agent，不调模型不装依赖）
+  --preflight                  检查 Node 版本与 agent CLI 可用性（零 token）
+  --pilot                      真跑 pilot：前 20 个任务 × 双臂（消耗真实 token）
+  --task <id>                  只跑指定任务（可重复）
+  --arm A|B|A,B                只跑指定臂
+  --sample <N>                 只跑前 N 个任务
+  --rerun-failed               只重跑上一轮 fail/timeout/error（省 token 的定向重跑）
+  --force                      忽略缓存强制重跑
+  --report [--dry-run]         查看报告（Wilson CI / Δ / flaky / 基线对比）
+  --set-baseline               把当前成绩固化为回归基线（发版前对比用）`);
+}
+
+async function preflight(config) {
+  const major = Number(process.versions.node.split('.')[0]);
+  console.log(`Node ${process.version} ${major >= 22 ? '✓' : '✗（eval 需 >= 22，node:sqlite）'}`);
+  const bin = config.adapter.command[0];
+  const r = await spawnCapture({ args: [bin, '--version'], timeoutMs: 20_000 });
+  if (r.code === 0) {
+    console.log(`${bin} --version ✓ ${tail(r.stdout, 120)}`);
+  } else {
+    console.log(`${bin} --version ✗ 不可用（${tail(r.stderr || `exit ${r.code}`, 120)}）`);
+    console.log('  提示：先安装该 agent CLI 并在终端手动登录一次；认证沿用其登录态，本评测不接管密钥。');
+  }
+}
+
+const opts = parseArgs(process.argv.slice(2));
+if (opts.help) {
+  help();
+  process.exit(0);
+}
+const config = loadConfig();
+if (opts.preflight) {
+  await preflight(config);
+  process.exit(0);
+}
+if (opts.report) {
+  printReport(config, buildReport(config, opts));
+  process.exit(0);
+}
+if (opts.setBaseline) {
+  setBaseline(config, opts);
+  process.exit(0);
+}
+await runEval(config, opts);
+printReport(config, buildReport(config, opts)); // 跑完顺手出报告

package/.worktrees/dafc71ad/eval/tasks/001-slugify/files/package.json

@@ -0,0 +1,6 @@
+{
+  "name": "task-slugify",
+  "version": "1.0.0",
+  "type": "module",
+  "private": true
+}

package/.worktrees/dafc71ad/eval/tasks/001-slugify/solution/src/slugify.mjs

@@ -0,0 +1,26 @@
+// 参考解（dry-run 假 agent 使用，也供人工对照）。
+// 思路：空白先归一为 \u0000 哨兵；字符过滤同时保留 [a-z0-9]、哨兵和字面分隔符；
+// 再把「哨兵/分隔符的连续串」折叠为单个分隔符并去首尾。
+// 注意不能只折叠哨兵——输入里本来就有的连续分隔符（如 'a--b'）也要折叠。
+const SENTINEL = '\u0000';
+
+function escapeRe(ch) {
+  return ch.replace(/[.*+?^${}()|[\]\\-]/g, '\\$&');
+}
+
+export function slugify(value, options = {}) {
+  if (value === null || value === undefined) return '';
+  const sep = options.hyphen ?? '-';
+  if (typeof sep !== 'string' || sep.length !== 1) {
+    throw new TypeError('hyphen must be a single character');
+  }
+  const esc = escapeRe(sep);
+  return String(value)
+    .toLowerCase()
+    .replace(/\s+/g, SENTINEL)
+    .replace(new RegExp(`[^a-z0-9\\u0000${esc}]`, 'g'), '')
+    .replace(new RegExp(`[\\u0000${esc}]+`, 'g'), sep)
+    .replace(new RegExp(`^${esc}+|${esc}+$`, 'g'), '');
+}
+
+export default slugify;

package/.worktrees/dafc71ad/eval/tasks/001-slugify/task.json

@@ -0,0 +1,6 @@
+{
+  "id": "001-slugify",
+  "title": "实现 slugify 工具函数",
+  "tags": ["greenfield", "utility", "edge-case"],
+  "instruction": "在当前目录新建 src/slugify.mjs（package.json 已存在且 type=module，禁止安装任何第三方依赖），实现并导出具名函数 slugify（同时提供指向同一函数的 default 导出）。\n\n函数签名：slugify(value, options = {})，返回字符串。\n\n转换规则（按顺序执行，分隔符记为 sep，默认 '-'）：\n1. value 为 null 或 undefined 时返回空字符串；其余值先 String() 转字符串。\n2. 整体 toLowerCase() 小写化。\n3. 连续空白字符（\\s+）替换为单个 sep。\n4. 删除所有不属于 [a-z0-9] 且不等于 sep 的字符。\n5. 连续多个 sep 合并为一个，并去掉首尾的 sep。\n\noptions 支持：\n- options.hyphen：分隔符 sep，默认 '-'。必须是长度为 1 的字符串，否则抛出 TypeError('hyphen must be a single character')。\n\n示例：\nslugify('  Hello   World!  ') === 'hello-world'\nslugify('a--b') === 'a-b'\nslugify('Ünïcode Test') === 'ncode-test'\nslugify(null) === ''\nslugify(42) === '42'\nslugify('Hello World', { hyphen: '_' }) === 'hello_world'"
+}

package/.worktrees/dafc71ad/eval/tasks/001-slugify/verify.mjs

@@ -0,0 +1,28 @@
+// 判分脚本：以「被测工作目录」为 cwd 运行（node <本文件>，cwd=workdir）。退出码 0 = 通过。
+import assert from 'node:assert/strict';
+import { join } from 'node:path';
+import { cwd } from 'node:process';
+import { pathToFileURL } from 'node:url';
+
+const mod = await import(pathToFileURL(join(cwd(), 'src', 'slugify.mjs')).href);
+const slugify = mod.slugify ?? mod.default?.slugify;
+assert.equal(typeof slugify, 'function', '应导出具名函数 slugify');
+assert.equal(typeof mod.default, 'function', '应提供 default 导出');
+
+assert.equal(slugify(null), '');
+assert.equal(slugify(undefined), '');
+assert.equal(slugify(''), '');
+assert.equal(slugify(42), '42');
+assert.equal(slugify('  Hello   World!  '), 'hello-world');
+assert.equal(slugify('Foo Bar BAZ'), 'foo-bar-baz');
+assert.equal(slugify('a--b'), 'a-b');
+assert.equal(slugify('!!!'), '');
+assert.equal(slugify('Ünïcode Test'), 'ncode-test');
+assert.equal(slugify('tab\tand\nnewline'), 'tab-and-newline');
+assert.equal(slugify('-leading and trailing-'), 'leading-and-trailing');
+assert.equal(slugify('Hello World', { hyphen: '_' }), 'hello_world');
+assert.equal(slugify('a b', { hyphen: '+' }), 'a+b');
+assert.throws(() => slugify('a b', { hyphen: '--' }), TypeError);
+assert.throws(() => slugify('a b', { hyphen: '' }), TypeError);
+
+console.log('001-slugify verify OK');

package/.worktrees/dafc71ad/eval/tasks/002-each-day/files/package.json

@@ -0,0 +1,6 @@
+{
+  "name": "task-each-day",
+  "version": "1.0.0",
+  "type": "module",
+  "private": true
+}

package/.worktrees/dafc71ad/eval/tasks/002-each-day/files/src/dates.mjs

@@ -0,0 +1,4 @@
+// 待实现：eachDay(start, end) —— 契约见任务说明
+export function eachDay(start, end) {
+  throw new Error('not implemented');
+}

package/.worktrees/dafc71ad/eval/tasks/002-each-day/solution/src/dates.mjs

@@ -0,0 +1,30 @@
+// 参考解（dry-run 假 agent 使用，也供人工对照）。
+const DATE_PREFIX = /^(\d{4})-(\d{2})-(\d{2})(?:[T ].*)?$/;
+const DAY_MS = 86_400_000;
+
+function parseUtc(value) {
+  if (typeof value !== 'string') throw new TypeError('invalid date');
+  const m = DATE_PREFIX.exec(value.trim());
+  if (!m) throw new TypeError('invalid date');
+  const y = Number(m[1]);
+  const mo = Number(m[2]);
+  const d = Number(m[3]);
+  const ts = Date.UTC(y, mo - 1, d);
+  const dt = new Date(ts);
+  // 往返校验拦住 '2024-02-30' 这类被 Date 自动进位的假日期
+  if (dt.getUTCFullYear() !== y || dt.getUTCMonth() !== mo - 1 || dt.getUTCDate() !== d) {
+    throw new TypeError('invalid date');
+  }
+  return ts;
+}
+
+export function eachDay(start, end) {
+  const s = parseUtc(start);
+  const e = parseUtc(end);
+  if (e < s) throw new RangeError('end must not be before start');
+  const days = [];
+  for (let t = s; t <= e; t += DAY_MS) {
+    days.push(new Date(t).toISOString().slice(0, 10));
+  }
+  return days;
+}

package/.worktrees/dafc71ad/eval/tasks/002-each-day/task.json

@@ -0,0 +1,6 @@
+{
+  "id": "002-each-day",
+  "title": "实现 eachDay 日期区间函数（棕地补全）",
+  "tags": ["brownfield", "date", "validation"],
+  "instruction": "src/dates.mjs 已有函数骨架 eachDay(start, end)（当前直接 throw），在原文件完成实现，保持具名导出 eachDay 不变，禁止引入第三方依赖。\n\n契约：\n- 入参为字符串，接受 'YYYY-MM-DD'，或以它开头的时间形式（如 '2024-01-01T10:00:00Z'、'2024-01-01 08:00'）；只取日期部分参与运算。\n- 返回闭区间 [start, end] 内每一天的 'YYYY-MM-DD' 字符串数组（含两端；起止同天返回单元素数组）。\n- 日期运算一律用 UTC（避免时区/DST 干扰）。\n- end 的日期小于 start 时抛 RangeError。\n- 格式非法（不匹配 'YYYY-MM-DD' 前缀、日期不存在如 '2024-02-30'、或非字符串）抛 TypeError('invalid date')。\n\n示例：\neachDay('2024-02-27', '2024-03-02') → ['2024-02-27','2024-02-28','2024-02-29','2024-03-01','2024-03-02']\neachDay('2024-01-15', '2024-01-15') → ['2024-01-15']"
+}

package/.worktrees/dafc71ad/eval/tasks/002-each-day/verify.mjs

@@ -0,0 +1,31 @@
+// 判分脚本：cwd=被测工作目录，退出码 0 = 通过。
+import assert from 'node:assert/strict';
+import { join } from 'node:path';
+import { cwd } from 'node:process';
+import { pathToFileURL } from 'node:url';
+
+const mod = await import(pathToFileURL(join(cwd(), 'src', 'dates.mjs')).href);
+const eachDay = mod.eachDay ?? mod.default?.eachDay;
+assert.equal(typeof eachDay, 'function', '应导出具名函数 eachDay');
+
+assert.deepEqual(
+  eachDay('2024-02-27', '2024-03-02'),
+  ['2024-02-27', '2024-02-28', '2024-02-29', '2024-03-01', '2024-03-02'],
+);
+assert.deepEqual(
+  eachDay('2024-12-30', '2025-01-02'),
+  ['2024-12-30', '2024-12-31', '2025-01-01', '2025-01-02'],
+);
+assert.deepEqual(eachDay('2024-01-15', '2024-01-15'), ['2024-01-15']);
+assert.deepEqual(
+  eachDay('2024-01-01T10:00:00Z', '2024-01-03T23:00:00Z'),
+  ['2024-01-01', '2024-01-02', '2024-01-03'],
+);
+// 2100 是「逢百年不闰」的非闰年
+assert.deepEqual(eachDay('2100-02-28', '2100-03-01'), ['2100-02-28', '2100-03-01']);
+assert.throws(() => eachDay('2024-03-01', '2024-02-28'), RangeError);
+assert.throws(() => eachDay('2024-02-30', '2024-03-01'), TypeError);
+assert.throws(() => eachDay('2024-1-1', '2024-01-02'), TypeError);
+assert.throws(() => eachDay(null, '2024-01-02'), TypeError);
+
+console.log('002-each-day verify OK');

package/.worktrees/dafc71ad/eval/tasks/003-word-report/files/data/notes.txt

@@ -0,0 +1,5 @@
+the quick brown fox jumps over the lazy dog
+the dog barks and the fox runs
+quick quick slow
+Apple apple APPLE
+tea for two and two for tea

package/.worktrees/dafc71ad/eval/tasks/003-word-report/files/package.json

@@ -0,0 +1,6 @@
+{
+  "name": "task-word-report",
+  "version": "1.0.0",
+  "type": "module",
+  "private": true
+}

package/.worktrees/dafc71ad/eval/tasks/003-word-report/solution/bin/report.mjs

@@ -0,0 +1,36 @@
+#!/usr/bin/env node
+// 参考解（dry-run 假 agent 使用，也供人工对照）。
+import { readFileSync } from 'node:fs';
+
+function parseArgs(argv) {
+  const out = { input: 'data/notes.txt', top: 5, minLen: 1 };
+  for (let i = 0; i < argv.length; i++) {
+    const a = argv[i];
+    if (a === '--input') out.input = argv[++i];
+    else if (a === '--top') out.top = Number(argv[++i]);
+    else if (a === '--min-len') out.minLen = Number(argv[++i]);
+  }
+  return out;
+}
+
+const { input, top, minLen } = parseArgs(process.argv.slice(2));
+let text;
+try {
+  text = readFileSync(input, 'utf8');
+} catch (err) {
+  console.error(`无法读取输入文件: ${input}（${err.code ?? err.message}）`);
+  process.exit(1);
+}
+
+const counts = new Map();
+for (const word of text.toLowerCase().split(/\s+/)) {
+  if (!word || word.length < minLen) continue;
+  counts.set(word, (counts.get(word) ?? 0) + 1);
+}
+const totalWords = [...counts.values()].reduce((a, b) => a + b, 0);
+const topWords = [...counts.entries()]
+  .sort((a, b) => b[1] - a[1] || (a[0] < b[0] ? -1 : 1))
+  .slice(0, top)
+  .map(([word, count]) => ({ word, count }));
+
+process.stdout.write(`${JSON.stringify({ totalWords, top: topWords })}\n`);

package/.worktrees/dafc71ad/eval/tasks/003-word-report/task.json

@@ -0,0 +1,6 @@
+{
+  "id": "003-word-report",
+  "title": "实现词频统计 CLI",
+  "tags": ["greenfield", "cli", "output-contract"],
+  "instruction": "当前目录 data/notes.txt 已提供输入样本。新建 bin/report.mjs（纯 Node 实现，禁止第三方依赖，package.json 已是 type=module）。\n\n功能：词频统计 CLI。用法：node bin/report.mjs [--input <路径>] [--top N] [--min-len M]\n- --input：输入文件路径，默认 data/notes.txt（相对当前工作目录解析）。\n- 读取文本，小写化后按空白切分为词。\n- --min-len：过滤掉长度小于 M 的词，默认 1。\n- --top：输出频次最高的前 N 个词，默认 5；频次相同时按词的字典序升序排列。\n- stdout 输出且仅输出一行 JSON：{\"totalWords\":<过滤后的总词数>,\"top\":[{\"word\":<词>,\"count\":<次数>}, ...]}\n- 输入文件不存在或不可读时：向 stderr 输出错误信息，退出码 1。"
+}

package/.worktrees/dafc71ad/eval/tasks/003-word-report/verify.mjs

@@ -0,0 +1,38 @@
+// 判分脚本：cwd=被测工作目录，退出码 0 = 通过。
+// 期望值基于 data/notes.txt 的固定内容硬编码，保证判分独立于被测实现。
+import assert from 'node:assert/strict';
+import { spawnSync } from 'node:child_process';
+import { join } from 'node:path';
+import { cwd } from 'node:process';
+
+const reportCli = join(cwd(), 'bin', 'report.mjs');
+const run = (args) => spawnSync('node', [reportCli, ...args], { encoding: 'utf8' });
+
+const run1 = run(['--top', '3']);
+assert.equal(run1.status, 0, `CLI 应成功运行: ${run1.stderr}`);
+assert.ok(run1.stdout.trim().startsWith('{'), 'stdout 应为 JSON');
+assert.equal(run1.stdout.trim().split('\n').length, 1, '只允许输出一行 JSON');
+assert.deepEqual(JSON.parse(run1.stdout), {
+  totalWords: 29,
+  top: [
+    { word: 'the', count: 4 },
+    { word: 'apple', count: 3 },
+    { word: 'quick', count: 3 },
+  ],
+});
+
+const run2 = run(['--top', '2', '--min-len', '5']);
+assert.equal(run2.status, 0);
+assert.deepEqual(JSON.parse(run2.stdout), {
+  totalWords: 9,
+  top: [
+    { word: 'apple', count: 3 },
+    { word: 'quick', count: 3 },
+  ],
+});
+
+const run3 = run(['--input', 'no-such-file.txt']);
+assert.notEqual(run3.status, 0, '文件不存在应非零退出');
+assert.ok((run3.stderr ?? '').trim().length > 0, '应向 stderr 输出错误信息');
+
+console.log('003-word-report verify OK');