sillyspec 3.27.11 → 3.28.0

package/.worktrees/2c37b1d7/eval/run.mjs

@@ -1,83 +0,0 @@
-#!/usr/bin/env node
-// SillySpec A/B 评测入口。
-// A 臂 = 裸 agent 直接做任务；B 臂 = 同 agent + SillySpec 流程。同任务、同模型、同判分脚本（verify.mjs），
-// 差值 Δ 即 SillySpec 的真实增量。详细文档见 eval/README.md。
-import { loadConfig } from './lib/config.mjs';
-import { runEval } from './lib/runner.mjs';
-import { buildReport, printReport, setBaseline } from './lib/report.mjs';
-import { spawnCapture, tail } from './lib/util.mjs';
-
-function parseArgs(argv) {
-  const opts = {
-    dryRun: false, dryMode: 'mixed', taskIds: [], arms: [], sample: 0,
-    force: false, onlyFailed: false, report: false, setBaseline: false, preflight: false, help: false,
-  };
-  for (let i = 0; i < argv.length; i++) {
-    const a = argv[i];
-    if (a === '--dry-run') opts.dryRun = true;
-    else if (a.startsWith('--dry-run=')) { opts.dryRun = true; opts.dryMode = a.slice('--dry-run='.length); }
-    else if (a === '--task') opts.taskIds.push(argv[++i]);
-    else if (a === '--arm') opts.arms.push(...(argv[++i] ?? '').split(',').map((s) => s.trim().toUpperCase()).filter(Boolean));
-    else if (a === '--sample') opts.sample = Number(argv[++i]);
-    else if (a === '--pilot') opts.sample = 20; // pilot = 前 20 个任务双臂
-    else if (a === '--force') opts.force = true;
-    else if (a === '--rerun-failed') opts.onlyFailed = true;
-    else if (a === '--report') opts.report = true;
-    else if (a === '--set-baseline') opts.setBaseline = true;
-    else if (a === '--preflight') opts.preflight = true;
-    else if (a === '--help' || a === '-h') opts.help = true;
-    else { console.error(`未知参数: ${a}`); opts.help = true; }
-  }
-  return opts;
-}
-
-function help() {
-  console.log(`SillySpec A/B 评测（A=裸 agent，B=SillySpec 流程，verify.mjs 客观判分）
-
-用法：node eval/run.mjs <选项>
-
-  --dry-run[=mixed|pass|fail]  零 token 验证管道（假 agent，不调模型不装依赖）
-  --preflight                  检查 Node 版本与 agent CLI 可用性（零 token）
-  --pilot                      真跑 pilot：前 20 个任务 × 双臂（消耗真实 token）
-  --task <id>                  只跑指定任务（可重复）
-  --arm A|B|A,B                只跑指定臂
-  --sample <N>                 只跑前 N 个任务
-  --rerun-failed               只重跑上一轮 fail/timeout/error（省 token 的定向重跑）
-  --force                      忽略缓存强制重跑
-  --report [--dry-run]         查看报告（Wilson CI / Δ / flaky / 基线对比）
-  --set-baseline               把当前成绩固化为回归基线（发版前对比用）`);
-}
-
-async function preflight(config) {
-  const major = Number(process.versions.node.split('.')[0]);
-  console.log(`Node ${process.version} ${major >= 22 ? '✓' : '✗（eval 需 >= 22，node:sqlite）'}`);
-  const bin = config.adapter.command[0];
-  const r = await spawnCapture({ args: [bin, '--version'], timeoutMs: 20_000 });
-  if (r.code === 0) {
-    console.log(`${bin} --version ✓ ${tail(r.stdout, 120)}`);
-  } else {
-    console.log(`${bin} --version ✗ 不可用（${tail(r.stderr || `exit ${r.code}`, 120)}）`);
-    console.log('  提示：先安装该 agent CLI 并在终端手动登录一次；认证沿用其登录态，本评测不接管密钥。');
-  }
-}
-
-const opts = parseArgs(process.argv.slice(2));
-if (opts.help) {
-  help();
-  process.exit(0);
-}
-const config = loadConfig();
-if (opts.preflight) {
-  await preflight(config);
-  process.exit(0);
-}
-if (opts.report) {
-  printReport(config, buildReport(config, opts));
-  process.exit(0);
-}
-if (opts.setBaseline) {
-  setBaseline(config, opts);
-  process.exit(0);
-}
-await runEval(config, opts);
-printReport(config, buildReport(config, opts)); // 跑完顺手出报告

package/.worktrees/2c37b1d7/eval/tasks/001-slugify/files/package.json

@@ -1,6 +0,0 @@
-{
-  "name": "task-slugify",
-  "version": "1.0.0",
-  "type": "module",
-  "private": true
-}

package/.worktrees/2c37b1d7/eval/tasks/001-slugify/solution/src/slugify.mjs

@@ -1,26 +0,0 @@
-// 参考解（dry-run 假 agent 使用，也供人工对照）。
-// 思路：空白先归一为 \u0000 哨兵；字符过滤同时保留 [a-z0-9]、哨兵和字面分隔符；
-// 再把「哨兵/分隔符的连续串」折叠为单个分隔符并去首尾。
-// 注意不能只折叠哨兵——输入里本来就有的连续分隔符（如 'a--b'）也要折叠。
-const SENTINEL = '\u0000';
-
-function escapeRe(ch) {
-  return ch.replace(/[.*+?^${}()|[\]\\-]/g, '\\$&');
-}
-
-export function slugify(value, options = {}) {
-  if (value === null || value === undefined) return '';
-  const sep = options.hyphen ?? '-';
-  if (typeof sep !== 'string' || sep.length !== 1) {
-    throw new TypeError('hyphen must be a single character');
-  }
-  const esc = escapeRe(sep);
-  return String(value)
-    .toLowerCase()
-    .replace(/\s+/g, SENTINEL)
-    .replace(new RegExp(`[^a-z0-9\\u0000${esc}]`, 'g'), '')
-    .replace(new RegExp(`[\\u0000${esc}]+`, 'g'), sep)
-    .replace(new RegExp(`^${esc}+|${esc}+$`, 'g'), '');
-}
-
-export default slugify;

package/.worktrees/2c37b1d7/eval/tasks/001-slugify/task.json

@@ -1,6 +0,0 @@
-{
-  "id": "001-slugify",
-  "title": "实现 slugify 工具函数",
-  "tags": ["greenfield", "utility", "edge-case"],
-  "instruction": "在当前目录新建 src/slugify.mjs（package.json 已存在且 type=module，禁止安装任何第三方依赖），实现并导出具名函数 slugify（同时提供指向同一函数的 default 导出）。\n\n函数签名：slugify(value, options = {})，返回字符串。\n\n转换规则（按顺序执行，分隔符记为 sep，默认 '-'）：\n1. value 为 null 或 undefined 时返回空字符串；其余值先 String() 转字符串。\n2. 整体 toLowerCase() 小写化。\n3. 连续空白字符（\\s+）替换为单个 sep。\n4. 删除所有不属于 [a-z0-9] 且不等于 sep 的字符。\n5. 连续多个 sep 合并为一个，并去掉首尾的 sep。\n\noptions 支持：\n- options.hyphen：分隔符 sep，默认 '-'。必须是长度为 1 的字符串，否则抛出 TypeError('hyphen must be a single character')。\n\n示例：\nslugify('  Hello   World!  ') === 'hello-world'\nslugify('a--b') === 'a-b'\nslugify('Ünïcode Test') === 'ncode-test'\nslugify(null) === ''\nslugify(42) === '42'\nslugify('Hello World', { hyphen: '_' }) === 'hello_world'"
-}

package/.worktrees/2c37b1d7/eval/tasks/001-slugify/verify.mjs

@@ -1,28 +0,0 @@
-// 判分脚本：以「被测工作目录」为 cwd 运行（node <本文件>，cwd=workdir）。退出码 0 = 通过。
-import assert from 'node:assert/strict';
-import { join } from 'node:path';
-import { cwd } from 'node:process';
-import { pathToFileURL } from 'node:url';
-
-const mod = await import(pathToFileURL(join(cwd(), 'src', 'slugify.mjs')).href);
-const slugify = mod.slugify ?? mod.default?.slugify;
-assert.equal(typeof slugify, 'function', '应导出具名函数 slugify');
-assert.equal(typeof mod.default, 'function', '应提供 default 导出');
-
-assert.equal(slugify(null), '');
-assert.equal(slugify(undefined), '');
-assert.equal(slugify(''), '');
-assert.equal(slugify(42), '42');
-assert.equal(slugify('  Hello   World!  '), 'hello-world');
-assert.equal(slugify('Foo Bar BAZ'), 'foo-bar-baz');
-assert.equal(slugify('a--b'), 'a-b');
-assert.equal(slugify('!!!'), '');
-assert.equal(slugify('Ünïcode Test'), 'ncode-test');
-assert.equal(slugify('tab\tand\nnewline'), 'tab-and-newline');
-assert.equal(slugify('-leading and trailing-'), 'leading-and-trailing');
-assert.equal(slugify('Hello World', { hyphen: '_' }), 'hello_world');
-assert.equal(slugify('a b', { hyphen: '+' }), 'a+b');
-assert.throws(() => slugify('a b', { hyphen: '--' }), TypeError);
-assert.throws(() => slugify('a b', { hyphen: '' }), TypeError);
-
-console.log('001-slugify verify OK');

package/.worktrees/2c37b1d7/eval/tasks/002-each-day/files/package.json

@@ -1,6 +0,0 @@
-{
-  "name": "task-each-day",
-  "version": "1.0.0",
-  "type": "module",
-  "private": true
-}

package/.worktrees/2c37b1d7/eval/tasks/002-each-day/files/src/dates.mjs

@@ -1,4 +0,0 @@
-// 待实现：eachDay(start, end) —— 契约见任务说明
-export function eachDay(start, end) {
-  throw new Error('not implemented');
-}

package/.worktrees/2c37b1d7/eval/tasks/002-each-day/solution/src/dates.mjs

@@ -1,30 +0,0 @@
-// 参考解（dry-run 假 agent 使用，也供人工对照）。
-const DATE_PREFIX = /^(\d{4})-(\d{2})-(\d{2})(?:[T ].*)?$/;
-const DAY_MS = 86_400_000;
-
-function parseUtc(value) {
-  if (typeof value !== 'string') throw new TypeError('invalid date');
-  const m = DATE_PREFIX.exec(value.trim());
-  if (!m) throw new TypeError('invalid date');
-  const y = Number(m[1]);
-  const mo = Number(m[2]);
-  const d = Number(m[3]);
-  const ts = Date.UTC(y, mo - 1, d);
-  const dt = new Date(ts);
-  // 往返校验拦住 '2024-02-30' 这类被 Date 自动进位的假日期
-  if (dt.getUTCFullYear() !== y || dt.getUTCMonth() !== mo - 1 || dt.getUTCDate() !== d) {
-    throw new TypeError('invalid date');
-  }
-  return ts;
-}
-
-export function eachDay(start, end) {
-  const s = parseUtc(start);
-  const e = parseUtc(end);
-  if (e < s) throw new RangeError('end must not be before start');
-  const days = [];
-  for (let t = s; t <= e; t += DAY_MS) {
-    days.push(new Date(t).toISOString().slice(0, 10));
-  }
-  return days;
-}

package/.worktrees/2c37b1d7/eval/tasks/002-each-day/task.json

@@ -1,6 +0,0 @@
-{
-  "id": "002-each-day",
-  "title": "实现 eachDay 日期区间函数（棕地补全）",
-  "tags": ["brownfield", "date", "validation"],
-  "instruction": "src/dates.mjs 已有函数骨架 eachDay(start, end)（当前直接 throw），在原文件完成实现，保持具名导出 eachDay 不变，禁止引入第三方依赖。\n\n契约：\n- 入参为字符串，接受 'YYYY-MM-DD'，或以它开头的时间形式（如 '2024-01-01T10:00:00Z'、'2024-01-01 08:00'）；只取日期部分参与运算。\n- 返回闭区间 [start, end] 内每一天的 'YYYY-MM-DD' 字符串数组（含两端；起止同天返回单元素数组）。\n- 日期运算一律用 UTC（避免时区/DST 干扰）。\n- end 的日期小于 start 时抛 RangeError。\n- 格式非法（不匹配 'YYYY-MM-DD' 前缀、日期不存在如 '2024-02-30'、或非字符串）抛 TypeError('invalid date')。\n\n示例：\neachDay('2024-02-27', '2024-03-02') → ['2024-02-27','2024-02-28','2024-02-29','2024-03-01','2024-03-02']\neachDay('2024-01-15', '2024-01-15') → ['2024-01-15']"
-}

package/.worktrees/2c37b1d7/eval/tasks/002-each-day/verify.mjs

@@ -1,31 +0,0 @@
-// 判分脚本：cwd=被测工作目录，退出码 0 = 通过。
-import assert from 'node:assert/strict';
-import { join } from 'node:path';
-import { cwd } from 'node:process';
-import { pathToFileURL } from 'node:url';
-
-const mod = await import(pathToFileURL(join(cwd(), 'src', 'dates.mjs')).href);
-const eachDay = mod.eachDay ?? mod.default?.eachDay;
-assert.equal(typeof eachDay, 'function', '应导出具名函数 eachDay');
-
-assert.deepEqual(
-  eachDay('2024-02-27', '2024-03-02'),
-  ['2024-02-27', '2024-02-28', '2024-02-29', '2024-03-01', '2024-03-02'],
-);
-assert.deepEqual(
-  eachDay('2024-12-30', '2025-01-02'),
-  ['2024-12-30', '2024-12-31', '2025-01-01', '2025-01-02'],
-);
-assert.deepEqual(eachDay('2024-01-15', '2024-01-15'), ['2024-01-15']);
-assert.deepEqual(
-  eachDay('2024-01-01T10:00:00Z', '2024-01-03T23:00:00Z'),
-  ['2024-01-01', '2024-01-02', '2024-01-03'],
-);
-// 2100 是「逢百年不闰」的非闰年
-assert.deepEqual(eachDay('2100-02-28', '2100-03-01'), ['2100-02-28', '2100-03-01']);
-assert.throws(() => eachDay('2024-03-01', '2024-02-28'), RangeError);
-assert.throws(() => eachDay('2024-02-30', '2024-03-01'), TypeError);
-assert.throws(() => eachDay('2024-1-1', '2024-01-02'), TypeError);
-assert.throws(() => eachDay(null, '2024-01-02'), TypeError);
-
-console.log('002-each-day verify OK');

package/.worktrees/2c37b1d7/eval/tasks/003-word-report/files/data/notes.txt

@@ -1,5 +0,0 @@
-the quick brown fox jumps over the lazy dog
-the dog barks and the fox runs
-quick quick slow
-Apple apple APPLE
-tea for two and two for tea

package/.worktrees/2c37b1d7/eval/tasks/003-word-report/files/package.json

@@ -1,6 +0,0 @@
-{
-  "name": "task-word-report",
-  "version": "1.0.0",
-  "type": "module",
-  "private": true
-}

package/.worktrees/2c37b1d7/eval/tasks/003-word-report/solution/bin/report.mjs

@@ -1,36 +0,0 @@
-#!/usr/bin/env node
-// 参考解（dry-run 假 agent 使用，也供人工对照）。
-import { readFileSync } from 'node:fs';
-
-function parseArgs(argv) {
-  const out = { input: 'data/notes.txt', top: 5, minLen: 1 };
-  for (let i = 0; i < argv.length; i++) {
-    const a = argv[i];
-    if (a === '--input') out.input = argv[++i];
-    else if (a === '--top') out.top = Number(argv[++i]);
-    else if (a === '--min-len') out.minLen = Number(argv[++i]);
-  }
-  return out;
-}
-
-const { input, top, minLen } = parseArgs(process.argv.slice(2));
-let text;
-try {
-  text = readFileSync(input, 'utf8');
-} catch (err) {
-  console.error(`无法读取输入文件: ${input}（${err.code ?? err.message}）`);
-  process.exit(1);
-}
-
-const counts = new Map();
-for (const word of text.toLowerCase().split(/\s+/)) {
-  if (!word || word.length < minLen) continue;
-  counts.set(word, (counts.get(word) ?? 0) + 1);
-}
-const totalWords = [...counts.values()].reduce((a, b) => a + b, 0);
-const topWords = [...counts.entries()]
-  .sort((a, b) => b[1] - a[1] || (a[0] < b[0] ? -1 : 1))
-  .slice(0, top)
-  .map(([word, count]) => ({ word, count }));
-
-process.stdout.write(`${JSON.stringify({ totalWords, top: topWords })}\n`);

package/.worktrees/2c37b1d7/eval/tasks/003-word-report/task.json

@@ -1,6 +0,0 @@
-{
-  "id": "003-word-report",
-  "title": "实现词频统计 CLI",
-  "tags": ["greenfield", "cli", "output-contract"],
-  "instruction": "当前目录 data/notes.txt 已提供输入样本。新建 bin/report.mjs（纯 Node 实现，禁止第三方依赖，package.json 已是 type=module）。\n\n功能：词频统计 CLI。用法：node bin/report.mjs [--input <路径>] [--top N] [--min-len M]\n- --input：输入文件路径，默认 data/notes.txt（相对当前工作目录解析）。\n- 读取文本，小写化后按空白切分为词。\n- --min-len：过滤掉长度小于 M 的词，默认 1。\n- --top：输出频次最高的前 N 个词，默认 5；频次相同时按词的字典序升序排列。\n- stdout 输出且仅输出一行 JSON：{\"totalWords\":<过滤后的总词数>,\"top\":[{\"word\":<词>,\"count\":<次数>}, ...]}\n- 输入文件不存在或不可读时：向 stderr 输出错误信息，退出码 1。"
-}

package/.worktrees/2c37b1d7/eval/tasks/003-word-report/verify.mjs

@@ -1,38 +0,0 @@
-// 判分脚本：cwd=被测工作目录，退出码 0 = 通过。
-// 期望值基于 data/notes.txt 的固定内容硬编码，保证判分独立于被测实现。
-import assert from 'node:assert/strict';
-import { spawnSync } from 'node:child_process';
-import { join } from 'node:path';
-import { cwd } from 'node:process';
-
-const reportCli = join(cwd(), 'bin', 'report.mjs');
-const run = (args) => spawnSync('node', [reportCli, ...args], { encoding: 'utf8' });
-
-const run1 = run(['--top', '3']);
-assert.equal(run1.status, 0, `CLI 应成功运行: ${run1.stderr}`);
-assert.ok(run1.stdout.trim().startsWith('{'), 'stdout 应为 JSON');
-assert.equal(run1.stdout.trim().split('\n').length, 1, '只允许输出一行 JSON');
-assert.deepEqual(JSON.parse(run1.stdout), {
-  totalWords: 29,
-  top: [
-    { word: 'the', count: 4 },
-    { word: 'apple', count: 3 },
-    { word: 'quick', count: 3 },
-  ],
-});
-
-const run2 = run(['--top', '2', '--min-len', '5']);
-assert.equal(run2.status, 0);
-assert.deepEqual(JSON.parse(run2.stdout), {
-  totalWords: 9,
-  top: [
-    { word: 'apple', count: 3 },
-    { word: 'quick', count: 3 },
-  ],
-});
-
-const run3 = run(['--input', 'no-such-file.txt']);
-assert.notEqual(run3.status, 0, '文件不存在应非零退出');
-assert.ok((run3.stderr ?? '').trim().length > 0, '应向 stderr 输出错误信息');
-
-console.log('003-word-report verify OK');