freelang-editor 11.7.4

package/scripts/ai-eval.js

@@ -0,0 +1,318 @@
+#!/usr/bin/env node
+// scripts/ai-eval.js — AI 모델 자동 평가 도구 (FL-Bench 통합)
+//
+// 워크플로우:
+//   1) FL-Bench task 로드
+//   2) Provider(Mock/Claude CLI/API)로 AI에 prompt 전송
+//   3) 응답에서 .fl 코드 추출 (markdown code block)
+//   4) ai-self-verify로 자동 normalize + 실행
+//   5) validation 비교 → PASS/FAIL
+//   6) 모델별 결과 저장 + 점수표 출력
+//
+// 사용:
+//   node scripts/ai-eval.js --provider=mock                            # mock 모드 (인프라 검증)
+//   node scripts/ai-eval.js --provider=claude-cli --label=opus-4.7     # 실제 Claude CLI
+//   node scripts/ai-eval.js --provider=mock --task=T01                 # 단일 task
+//   node scripts/ai-eval.js --provider=claude-cli --solutions-out=./ai-solutions/  # 코드도 저장
+//
+// Provider:
+//   - mock: deterministic 가짜 응답 (인프라 검증, API key 불필요)
+//   - claude-cli: `claude --bare -p` subprocess 호출 (Claude Code 환경)
+//   - api: ANTHROPIC_API_KEY 사용 (미구현, 추후)
+
+const fs = require("fs");
+const path = require("path");
+const { spawnSync } = require("child_process");
+
+const REPO = path.resolve(__dirname, "..");
+const TASKS_DIR = path.join(REPO, "benchmarks/fl-bench/tasks");
+const RESULTS_DIR = path.join(REPO, "benchmarks/fl-bench/results");
+const SELF_VERIFY = path.join(REPO, "scripts/ai-self-verify.js");
+const SYSTEM_PROMPT_PATH = path.join(REPO, "docs/AI_SYSTEM_PROMPT_MINI.md");
+
+const args = process.argv.slice(2);
+const PROVIDER = args.find((a) => a.startsWith("--provider="))?.split("=")[1] ?? "mock";
+const TASK_FILTER = args.find((a) => a.startsWith("--task="))?.split("=")[1] ?? null;
+const LABEL = args.find((a) => a.startsWith("--label="))?.split("=")[1] ?? PROVIDER;
+const SOLUTIONS_OUT = args.find((a) => a.startsWith("--solutions-out="))?.split("=")[1] ?? null;
+const VERBOSE = args.includes("--verbose");
+
+// ─────────────────────────────────────────────────────────────
+// Task 로드
+// ─────────────────────────────────────────────────────────────
+
+function loadTasks() {
+  const files = fs.readdirSync(TASKS_DIR).filter(f => f.endsWith(".json")).sort();
+  const tasks = files.map(f => JSON.parse(fs.readFileSync(path.join(TASKS_DIR, f), "utf-8")));
+  return TASK_FILTER ? tasks.filter(t => t.id.includes(TASK_FILTER)) : tasks;
+}
+
+function loadSystemPrompt() {
+  if (!fs.existsSync(SYSTEM_PROMPT_PATH)) return "";
+  return fs.readFileSync(SYSTEM_PROMPT_PATH, "utf-8");
+}
+
+// ─────────────────────────────────────────────────────────────
+// Provider — AI 응답을 받는 추상화
+// ─────────────────────────────────────────────────────────────
+
+const providers = {
+  // Mock: deterministic 응답 (reference_solution 그대로 반환)
+  // → 인프라 정상 동작 확인용. 100% PASS 기대.
+  mock: {
+    name: "mock",
+    async ask(systemPrompt, userPrompt, task) {
+      // task의 reference_solution을 markdown code block으로 wrapping
+      return "```fl\n" + task.reference_solution + "\n```";
+    },
+  },
+
+  // Claude CLI: Claude Code 환경에서 `claude -p` subprocess 호출
+  // --bare는 ANTHROPIC_API_KEY strict 요구 → 제거 (현재 OAuth 세션 사용)
+  "claude-cli": {
+    name: "claude-cli",
+    async ask(systemPrompt, userPrompt, task) {
+      // -p (--print): non-interactive, 응답만
+      // --append-system-prompt로 FreeLang 시스템 프롬프트 주입
+      // --no-session-persistence: 세션 저장 안 함 (병렬 평가 시 오염 방지)
+      // --max-budget-usd 1.0: 안전망 (실수로 50개 다 돌릴 때)
+      // --model 옵션 지원 (sonnet, haiku, opus, 또는 full model name)
+      const modelArg = process.argv.find((a) => a.startsWith("--model="))?.split("=")[1];
+      const args = [
+        "-p",
+        "--no-session-persistence",
+        "--append-system-prompt", systemPrompt,
+      ];
+      if (modelArg) args.push("--model", modelArg);
+      args.push("--", userPrompt);
+      const r = spawnSync("claude", args, {
+        encoding: "utf-8",
+        timeout: 90000,
+        maxBuffer: 10 * 1024 * 1024,
+      });
+      if (r.status !== 0) {
+        throw new Error(`claude CLI exit ${r.status}: ${(r.stderr || "").slice(0, 300)}`);
+      }
+      return r.stdout || "";
+    },
+  },
+};
+
+function getProvider(name) {
+  if (!providers[name]) {
+    console.error(`알 수 없는 provider: ${name}. 사용 가능: ${Object.keys(providers).join(", ")}`);
+    process.exit(2);
+  }
+  return providers[name];
+}
+
+// ─────────────────────────────────────────────────────────────
+// AI 응답에서 .fl 코드 추출
+// ─────────────────────────────────────────────────────────────
+
+function extractFLCode(response) {
+  if (!response) return null;
+  // 1) ```fl ... ``` 블록 (가장 명확) — 모든 매칭 수집해서 가장 큰 것 선택
+  const flBlocks = [...response.matchAll(/```(?:fl|freelang|lisp|clojure|scheme)?\s*\n?([\s\S]*?)```/gi)];
+  if (flBlocks.length > 0) {
+    // 가장 긴 코드 블록 선택 (educational 응답에서 마지막 정답이 보통 가장 자세함)
+    const best = flBlocks.reduce((a, b) => (b[1].length > a[1].length ? b : a));
+    return best[1].trim();
+  }
+  // 2) ``` ... ``` (언어 미지정, 같은 전략)
+  const anyBlocks = [...response.matchAll(/```\s*\n?([\s\S]*?)```/g)];
+  if (anyBlocks.length > 0) {
+    const best = anyBlocks.reduce((a, b) => (b[1].length > a[1].length ? b : a));
+    return best[1].trim();
+  }
+  // 3) 코드 블록 없으면 (...)로 시작하는 줄들 모음 — heuristic
+  const lines = response.split("\n").filter(l => l.trim().startsWith("(") || l.trim().startsWith("[FUNC"));
+  if (lines.length > 0) return lines.join("\n");
+  return null;
+}
+
+// ─────────────────────────────────────────────────────────────
+// 코드 실행 + 검증 (ai-self-verify 재사용)
+// ─────────────────────────────────────────────────────────────
+
+function runWithVerify(src) {
+  const r = spawnSync("node", [SELF_VERIFY, "--stdin", "--json"], {
+    input: src,
+    encoding: "utf-8",
+    timeout: 60000,
+    maxBuffer: 5 * 1024 * 1024,
+  });
+  try { return JSON.parse(r.stdout || "{}"); }
+  catch { return { status: "error", parseError: true, raw: r.stdout?.slice(0, 500) }; }
+}
+
+function validate(stdout, validation) {
+  const out = (stdout || "").trim();
+  switch (validation?.type) {
+    case "stdout_match": return out === validation.expected.trim();
+    case "stdout_contains": return out.includes(validation.expected);
+    case "stdout_regex": return new RegExp(validation.expected, "s").test(out);
+    default: return false;
+  }
+}
+
+// ─────────────────────────────────────────────────────────────
+// 메인
+// ─────────────────────────────────────────────────────────────
+
+async function main() {
+  const tasks = loadTasks();
+  if (tasks.length === 0) { console.error("❌ task 없음"); process.exit(2); }
+
+  const systemPrompt = loadSystemPrompt();
+  if (!systemPrompt) console.warn("⚠️  AI_SYSTEM_PROMPT_MINI.md 없음 — empty system prompt");
+
+  const provider = getProvider(PROVIDER);
+
+  console.log(`\n🤖 AI 평가 시작`);
+  console.log(`   provider: ${provider.name}`);
+  console.log(`   label:    ${LABEL}`);
+  console.log(`   tasks:    ${tasks.length}개`);
+  console.log(`   sys prompt: ${systemPrompt.length} chars\n`);
+
+  if (SOLUTIONS_OUT) fs.mkdirSync(SOLUTIONS_OUT, { recursive: true });
+
+  const results = [];
+  const t0 = Date.now();
+
+  // Y2 (2026-04-25): --retry=N 자가복구 — fail 시 ErrorCode/힌트로 AI 재시도
+  const RETRY_MAX = Number(process.argv.find(a => a.startsWith("--retry="))?.split("=")[1] ?? "0");
+
+  for (let idx = 0; idx < tasks.length; idx++) {
+    const task = tasks[idx];
+    const tStart = Date.now();
+    let response = null, code = null, verifyResult = null, pass = false, error = null;
+    let firstPass = false; // 1차 PASS 여부 (재시도 없이)
+    let retries = 0;
+
+    try {
+      response = await provider.ask(systemPrompt, task.prompt, task);
+      code = extractFLCode(response);
+      if (!code) {
+        error = "응답에서 .fl 코드 추출 실패";
+      } else {
+        verifyResult = runWithVerify(code);
+        if (verifyResult.status === "success") {
+          pass = validate(verifyResult.stdout, task.validation);
+          firstPass = pass;
+        } else {
+          error = "실행 실패: " + (verifyResult.errorContext?.code ?? "unknown");
+        }
+      }
+
+      // Y2: 자가복구 retry
+      while (!pass && retries < RETRY_MAX) {
+        retries++;
+        // 재요청 prompt: 원본 + 실패 정보 + ErrorCode/힌트
+        const errCode = verifyResult?.errorContext?.code ?? "FAIL";
+        const errMsg = verifyResult?.feedback?.hint ?? error ?? "이전 답이 task validation 통과 못함";
+        const stdout = verifyResult?.stdout ?? "";
+        const retryPrompt = task.prompt + "\n\n=== 이전 시도 실패 ===\n" +
+          "코드:\n```fl\n" + (code ?? "") + "\n```\n" +
+          "에러 코드: " + errCode + "\n" +
+          "힌트: " + errMsg + "\n" +
+          (stdout ? "stdout: " + stdout.slice(0, 200) + "\n" : "") +
+          "다시 시도하세요. 한 가지 정답만, 마크다운 1블록.";
+        try {
+          response = await provider.ask(systemPrompt, retryPrompt, task);
+          code = extractFLCode(response) ?? code;
+          verifyResult = runWithVerify(code);
+          if (verifyResult.status === "success") {
+            pass = validate(verifyResult.stdout, task.validation);
+          }
+        } catch (e) {
+          error = e.message?.slice(0, 200);
+          break;
+        }
+      }
+
+      // 최종 코드 저장 (성공 또는 마지막 시도)
+      if (SOLUTIONS_OUT && code) {
+        fs.writeFileSync(path.join(SOLUTIONS_OUT, task.id + ".fl"), code, "utf-8");
+      }
+    } catch (e) {
+      error = e.message?.slice(0, 200);
+    }
+
+    const elapsed = Date.now() - tStart;
+    const icon = pass ? "✅" : "❌";
+    const retryTag = retries > 0 ? ` (retry x${retries}${firstPass ? "" : pass ? " 자가복구" : ""})` : "";
+    const label = `[${idx + 1}/${tasks.length}]`;
+    console.log(`  ${icon} ${label} ${task.id} (${task.difficulty}) — ${pass ? "PASS" : "FAIL"}${retryTag} ${elapsed}ms`);
+    if (!pass && VERBOSE) {
+      if (error) console.log(`     err: ${error}`);
+      else if (verifyResult?.stdout) console.log(`     stdout: ${verifyResult.stdout.slice(0, 100)}`);
+    }
+
+    results.push({
+      id: task.id,
+      category: task.category,
+      difficulty: task.difficulty,
+      pass,
+      first_pass: firstPass,    // Y2: 1차 PASS (재시도 없이)
+      retries,                  // Y2: 재시도 횟수
+      error,
+      elapsed_ms: elapsed,
+      stdout: verifyResult?.stdout?.slice(-200),
+      response_length: response?.length ?? 0,
+    });
+  }
+
+  const total = results.length;
+  const passed = results.filter(r => r.pass).length;
+  const firstPassed = results.filter(r => r.first_pass).length;  // Y2
+  const recovered = results.filter(r => r.pass && !r.first_pass).length;  // Y2: 자가복구
+  const score = total > 0 ? ((passed / total) * 100).toFixed(1) : "0.0";
+  const firstScore = total > 0 ? ((firstPassed / total) * 100).toFixed(1) : "0.0";
+  const totalElapsed = ((Date.now() - t0) / 1000).toFixed(1);
+
+  // 카테고리/난이도별 분석
+  const byCategory = {};
+  const byDifficulty = {};
+  for (const r of results) {
+    byCategory[r.category] = byCategory[r.category] || { pass: 0, total: 0 };
+    byCategory[r.category].total++;
+    if (r.pass) byCategory[r.category].pass++;
+    byDifficulty[r.difficulty] = byDifficulty[r.difficulty] || { pass: 0, total: 0 };
+    byDifficulty[r.difficulty].total++;
+    if (r.pass) byDifficulty[r.difficulty].pass++;
+  }
+
+  console.log(`\n📊 결과: ${passed}/${total} PASS (${score}%) — ${totalElapsed}s`);
+  if (RETRY_MAX > 0) {
+    console.log(`   1차 PASS: ${firstPassed}/${total} (${firstScore}%) — 재시도 없이`);
+    console.log(`   자가복구: ${recovered}/${total} (${total > 0 ? ((recovered/total)*100).toFixed(1) : "0.0"}%) — fail → ErrorCode/힌트 → AI 재시도 후 PASS`);
+  }
+  console.log(`\n  카테고리별:`);
+  for (const [cat, s] of Object.entries(byCategory).sort()) {
+    console.log(`    ${cat.padEnd(20)} ${s.pass}/${s.total} (${(s.pass/s.total*100).toFixed(0)}%)`);
+  }
+  console.log(`\n  난이도별:`);
+  for (const [d, s] of Object.entries(byDifficulty).sort()) {
+    console.log(`    ${d.padEnd(8)} ${s.pass}/${s.total} (${(s.pass/s.total*100).toFixed(0)}%)`);
+  }
+
+  // 결과 저장
+  fs.mkdirSync(RESULTS_DIR, { recursive: true });
+  const ts = new Date().toISOString().replace(/[:.]/g, "-");
+  const outPath = path.join(RESULTS_DIR, `ai-eval-${LABEL}-${ts}.json`);
+  fs.writeFileSync(outPath, JSON.stringify({
+    label: LABEL,
+    provider: provider.name,
+    timestamp: new Date().toISOString(),
+    elapsed_seconds: parseFloat(totalElapsed),
+    total, passed, score: parseFloat(score),
+    by_category: byCategory,
+    by_difficulty: byDifficulty,
+    results,
+  }, null, 2), "utf-8");
+  console.log(`\n   결과: ${path.relative(REPO, outPath)}`);
+  if (SOLUTIONS_OUT) console.log(`   solutions: ${path.relative(REPO, SOLUTIONS_OUT)}/`);
+}
+
+main().catch(e => { console.error("❌ fatal:", e.message); process.exit(1); });

package/scripts/ai-self-verify.js

@@ -0,0 +1,200 @@
+#!/usr/bin/env node
+// scripts/ai-self-verify.js — AI 자가 검증 루프
+//
+// 워크플로우:
+//   1) FL 코드 받음 (file or stdin)
+//   2) ai-validate.js 진단 + 자동 수정 (loop iteration N회)
+//   3) bootstrap.js 실행 시도
+//   4) 성공: 수정된 코드 + 적용된 fix 목록 출력
+//   5) 실패: AI에게 다시 줄 수 있는 구조화 컨텍스트 출력 (ErrorCode + 힌트 + 호출 체인)
+//
+// 사용:
+//   node scripts/ai-self-verify.js my.fl
+//   echo "..." | node scripts/ai-self-verify.js --stdin
+//   node scripts/ai-self-verify.js my.fl --max-iter=3 --strict
+//   node scripts/ai-self-verify.js my.fl --json   # 머신 판독 가능 결과
+//
+// 활용 시나리오:
+//   AI 에이전트 파이프라인에서:
+//     a. AI가 .fl 생성
+//     b. self-verify로 자동 정리 + 실행
+//     c. 결과를 다시 AI에 피드백 (성공/실패 + 컨텍스트)
+//   → AI 코드 신뢰도 폭증
+
+const fs = require("fs");
+const path = require("path");
+const { execSync, spawnSync } = require("child_process");
+
+const REPO = path.resolve(__dirname, "..");
+const VALIDATE = path.join(__dirname, "ai-validate.js");
+const BOOTSTRAP = path.join(REPO, "bootstrap.js");
+
+const args = process.argv.slice(2);
+const STDIN = args.includes("--stdin");
+const STRICT = args.includes("--strict");
+const JSON_OUT = args.includes("--json");
+const MAX_ITER = Number(args.find((a) => a.startsWith("--max-iter="))?.split("=")[1] ?? "3");
+const inputFile = args.find((a) => !a.startsWith("--"));
+
+// ─────────────────────────────────────────────────────────────
+// 헬퍼
+// ─────────────────────────────────────────────────────────────
+
+function readSource() {
+  if (STDIN) return fs.readFileSync(0, "utf-8");
+  if (!inputFile) {
+    console.error("사용: ai-self-verify.js <file.fl> [--max-iter=N] [--strict] [--json]");
+    process.exit(2);
+  }
+  if (!fs.existsSync(inputFile)) {
+    console.error(`파일 없음: ${inputFile}`);
+    process.exit(2);
+  }
+  return fs.readFileSync(inputFile, "utf-8");
+}
+
+function runValidateFix(src) {
+  // ai-validate.js --fix --stdin → stdout (수정된 코드)
+  const r = spawnSync("node", [VALIDATE, "--stdin", "--fix", "--quiet"], {
+    input: src,
+    encoding: "utf-8",
+    timeout: 30000,
+  });
+  return { fixed: r.stdout || src, exitCode: r.status };
+}
+
+function runBootstrap(src, useStrict = false) {
+  const tmpPath = path.join(REPO, ".tmp-self-verify-" + process.pid + ".fl");
+  fs.writeFileSync(tmpPath, src, "utf-8");
+  try {
+    const env = { ...process.env };
+    if (useStrict) env.FL_STRICT = "1";
+    // bootstrap.js run X.fl — 한 번에 컴파일+실행
+    const out = execSync(
+      `node --stack-size=8000 ${BOOTSTRAP} run ${tmpPath}`,
+      { encoding: "utf-8", timeout: 30000, env, stdio: ["pipe", "pipe", "pipe"] }
+    );
+    return { ok: true, stdout: out };
+  } catch (e) {
+    return {
+      ok: false,
+      errMsg: ((e.stdout || "") + "\n" + (e.stderr || "") + "\n" + (e.message || "")).toString(),
+    };
+  } finally {
+    if (fs.existsSync(tmpPath)) fs.unlinkSync(tmpPath);
+  }
+}
+
+function extractContext(errMsg) {
+  const ctx = {};
+  // ErrorCode (Phase A) — [E_xxx] prefix 또는 일반 패턴
+  const codeMatch = errMsg.match(/\[(E_[A-Z_]+)\]/) || errMsg.match(/\b(E_[A-Z_]+)\b/);
+  if (codeMatch) ctx.code = codeMatch[1];
+  // 라인
+  const lineMatch = errMsg.match(/line (\d+)/);
+  if (lineMatch) ctx.line = Number(lineMatch[1]);
+  // 함수명 (FunctionNotFound 패턴) — 코드가 없으면 자동으로 E_FN_NOT_FOUND 부여
+  const fnMatch = errMsg.match(/Function not found:\s*(\S+)/);
+  if (fnMatch) {
+    ctx.missingFn = fnMatch[1];
+    if (!ctx.code) ctx.code = "E_FN_NOT_FOUND";
+  }
+  // 한국어 힌트
+  const hintMatch = errMsg.match(/혹시 '([^']+)'/);
+  if (hintMatch) ctx.suggestion = hintMatch[1];
+  // 호출 체인 (Phase E)
+  const chainMatch = errMsg.match(/최근 호출 체인:\s*([\s\S]+?)(\n\n|$)/);
+  if (chainMatch) ctx.callChain = chainMatch[1].trim().split("\n").slice(0, 5);
+  return ctx;
+}
+
+// ─────────────────────────────────────────────────────────────
+// 메인 루프
+// ─────────────────────────────────────────────────────────────
+
+function main() {
+  let src = readSource();
+  const original = src;
+  const history = [];
+
+  for (let iter = 1; iter <= MAX_ITER; iter++) {
+    // Step 1: validate + fix
+    const { fixed } = runValidateFix(src);
+    const fixApplied = fixed !== src;
+    src = fixed;
+
+    // Step 2: bootstrap 실행
+    const result = runBootstrap(src, STRICT);
+
+    history.push({
+      iter,
+      fixApplied,
+      runOk: result.ok,
+      errSnippet: result.ok ? null : (result.errMsg || "").slice(0, 200),
+    });
+
+    if (result.ok) {
+      const out = {
+        status: "success",
+        iterations: iter,
+        fixed: fixed !== original,
+        history,
+        finalCode: src,
+        stdout: (result.stdout || "").slice(-500),
+      };
+      if (JSON_OUT) {
+        process.stdout.write(JSON.stringify(out, null, 2));
+      } else {
+        console.log(`✅ 성공 (iter ${iter})`);
+        if (fixed !== original) console.log(`   자동 수정 적용됨`);
+        console.log(`   stdout (마지막 500자):\n${out.stdout}`);
+      }
+      return;
+    }
+
+    // 에러 있으면 다음 iteration 시도 (auto fix가 더 적용될 수 있음)
+    if (!fixApplied) {
+      // 더 이상 fix할 게 없음 → 종료
+      break;
+    }
+  }
+
+  // 모든 iteration 실패 → AI 피드백용 구조화 보고
+  const lastErr = history[history.length - 1]?.errSnippet ?? "";
+  const ctx = extractContext(lastErr);
+
+  const out = {
+    status: "failure",
+    iterations: history.length,
+    history,
+    errorContext: ctx,
+    feedback: {
+      // AI 다시 호출 시 시스템 프롬프트에 추가할 내용
+      hint: ctx.code
+        ? `에러 코드: ${ctx.code}. ` +
+          (ctx.missingFn ? `미정의 함수: ${ctx.missingFn}. ` : "") +
+          (ctx.suggestion ? `대안: ${ctx.suggestion}. ` : "") +
+          `(use NAME) import 누락 또는 typo 확인.`
+        : "에러 컨텍스트 추출 실패. 원본 메시지 확인 필요.",
+      lastError: lastErr,
+    },
+    finalCode: src,
+  };
+
+  if (JSON_OUT) {
+    process.stdout.write(JSON.stringify(out, null, 2));
+  } else {
+    console.log(`❌ 실패 (iter ${history.length}/${MAX_ITER})`);
+    console.log(`   에러 코드: ${ctx.code ?? "없음"}`);
+    if (ctx.missingFn) console.log(`   미정의 함수: ${ctx.missingFn}`);
+    if (ctx.suggestion) console.log(`   대안 제안: ${ctx.suggestion}`);
+    if (ctx.callChain) {
+      console.log(`   호출 체인:`);
+      for (const c of ctx.callChain) console.log(`     ${c}`);
+    }
+    console.log(`\n💡 AI 재요청 힌트:\n   ${out.feedback.hint}`);
+  }
+  process.exit(1);
+}
+
+main();