leerness 1.9.18 → 1.9.19

package/CHANGELOG.md

@@ -1,5 +1,25 @@
 # Changelog
 
+## 1.9.19 — 2026-05-14
+
+**1.9.18 후속 다듬기 — verify-claim에 동적 실행, --strict-elements 정확도 강화**.
+
+1.9.18을 실전 sub-agent 검수에 쓰면서 발견한 두 가지 가공할 점을 마저 보완.
+
+### Added
+
+- **`leerness verify-claim --run-tests`**: 정적 점검(파일 존재 + 테스트 카운트)에 더해 `npm test`를 동적으로 실행. stdout에서 `X/Y passed` 패턴을 파싱해 evidence 주장과 비교. 주장이 `5/5 통과`인데 실제 `3/5`면 exit 1. `--json`에 `run.parsed`, `verdict.declaredPassMatches` 포함.
+- **`--strict-elements` 출력 강화**: 같은 함수명이라도 (a) 같은 파일이면 `⚠ 진짜 중복 가능`, (b) 다른 파일이면 `ℹ 의도 분리 가능` (예: 모듈 함수 vs CLI 명령)으로 분류. 1.9.18의 평면 출력보다 false positive 식별이 쉬워짐.
+
+### Why
+- `verify-claim`만으로는 "파일이 있고 check() 호출이 많다" 정도까지만 보장. `--run-tests`가 추가되면 메인 에이전트가 sub-agent의 evidence를 **한 번의 명령으로 정적+동적 모두 검증**.
+- 1.9.18 `--strict-elements`가 city-insights의 `MemoStats`/`StatsCli`(둘 다 `stats()` 함수, 다른 파일) 같은 의도된 분리를 잠재 중복으로 평면 표시 → 사용자가 직접 판별해야 했음. 1.9.19에선 정보를 더 줘서 즉시 분류 가능.
+
+### Migration
+```bash
+npx leerness@latest update . --yes
+```
+
 ## 1.9.18 — 2026-05-14
 
 **오케스트레이션 검수 패키지 — `--since` 시간 필터 + `--strict-elements` 잠재 중복 + `depends-on` 그래프 + `verify-claim` 자동 검증**.

package/bin/harness.js

@@ -6,7 +6,7 @@ const path = require('path');
 const cp = require('child_process');
 const readline = require('readline');
 
-const VERSION = '1.9.18';
+const VERSION = '1.9.19';
 const MARK = '<!-- leerness:managed -->';
 const README_START = '<!-- leerness:project-readme:start -->';
 const README_END = '<!-- leerness:project-readme:end -->';
@@ -1445,18 +1445,25 @@ function reuseMapCmd(root) {
     log(`  💡 권장: 가장 안정적인 1개 구현을 추출해 ${dupes.length}건 중복을 공통 모듈로 통합 검토`);
   }
 
-  // 1.9.18: --strict-elements 결과
+  // 1.9.18→1.9.19: --strict-elements 결과 (false-positive 줄이기 위해 same-file vs diff-file 구분)
   if (strictElements) {
     log('');
     log(`## 🔍 잠재 중복 (--strict-elements: 함수명 동일 / capability 이름 다름)`);
     if (!funcDupes.length) log('  (없음) — 동일 함수명을 다른 capability로 등록한 경우 없음');
     else {
+      let exactMatches = 0; // 같은 파일 + 같은 함수 (진짜 중복 가능성 ↑)
+      let intentionalSplits = 0; // 같은 함수 / 다른 파일 (의도 분리 가능성 ↑)
       for (const [fn, occ] of funcDupes) {
-        log(`  - 함수 "${fn}()" — ${occ.length}건 (이름 다름)`);
+        const files = new Set(occ.map(o => o.entry.filePath));
+        const sameFile = files.size === 1;
+        const tag = sameFile ? '⚠ 진짜 중복 가능' : 'ℹ 의도 분리 가능';
+        if (sameFile) exactMatches++; else intentionalSplits++;
+        log(`  - 함수 "${fn}()" — ${occ.length}건  ${tag}`);
         for (const o of occ) log(`    · ${o.project}/${o.entry.capability}: ${o.entry.element}`);
       }
       log('');
-      log(`  💡 같은 함수를 다른 capability 이름으로 부르고 있을 가능성. 명명 통일 검토.`);
+      if (exactMatches > 0) log(`  ⚠ 같은 파일 + 같은 함수: ${exactMatches}건 — 명명 통일 또는 실제 통합 검토`);
+      if (intentionalSplits > 0) log(`  ℹ 다른 파일 + 같은 함수: ${intentionalSplits}건 — 의도된 분리(예: 모듈 함수 vs CLI 명령)일 가능성. 보고용`);
     }
   }
 
@@ -1508,8 +1515,35 @@ function verifyClaimCmd(root, taskId) {
     }
   }
 
+  // 1.9.19: --run-tests — npm test 자동 실행 + pass/fail 파싱
+  let runResult = null;
+  if (has('--run-tests')) {
+    const pkgPath = path.join(root, 'package.json');
+    if (!exists(pkgPath)) {
+      runResult = { skipped: true, reason: 'package.json 없음' };
+    } else {
+      let pkg = null;
+      try { pkg = JSON.parse(read(pkgPath)); } catch {}
+      const hasTestScript = pkg && pkg.scripts && pkg.scripts.test;
+      if (!hasTestScript) {
+        runResult = { skipped: true, reason: 'scripts.test 없음' };
+      } else {
+        const r = cp.spawnSync('npm test', [], { cwd: root, encoding: 'utf8', shell: true, timeout: 5 * 60 * 1000 });
+        const out = (r.stdout || '') + (r.stderr || '');
+        // "54/54 passed" 또는 "54/54 통과" 등을 파싱
+        const m = out.match(/(\d+)\s*\/\s*(\d+)\s*(?:passed|통과|pass)/);
+        runResult = {
+          skipped: false,
+          exitCode: r.status,
+          parsed: m ? { num: parseInt(m[1], 10), denom: parseInt(m[2], 10) } : null,
+          allPassed: r.status === 0 && (!m || (m && m[1] === m[2]))
+        };
+      }
+    }
+  }
+
   if (has('--json')) {
-    log(JSON.stringify({
+    const out = {
       project: path.basename(root),
       taskId, row,
       declared: { files: files.length, pass: declaredPass, testCount: declaredTestCount },
@@ -1518,7 +1552,18 @@ function verifyClaimCmd(root, taskId) {
         filesAllExist: fileChecks.every(c => c.exists),
         testCountMatch: declaredTestCount == null || actualTestCount == null || actualTestCount >= declaredTestCount
       }
-    }, null, 2));
+    };
+    if (runResult) {
+      out.run = runResult;
+      out.verdict.runTests = !!runResult.allPassed;
+      // declared pass와 실제 비교
+      if (declaredPass && runResult.parsed) {
+        out.verdict.declaredPassMatches = (runResult.parsed.num === declaredPass.num && runResult.parsed.denom === declaredPass.denom);
+      }
+    }
+    log(JSON.stringify(out, null, 2));
+    if (runResult && !runResult.skipped && !runResult.allPassed) return process.exit(1);
+    if (!out.verdict.filesAllExist || !out.verdict.testCountMatch) return process.exit(1);
     return;
   }
 
@@ -1538,19 +1583,45 @@ function verifyClaimCmd(root, taskId) {
   if (declaredTestCount) log(`  주장 (개수): ${declaredTestCount}개`);
   if (actualTestCount != null) log(`  실측: tests/test.js에 ${actualTestCount}개 check/test 호출`);
   else log(`  실측: 테스트 파일 못 찾음 (tests/test.js 등)`);
+
+  // 1.9.19: --run-tests 결과
+  let runTestsOk = true;
+  let declaredPassMatchesActual = true;
+  if (runResult) {
+    log('');
+    log(`## 🚦 npm test 실행 (--run-tests)`);
+    if (runResult.skipped) {
+      log(`  ⚠ skipped: ${runResult.reason}`);
+    } else {
+      log(`  exit: ${runResult.exitCode}`);
+      if (runResult.parsed) log(`  실행 결과: ${runResult.parsed.num}/${runResult.parsed.denom} ${runResult.parsed.num === runResult.parsed.denom ? 'passed' : 'partial'}`);
+      else log(`  (pass/fail 비율을 stdout에서 파싱 못함)`);
+      runTestsOk = runResult.allPassed;
+      if (declaredPass && runResult.parsed) {
+        declaredPassMatchesActual = (runResult.parsed.num === declaredPass.num && runResult.parsed.denom === declaredPass.denom);
+        log(`  주장 vs 실행: ${declaredPassMatchesActual ? '✓ 일치' : `⚠ 불일치 (주장 ${declaredPass.num}/${declaredPass.denom} ≠ 실행 ${runResult.parsed.num}/${runResult.parsed.denom})`}`);
+      }
+    }
+  }
+
   log('');
   const allFilesOk = fileChecks.every(c => c.exists);
   const testOk = declaredTestCount == null || actualTestCount == null || actualTestCount >= declaredTestCount;
   log(`## 종합`);
   log(`  - 파일 모두 존재: ${allFilesOk ? '✓ pass' : '✗ FAIL (일부 누락)'}`);
   log(`  - 테스트 카운트: ${testOk ? '✓ pass (실측 ≥ 주장)' : '⚠ 주장보다 적음'}`);
-  if (!allFilesOk || !testOk) {
+  if (runResult && !runResult.skipped) {
+    log(`  - npm test 실행: ${runTestsOk ? '✓ all passed' : '✗ FAIL'}`);
+    if (declaredPass) log(`  - 주장과 실행 결과 일치: ${declaredPassMatchesActual ? '✓ pass' : '⚠ 다름'}`);
+  }
+  const overallFail = !allFilesOk || !testOk || (runResult && !runResult.skipped && !runTestsOk);
+  if (overallFail) {
     log('');
     log(`  ⚠ evidence 주장과 실제가 일치하지 않음 — task 상태 재검토 권장`);
     return process.exit(1);
   }
   log('');
-  log(`  ✓ evidence 주장이 실제 파일·테스트와 일치`);
+  log(`  ✓ evidence 주장이 실제 파일·테스트${runResult && !runResult.skipped ? '·실행 결과' : ''}와 일치`);
 }
 
 function sessionClose(root) {
@@ -3548,7 +3619,7 @@ function viewworkInstall(root) {
 }
 
 function help() {
-  log(`Leerness v${VERSION}\n\nUsage:\n  leerness init [path] [--language auto|ko|en] [--skills recommended|all|a,b]\n  leerness migrate [path] [--dry-run] [--force]\n  leerness update [path] [--check|--yes|--force|--from <tarball>]\n  leerness auto-update install [path]\n  leerness status [path]\n  leerness verify [path]\n  leerness debug [path]\n  leerness audit [path]\n  leerness check [path]\n  leerness scan secrets [path]\n  leerness encoding check [path]\n  leerness lazy detect [path]\n  leerness memory search "query" [--limit 5]\n  leerness handoff [path] [--all-apps] [--include p1,p2] [--since 24h|3d] [--json]   # 1.9.17/18 워크스페이스\n  leerness reuse-map [path] [--all-apps] [--include p1,p2] [--strict-elements] [--json] # 1.9.18 중복/잠재중복/depends-on\n  leerness verify-claim <T-ID> [--path .] [--json]    # 1.9.18 progress evidence 자동 검증\n  leerness session close [path]\n  leerness viewwork install [path]\n  leerness viewwork emit [path] [--action a] [--note n] [--agent x] [--tool t]\n  leerness route <task-type>\n  leerness self check [path]\n  leerness readme sync [path]\n  leerness consistency check [path]\n  leerness consistency merge-design-guide [path]\n  leerness plan show|init|add|drop|progress|sync [args]\n  leerness task list|add|update|drop|fix-evidence|relink [args]\n  leerness skill list|info <name>\n  leerness skill learn <id> --doc <url> --command "..." --capability "..." [--note ...]\n  leerness skill use <id> [--note ...]\n  leerness skill optimize <id> --before "..." --after "..." [--note ...]\n  leerness skill remove <id>\n  leerness skill consolidate [--threshold 0.3]\n  leerness gate [path]                       # verify+audit+scan+encoding+lazy
+  log(`Leerness v${VERSION}\n\nUsage:\n  leerness init [path] [--language auto|ko|en] [--skills recommended|all|a,b]\n  leerness migrate [path] [--dry-run] [--force]\n  leerness update [path] [--check|--yes|--force|--from <tarball>]\n  leerness auto-update install [path]\n  leerness status [path]\n  leerness verify [path]\n  leerness debug [path]\n  leerness audit [path]\n  leerness check [path]\n  leerness scan secrets [path]\n  leerness encoding check [path]\n  leerness lazy detect [path]\n  leerness memory search "query" [--limit 5]\n  leerness handoff [path] [--all-apps] [--include p1,p2] [--since 24h|3d] [--json]   # 1.9.17/18 워크스페이스\n  leerness reuse-map [path] [--all-apps] [--include p1,p2] [--strict-elements] [--json] # 1.9.18 중복/잠재중복/depends-on\n  leerness verify-claim <T-ID> [--path .] [--run-tests] [--json]   # 1.9.18/19 evidence 자동 검증 (+npm test 동적)\n  leerness session close [path]\n  leerness viewwork install [path]\n  leerness viewwork emit [path] [--action a] [--note n] [--agent x] [--tool t]\n  leerness route <task-type>\n  leerness self check [path]\n  leerness readme sync [path]\n  leerness consistency check [path]\n  leerness consistency merge-design-guide [path]\n  leerness plan show|init|add|drop|progress|sync [args]\n  leerness task list|add|update|drop|fix-evidence|relink [args]\n  leerness skill list|info <name>\n  leerness skill learn <id> --doc <url> --command "..." --capability "..." [--note ...]\n  leerness skill use <id> [--note ...]\n  leerness skill optimize <id> --before "..." --after "..." [--note ...]\n  leerness skill remove <id>\n  leerness skill consolidate [--threshold 0.3]\n  leerness gate [path]                       # verify+audit+scan+encoding+lazy
   leerness retro [path] [--days 7] [--all-apps] [--include p1,p2] [--json]  # 회고 (1.9.13~1.9.16)
   leerness insights [path] [--all-apps] [--include p1,p2] [--json]         # 누적 통계 (1.9.13~1.9.16)
   leerness brainstorm "<주제>" [--all-apps] [--include p1,p2] [--json]    # 브레인스토밍 (1.9.13~1.9.16)

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "leerness",
-  "version": "1.9.18",
+  "version": "1.9.19",
   "description": "Leerness: 비파괴 마이그레이션, 자동 버전 감지·업데이트, 계획/진행/핸드오프 자동화, 게으름·시크릿·인코딩 자동 가드, Claude Code 슬래시 통합을 갖춘 한국어 우선 AI 개발 하네스.",
   "keywords": [
     "leerness",

package/scripts/e2e.js

@@ -467,6 +467,82 @@ total++;
   if (!ok) { failed++; console.log(r.stdout.slice(0, 400)); }
 }
 
+// 1.9.19 회귀: verify-claim --run-tests + --strict-elements same-file 구분
+total++;
+{
+  // verify-claim --run-tests: npm test 자동 실행 + 주장 vs 실행 결과 대조
+  const tmpR = fs.mkdtempSync(path.join(os.tmpdir(), 'leerness-rt-'));
+  cp.spawnSync(process.execPath, [CLI, 'init', tmpR, '--yes', '--language', 'ko', '--skills', 'recommended'], { stdio: 'ignore', timeout: 30000 });
+  // 최소 npm 프로젝트 + 단순 tests/test.js (5/5 pass)
+  fs.writeFileSync(path.join(tmpR, 'package.json'), JSON.stringify({
+    name: 'rt-fixture', version: '0.0.1', scripts: { test: 'node tests/test.js' }
+  }));
+  fs.mkdirSync(path.join(tmpR, 'src'), { recursive: true });
+  fs.mkdirSync(path.join(tmpR, 'tests'), { recursive: true });
+  fs.writeFileSync(path.join(tmpR, 'src/mod.js'), 'module.exports={};\n');
+  // 5 check 호출 + "5/5 passed" 직접 출력 (간단한 fixture)
+  fs.writeFileSync(path.join(tmpR, 'tests/test.js'),
+    "let p=0;function check(c){if(c)p++;}check(1);check(1);check(1);check(1);check(1);console.log(p+'/5 passed');if(p!==5)process.exit(1);\n");
+  fs.appendFileSync(path.join(tmpR, '.harness/progress-tracker.md'),
+    '| T-0050 | done | rt 작업 | src/mod.js + tests/test.js (5/5 통과) | next | 2026-05-14 |\n');
+  const r = cp.spawnSync(process.execPath, [CLI, 'verify-claim', 'T-0050', '--path', tmpR, '--run-tests'], { encoding: 'utf8', timeout: 60000 });
+  const ok = r.status === 0
+    && /npm test 실행 \(--run-tests\)/.test(r.stdout)
+    && /실행 결과: 5\/5 passed/.test(r.stdout)
+    && /주장 vs 실행: ✓ 일치/.test(r.stdout)
+    && /npm test 실행: ✓ all passed/.test(r.stdout);
+  console.log(ok ? '✓ B(1.9.19) verify-claim --run-tests: npm test 실행 + 주장 일치' : '✗ --run-tests 실패');
+  if (!ok) { failed++; console.log(r.stdout.slice(0, 600)); }
+}
+
+total++;
+{
+  // --run-tests 실패 케이스: 5/5 주장 vs 실제 3/5 실행 → 불일치 + exit 1
+  const tmpF = fs.mkdtempSync(path.join(os.tmpdir(), 'leerness-rtf-'));
+  cp.spawnSync(process.execPath, [CLI, 'init', tmpF, '--yes', '--language', 'ko', '--skills', 'recommended'], { stdio: 'ignore', timeout: 30000 });
+  fs.writeFileSync(path.join(tmpF, 'package.json'), JSON.stringify({ name: 'rtf', version: '0.0.1', scripts: { test: 'node tests/test.js' } }));
+  fs.mkdirSync(path.join(tmpF, 'src'), { recursive: true });
+  fs.mkdirSync(path.join(tmpF, 'tests'), { recursive: true });
+  fs.writeFileSync(path.join(tmpF, 'src/mod.js'), 'module.exports={};\n');
+  fs.writeFileSync(path.join(tmpF, 'tests/test.js'),
+    "console.log('3/5 passed'); process.exit(1);\n");
+  fs.appendFileSync(path.join(tmpF, '.harness/progress-tracker.md'),
+    '| T-0051 | done | 거짓 | src/mod.js + tests/test.js (5/5 통과) | next | 2026-05-14 |\n');
+  const r = cp.spawnSync(process.execPath, [CLI, 'verify-claim', 'T-0051', '--path', tmpF, '--run-tests'], { encoding: 'utf8', timeout: 60000 });
+  const ok = r.status !== 0
+    && /불일치/.test(r.stdout)
+    && /npm test 실행: ✗ FAIL/.test(r.stdout);
+  console.log(ok ? '✓ B(1.9.19) verify-claim --run-tests: 주장/실행 불일치 → exit≠0' : '✗ --run-tests 불일치 검증 실패');
+  if (!ok) { failed++; console.log(r.stdout.slice(0, 600)); }
+}
+
+total++;
+{
+  // --strict-elements: same-file ⚠ vs diff-file ℹ 구분
+  const tmpA = fs.mkdtempSync(path.join(os.tmpdir(), 'leerness-strict2-a-'));
+  const tmpB = fs.mkdtempSync(path.join(os.tmpdir(), 'leerness-strict2-b-'));
+  cp.spawnSync(process.execPath, [CLI, 'init', tmpA, '--yes', '--language', 'ko', '--skills', 'recommended'], { stdio: 'ignore', timeout: 30000 });
+  cp.spawnSync(process.execPath, [CLI, 'init', tmpB, '--yes', '--language', 'ko', '--skills', 'recommended'], { stdio: 'ignore', timeout: 30000 });
+  // 같은 파일 + 같은 함수 (다른 capability 이름) — 진짜 중복 가능
+  fs.appendFileSync(path.join(tmpA, '.harness/reuse-map.md'),
+    '| FormatX | src/util.js (format) | util | A |\n');
+  fs.appendFileSync(path.join(tmpB, '.harness/reuse-map.md'),
+    '| FormatY | src/util.js (format) | util | B |\n');
+  // 다른 파일 + 같은 함수 — 의도 분리 가능
+  fs.appendFileSync(path.join(tmpA, '.harness/reuse-map.md'),
+    '| Stats1 | src/memo.js (stats) | util | A |\n');
+  fs.appendFileSync(path.join(tmpB, '.harness/reuse-map.md'),
+    '| Stats2 | bin/cli.js (stats) | command | B |\n');
+  const r = cp.spawnSync(process.execPath, [CLI, 'reuse-map', '--include', `${tmpA},${tmpB}`, '--strict-elements'], { encoding: 'utf8', timeout: 15000, cwd: os.tmpdir() });
+  const ok = r.status === 0
+    && /⚠ 진짜 중복 가능/.test(r.stdout)
+    && /ℹ 의도 분리 가능/.test(r.stdout)
+    && /같은 파일 \+ 같은 함수: 1건/.test(r.stdout)
+    && /다른 파일 \+ 같은 함수: 1건/.test(r.stdout);
+  console.log(ok ? '✓ B(1.9.19) --strict-elements: same-file ⚠ vs diff-file ℹ 구분' : '✗ strict-elements 분류 실패');
+  if (!ok) { failed++; console.log(r.stdout.slice(0, 600)); }
+}
+
 // 1.9.15 회귀: brainstorm 라인번호 / --all-apps / --include
 total++;
 {