leerness 1.9.308 → 1.9.310
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +36 -0
- package/README.md +5 -5
- package/bin/harness.js +43 -22
- package/lib/mcp-tools.js +1 -1
- package/package.json +1 -1
- package/scripts/e2e.js +49 -2
package/CHANGELOG.md
CHANGED
|
@@ -1,5 +1,41 @@
|
|
|
1
1
|
# Changelog
|
|
2
2
|
|
|
3
|
+
## 1.9.310 — 2026-06-04 — UR-0046: CLI/MCP 입력 스키마 검증 (설치리뷰 3중수렴 high)
|
|
4
|
+
|
|
5
|
+
**🛡 무효한 task status / rule trigger 가 그대로 등록돼 상태·정책 신뢰성을 훼손하던 결함 수정 — 세 모델(Codex#2·Sonnet#2) 공통 지적.**
|
|
6
|
+
|
|
7
|
+
### 배경 (설치리뷰)
|
|
8
|
+
실측: `task update --status nonsense` 가 그대로 적용(health 도 정상으로 보고), `rule add --trigger not-a-trigger` 가 경고만 하고 등록. "운영 레이어의 핵심인 상태/정책 신뢰성이 깨짐"(Codex). 게다가 기존 `validTriggers` 가 **every-round 누락**(R-0001 이 실제 사용 중) — warn-and-register 라 통과됐지만 불완전.
|
|
9
|
+
|
|
10
|
+
### 구현 (UR-0046)
|
|
11
|
+
1. **`TASK_STATUSES`(11종) / `RULE_TRIGGERS`(7종, every-round 포함) 모듈 상수 + `_validateChoice` 헬퍼** — 무효값은 `fail`(exit 1) + 유효값 안내, `--force` 우회.
|
|
12
|
+
2. **task add/update + plan add: `--status` 검증** — 무효 status 거부(이전 무검증).
|
|
13
|
+
3. **rule add: `--trigger` 검증** — warn-and-register → **거부**(exit 1). every-round 를 RULE_TRIGGERS 에 포함해 R-0001(every-round) 등록 보존.
|
|
14
|
+
4. selftest 57→58 · e2e 254→255.
|
|
15
|
+
|
|
16
|
+
### 검증
|
|
17
|
+
- **selftest 58/58 PASS** · **E2E 255/255 PASS** (회귀 0).
|
|
18
|
+
- 실측: `task --status nonsense` → exit 1 · `--status in-progress` → 0 · `--status weird --force` → 0(우회) · `rule --trigger 오타` → exit 1 · `--trigger every-round` → 0(**R-0001 보존**) · `--trigger every-update` → 0.
|
|
19
|
+
- 범위: status/trigger enum 검증. decision/기타 스키마는 후속.
|
|
20
|
+
|
|
21
|
+
## 1.9.309 — 2026-06-04 — UR-0048: verify-claim 거짓완료 차단 기본화 (설치리뷰 Opus critical)
|
|
22
|
+
|
|
23
|
+
**🔴 제품 핵심 가치(거짓완료 차단)가 기본값·MCP 에서 무력하던 자기모순 수정 — 증거 0 인 done 주장이 기본 통과하고 MCP 로는 강한 게이트에 도달조차 못 하던 critical 결함 해소.**
|
|
24
|
+
|
|
25
|
+
### 배경 (clean-install 리뷰 Opus G-1, 직접 재확인)
|
|
26
|
+
`verify-claim` 의 1번 셀링포인트인데, 증거 0 done 이 **기본 exit 0**(`fileChecks.every([])` 공허참 + `--require-evidence` 가 기본 OFF). MCP `leerness_verify_claim` 은 `requireEvidence` 미노출 → 외부 에이전트가 강한 게이트 **호출 불가**. `lazy detect` 는 잡는데 verify-claim 은 통과시키는 자기모순.
|
|
27
|
+
|
|
28
|
+
### 구현 (UR-0048)
|
|
29
|
+
1. **done/완료 주장 evidence 기본 강제** — `mustHaveEvidence = !--lenient && (done주장 || --require-evidence)`. 증거(파일·테스트·로그) 한 줄도 없는 done 은 기본 **FAIL(exit 1)**. CLI/json/MCP **세 경로 모두** 적용(이전엔 pretty 만, 그것도 플래그 시에만).
|
|
30
|
+
2. **비례적 임계** — 기본은 "근거 일부(파일·테스트·로그 중 하나)"만 요구(Opus 의 증거0 케이스만 차단, 과탐 방지). `--require-evidence`(명시)는 엄격(파일+테스트, 1.9.287). `--lenient` opt-out.
|
|
31
|
+
3. **MCP `leerness_verify_claim`** — done 기본 강제로 강한 게이트가 자동 도달 + `lenient` 인자 노출. json `verdict.evidenceComplete` + `evidence{required,...}` 추가.
|
|
32
|
+
4. selftest 56→57 · e2e 253→254 (FILE_RE 추출 테스트 2건은 `--lenient` 로 게이트와 분리).
|
|
33
|
+
|
|
34
|
+
### 검증
|
|
35
|
+
- **selftest 57/57 PASS** · **E2E 254/254 PASS** (회귀 0).
|
|
36
|
+
- 실측: 증거0 done → **exit 1**(CLI) + **isError**(MCP) · `--lenient` → exit 0 · 증거+파일존재 done → exit 0(회귀 0) · 비-done(requested) → 강제 안 함.
|
|
37
|
+
- 행동 변경 안전 처리: 비례 임계로 과탐 방지 + `--lenient` opt-out + 기존 파일추출 테스트 2건 분리.
|
|
38
|
+
|
|
3
39
|
## 1.9.308 — 2026-06-04 — UR-0055 (2단계 완료): 개발 방향 이력 + context/MCP 청사진 통합
|
|
4
40
|
|
|
5
41
|
**📘 프로젝트 청사진 기능 완성 — 개발 방향 변경/확대 이력 누적 + 에이전트가 청사진을 1콜로 회수(context/MCP). 사용자 요청 "개발 방향이 변경/확대될 때 업데이트" 완전 충족.**
|
package/README.md
CHANGED
|
@@ -3,7 +3,7 @@
|
|
|
3
3
|
> **AI 코딩 에이전트의 거짓 완료·중복·망각·충돌을 막아주는 검수·기억·협업 CLI 하네스.**
|
|
4
4
|
> **A CLI harness that stops AI coding agents from faking completion, duplicating work, forgetting context, and colliding.**
|
|
5
5
|
|
|
6
|
-
[](https://www.npmjs.com/package/leerness) [](https://www.npmjs.com/package/leerness) []() []() []() []() []() []()
|
|
7
7
|
|
|
8
8
|
```
|
|
9
9
|
╔══════════════════════════════════════════════════════════════╗
|
|
@@ -471,7 +471,7 @@ MIT — © leerness contributors
|
|
|
471
471
|
<!-- leerness:project-readme:start -->
|
|
472
472
|
## Leerness Project Harness
|
|
473
473
|
|
|
474
|
-
이 프로젝트는 Leerness v1.9.
|
|
474
|
+
이 프로젝트는 Leerness v1.9.310 하네스를 사용합니다. AI 에이전트는 작업 전 `leerness handoff`로 컨텍스트를 적재하고, 작업 후 `leerness check`/`leerness audit`/`leerness session close`를 수행해야 합니다.
|
|
475
475
|
|
|
476
476
|
### 정체성 — AI 에이전트 운영 레이어 (UR-0030)
|
|
477
477
|
|
|
@@ -525,7 +525,7 @@ leerness memory restore decision <date|title>
|
|
|
525
525
|
|
|
526
526
|
### MCP server (외부 AI 통합)
|
|
527
527
|
|
|
528
|
-
Leerness v1.9.
|
|
528
|
+
Leerness v1.9.310는 stdio JSON-RPC MCP server를 내장합니다 — Claude Code · Cursor · Codex CLI 등 외부 AI에 **83개 도구**를 노출:
|
|
529
529
|
|
|
530
530
|
```jsonc
|
|
531
531
|
// 카테고리별
|
|
@@ -546,7 +546,7 @@ Leerness v1.9.308는 stdio JSON-RPC MCP server를 내장합니다 — Claude Cod
|
|
|
546
546
|
`<<autonomous-loop-dynamic>>` 신호만 보내면 AI가:
|
|
547
547
|
1) 다음 라운드 후보 선정 → 2) 코드 변경 → 3) stress-v* 신규 작성 + 누적 회귀 → 4) e2e 219/219 → 5) npm pack + git tag + GitHub release → 6) main 자동 push (1.9.140+) → 7) session close → 8) 다음 라운드 예약.
|
|
548
548
|
|
|
549
|
-
현재 누적: **70 라운드 (1.9.40 → 1.9.
|
|
549
|
+
현재 누적: **70 라운드 (1.9.40 → 1.9.310)** · 매 라운드 GitHub release/태그 생성 · _reports/는 비공개 보존.
|
|
550
550
|
|
|
551
551
|
### 성능 가이드 (1.9.140 측정)
|
|
552
552
|
|
|
@@ -584,6 +584,6 @@ leerness release pack --close --auto-main-push
|
|
|
584
584
|
- `.harness/session-handoff.md`: 다음 세션 인수인계 (자동 작성)
|
|
585
585
|
- `.harness/lessons.md` / `decisions.md` / `rules.md`: 영구 메모리 (5 surface)
|
|
586
586
|
|
|
587
|
-
Last synced by Leerness v1.9.
|
|
587
|
+
Last synced by Leerness v1.9.310: 2026-06-04
|
|
588
588
|
<!-- leerness:project-readme:end -->
|
|
589
589
|
|
package/bin/harness.js
CHANGED
|
@@ -14,7 +14,7 @@ const { _evidenceQuality, _parseEvidenceStats, _shellGuardAnalyze, _claimFileInG
|
|
|
14
14
|
// 1.9.295 (UR-0025 4단계): 정적 데이터 카탈로그 모듈 분리 (비파괴, require-based).
|
|
15
15
|
const { CAPABILITY_SURFACE, POWERFUL_COMMANDS, ADAPTERS, REUSE_CATEGORIES, REUSE_CHECKLIST } = require('../lib/catalogs');
|
|
16
16
|
|
|
17
|
-
const VERSION = '1.9.
|
|
17
|
+
const VERSION = '1.9.310';
|
|
18
18
|
|
|
19
19
|
// 1.9.290 (UR-0037, Codex gpt-5.5 #4 수렴): CLI 전용 부작용은 require 시 실행하지 않는다.
|
|
20
20
|
// 이전: warning listener 제거 / NODE_OPTIONS 변경 / chcp IIFE 가 top-level 즉시 실행 → require('harness') 시 호스트 프로세스 오염.
|
|
@@ -3080,6 +3080,8 @@ function _selfTestCases() {
|
|
|
3080
3080
|
{ name: 'exit code 일관성: fail()→exitCode 1 + unknown 명령 안내 (UR-0045 설치리뷰 1.9.306)', run: () => { const src = read(__filename); return /function fail\(s\) \{ log\('✗ ' \+ s\); process\.exitCode = 1; \}/.test(src) && /알 수 없는 명령: \$\{cmd\}/.test(src) && /if \(cmd === 'help' \|\| cmd === 'commands'/.test(src); } },
|
|
3081
3081
|
{ name: 'brief: 프로젝트 청사진 set/show/export + README 개요 섹션 (UR-0055 사용자명시 1.9.307)', run: () => { const src = read(__filename); const fnOk = typeof briefCmd === 'function' && typeof _loadBrief === 'function' && typeof _briefBlueprint === 'function' && _BRIEF_FIELDS.length === 10; const b = { project: 'X', intro: 'i', purpose: 'p', problem: '', features: ['f1', 'f2'], stack: ['s'], architecture: '', users: [], success: [], nonGoals: [], currentState: '' }; const bp = _briefBlueprint('.', b); const bpOk = /Blueprint/.test(bp) && /소개 \(Intro\)/.test(bp) && /f1/.test(bp) && /신규 프로젝트 시작 가이드/.test(bp); const rb = _briefReadmeBlock(b); const rbOk = rb.includes(BRIEF_START) && rb.includes(BRIEF_END) && /프로젝트 개요/.test(rb) && /\*\*목적\*\*/.test(rb); return fnOk && bpOk && rbOk && /if \(cmd === 'brief'\)/.test(src); } },
|
|
3082
3082
|
{ name: 'brief 2단계: update --direction 이력 + MCP leerness_brief + context 통합 (UR-0055 1.9.308)', run: () => { const src = read(__filename); const b = { project: 'X', intro: '', purpose: '', problem: '', features: [], stack: [], architecture: '', users: [], success: [], nonGoals: [], currentState: '', directionHistory: ['2026-06-04: 확대'] }; const bpOk = /개발 방향 이력/.test(_briefBlueprint('.', b)) && /최근 개발 방향 변경/.test(_briefReadmeBlock(b)); const histWired = /sub === 'update'/.test(src) && /brief\.directionHistory \|\| \[\]\), `\$\{today\(\)\}/.test(src); const mcpOk = require('../lib/mcp-tools').some(t => t.name === 'leerness_brief'); const ctxOk = /brief: \{ intro:/.test(src); return bpOk && histWired && mcpOk && ctxOk; } },
|
|
3083
|
+
{ name: 'verify-claim: done 주장 evidence 기본강제 + --lenient + MCP/json 도달 (UR-0048 설치리뷰 critical 1.9.309)', run: () => { const src = read(__filename); const def = /const mustHaveEvidence = !has\('--lenient'\) && \(isDoneClaim \|\| has\('--require-evidence'\)\)/.test(src); const threshold = /has\('--require-evidence'\) \? evq\.ok : \(evq\.hasFile \|\| evq\.hasTest \|\| evq\.hasLog\)/.test(src); const jsonWired = /evidenceComplete:/.test(src) && /!evidenceQualityOk\) return process\.exit\(1\)/.test(src); const mcpLenient = !!require('../lib/mcp-tools').find(t => t.name === 'leerness_verify_claim').inputSchema.properties.lenient; return def && threshold && jsonWired && mcpLenient; } },
|
|
3084
|
+
{ name: '입력 스키마 검증: task status/rule trigger 무효값 거부 + every-round 보존 (UR-0046 설치리뷰 1.9.310)', run: () => { const src = read(__filename); const sets = TASK_STATUSES.has('done') && TASK_STATUSES.has('in-progress') && !TASK_STATUSES.has('nonsense') && RULE_TRIGGERS.has('every-round') && RULE_TRIGGERS.has('every-update') && !RULE_TRIGGERS.has('not-a-trigger'); const helper = typeof _validateChoice === 'function' && _validateChoice('done', TASK_STATUSES, 'x') === true; const wired = /_validateChoice\(arg\('--status', null\), TASK_STATUSES/.test(src) && /_validateChoice\(trigger, RULE_TRIGGERS/.test(src); return sets && helper && wired; } },
|
|
3083
3085
|
{ name: 'VERSION 형식 (x.y.z)', run: () => /^\d+\.\d+\.\d+$/.test(VERSION) }
|
|
3084
3086
|
];
|
|
3085
3087
|
}
|
|
@@ -6190,6 +6192,7 @@ function planListCmd(root, opts = {}) {
|
|
|
6190
6192
|
}
|
|
6191
6193
|
|
|
6192
6194
|
function planAdd(root, text) {
|
|
6195
|
+
if (!_validateChoice(arg('--status', null), TASK_STATUSES, 'plan status')) { process.exitCode = 1; return; } // 1.9.310 (UR-0046)
|
|
6193
6196
|
const status = arg('--status','planned'), progress = arg('--progress','0'), nextAction = arg('--next', '다음 액션 작성');
|
|
6194
6197
|
// 1.9.303 (UR-0043): M-id append + T-id upsert 를 하나의 락으로 — 동시 plan add ID 충돌 방지.
|
|
6195
6198
|
const { id, tid } = _withLock(progressPath(root), () => {
|
|
@@ -6295,7 +6298,18 @@ function taskList(root) {
|
|
|
6295
6298
|
log('|---|---|---|---|---|---|');
|
|
6296
6299
|
for (const r of filtered) log(`| ${r.id} | ${r.status} | ${r.request} | ${r.evidence} | ${r.nextAction} | ${r.updated} |`);
|
|
6297
6300
|
}
|
|
6301
|
+
// 1.9.310 (UR-0046, 설치리뷰 3중수렴): CLI/MCP 입력 스키마 검증 — 무효 status/trigger 거부(--force 우회).
|
|
6302
|
+
// 이전: task --status nonsense / rule --trigger 오타가 그대로 등록돼 상태/정책 신뢰성 훼손.
|
|
6303
|
+
const TASK_STATUSES = new Set(['requested', 'planned', 'in-progress', 'waiting', 'on-hold', 'blocked', 'incomplete', 'done', 'dropped', 'completed', 'verified']);
|
|
6304
|
+
const RULE_TRIGGERS = new Set(['every-session', 'every-update', 'every-commit', 'every-round', 'session-start', 'session-close', 'pre-publish']);
|
|
6305
|
+
function _validateChoice(value, validSet, label) {
|
|
6306
|
+
if (value == null || validSet.has(String(value)) || has('--force')) return true;
|
|
6307
|
+
fail(`무효한 ${label}: "${value}" — 유효값: ${[...validSet].join(', ')} (커스텀 허용: --force)`);
|
|
6308
|
+
return false;
|
|
6309
|
+
}
|
|
6298
6310
|
function taskAdd(root, text) {
|
|
6311
|
+
// 1.9.310 (UR-0046): --status 스키마 검증 (무효값 거부, --force 우회)
|
|
6312
|
+
if (!_validateChoice(arg('--status', null), TASK_STATUSES, 'task status')) { process.exitCode = 1; return; }
|
|
6299
6313
|
// 1.9.212: 멱등성 — 같은 request 텍스트 + 활성 상태 (requested/in-progress) 이미 존재 시 skip (사용자 명시)
|
|
6300
6314
|
// progress-tracker.md 포맷: | T-XXXX | status | request | evidence | nextAction | date |
|
|
6301
6315
|
if (!has('--force') && text && text.trim()) {
|
|
@@ -6367,6 +6381,7 @@ function taskAdd(root, text) {
|
|
|
6367
6381
|
}
|
|
6368
6382
|
function taskUpdate(root, id) {
|
|
6369
6383
|
if (!id) return fail('id required (e.g., task update T-0001 --status in-progress)');
|
|
6384
|
+
if (!_validateChoice(arg('--status', null), TASK_STATUSES, 'task status')) { process.exitCode = 1; return; } // 1.9.310 (UR-0046)
|
|
6370
6385
|
const rows = readProgressRows(root);
|
|
6371
6386
|
if (!rows.find(r => r.id === id)) { fail(`task ${id} not found in progress-tracker.md`); return; }
|
|
6372
6387
|
const patch = { id };
|
|
@@ -9549,6 +9564,18 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9549
9564
|
}
|
|
9550
9565
|
}
|
|
9551
9566
|
|
|
9567
|
+
// 1.9.309 (UR-0048, 설치리뷰 Opus critical): done 주장은 evidence(파일+테스트) 기본 강제 — 거짓완료 차단을 기본값·MCP·json 모두에서 작동.
|
|
9568
|
+
// 이전: --require-evidence 플래그 시에만 검사 → 증거0 done 이 기본 통과(fileChecks.every([])=공허참)했고 MCP 는 도달 불가했음.
|
|
9569
|
+
// 이제 done/완료 주장은 기본 강제. opt-out: --lenient. 비-done 주장은 영향 없음.
|
|
9570
|
+
const isDoneClaim = /done|완료|completed/i.test(row.status || '');
|
|
9571
|
+
const evq = _evidenceQuality(evidence);
|
|
9572
|
+
const mustHaveEvidence = !has('--lenient') && (isDoneClaim || has('--require-evidence'));
|
|
9573
|
+
// 1.9.309: 기본 임계는 비례적 — 근거 일부(파일·테스트·로그 중 하나)만 있으면 통과(Opus 의 "증거 0" 만 차단).
|
|
9574
|
+
// --require-evidence(명시) 는 엄격(파일+테스트 모두, 1.9.287). 과탐 방지.
|
|
9575
|
+
const evidenceQualityOk = !mustHaveEvidence || (has('--require-evidence') ? evq.ok : (evq.hasFile || evq.hasTest || evq.hasLog));
|
|
9576
|
+
// 공허참("증거 0 done") 은 evidenceQualityOk 가 차단하므로 filesAllExist 는 표준 의미 유지(주장 파일들이 실제 존재하는가).
|
|
9577
|
+
const filesAllExist = fileChecks.every(c => c.exists);
|
|
9578
|
+
|
|
9552
9579
|
if (has('--json')) {
|
|
9553
9580
|
const out = {
|
|
9554
9581
|
project: path.basename(root),
|
|
@@ -9556,9 +9583,11 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9556
9583
|
declared: { files: files.length, pass: declaredPass, testCount: declaredTestCount },
|
|
9557
9584
|
actual: { fileChecks, testCount: actualTestCount },
|
|
9558
9585
|
verdict: {
|
|
9559
|
-
filesAllExist
|
|
9560
|
-
testCountMatch: declaredTestCount == null || actualTestCount == null || actualTestCount >= declaredTestCount
|
|
9561
|
-
|
|
9586
|
+
filesAllExist,
|
|
9587
|
+
testCountMatch: declaredTestCount == null || actualTestCount == null || actualTestCount >= declaredTestCount,
|
|
9588
|
+
evidenceComplete: !mustHaveEvidence ? null : evq.ok
|
|
9589
|
+
},
|
|
9590
|
+
evidence: { required: mustHaveEvidence, ...evq }
|
|
9562
9591
|
};
|
|
9563
9592
|
if (runResult) {
|
|
9564
9593
|
out.run = runResult;
|
|
@@ -9570,7 +9599,7 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9570
9599
|
}
|
|
9571
9600
|
log(JSON.stringify(out, null, 2));
|
|
9572
9601
|
if (runResult && !runResult.skipped && !runResult.allPassed) return process.exit(1);
|
|
9573
|
-
if (!
|
|
9602
|
+
if (!filesAllExist || !out.verdict.testCountMatch || !evidenceQualityOk) return process.exit(1);
|
|
9574
9603
|
return;
|
|
9575
9604
|
}
|
|
9576
9605
|
|
|
@@ -9624,7 +9653,7 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9624
9653
|
}
|
|
9625
9654
|
|
|
9626
9655
|
log('');
|
|
9627
|
-
const allFilesOk =
|
|
9656
|
+
const allFilesOk = filesAllExist;
|
|
9628
9657
|
const testOk = declaredTestCount == null || actualTestCount == null || actualTestCount >= declaredTestCount;
|
|
9629
9658
|
log(`## 종합`);
|
|
9630
9659
|
log(` - 파일 모두 존재: ${allFilesOk ? '✓ pass' : '✗ FAIL (일부 누락)'}`);
|
|
@@ -9654,20 +9683,14 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9654
9683
|
if (strongMismatch) log(` · 주장한 파일이 working tree/직전커밋 변경에 전무 — 변경이 더 오래전 커밋이거나, 실제로 변경 안 됐을 수 있음(허위완료 의심)`);
|
|
9655
9684
|
if (has('--strict-claims') && strongMismatch) gitClaimOk = false; // strict 시 강한 불일치는 FAIL
|
|
9656
9685
|
}
|
|
9657
|
-
// 1.9.
|
|
9658
|
-
|
|
9659
|
-
|
|
9660
|
-
|
|
9661
|
-
let evidenceQualityOk = true;
|
|
9662
|
-
if (reqEvidence) {
|
|
9663
|
-
const evq = _evidenceQuality(evidence);
|
|
9664
|
-
evidenceQualityOk = !isDoneClaim || evq.ok;
|
|
9665
|
-
log(` - evidence 완전성 (--require-evidence): ${evidenceQualityOk ? '✓ pass (파일+테스트 근거 있음)' : `✗ FAIL (누락: ${evq.missing.join(', ')})`}`);
|
|
9666
|
-
if (!evidenceQualityOk) log(` · done 주장은 수정 파일 경로 + 테스트명/개수 가 evidence 에 있어야 함 (테스트 통과만으로는 불충분)`);
|
|
9686
|
+
// 1.9.309 (UR-0048): done 주장 evidence 완전성 — 기본 강제(상단 pre-compute). --lenient 로 opt-out.
|
|
9687
|
+
if (mustHaveEvidence) {
|
|
9688
|
+
log(` - evidence 완전성 (done 기본 강제): ${evidenceQualityOk ? '✓ pass (파일+테스트 근거 있음)' : `✗ FAIL (누락: ${evq.missing.join(', ')})`}`);
|
|
9689
|
+
if (!evidenceQualityOk) log(` · done 주장은 수정 파일 경로 + 테스트명/개수 가 evidence 에 있어야 함 (테스트 통과만으로는 불충분). 완화: --lenient`);
|
|
9667
9690
|
}
|
|
9668
9691
|
const overallFail = !allFilesOk || !testOk || (runResult && !runResult.skipped && !runTestsOk) || (has('--strict-claims') && !strictOk) || !evidenceQualityOk || !gitClaimOk;
|
|
9669
9692
|
// 1.9.287: 정직한 한계 고지 — 테스트 통과 ≠ 의미적 구현 정확성
|
|
9670
|
-
if (has('--strict-claims') ||
|
|
9693
|
+
if (has('--strict-claims') || mustHaveEvidence) {
|
|
9671
9694
|
log('');
|
|
9672
9695
|
log(` ℹ 한계: 테스트 통과는 "의미적 구현 정확성"을 보장하지 않음 — evidence 가 해당 주장(수정 파일/테스트)을 직접 링크해야 신뢰도↑.`);
|
|
9673
9696
|
}
|
|
@@ -13969,10 +13992,8 @@ function ruleAdd(root, description) {
|
|
|
13969
13992
|
if (!description) return fail('rule description required (e.g., rule add "매 업데이트마다 버전 bump" --trigger every-update)');
|
|
13970
13993
|
if (!exists(rulesPath(root))) writeRules(root, []);
|
|
13971
13994
|
const trigger = arg('--trigger', 'every-session');
|
|
13972
|
-
|
|
13973
|
-
if (!
|
|
13974
|
-
warn(`unknown trigger "${trigger}" — 사용 가능: ${[...validTriggers].join(', ')}. 그대로 등록합니다.`);
|
|
13975
|
-
}
|
|
13995
|
+
// 1.9.310 (UR-0046): 무효 trigger 거부 (이전엔 warn 후 등록 → 오타 룰 등록됨). --force 우회.
|
|
13996
|
+
if (!_validateChoice(trigger, RULE_TRIGGERS, 'rule trigger')) { process.exitCode = 1; return; }
|
|
13976
13997
|
const rules = readRules(root);
|
|
13977
13998
|
// 1.9.212: 멱등성 보장 — 같은 description + trigger + active 상태 이미 존재 시 skip (사용자 명시)
|
|
13978
13999
|
if (!has('--force')) {
|
|
@@ -16708,7 +16729,7 @@ function mcpServeCmd(root) {
|
|
|
16708
16729
|
case 'leerness_handoff': cliArgs = ['handoff', targetPath, '--compact', '--no-drift-check']; break;
|
|
16709
16730
|
case 'leerness_drift_check': cliArgs = ['drift', 'check', targetPath, '--json']; break;
|
|
16710
16731
|
case 'leerness_audit': cliArgs = ['audit', targetPath, '--json', ...(args.fix ? ['--fix'] : []), ...(args.strict ? ['--strict'] : [])]; break;
|
|
16711
|
-
case 'leerness_verify_claim': cliArgs = ['verify-claim', args.taskId, '--path', targetPath, ...(args.runTests ? ['--run-tests'] : []), ...(args.strictClaims ? ['--strict-claims'] : [])]; break;
|
|
16732
|
+
case 'leerness_verify_claim': cliArgs = ['verify-claim', args.taskId, '--path', targetPath, ...(args.runTests ? ['--run-tests'] : []), ...(args.strictClaims ? ['--strict-claims'] : []), ...(args.lenient ? ['--lenient'] : [])]; break;
|
|
16712
16733
|
case 'leerness_contract_verify': cliArgs = ['contract', 'verify', args.spec, args.impl]; break;
|
|
16713
16734
|
case 'leerness_agents_list': cliArgs = ['agents', 'list', '--json']; break;
|
|
16714
16735
|
case 'leerness_reuse_map': cliArgs = ['reuse-map', targetPath, ...(args.allApps ? ['--all-apps'] : []), ...(args.strictElements ? ['--strict-elements'] : []), '--json']; break;
|
package/lib/mcp-tools.js
CHANGED
|
@@ -7,7 +7,7 @@ module.exports = [
|
|
|
7
7
|
{ name: 'leerness_handoff', requiredTier: 'read-only', description: '워크스페이스 컨텍스트(plan/progress/decisions) 적재', inputSchema: { type: 'object', properties: { path: { type: 'string' } } } },
|
|
8
8
|
{ name: 'leerness_drift_check', requiredTier: 'read-only', description: '1.9.136 — AI 에이전트 leerness 미사용 drift 자동 감지 JSON ({ root, score, level, signals[], healthy }). 5+ 신호 + 4단계 레벨 (🟢 healthy / 🟡 warning / 🟠 caution / 🔴 critical). 보안 신호 통합 (1.9.78)', inputSchema: { type: 'object', properties: { path: { type: 'string' } } } },
|
|
9
9
|
{ name: 'leerness_audit', requiredTier: 'read-only', description: '1.9.102 — 워크스페이스 일관성 감사 JSON (warnings/failures/fixed/healthy + findings[]. kind 11종: design_dup/design_system_default/reuse_map_empty/milestone_unlinked/handoff_not_generated/current_state_stale/readme_version_mismatch/npm_cve/gitignore_missing_secrets/env_keys_missing/strict_promoted)', inputSchema: { type: 'object', properties: { path: { type: 'string' }, fix: { type: 'boolean' }, strict: { type: 'boolean' } } } },
|
|
10
|
-
{ name: 'leerness_verify_claim', requiredTier: 'read-only', description: 'AI 거짓 완료 자동 검증 (evidence 파일 + 실 테스트 실행)', inputSchema: { type: 'object', properties: { taskId: { type: 'string' }, path: { type: 'string' }, runTests: { type: 'boolean' }, strictClaims: { type: 'boolean' } }, required: ['taskId'] } },
|
|
10
|
+
{ name: 'leerness_verify_claim', requiredTier: 'read-only', description: 'AI 거짓 완료 자동 검증 (evidence 파일 + 실 테스트 실행). 1.9.309(UR-0048): done/완료 주장은 evidence(수정파일+테스트) 기본 강제 — 증거 없는 done 은 FAIL(exit 1). lenient=true 로 완화, runTests/strictClaims 추가 가능. 응답 verdict.evidenceComplete 포함.', inputSchema: { type: 'object', properties: { taskId: { type: 'string' }, path: { type: 'string' }, runTests: { type: 'boolean' }, strictClaims: { type: 'boolean' }, lenient: { type: 'boolean' } }, required: ['taskId'] } },
|
|
11
11
|
{ name: 'leerness_contract_verify', requiredTier: 'read-only', description: '명세 ↔ 구현 함수/필드 일치 자동 검사', inputSchema: { type: 'object', properties: { spec: { type: 'string' }, impl: { type: 'string' } }, required: ['spec', 'impl'] } },
|
|
12
12
|
{ name: 'leerness_agents_list', requiredTier: 'read-only', description: '외부 AI CLI 가용성 표 (claude/codex/agy/copilot 상태 + 환경변수 활성화 여부)', inputSchema: { type: 'object', properties: {} } },
|
|
13
13
|
{ name: 'leerness_reuse_map', requiredTier: 'read-only', description: '워크스페이스 중복 함수/capability 자동 감지 (--all-apps + fuzzy 매칭)', inputSchema: { type: 'object', properties: { path: { type: 'string' }, allApps: { type: 'boolean' }, strictElements: { type: 'boolean' } } } },
|
package/package.json
CHANGED
package/scripts/e2e.js
CHANGED
|
@@ -559,7 +559,7 @@ total++;
|
|
|
559
559
|
fs.writeFileSync(path.join(tmpG, 'scripts/network.gd'), 'extends Node\n');
|
|
560
560
|
fs.appendFileSync(path.join(tmpG, '.harness/progress-tracker.md'),
|
|
561
561
|
'| T-0020 | done | Godot 클라 | project.godot + scenes/main.tscn + scripts/network.gd | next | 2026-05-14 |\n');
|
|
562
|
-
const r = cp.spawnSync(process.execPath, [CLI, 'verify-claim', 'T-0020', '--path', tmpG], { encoding: 'utf8', timeout: 15000 });
|
|
562
|
+
const r = cp.spawnSync(process.execPath, [CLI, 'verify-claim', 'T-0020', '--path', tmpG, '--lenient'], { encoding: 'utf8', timeout: 15000 }); // FILE_RE 추출 테스트 — evidence 게이트와 분리(1.9.309)
|
|
563
563
|
const ok = r.status === 0
|
|
564
564
|
&& /✓ project\.godot/.test(r.stdout)
|
|
565
565
|
&& /✓ scenes\/main\.tscn/.test(r.stdout)
|
|
@@ -579,7 +579,7 @@ total++;
|
|
|
579
579
|
fs.writeFileSync(path.join(tmpC, 'Cargo.lock'), '# lock\n');
|
|
580
580
|
fs.appendFileSync(path.join(tmpC, '.harness/progress-tracker.md'),
|
|
581
581
|
'| T-0030 | done | 설정 | export_presets.cfg + config.ini + Cargo.lock | next | 2026-05-14 |\n');
|
|
582
|
-
const r = cp.spawnSync(process.execPath, [CLI, 'verify-claim', 'T-0030', '--path', tmpC], { encoding: 'utf8', timeout: 15000 });
|
|
582
|
+
const r = cp.spawnSync(process.execPath, [CLI, 'verify-claim', 'T-0030', '--path', tmpC, '--lenient'], { encoding: 'utf8', timeout: 15000 }); // FILE_RE 추출 테스트 — evidence 게이트와 분리(1.9.309)
|
|
583
583
|
const ok = r.status === 0
|
|
584
584
|
&& /✓ export_presets\.cfg/.test(r.stdout)
|
|
585
585
|
&& /✓ config\.ini/.test(r.stdout)
|
|
@@ -3562,5 +3562,52 @@ total++;
|
|
|
3562
3562
|
if (!ok) failed++;
|
|
3563
3563
|
}
|
|
3564
3564
|
|
|
3565
|
+
// 1.9.309 회귀 (UR-0048 설치리뷰 critical): verify-claim done 주장 evidence 기본강제 + --lenient + MCP 도달
|
|
3566
|
+
total++;
|
|
3567
|
+
{
|
|
3568
|
+
let ok = false;
|
|
3569
|
+
try {
|
|
3570
|
+
const vc = fs.mkdtempSync(path.join(os.tmpdir(), 'leerness-vc48-'));
|
|
3571
|
+
cp.spawnSync(process.execPath, [CLI, 'init', vc, '--yes', '--language', 'ko', '--skills', 'recommended'], { encoding: 'utf8', timeout: 30000 });
|
|
3572
|
+
fs.mkdirSync(path.join(vc, 'src'), { recursive: true }); fs.writeFileSync(path.join(vc, 'src', 'api.js'), 'module.exports={};');
|
|
3573
|
+
const ex = (...a) => cp.spawnSync(process.execPath, [CLI, ...a], { cwd: vc, encoding: 'utf8', timeout: 20000 });
|
|
3574
|
+
ex('task', 'add', '증거없는완료', '--path', vc, '--status', 'done'); // T-0002: 증거 0
|
|
3575
|
+
ex('task', 'add', '증거있는완료', '--path', vc, '--status', 'done', '--evidence', 'src/api.js 수정, 8 tests 통과 (Exit: 0)'); // T-0003
|
|
3576
|
+
ex('task', 'add', '진행중', '--path', vc); // T-0004: requested
|
|
3577
|
+
const noEv = ex('verify-claim', 'T-0002', '--path', vc).status === 1; // 기본 거짓완료 차단
|
|
3578
|
+
const lenient = ex('verify-claim', 'T-0002', '--path', vc, '--lenient').status === 0; // opt-out
|
|
3579
|
+
const withEv = ex('verify-claim', 'T-0003', '--path', vc).status === 0; // 증거+파일 → 통과
|
|
3580
|
+
const notDone = ex('verify-claim', 'T-0004', '--path', vc).status === 0; // 비-done 강제 안함
|
|
3581
|
+
// MCP 도 기본 강제 (증거0 done → isError)
|
|
3582
|
+
const ml = cp.spawnSync(process.execPath, [CLI, 'mcp', 'serve'], { cwd: vc, encoding: 'utf8', timeout: 15000, input: JSON.stringify({ jsonrpc: '2.0', id: 1, method: 'tools/call', params: { name: 'leerness_verify_claim', arguments: { taskId: 'T-0002', path: vc } } }) + '\n' });
|
|
3583
|
+
let mcpBlocks = false; try { mcpBlocks = JSON.parse(ml.stdout.split('\n').filter(Boolean)[0]).result.isError === true; } catch {}
|
|
3584
|
+
ok = noEv && lenient && withEv && notDone && mcpBlocks;
|
|
3585
|
+
fs.rmSync(vc, { recursive: true, force: true });
|
|
3586
|
+
} catch {}
|
|
3587
|
+
console.log(ok ? '✓ B(1.9.309) verify-claim 거짓완료 차단: 증거0 done 기본 FAIL + --lenient + 증거통과 + MCP 차단 (UR-0048)' : '✗ verify-claim 기본강제 실패');
|
|
3588
|
+
if (!ok) failed++;
|
|
3589
|
+
}
|
|
3590
|
+
|
|
3591
|
+
// 1.9.310 회귀 (UR-0046 설치리뷰): 입력 스키마 검증 — 무효 status/trigger 거부, 유효/--force 통과, every-round 보존
|
|
3592
|
+
total++;
|
|
3593
|
+
{
|
|
3594
|
+
let ok = false;
|
|
3595
|
+
try {
|
|
3596
|
+
const vd = fs.mkdtempSync(path.join(os.tmpdir(), 'leerness-val-'));
|
|
3597
|
+
cp.spawnSync(process.execPath, [CLI, 'init', vd, '--yes', '--language', 'ko', '--skills', 'recommended'], { encoding: 'utf8', timeout: 30000 });
|
|
3598
|
+
const st = (...a) => cp.spawnSync(process.execPath, [CLI, ...a], { cwd: vd, encoding: 'utf8', timeout: 20000 }).status;
|
|
3599
|
+
const badStatus = st('task', 'add', 't', '--path', vd, '--status', 'nonsense') === 1; // 무효 거부
|
|
3600
|
+
const goodStatus = st('task', 'add', 't2', '--path', vd, '--status', 'in-progress') === 0; // 유효 통과
|
|
3601
|
+
const forceStatus = st('task', 'add', 't3', '--path', vd, '--status', 'weird', '--force') === 0; // --force 우회
|
|
3602
|
+
const badTrigger = st('rule', 'add', 'r', '--path', vd, '--trigger', 'not-a-trigger') === 1; // 무효 거부
|
|
3603
|
+
const everyRound = st('rule', 'add', 'r2', '--path', vd, '--trigger', 'every-round') === 0; // every-round 보존(R-0001)
|
|
3604
|
+
const everyUpdate = st('rule', 'add', 'r3', '--path', vd, '--trigger', 'every-update') === 0; // 유효 통과
|
|
3605
|
+
ok = badStatus && goodStatus && forceStatus && badTrigger && everyRound && everyUpdate;
|
|
3606
|
+
fs.rmSync(vd, { recursive: true, force: true });
|
|
3607
|
+
} catch {}
|
|
3608
|
+
console.log(ok ? '✓ B(1.9.310) 입력 스키마 검증: 무효 status/trigger 거부 + 유효/--force/every-round 통과 (UR-0046)' : '✗ 입력 스키마 검증 실패');
|
|
3609
|
+
if (!ok) failed++;
|
|
3610
|
+
}
|
|
3611
|
+
|
|
3565
3612
|
console.log(`\nE2E result: ${total - failed}/${total} passed · ${((Date.now() - _e2eStart) / 1000).toFixed(0)}s`);
|
|
3566
3613
|
if (failed > 0) process.exit(1);
|