leerness 1.9.304 → 1.9.305
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +22 -0
- package/README.md +6 -6
- package/bin/harness.js +41 -5
- package/lib/analyzers.js +23 -1
- package/lib/mcp-tools.js +2 -1
- package/package.json +1 -1
- package/scripts/e2e.js +24 -1
package/CHANGELOG.md
CHANGED
|
@@ -1,5 +1,27 @@
|
|
|
1
1
|
# Changelog
|
|
2
2
|
|
|
3
|
+
## 1.9.305 — 2026-06-04 — honesty-check: AI 인식론적 정직성 점검 (사용자 명시)
|
|
4
|
+
|
|
5
|
+
**🧠 사용자 요청 — AI 가 (1) 모르는 걸 아는 척, (2) 정보를 안 모으고, (3) 검증 없이 섣부르게 판단하는지를 점검하는 인식론적 정직성 가드 신설.**
|
|
6
|
+
|
|
7
|
+
### 배경 (사용자 명시)
|
|
8
|
+
"AI 가 모르는 정보를 아는 척하지 않는지 / 모르는 정보를 알기 위해 정확한 정보를 수집하는지 / 수집 후 검증 없이 섣부른 판단을 하지 않는지" 점검 요청. 기존 leerness 는 부분 커버만: `optimism-check`(행동 주장 vs 코드 흔적, 11종), `api-skill`(외부 문서 수집, opt-in), `verify-claim`(검증). **3차원을 통합 점검하는 정직성 가드는 없었음.**
|
|
9
|
+
|
|
10
|
+
### 구현
|
|
11
|
+
1. **`_epistemicHonestyCheck(text)`** (lib/analyzers.js, 순수) — 3차원 휴리스틱:
|
|
12
|
+
- **pretend-knowledge**(high) — 단정 표현(반드시/항상/100%/always…)인데 근거·출처(파일/문서/테스트/로그) 없음
|
|
13
|
+
- **premature-judgment**(high) — 추정 표현(아마/추정/probably/should…) + 완료·성공 결론인데 검증 근거 없음
|
|
14
|
+
- **no-info-gathering**(med) — 외부 API/버전/스펙 언급인데 수집 흔적(공식문서/api-skill/조회) 없음 (파일경로 `api.js` 오탐 제외)
|
|
15
|
+
2. **`leerness honesty-check <T-ID> | --text "<주장>"`** — 양호 시 exit 0, high 발견 시 exit 1(에이전트 self-gate). `--json`.
|
|
16
|
+
3. **MCP `leerness_honesty_check` (82번째 도구, read-only)** — 에이전트가 단언 전 자기 주장 self-check.
|
|
17
|
+
4. **`verify-claim --strict-claims` 통합** — high-severity 정직성 발견도 strict 실패에 반영(낙관 + 정직성 통합 게이트).
|
|
18
|
+
5. selftest 52→53 · e2e 249→250.
|
|
19
|
+
|
|
20
|
+
### 검증
|
|
21
|
+
- **selftest 53/53 PASS** · **E2E 250/250 PASS** (회귀 0).
|
|
22
|
+
- 실측: "이 기능은 항상 동작"→pretend-knowledge(exit1), "아마 될 것 같다. 완료"→premature-judgment, "이 API rate limit 초당 5회"→no-info-gathering, "src/api.js 수정 12/12 통과(Exit:0)"→양호(exit0). 오탐 0(6/6 케이스).
|
|
23
|
+
- 휴리스틱 advisory — 근거(파일·문서·테스트·로그)나 수집 흔적(공식문서·api-skill·조회) 명시 시 해소.
|
|
24
|
+
|
|
3
25
|
## 1.9.304 — 2026-06-04 — UR-0025 (6단계): 순수 분석/검증 함수 → lib/analyzers.js 모듈 분리
|
|
4
26
|
|
|
5
27
|
**🧩 모놀리스 분리 계속 — 순수 분석/검증 함수 4종을 비파괴 분리. lib 6모듈 체제(630줄 외부화).**
|
package/README.md
CHANGED
|
@@ -3,7 +3,7 @@
|
|
|
3
3
|
> **AI 코딩 에이전트의 거짓 완료·중복·망각·충돌을 막아주는 검수·기억·협업 CLI 하네스.**
|
|
4
4
|
> **A CLI harness that stops AI coding agents from faking completion, duplicating work, forgetting context, and colliding.**
|
|
5
5
|
|
|
6
|
-
[](https://www.npmjs.com/package/leerness) [](https://www.npmjs.com/package/leerness) []() []() []() []() []() []()
|
|
7
7
|
|
|
8
8
|
```
|
|
9
9
|
╔══════════════════════════════════════════════════════════════╗
|
|
@@ -471,7 +471,7 @@ MIT — © leerness contributors
|
|
|
471
471
|
<!-- leerness:project-readme:start -->
|
|
472
472
|
## Leerness Project Harness
|
|
473
473
|
|
|
474
|
-
이 프로젝트는 Leerness v1.9.
|
|
474
|
+
이 프로젝트는 Leerness v1.9.305 하네스를 사용합니다. AI 에이전트는 작업 전 `leerness handoff`로 컨텍스트를 적재하고, 작업 후 `leerness check`/`leerness audit`/`leerness session close`를 수행해야 합니다.
|
|
475
475
|
|
|
476
476
|
### 정체성 — AI 에이전트 운영 레이어 (UR-0030)
|
|
477
477
|
|
|
@@ -525,7 +525,7 @@ leerness memory restore decision <date|title>
|
|
|
525
525
|
|
|
526
526
|
### MCP server (외부 AI 통합)
|
|
527
527
|
|
|
528
|
-
Leerness v1.9.
|
|
528
|
+
Leerness v1.9.305는 stdio JSON-RPC MCP server를 내장합니다 — Claude Code · Cursor · Codex CLI 등 외부 AI에 **82개 도구**를 노출:
|
|
529
529
|
|
|
530
530
|
```jsonc
|
|
531
531
|
// 카테고리별
|
|
@@ -538,7 +538,7 @@ Leerness v1.9.304는 stdio JSON-RPC MCP server를 내장합니다 — Claude Cod
|
|
|
538
538
|
// • Workflow: session_close / agents_list / task_export / env_check / usage_stats / reuse_map / whats_new
|
|
539
539
|
|
|
540
540
|
// MCP server 실행: leerness mcp serve
|
|
541
|
-
// tools/list 응답:
|
|
541
|
+
// tools/list 응답: 82 도구
|
|
542
542
|
```
|
|
543
543
|
|
|
544
544
|
### Autonomous mode (자율 모드)
|
|
@@ -546,7 +546,7 @@ Leerness v1.9.304는 stdio JSON-RPC MCP server를 내장합니다 — Claude Cod
|
|
|
546
546
|
`<<autonomous-loop-dynamic>>` 신호만 보내면 AI가:
|
|
547
547
|
1) 다음 라운드 후보 선정 → 2) 코드 변경 → 3) stress-v* 신규 작성 + 누적 회귀 → 4) e2e 219/219 → 5) npm pack + git tag + GitHub release → 6) main 자동 push (1.9.140+) → 7) session close → 8) 다음 라운드 예약.
|
|
548
548
|
|
|
549
|
-
현재 누적: **70 라운드 (1.9.40 → 1.9.
|
|
549
|
+
현재 누적: **70 라운드 (1.9.40 → 1.9.305)** · 매 라운드 GitHub release/태그 생성 · _reports/는 비공개 보존.
|
|
550
550
|
|
|
551
551
|
### 성능 가이드 (1.9.140 측정)
|
|
552
552
|
|
|
@@ -584,6 +584,6 @@ leerness release pack --close --auto-main-push
|
|
|
584
584
|
- `.harness/session-handoff.md`: 다음 세션 인수인계 (자동 작성)
|
|
585
585
|
- `.harness/lessons.md` / `decisions.md` / `rules.md`: 영구 메모리 (5 surface)
|
|
586
586
|
|
|
587
|
-
Last synced by Leerness v1.9.
|
|
587
|
+
Last synced by Leerness v1.9.305: 2026-06-04
|
|
588
588
|
<!-- leerness:project-readme:end -->
|
|
589
589
|
|
package/bin/harness.js
CHANGED
|
@@ -10,11 +10,11 @@ const readline = require('readline');
|
|
|
10
10
|
const { _isSecretKey, compareVer, parseHarnessVersion, _classifyCJK, _riskLabel, _detectSystemLang, _parseSlashFromHelp,
|
|
11
11
|
PERMISSION_TIERS, _tierRank, _requiredTier, _policyAllows, _resolveNpmTag, _mcpJsonContent, _newRunRecord } = require('../lib/pure-utils');
|
|
12
12
|
// 1.9.304 (UR-0025): 순수 분석/검증 함수 모듈 분리.
|
|
13
|
-
const { _evidenceQuality, _parseEvidenceStats, _shellGuardAnalyze, _claimFileInGit } = require('../lib/analyzers');
|
|
13
|
+
const { _evidenceQuality, _parseEvidenceStats, _shellGuardAnalyze, _claimFileInGit, _epistemicHonestyCheck } = require('../lib/analyzers');
|
|
14
14
|
// 1.9.295 (UR-0025 4단계): 정적 데이터 카탈로그 모듈 분리 (비파괴, require-based).
|
|
15
15
|
const { CAPABILITY_SURFACE, POWERFUL_COMMANDS, ADAPTERS, REUSE_CATEGORIES, REUSE_CHECKLIST } = require('../lib/catalogs');
|
|
16
16
|
|
|
17
|
-
const VERSION = '1.9.
|
|
17
|
+
const VERSION = '1.9.305';
|
|
18
18
|
|
|
19
19
|
// 1.9.290 (UR-0037, Codex gpt-5.5 #4 수렴): CLI 전용 부작용은 require 시 실행하지 않는다.
|
|
20
20
|
// 이전: warning listener 제거 / NODE_OPTIONS 변경 / chcp IIFE 가 top-level 즉시 실행 → require('harness') 시 호스트 프로세스 오염.
|
|
@@ -3071,6 +3071,7 @@ function _selfTestCases() {
|
|
|
3071
3071
|
{ name: 'verify-claim git diff 시맨틱 교차검증: _gitChangedFiles/_claimFileInGit + strict FAIL 통합 (UR-0042 외부리뷰 1.9.302)', run: () => { const fnOk = typeof _gitChangedFiles === 'function' && typeof _claimFileInGit === 'function'; const matchOk = _claimFileInGit('src/api.js', new Set(['src/api.js'])) === true && _claimFileInGit('./src/api.js', new Set(['src/api.js'])) === true && _claimFileInGit('other.js', new Set(['src/api.js'])) === false && _claimFileInGit('x', null) === null; const src = read(__filename); const wired = /git diff 교차검증/.test(src) && /\|\| !gitClaimOk/.test(src) && /_gitChangedFiles\(root\)/.test(src); return fnOk && matchOk && wired; } },
|
|
3072
3072
|
{ name: '_withLock/_updateRun: lost-update 락(O_EXCL+재진입) + 적용 (UR-0043 외부리뷰 1.9.303)', run: () => { const src = read(__filename); const fnOk = typeof _withLock === 'function' && typeof _sleepSyncMs === 'function' && typeof _updateRun === 'function'; const reentrant = /if \(_heldLocks\.has\(lockPath\)\) return fn\(\)/.test(src); const excl = /fs\.openSync\(lockPath, 'wx'\)/.test(src); const applied = /const id = _withLock\(progressPath\(root\)/.test(src) && /_updateRun\(root, curId/.test(src); return fnOk && reentrant && excl && applied; } },
|
|
3073
3073
|
{ name: 'lib/analyzers: 분석/검증 함수 4종 모듈 단일출처 분리 (UR-0025 1.9.304)', run: () => { const m = require('../lib/analyzers'); return m._evidenceQuality === _evidenceQuality && m._shellGuardAnalyze === _shellGuardAnalyze && m._parseEvidenceStats === _parseEvidenceStats && m._claimFileInGit === _claimFileInGit && !/function _evidenceQuality\(evidence\) \{/.test(read(__filename)) && !/function _shellGuardAnalyze\(cmd, ctx\) \{/.test(read(__filename)); } },
|
|
3074
|
+
{ name: 'honesty-check: AI 인식론적 정직성 3차원 + MCP/CLI/strict 통합 (사용자명시 1.9.305)', run: () => { const h = _epistemicHonestyCheck; const d1 = h('이 기능은 항상 정상 동작합니다').findings.some(f => f.dim === 'pretend-knowledge'); const d2 = h('아마 될 것 같습니다. 구현 완료했습니다').findings.some(f => f.dim === 'premature-judgment'); const d3 = h('이 API 의 rate limit 은 초당 5회입니다').findings.some(f => f.dim === 'no-info-gathering'); const clean = h('src/api.js 수정, 12/12 통과 (Exit: 0)').ok === true; const src = read(__filename); const wired = require('../lib/mcp-tools').some(t => t.name === 'leerness_honesty_check') && /if \(cmd === 'honesty-check'\)/.test(src) && /honestyFindings = _epistemicHonestyCheck/.test(src); return d1 && d2 && d3 && clean && wired; } },
|
|
3074
3075
|
{ name: 'VERSION 형식 (x.y.z)', run: () => /^\d+\.\d+\.\d+$/.test(VERSION) }
|
|
3075
3076
|
];
|
|
3076
3077
|
}
|
|
@@ -9605,10 +9606,13 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9605
9606
|
// 1.9.26: --strict-claims — 낙관적 표시 자동 감지 (evidence vs 코드 호출 흔적)
|
|
9606
9607
|
let optimismSuspects = [];
|
|
9607
9608
|
let strictOk = true;
|
|
9609
|
+
let honestyFindings = [];
|
|
9608
9610
|
if (has('--strict-claims')) {
|
|
9609
9611
|
const codeText = _scanCodeForPatterns(root);
|
|
9610
9612
|
optimismSuspects = _detectOptimism(evidence, codeText);
|
|
9611
|
-
|
|
9613
|
+
// 1.9.305 (사용자 명시): 인식론적 정직성 high 발견(근거없는 단정/미검증 판단)도 strict 실패에 반영.
|
|
9614
|
+
honestyFindings = _epistemicHonestyCheck(evidence).findings.filter(f => f.severity === 'high');
|
|
9615
|
+
strictOk = optimismSuspects.length === 0 && honestyFindings.length === 0;
|
|
9612
9616
|
}
|
|
9613
9617
|
|
|
9614
9618
|
log('');
|
|
@@ -9622,10 +9626,11 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9622
9626
|
if (declaredPass) log(` - 주장과 실행 결과 일치: ${declaredPassMatchesActual ? '✓ pass' : '⚠ 다름'}`);
|
|
9623
9627
|
}
|
|
9624
9628
|
if (has('--strict-claims')) {
|
|
9625
|
-
if (strictOk) log(` - 낙관적 표시 (--strict-claims): ✓ pass (의심 없음)`);
|
|
9629
|
+
if (strictOk) log(` - 낙관적 표시 + 정직성 (--strict-claims): ✓ pass (의심 없음)`);
|
|
9626
9630
|
else {
|
|
9627
|
-
log(` - 낙관적 표시 (--strict-claims): ⚠ FAIL (${optimismSuspects.length}
|
|
9631
|
+
log(` - 낙관적 표시 + 정직성 (--strict-claims): ⚠ FAIL (낙관 ${optimismSuspects.length} · 정직성 ${honestyFindings.length})`);
|
|
9628
9632
|
for (const s of optimismSuspects) log(` · [${s.kind}] ${s.label}: evidence에 주장 있는데 코드에 호출 흔적 없음`);
|
|
9633
|
+
for (const f of honestyFindings) log(` · [정직성:${f.dim}] ${f.label}: ${f.detail}`);
|
|
9629
9634
|
}
|
|
9630
9635
|
}
|
|
9631
9636
|
// 1.9.302 (UR-0042): git diff 시맨틱 교차검증 — 주장한 파일이 실제 git 변경(working tree+직전커밋)에 있는가.
|
|
@@ -10250,6 +10255,33 @@ function _computeConfidence(evidence, codeText) {
|
|
|
10250
10255
|
return Math.round(confidence * 100) / 100;
|
|
10251
10256
|
}
|
|
10252
10257
|
|
|
10258
|
+
// 1.9.305 (사용자 명시): AI 인식론적 정직성 점검 — 모르는 걸 아는 척 / 정보 미수집 / 미검증 섣부른 판단.
|
|
10259
|
+
// leerness honesty-check <T-ID> 또는 --text "<주장>". 휴리스틱 advisory, high-severity 시 exit 1(에이전트 self-gate).
|
|
10260
|
+
function honestyCheckCmd(root, arg1) {
|
|
10261
|
+
root = absRoot(root || process.cwd());
|
|
10262
|
+
const isTty = process.stdout && process.stdout.isTTY;
|
|
10263
|
+
const cy = s => isTty ? `\x1b[36m${s}\x1b[0m` : s, gr = s => isTty ? `\x1b[32m${s}\x1b[0m` : s, rd = s => isTty ? `\x1b[31m${s}\x1b[0m` : s, dm = s => isTty ? `\x1b[2m${s}\x1b[0m` : s;
|
|
10264
|
+
const textArg = arg('--text', null);
|
|
10265
|
+
let subject = '', sourceLabel = '';
|
|
10266
|
+
if (textArg) { subject = String(textArg); sourceLabel = '--text'; }
|
|
10267
|
+
else if (arg1 && !arg1.startsWith('-')) {
|
|
10268
|
+
const row = readProgressRows(root).find(r => r.id === arg1);
|
|
10269
|
+
if (!row) { fail(`progress-tracker.md에 ${arg1} 없음.`); process.exitCode = 1; return; }
|
|
10270
|
+
subject = row.evidence || ''; sourceLabel = `${arg1} evidence`;
|
|
10271
|
+
} else { fail('사용법: leerness honesty-check <T-ID> 또는 leerness honesty-check --text "<주장>"'); process.exitCode = 1; return; }
|
|
10272
|
+
const r = _epistemicHonestyCheck(subject);
|
|
10273
|
+
const high = r.findings.filter(f => f.severity === 'high').length;
|
|
10274
|
+
if (has('--json')) { log(JSON.stringify({ source: sourceLabel, ...r, highCount: high }, null, 2)); if (high > 0) process.exitCode = 1; return; }
|
|
10275
|
+
log(cy(`# leerness honesty-check (1.9.305) — AI 인식론적 정직성 점검`));
|
|
10276
|
+
log(dm(` 대상: ${sourceLabel} · "${subject.slice(0, 80)}${subject.length > 80 ? '…' : ''}"`));
|
|
10277
|
+
log('');
|
|
10278
|
+
if (r.ok) { log(gr(' ✓ 정직성 신호 양호 — 근거 없는 단정 / 미검증 섣부른 판단 / 외부정보 미수집 흔적 없음')); return; }
|
|
10279
|
+
log(rd(` ⚠ ${r.findings.length}건 발견:`));
|
|
10280
|
+
for (const f of r.findings) { log(` ${f.severity === 'high' ? '🔴' : '🟡'} [${f.dim}] ${f.label}`); log(dm(` ${f.detail}`)); }
|
|
10281
|
+
log('');
|
|
10282
|
+
log(dm(' ℹ 휴리스틱 advisory — 근거(파일·문서·테스트·로그) 또는 수집 흔적(공식문서·api-skill·조회) 명시 시 해소.'));
|
|
10283
|
+
if (high > 0) process.exitCode = 1;
|
|
10284
|
+
}
|
|
10253
10285
|
function optimismCheckCmd(root, taskId) {
|
|
10254
10286
|
root = absRoot(root || process.cwd());
|
|
10255
10287
|
if (!taskId) return fail('optimism-check <T-ID> 필요. 예: leerness optimism-check T-0001');
|
|
@@ -16889,6 +16921,9 @@ function mcpServeCmd(root) {
|
|
|
16889
16921
|
case 'leerness_about':
|
|
16890
16922
|
cliArgs = ['about', '--json'];
|
|
16891
16923
|
break;
|
|
16924
|
+
case 'leerness_honesty_check':
|
|
16925
|
+
cliArgs = ['honesty-check', ...(args.text ? ['--text', String(args.text)] : [String(args.taskId || '')]), '--path', targetPath, '--json'];
|
|
16926
|
+
break;
|
|
16892
16927
|
default:
|
|
16893
16928
|
return send({ jsonrpc: '2.0', id, error: { code: -32601, message: `Unknown tool: ${name}` } });
|
|
16894
16929
|
}
|
|
@@ -21279,6 +21314,7 @@ async function main() {
|
|
|
21279
21314
|
if (cmd === 'deps') return depsImpactCmd(arg('--path', process.cwd()), args[1]);
|
|
21280
21315
|
if (cmd === 'register-pending') return registerPendingCmd(arg('--path', process.cwd()), args.slice(1).filter(x => !x.startsWith('-')));
|
|
21281
21316
|
if (cmd === 'optimism-check') return optimismCheckCmd(arg('--path', process.cwd()), args[1]);
|
|
21317
|
+
if (cmd === 'honesty-check') return honestyCheckCmd(arg('--path', process.cwd()), args[1]);
|
|
21282
21318
|
if (cmd === 'persona') return personaCmd(arg('--path', process.cwd()), args[1], args[2]);
|
|
21283
21319
|
if (cmd === 'review') return reviewCmd(arg('--path', process.cwd()), args[1]);
|
|
21284
21320
|
if (cmd === 'agents') return agentsCmd(arg('--path', process.cwd()), args[1], ...args.slice(2));
|
package/lib/analyzers.js
CHANGED
|
@@ -65,4 +65,26 @@ function _parseEvidenceStats(text) {
|
|
|
65
65
|
return { entries, pass, fail, rate: (pass + fail) ? Math.round(pass / (pass + fail) * 100) : null };
|
|
66
66
|
}
|
|
67
67
|
|
|
68
|
-
|
|
68
|
+
// 1.9.305 (사용자 명시): AI 인식론적 정직성 점검 — 모르는 걸 아는 척 / 정보 미수집 / 미검증 섣부른 판단 휴리스틱 탐지.
|
|
69
|
+
// 순수 함수(텍스트→findings). 휴리스틱 advisory — 단정/추정/외부참조 표현 vs 근거·수집 흔적 대조. opt-in 점검용.
|
|
70
|
+
function _epistemicHonestyCheck(text) {
|
|
71
|
+
const t = String(text || '');
|
|
72
|
+
const findings = [];
|
|
73
|
+
// 공통: 근거/출처 흔적 (파일경로·URL·테스트결과·Exit·문서·api-skill·인용·조회 흔적)
|
|
74
|
+
const hasSource = /(?:[\w./-]+\.(?:js|ts|tsx|jsx|py|go|rs|rb|md|json|ya?ml|toml|sql|sh)\b)|https?:\/\/|\bExit\s*[:=]|\d+\s*\/\s*\d+\s*(?:통과|passed)|\b(?:passed|passing)\b|근거[::]|출처[::]|api-skill|공식\s*문서|문서\s*(?:확인|참조|에\s*따르면)|읽었|조회(?:함|했|함\b)|확인(?:함|했|됨)|grep|로그[::]/i.test(t);
|
|
75
|
+
// 차원1: 모르는 걸 아는 척 — 단정 표현인데 근거 없음
|
|
76
|
+
const definitive = /(반드시|항상|언제나|무조건|확실(?:히|함|하게)|당연히|틀림없|100\s*%|always|never|guaranteed|definitely|obviously|certainly)/i.test(t);
|
|
77
|
+
if (definitive && !hasSource) findings.push({ dim: 'pretend-knowledge', severity: 'high', label: '근거 없는 단정', detail: '단정적 표현이 있으나 근거/출처(파일·문서·테스트·로그)가 없음 — 모르는 정보를 아는 척할 위험.' });
|
|
78
|
+
// 차원2: 미검증 섣부른 판단 — 추정 표현 + 완료/성공 결론인데 근거 없음
|
|
79
|
+
const assumption = /(아마|추정|것\s*같|듯\s*(?:하|싶)|probably|likely|maybe|perhaps|i\s*(?:think|assume|guess|believe|suppose)|should\s*(?:work|be|pass|fix)|생각(?:됩니다|된다|함|돼)|일\s*것|예상(?:됩니다|된다|됨)|짐작)/i.test(t);
|
|
80
|
+
const conclusion = /(완료|done|성공|통과|해결(?:됨|했|함|되었)|fixed|resolved|works?\b|작동(?:함|한다|됨)|구현(?:됨|했|완료))/i.test(t);
|
|
81
|
+
if (assumption && conclusion && !hasSource) findings.push({ dim: 'premature-judgment', severity: 'high', label: '검증 없는 섣부른 판단', detail: '가정·추정 표현과 완료·성공 결론이 함께 있으나 검증 근거가 없음 — 검증 없이 섣부르게 판단할 위험.' });
|
|
82
|
+
// 차원3: 정보 미수집 — 외부 API/라이브러리/버전/스펙 언급인데 수집·근거 흔적 없음
|
|
83
|
+
// \bAPI\b(?!\.[a-z]) 로 파일경로(api.js/api.ts) 오탐 제외. 강한 근거(hasSource)나 수집 흔적(gathered) 있으면 통과.
|
|
84
|
+
const externalRef = /(\bAPI\b(?!\.[a-z])|\bSDK\b|라이브러리|\blibrary\b|\bpackage\b|엔드포인트|\bendpoint\b|버전\s*\d|v\d+\.\d+|\bspec\b|rate\s*limit|레이트\s*리밋|문서에\s*따르면)/i.test(t);
|
|
85
|
+
const gathered = /(https?:\/\/|api-skill|공식\s*문서|\bdocs?\b|문서\s*(?:확인|참조|읽)|읽었|조회(?:함|했)|확인(?:함|했|됨)|fetch|검색(?:함|했)|레퍼런스|reference)/i.test(t);
|
|
86
|
+
if (externalRef && !gathered && !hasSource) findings.push({ dim: 'no-info-gathering', severity: 'medium', label: '외부 정보 미수집', detail: '외부 API/라이브러리/버전/스펙 언급이 있으나 정보 수집(공식문서·api-skill·조회) 흔적이 없음 — 정확한 정보를 먼저 수집 권장.' });
|
|
87
|
+
return { ok: findings.length === 0, findings, dimensions: ['pretend-knowledge', 'premature-judgment', 'no-info-gathering'] };
|
|
88
|
+
}
|
|
89
|
+
|
|
90
|
+
module.exports = { _evidenceQuality, _parseEvidenceStats, _shellGuardAnalyze, _claimFileInGit, _epistemicHonestyCheck };
|
package/lib/mcp-tools.js
CHANGED
|
@@ -85,5 +85,6 @@ module.exports = [
|
|
|
85
85
|
{ name: 'leerness_state_verify', requiredTier: 'safe-write', description: '1.9.279 (UR-0031) — request_verification / verify_done. 현재 run 의 검증 결과 기록. 인자: { path?, result (required: "pass"|"fail"), note? }. 응답: { verified, result, run }.', inputSchema: { type: 'object', properties: { path: { type: 'string' }, result: { type: 'string', enum: ['pass', 'fail'] }, note: { type: 'string' } }, required: ['result'] } },
|
|
86
86
|
{ name: 'leerness_state_handoff', requiredTier: 'safe-write', description: '1.9.279 (UR-0031) — create_handoff / make_handoff. 현재 run 을 마감하고 다음 에이전트용 .leerness/handoff/latest.{md,json} 작성 (Claude→Goose→Codex 인수인계 표준). 인자: { path?, summary (required) }. 응답: { handoff, run }.', inputSchema: { type: 'object', properties: { path: { type: 'string' }, summary: { type: 'string' } }, required: ['summary'] } },
|
|
87
87
|
{ name: 'leerness_get_project_context', requiredTier: 'read-only', description: '1.9.292 (UR-0031) — get_project_context. 외부 에이전트가 작업 시작 전 단 1콜로 "지금 무엇을 알아야 하는가"를 파악하는 집약 컨텍스트. 여러 소스(현재 작업/미답 사용자 요청/최근 결정/활성 룰/next-actions/memory surface/프로젝트 의도)를 한 번에 구조화 회수. read-only. 인자: { path? }. 응답: { version, project, currentTask, openRequests, recentDecisions, activeRules, nextActions, memory }.', inputSchema: { type: 'object', properties: { path: { type: 'string' } } } },
|
|
88
|
-
{ name: 'leerness_about', requiredTier: 'read-only', description: '1.9.296 (UR-0030) — leerness 정체성/포지셔닝 회수. leerness 가 무엇인가: "AI 에이전트 운영 레이어"(실행기 아님) — 기억·정책·인수인계·검증·감사 5계층. read-only. 어떤 에이전트든 "이 도구가 무엇이고 무엇을 보완하는가"를 1콜로 파악. 응답: { identity, isNot, tagline, layers[], complements, entryPoints, surface }.', inputSchema: { type: 'object', properties: {} } }
|
|
88
|
+
{ name: 'leerness_about', requiredTier: 'read-only', description: '1.9.296 (UR-0030) — leerness 정체성/포지셔닝 회수. leerness 가 무엇인가: "AI 에이전트 운영 레이어"(실행기 아님) — 기억·정책·인수인계·검증·감사 5계층. read-only. 어떤 에이전트든 "이 도구가 무엇이고 무엇을 보완하는가"를 1콜로 파악. 응답: { identity, isNot, tagline, layers[], complements, entryPoints, surface }.', inputSchema: { type: 'object', properties: {} } },
|
|
89
|
+
{ name: 'leerness_honesty_check', requiredTier: 'read-only', description: '1.9.305 (사용자 명시) — AI 인식론적 정직성 점검. 주장/evidence 텍스트가 (1) 모르는 걸 아는 척(근거 없는 단정), (2) 검증 없는 섣부른 판단(추정+완료 결론), (3) 외부 정보 미수집(API/버전/스펙 언급+수집흔적 없음) 중 무엇에 해당하는지 휴리스틱 탐지. read-only. 에이전트가 자기 주장을 단언 전 self-check. 인자: { path?, taskId?, text? }. 응답: { ok, findings[], dimensions[], highCount }.', inputSchema: { type: 'object', properties: { path: { type: 'string' }, taskId: { type: 'string' }, text: { type: 'string' } } } }
|
|
89
90
|
];
|
package/package.json
CHANGED
package/scripts/e2e.js
CHANGED
|
@@ -654,7 +654,7 @@ total++;
|
|
|
654
654
|
fs.appendFileSync(path.join(tmpS, '.harness/progress-tracker.md'),
|
|
655
655
|
'| T-0050 | done | DB 마이그레이션 | 사용자 데이터 DB에 저장, 1000건 insert 성공 | (완료) | 2026-05-15 |\n');
|
|
656
656
|
const r = cp.spawnSync(process.execPath, [CLI, 'verify-claim', 'T-0050', '--path', tmpS, '--strict-claims'], { encoding: 'utf8', timeout: 10000 });
|
|
657
|
-
const ok = r.status !== 0 && /낙관적
|
|
657
|
+
const ok = r.status !== 0 && /낙관적 표시.*\(--strict-claims\): ⚠ FAIL/.test(r.stdout) && /DB 호출/.test(r.stdout);
|
|
658
658
|
console.log(ok ? '✓ B(1.9.26) verify-claim --strict-claims: DB 거짓 evidence 통합 감지' : '✗ --strict-claims 실패');
|
|
659
659
|
if (!ok) { failed++; console.log(r.stdout.slice(0, 400)); }
|
|
660
660
|
}
|
|
@@ -3454,5 +3454,28 @@ total++;
|
|
|
3454
3454
|
if (!ok) failed++;
|
|
3455
3455
|
}
|
|
3456
3456
|
|
|
3457
|
+
// 1.9.305 회귀 (사용자 명시): honesty-check — AI 인식론적 정직성 3차원 + exit code + MCP 노출
|
|
3458
|
+
total++;
|
|
3459
|
+
{
|
|
3460
|
+
let ok = false;
|
|
3461
|
+
try {
|
|
3462
|
+
// 양호(근거 있음) → exit 0 + ✓
|
|
3463
|
+
const good = cp.spawnSync(process.execPath, [CLI, 'honesty-check', '--text', 'src/api.js 수정, 12/12 통과 (Exit: 0)'], { cwd: tmp, encoding: 'utf8', timeout: 15000 });
|
|
3464
|
+
const goodOk = good.status === 0 && /정직성 신호 양호/.test(good.stdout || '');
|
|
3465
|
+
// 근거 없는 단정 → exit 1 + pretend-knowledge
|
|
3466
|
+
const bad1 = cp.spawnSync(process.execPath, [CLI, 'honesty-check', '--text', '이 기능은 항상 정상 동작합니다', '--json'], { cwd: tmp, encoding: 'utf8', timeout: 15000 });
|
|
3467
|
+
const b1 = JSON.parse(bad1.stdout); const bad1Ok = bad1.status === 1 && b1.findings.some(f => f.dim === 'pretend-knowledge');
|
|
3468
|
+
// 미검증 섣부른 판단 → premature-judgment
|
|
3469
|
+
const bad2 = cp.spawnSync(process.execPath, [CLI, 'honesty-check', '--text', '아마 될 것 같습니다. 구현 완료했습니다', '--json'], { cwd: tmp, encoding: 'utf8', timeout: 15000 });
|
|
3470
|
+
const bad2Ok = JSON.parse(bad2.stdout).findings.some(f => f.dim === 'premature-judgment');
|
|
3471
|
+
// MCP tools/list 에 노출
|
|
3472
|
+
const ml = cp.spawnSync(process.execPath, [CLI, 'mcp', 'serve'], { cwd: tmp, encoding: 'utf8', timeout: 15000, input: JSON.stringify({ jsonrpc: '2.0', id: 1, method: 'tools/list' }) + '\n' });
|
|
3473
|
+
const mcpOk = JSON.parse(ml.stdout.split('\n').filter(Boolean)[0]).result.tools.some(t => t.name === 'leerness_honesty_check');
|
|
3474
|
+
ok = goodOk && bad1Ok && bad2Ok && mcpOk;
|
|
3475
|
+
} catch {}
|
|
3476
|
+
console.log(ok ? '✓ B(1.9.305) honesty-check: 3차원 탐지 + exit code + MCP 노출 (모르는걸 아는척/미검증판단/정보미수집)' : '✗ honesty-check 실패');
|
|
3477
|
+
if (!ok) failed++;
|
|
3478
|
+
}
|
|
3479
|
+
|
|
3457
3480
|
console.log(`\nE2E result: ${total - failed}/${total} passed · ${((Date.now() - _e2eStart) / 1000).toFixed(0)}s`);
|
|
3458
3481
|
if (failed > 0) process.exit(1);
|