leerness 1.9.304 → 1.9.306
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +39 -0
- package/README.md +6 -6
- package/bin/harness.js +49 -7
- package/lib/analyzers.js +23 -1
- package/lib/mcp-tools.js +2 -1
- package/package.json +1 -1
- package/scripts/e2e.js +48 -1
package/CHANGELOG.md
CHANGED
|
@@ -1,5 +1,44 @@
|
|
|
1
1
|
# Changelog
|
|
2
2
|
|
|
3
|
+
## 1.9.306 — 2026-06-04 — UR-0045: exit code 일관성 (설치리뷰 3중수렴 high)
|
|
4
|
+
|
|
5
|
+
**🚦 clean-install 리뷰에서 Codex·Sonnet·Opus 가 공통 high 로 지적한 "실패가 exit 0" 문제 수정 — CI·MCP·AI 에이전트가 실패를 성공으로 오판하던 근본 신뢰 결함. (직전 라운드의 인식론적 정직성과 직결: 에이전트가 거짓 성공을 믿지 않게.)**
|
|
6
|
+
|
|
7
|
+
### 배경 (Codex#1 · Sonnet#1 · Opus)
|
|
8
|
+
설치 후 실측: `leerness unknowncmd`/`decision add`(인자 누락)/`task badsubcmd` 가 오류 메시지를 내면서도 **exit 0** 반환. 원인: `fail(s)` 가 `✗ s` 로그만 하고 exit code 미설정(243개 호출 전부), unknown 명령은 help 로 fall-through. CI/스크립트/MCP/에이전트가 실패를 성공으로 오인.
|
|
9
|
+
|
|
10
|
+
### 구현 (UR-0045)
|
|
11
|
+
1. **`fail()` → `process.exitCode = 1`** — 243개 모든 오류 경로가 실패 신호. `process.exit` 즉시종료가 아니라 exitCode 설정(후속 출력/정리 보존, main 종료 wrapper 가 강제). 비치명 경고는 기존 `warn()` 유지.
|
|
12
|
+
2. **unknown 명령 fall-through** — 명시적 `help`/`commands`/`--help` 는 exit 0(의도), 그 외 미인식 명령은 `✗ 알 수 없는 명령: <cmd>` 안내 + exit 1. unknown 서브커맨드(task badsubcmd 등)도 fall-through → exit 1.
|
|
13
|
+
3. selftest 53→54 · e2e 250→251.
|
|
14
|
+
|
|
15
|
+
### 검증
|
|
16
|
+
- **selftest 54/54 PASS** · **E2E 251/251 PASS** (회귀 0).
|
|
17
|
+
- **fail() 변경 회귀 0 실증**: 251개 e2e 중 정상 종료해야 할 명령(status/task list/verify/audit/context/about/handoff/selftest…) 전부 exit 0 유지. 오류 경로(unknown/인자누락/badsub) exit 1, --help/--version exit 0.
|
|
18
|
+
- 범위: 입력값 스키마 검증(rule trigger/task status 등 무효값 거부)은 UR-0046(별도), 이번은 exit code 신호 일관성에 집중.
|
|
19
|
+
|
|
20
|
+
## 1.9.305 — 2026-06-04 — honesty-check: AI 인식론적 정직성 점검 (사용자 명시)
|
|
21
|
+
|
|
22
|
+
**🧠 사용자 요청 — AI 가 (1) 모르는 걸 아는 척, (2) 정보를 안 모으고, (3) 검증 없이 섣부르게 판단하는지를 점검하는 인식론적 정직성 가드 신설.**
|
|
23
|
+
|
|
24
|
+
### 배경 (사용자 명시)
|
|
25
|
+
"AI 가 모르는 정보를 아는 척하지 않는지 / 모르는 정보를 알기 위해 정확한 정보를 수집하는지 / 수집 후 검증 없이 섣부른 판단을 하지 않는지" 점검 요청. 기존 leerness 는 부분 커버만: `optimism-check`(행동 주장 vs 코드 흔적, 11종), `api-skill`(외부 문서 수집, opt-in), `verify-claim`(검증). **3차원을 통합 점검하는 정직성 가드는 없었음.**
|
|
26
|
+
|
|
27
|
+
### 구현
|
|
28
|
+
1. **`_epistemicHonestyCheck(text)`** (lib/analyzers.js, 순수) — 3차원 휴리스틱:
|
|
29
|
+
- **pretend-knowledge**(high) — 단정 표현(반드시/항상/100%/always…)인데 근거·출처(파일/문서/테스트/로그) 없음
|
|
30
|
+
- **premature-judgment**(high) — 추정 표현(아마/추정/probably/should…) + 완료·성공 결론인데 검증 근거 없음
|
|
31
|
+
- **no-info-gathering**(med) — 외부 API/버전/스펙 언급인데 수집 흔적(공식문서/api-skill/조회) 없음 (파일경로 `api.js` 오탐 제외)
|
|
32
|
+
2. **`leerness honesty-check <T-ID> | --text "<주장>"`** — 양호 시 exit 0, high 발견 시 exit 1(에이전트 self-gate). `--json`.
|
|
33
|
+
3. **MCP `leerness_honesty_check` (82번째 도구, read-only)** — 에이전트가 단언 전 자기 주장 self-check.
|
|
34
|
+
4. **`verify-claim --strict-claims` 통합** — high-severity 정직성 발견도 strict 실패에 반영(낙관 + 정직성 통합 게이트).
|
|
35
|
+
5. selftest 52→53 · e2e 249→250.
|
|
36
|
+
|
|
37
|
+
### 검증
|
|
38
|
+
- **selftest 53/53 PASS** · **E2E 250/250 PASS** (회귀 0).
|
|
39
|
+
- 실측: "이 기능은 항상 동작"→pretend-knowledge(exit1), "아마 될 것 같다. 완료"→premature-judgment, "이 API rate limit 초당 5회"→no-info-gathering, "src/api.js 수정 12/12 통과(Exit:0)"→양호(exit0). 오탐 0(6/6 케이스).
|
|
40
|
+
- 휴리스틱 advisory — 근거(파일·문서·테스트·로그)나 수집 흔적(공식문서·api-skill·조회) 명시 시 해소.
|
|
41
|
+
|
|
3
42
|
## 1.9.304 — 2026-06-04 — UR-0025 (6단계): 순수 분석/검증 함수 → lib/analyzers.js 모듈 분리
|
|
4
43
|
|
|
5
44
|
**🧩 모놀리스 분리 계속 — 순수 분석/검증 함수 4종을 비파괴 분리. lib 6모듈 체제(630줄 외부화).**
|
package/README.md
CHANGED
|
@@ -3,7 +3,7 @@
|
|
|
3
3
|
> **AI 코딩 에이전트의 거짓 완료·중복·망각·충돌을 막아주는 검수·기억·협업 CLI 하네스.**
|
|
4
4
|
> **A CLI harness that stops AI coding agents from faking completion, duplicating work, forgetting context, and colliding.**
|
|
5
5
|
|
|
6
|
-
[](https://www.npmjs.com/package/leerness) [](https://www.npmjs.com/package/leerness) []() []() []() []() []() []()
|
|
7
7
|
|
|
8
8
|
```
|
|
9
9
|
╔══════════════════════════════════════════════════════════════╗
|
|
@@ -471,7 +471,7 @@ MIT — © leerness contributors
|
|
|
471
471
|
<!-- leerness:project-readme:start -->
|
|
472
472
|
## Leerness Project Harness
|
|
473
473
|
|
|
474
|
-
이 프로젝트는 Leerness v1.9.
|
|
474
|
+
이 프로젝트는 Leerness v1.9.306 하네스를 사용합니다. AI 에이전트는 작업 전 `leerness handoff`로 컨텍스트를 적재하고, 작업 후 `leerness check`/`leerness audit`/`leerness session close`를 수행해야 합니다.
|
|
475
475
|
|
|
476
476
|
### 정체성 — AI 에이전트 운영 레이어 (UR-0030)
|
|
477
477
|
|
|
@@ -525,7 +525,7 @@ leerness memory restore decision <date|title>
|
|
|
525
525
|
|
|
526
526
|
### MCP server (외부 AI 통합)
|
|
527
527
|
|
|
528
|
-
Leerness v1.9.
|
|
528
|
+
Leerness v1.9.306는 stdio JSON-RPC MCP server를 내장합니다 — Claude Code · Cursor · Codex CLI 등 외부 AI에 **82개 도구**를 노출:
|
|
529
529
|
|
|
530
530
|
```jsonc
|
|
531
531
|
// 카테고리별
|
|
@@ -538,7 +538,7 @@ Leerness v1.9.304는 stdio JSON-RPC MCP server를 내장합니다 — Claude Cod
|
|
|
538
538
|
// • Workflow: session_close / agents_list / task_export / env_check / usage_stats / reuse_map / whats_new
|
|
539
539
|
|
|
540
540
|
// MCP server 실행: leerness mcp serve
|
|
541
|
-
// tools/list 응답:
|
|
541
|
+
// tools/list 응답: 82 도구
|
|
542
542
|
```
|
|
543
543
|
|
|
544
544
|
### Autonomous mode (자율 모드)
|
|
@@ -546,7 +546,7 @@ Leerness v1.9.304는 stdio JSON-RPC MCP server를 내장합니다 — Claude Cod
|
|
|
546
546
|
`<<autonomous-loop-dynamic>>` 신호만 보내면 AI가:
|
|
547
547
|
1) 다음 라운드 후보 선정 → 2) 코드 변경 → 3) stress-v* 신규 작성 + 누적 회귀 → 4) e2e 219/219 → 5) npm pack + git tag + GitHub release → 6) main 자동 push (1.9.140+) → 7) session close → 8) 다음 라운드 예약.
|
|
548
548
|
|
|
549
|
-
현재 누적: **70 라운드 (1.9.40 → 1.9.
|
|
549
|
+
현재 누적: **70 라운드 (1.9.40 → 1.9.306)** · 매 라운드 GitHub release/태그 생성 · _reports/는 비공개 보존.
|
|
550
550
|
|
|
551
551
|
### 성능 가이드 (1.9.140 측정)
|
|
552
552
|
|
|
@@ -584,6 +584,6 @@ leerness release pack --close --auto-main-push
|
|
|
584
584
|
- `.harness/session-handoff.md`: 다음 세션 인수인계 (자동 작성)
|
|
585
585
|
- `.harness/lessons.md` / `decisions.md` / `rules.md`: 영구 메모리 (5 surface)
|
|
586
586
|
|
|
587
|
-
Last synced by Leerness v1.9.
|
|
587
|
+
Last synced by Leerness v1.9.306: 2026-06-04
|
|
588
588
|
<!-- leerness:project-readme:end -->
|
|
589
589
|
|
package/bin/harness.js
CHANGED
|
@@ -10,11 +10,11 @@ const readline = require('readline');
|
|
|
10
10
|
const { _isSecretKey, compareVer, parseHarnessVersion, _classifyCJK, _riskLabel, _detectSystemLang, _parseSlashFromHelp,
|
|
11
11
|
PERMISSION_TIERS, _tierRank, _requiredTier, _policyAllows, _resolveNpmTag, _mcpJsonContent, _newRunRecord } = require('../lib/pure-utils');
|
|
12
12
|
// 1.9.304 (UR-0025): 순수 분석/검증 함수 모듈 분리.
|
|
13
|
-
const { _evidenceQuality, _parseEvidenceStats, _shellGuardAnalyze, _claimFileInGit } = require('../lib/analyzers');
|
|
13
|
+
const { _evidenceQuality, _parseEvidenceStats, _shellGuardAnalyze, _claimFileInGit, _epistemicHonestyCheck } = require('../lib/analyzers');
|
|
14
14
|
// 1.9.295 (UR-0025 4단계): 정적 데이터 카탈로그 모듈 분리 (비파괴, require-based).
|
|
15
15
|
const { CAPABILITY_SURFACE, POWERFUL_COMMANDS, ADAPTERS, REUSE_CATEGORIES, REUSE_CHECKLIST } = require('../lib/catalogs');
|
|
16
16
|
|
|
17
|
-
const VERSION = '1.9.
|
|
17
|
+
const VERSION = '1.9.306';
|
|
18
18
|
|
|
19
19
|
// 1.9.290 (UR-0037, Codex gpt-5.5 #4 수렴): CLI 전용 부작용은 require 시 실행하지 않는다.
|
|
20
20
|
// 이전: warning listener 제거 / NODE_OPTIONS 변경 / chcp IIFE 가 top-level 즉시 실행 → require('harness') 시 호스트 프로세스 오염.
|
|
@@ -149,7 +149,9 @@ const STATUSES = ['requested','planned','in-progress','waiting','on-hold','block
|
|
|
149
149
|
function log(s = '') { console.log(s); }
|
|
150
150
|
function ok(s) { log('✓ ' + s); }
|
|
151
151
|
function warn(s) { log('⚠ ' + s); }
|
|
152
|
-
|
|
152
|
+
// 1.9.306 (UR-0045, 설치리뷰 3중수렴): fail() 은 오류 신호 → exit code 1 설정 (CI/MCP/에이전트가 실패를 성공으로 오판 방지).
|
|
153
|
+
// 비치명 경고는 warn() 사용. process.exit 즉시종료가 아니라 exitCode 설정(후속 출력/정리 보존, main 종료 wrapper 가 강제).
|
|
154
|
+
function fail(s) { log('✗ ' + s); process.exitCode = 1; }
|
|
153
155
|
// 1.9.287 (Codex 리뷰 수렴): 임베딩 텍스트의 코드펜스(```)를 중립화해 외부 마크다운(session-handoff)이 깨지지 않게.
|
|
154
156
|
// ``` → ''' (펜스가 아닌 표시), 인라인 백틱은 보존. 순수 함수.
|
|
155
157
|
function _sanitizeFences(s) { return String(s || '').replace(/```+/g, "'''"); }
|
|
@@ -3071,6 +3073,8 @@ function _selfTestCases() {
|
|
|
3071
3073
|
{ name: 'verify-claim git diff 시맨틱 교차검증: _gitChangedFiles/_claimFileInGit + strict FAIL 통합 (UR-0042 외부리뷰 1.9.302)', run: () => { const fnOk = typeof _gitChangedFiles === 'function' && typeof _claimFileInGit === 'function'; const matchOk = _claimFileInGit('src/api.js', new Set(['src/api.js'])) === true && _claimFileInGit('./src/api.js', new Set(['src/api.js'])) === true && _claimFileInGit('other.js', new Set(['src/api.js'])) === false && _claimFileInGit('x', null) === null; const src = read(__filename); const wired = /git diff 교차검증/.test(src) && /\|\| !gitClaimOk/.test(src) && /_gitChangedFiles\(root\)/.test(src); return fnOk && matchOk && wired; } },
|
|
3072
3074
|
{ name: '_withLock/_updateRun: lost-update 락(O_EXCL+재진입) + 적용 (UR-0043 외부리뷰 1.9.303)', run: () => { const src = read(__filename); const fnOk = typeof _withLock === 'function' && typeof _sleepSyncMs === 'function' && typeof _updateRun === 'function'; const reentrant = /if \(_heldLocks\.has\(lockPath\)\) return fn\(\)/.test(src); const excl = /fs\.openSync\(lockPath, 'wx'\)/.test(src); const applied = /const id = _withLock\(progressPath\(root\)/.test(src) && /_updateRun\(root, curId/.test(src); return fnOk && reentrant && excl && applied; } },
|
|
3073
3075
|
{ name: 'lib/analyzers: 분석/검증 함수 4종 모듈 단일출처 분리 (UR-0025 1.9.304)', run: () => { const m = require('../lib/analyzers'); return m._evidenceQuality === _evidenceQuality && m._shellGuardAnalyze === _shellGuardAnalyze && m._parseEvidenceStats === _parseEvidenceStats && m._claimFileInGit === _claimFileInGit && !/function _evidenceQuality\(evidence\) \{/.test(read(__filename)) && !/function _shellGuardAnalyze\(cmd, ctx\) \{/.test(read(__filename)); } },
|
|
3076
|
+
{ name: 'honesty-check: AI 인식론적 정직성 3차원 + MCP/CLI/strict 통합 (사용자명시 1.9.305)', run: () => { const h = _epistemicHonestyCheck; const d1 = h('이 기능은 항상 정상 동작합니다').findings.some(f => f.dim === 'pretend-knowledge'); const d2 = h('아마 될 것 같습니다. 구현 완료했습니다').findings.some(f => f.dim === 'premature-judgment'); const d3 = h('이 API 의 rate limit 은 초당 5회입니다').findings.some(f => f.dim === 'no-info-gathering'); const clean = h('src/api.js 수정, 12/12 통과 (Exit: 0)').ok === true; const src = read(__filename); const wired = require('../lib/mcp-tools').some(t => t.name === 'leerness_honesty_check') && /if \(cmd === 'honesty-check'\)/.test(src) && /honestyFindings = _epistemicHonestyCheck/.test(src); return d1 && d2 && d3 && clean && wired; } },
|
|
3077
|
+
{ name: 'exit code 일관성: fail()→exitCode 1 + unknown 명령 안내 (UR-0045 설치리뷰 1.9.306)', run: () => { const src = read(__filename); return /function fail\(s\) \{ log\('✗ ' \+ s\); process\.exitCode = 1; \}/.test(src) && /알 수 없는 명령: \$\{cmd\}/.test(src) && /if \(cmd === 'help' \|\| cmd === 'commands'/.test(src); } },
|
|
3074
3078
|
{ name: 'VERSION 형식 (x.y.z)', run: () => /^\d+\.\d+\.\d+$/.test(VERSION) }
|
|
3075
3079
|
];
|
|
3076
3080
|
}
|
|
@@ -9605,10 +9609,13 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9605
9609
|
// 1.9.26: --strict-claims — 낙관적 표시 자동 감지 (evidence vs 코드 호출 흔적)
|
|
9606
9610
|
let optimismSuspects = [];
|
|
9607
9611
|
let strictOk = true;
|
|
9612
|
+
let honestyFindings = [];
|
|
9608
9613
|
if (has('--strict-claims')) {
|
|
9609
9614
|
const codeText = _scanCodeForPatterns(root);
|
|
9610
9615
|
optimismSuspects = _detectOptimism(evidence, codeText);
|
|
9611
|
-
|
|
9616
|
+
// 1.9.305 (사용자 명시): 인식론적 정직성 high 발견(근거없는 단정/미검증 판단)도 strict 실패에 반영.
|
|
9617
|
+
honestyFindings = _epistemicHonestyCheck(evidence).findings.filter(f => f.severity === 'high');
|
|
9618
|
+
strictOk = optimismSuspects.length === 0 && honestyFindings.length === 0;
|
|
9612
9619
|
}
|
|
9613
9620
|
|
|
9614
9621
|
log('');
|
|
@@ -9622,10 +9629,11 @@ function verifyClaimCmd(root, taskId) {
|
|
|
9622
9629
|
if (declaredPass) log(` - 주장과 실행 결과 일치: ${declaredPassMatchesActual ? '✓ pass' : '⚠ 다름'}`);
|
|
9623
9630
|
}
|
|
9624
9631
|
if (has('--strict-claims')) {
|
|
9625
|
-
if (strictOk) log(` - 낙관적 표시 (--strict-claims): ✓ pass (의심 없음)`);
|
|
9632
|
+
if (strictOk) log(` - 낙관적 표시 + 정직성 (--strict-claims): ✓ pass (의심 없음)`);
|
|
9626
9633
|
else {
|
|
9627
|
-
log(` - 낙관적 표시 (--strict-claims): ⚠ FAIL (${optimismSuspects.length}
|
|
9634
|
+
log(` - 낙관적 표시 + 정직성 (--strict-claims): ⚠ FAIL (낙관 ${optimismSuspects.length} · 정직성 ${honestyFindings.length})`);
|
|
9628
9635
|
for (const s of optimismSuspects) log(` · [${s.kind}] ${s.label}: evidence에 주장 있는데 코드에 호출 흔적 없음`);
|
|
9636
|
+
for (const f of honestyFindings) log(` · [정직성:${f.dim}] ${f.label}: ${f.detail}`);
|
|
9629
9637
|
}
|
|
9630
9638
|
}
|
|
9631
9639
|
// 1.9.302 (UR-0042): git diff 시맨틱 교차검증 — 주장한 파일이 실제 git 변경(working tree+직전커밋)에 있는가.
|
|
@@ -10250,6 +10258,33 @@ function _computeConfidence(evidence, codeText) {
|
|
|
10250
10258
|
return Math.round(confidence * 100) / 100;
|
|
10251
10259
|
}
|
|
10252
10260
|
|
|
10261
|
+
// 1.9.305 (사용자 명시): AI 인식론적 정직성 점검 — 모르는 걸 아는 척 / 정보 미수집 / 미검증 섣부른 판단.
|
|
10262
|
+
// leerness honesty-check <T-ID> 또는 --text "<주장>". 휴리스틱 advisory, high-severity 시 exit 1(에이전트 self-gate).
|
|
10263
|
+
function honestyCheckCmd(root, arg1) {
|
|
10264
|
+
root = absRoot(root || process.cwd());
|
|
10265
|
+
const isTty = process.stdout && process.stdout.isTTY;
|
|
10266
|
+
const cy = s => isTty ? `\x1b[36m${s}\x1b[0m` : s, gr = s => isTty ? `\x1b[32m${s}\x1b[0m` : s, rd = s => isTty ? `\x1b[31m${s}\x1b[0m` : s, dm = s => isTty ? `\x1b[2m${s}\x1b[0m` : s;
|
|
10267
|
+
const textArg = arg('--text', null);
|
|
10268
|
+
let subject = '', sourceLabel = '';
|
|
10269
|
+
if (textArg) { subject = String(textArg); sourceLabel = '--text'; }
|
|
10270
|
+
else if (arg1 && !arg1.startsWith('-')) {
|
|
10271
|
+
const row = readProgressRows(root).find(r => r.id === arg1);
|
|
10272
|
+
if (!row) { fail(`progress-tracker.md에 ${arg1} 없음.`); process.exitCode = 1; return; }
|
|
10273
|
+
subject = row.evidence || ''; sourceLabel = `${arg1} evidence`;
|
|
10274
|
+
} else { fail('사용법: leerness honesty-check <T-ID> 또는 leerness honesty-check --text "<주장>"'); process.exitCode = 1; return; }
|
|
10275
|
+
const r = _epistemicHonestyCheck(subject);
|
|
10276
|
+
const high = r.findings.filter(f => f.severity === 'high').length;
|
|
10277
|
+
if (has('--json')) { log(JSON.stringify({ source: sourceLabel, ...r, highCount: high }, null, 2)); if (high > 0) process.exitCode = 1; return; }
|
|
10278
|
+
log(cy(`# leerness honesty-check (1.9.305) — AI 인식론적 정직성 점검`));
|
|
10279
|
+
log(dm(` 대상: ${sourceLabel} · "${subject.slice(0, 80)}${subject.length > 80 ? '…' : ''}"`));
|
|
10280
|
+
log('');
|
|
10281
|
+
if (r.ok) { log(gr(' ✓ 정직성 신호 양호 — 근거 없는 단정 / 미검증 섣부른 판단 / 외부정보 미수집 흔적 없음')); return; }
|
|
10282
|
+
log(rd(` ⚠ ${r.findings.length}건 발견:`));
|
|
10283
|
+
for (const f of r.findings) { log(` ${f.severity === 'high' ? '🔴' : '🟡'} [${f.dim}] ${f.label}`); log(dm(` ${f.detail}`)); }
|
|
10284
|
+
log('');
|
|
10285
|
+
log(dm(' ℹ 휴리스틱 advisory — 근거(파일·문서·테스트·로그) 또는 수집 흔적(공식문서·api-skill·조회) 명시 시 해소.'));
|
|
10286
|
+
if (high > 0) process.exitCode = 1;
|
|
10287
|
+
}
|
|
10253
10288
|
function optimismCheckCmd(root, taskId) {
|
|
10254
10289
|
root = absRoot(root || process.cwd());
|
|
10255
10290
|
if (!taskId) return fail('optimism-check <T-ID> 필요. 예: leerness optimism-check T-0001');
|
|
@@ -16889,6 +16924,9 @@ function mcpServeCmd(root) {
|
|
|
16889
16924
|
case 'leerness_about':
|
|
16890
16925
|
cliArgs = ['about', '--json'];
|
|
16891
16926
|
break;
|
|
16927
|
+
case 'leerness_honesty_check':
|
|
16928
|
+
cliArgs = ['honesty-check', ...(args.text ? ['--text', String(args.text)] : [String(args.taskId || '')]), '--path', targetPath, '--json'];
|
|
16929
|
+
break;
|
|
16892
16930
|
default:
|
|
16893
16931
|
return send({ jsonrpc: '2.0', id, error: { code: -32601, message: `Unknown tool: ${name}` } });
|
|
16894
16932
|
}
|
|
@@ -21279,6 +21317,7 @@ async function main() {
|
|
|
21279
21317
|
if (cmd === 'deps') return depsImpactCmd(arg('--path', process.cwd()), args[1]);
|
|
21280
21318
|
if (cmd === 'register-pending') return registerPendingCmd(arg('--path', process.cwd()), args.slice(1).filter(x => !x.startsWith('-')));
|
|
21281
21319
|
if (cmd === 'optimism-check') return optimismCheckCmd(arg('--path', process.cwd()), args[1]);
|
|
21320
|
+
if (cmd === 'honesty-check') return honestyCheckCmd(arg('--path', process.cwd()), args[1]);
|
|
21282
21321
|
if (cmd === 'persona') return personaCmd(arg('--path', process.cwd()), args[1], args[2]);
|
|
21283
21322
|
if (cmd === 'review') return reviewCmd(arg('--path', process.cwd()), args[1]);
|
|
21284
21323
|
if (cmd === 'agents') return agentsCmd(arg('--path', process.cwd()), args[1], ...args.slice(2));
|
|
@@ -21569,7 +21608,10 @@ async function main() {
|
|
|
21569
21608
|
}
|
|
21570
21609
|
return fail('decision add "<title>" --reason "..." --alternatives "..." --impact "..." | decision list [--json] | decision drop <date|title>');
|
|
21571
21610
|
}
|
|
21572
|
-
|
|
21611
|
+
// 1.9.306 (UR-0045): 명시적 help 요청은 exit 0, 그 외 미인식 명령은 안내 + exit 1 (실패를 성공으로 오판 방지).
|
|
21612
|
+
if (cmd === 'help' || cmd === 'commands' || cmd === '--help' || cmd === '-h') { help(); return; }
|
|
21613
|
+
fail(`알 수 없는 명령: ${cmd} (leerness --help 로 전체 명령 확인)`);
|
|
21614
|
+
return;
|
|
21573
21615
|
}
|
|
21574
21616
|
|
|
21575
21617
|
// 1.9.4 B: main 종료 후 exitCode를 명시적으로 process.exit으로 강제 (셸/wrapper 차 무시).
|
package/lib/analyzers.js
CHANGED
|
@@ -65,4 +65,26 @@ function _parseEvidenceStats(text) {
|
|
|
65
65
|
return { entries, pass, fail, rate: (pass + fail) ? Math.round(pass / (pass + fail) * 100) : null };
|
|
66
66
|
}
|
|
67
67
|
|
|
68
|
-
|
|
68
|
+
// 1.9.305 (사용자 명시): AI 인식론적 정직성 점검 — 모르는 걸 아는 척 / 정보 미수집 / 미검증 섣부른 판단 휴리스틱 탐지.
|
|
69
|
+
// 순수 함수(텍스트→findings). 휴리스틱 advisory — 단정/추정/외부참조 표현 vs 근거·수집 흔적 대조. opt-in 점검용.
|
|
70
|
+
function _epistemicHonestyCheck(text) {
|
|
71
|
+
const t = String(text || '');
|
|
72
|
+
const findings = [];
|
|
73
|
+
// 공통: 근거/출처 흔적 (파일경로·URL·테스트결과·Exit·문서·api-skill·인용·조회 흔적)
|
|
74
|
+
const hasSource = /(?:[\w./-]+\.(?:js|ts|tsx|jsx|py|go|rs|rb|md|json|ya?ml|toml|sql|sh)\b)|https?:\/\/|\bExit\s*[:=]|\d+\s*\/\s*\d+\s*(?:통과|passed)|\b(?:passed|passing)\b|근거[::]|출처[::]|api-skill|공식\s*문서|문서\s*(?:확인|참조|에\s*따르면)|읽었|조회(?:함|했|함\b)|확인(?:함|했|됨)|grep|로그[::]/i.test(t);
|
|
75
|
+
// 차원1: 모르는 걸 아는 척 — 단정 표현인데 근거 없음
|
|
76
|
+
const definitive = /(반드시|항상|언제나|무조건|확실(?:히|함|하게)|당연히|틀림없|100\s*%|always|never|guaranteed|definitely|obviously|certainly)/i.test(t);
|
|
77
|
+
if (definitive && !hasSource) findings.push({ dim: 'pretend-knowledge', severity: 'high', label: '근거 없는 단정', detail: '단정적 표현이 있으나 근거/출처(파일·문서·테스트·로그)가 없음 — 모르는 정보를 아는 척할 위험.' });
|
|
78
|
+
// 차원2: 미검증 섣부른 판단 — 추정 표현 + 완료/성공 결론인데 근거 없음
|
|
79
|
+
const assumption = /(아마|추정|것\s*같|듯\s*(?:하|싶)|probably|likely|maybe|perhaps|i\s*(?:think|assume|guess|believe|suppose)|should\s*(?:work|be|pass|fix)|생각(?:됩니다|된다|함|돼)|일\s*것|예상(?:됩니다|된다|됨)|짐작)/i.test(t);
|
|
80
|
+
const conclusion = /(완료|done|성공|통과|해결(?:됨|했|함|되었)|fixed|resolved|works?\b|작동(?:함|한다|됨)|구현(?:됨|했|완료))/i.test(t);
|
|
81
|
+
if (assumption && conclusion && !hasSource) findings.push({ dim: 'premature-judgment', severity: 'high', label: '검증 없는 섣부른 판단', detail: '가정·추정 표현과 완료·성공 결론이 함께 있으나 검증 근거가 없음 — 검증 없이 섣부르게 판단할 위험.' });
|
|
82
|
+
// 차원3: 정보 미수집 — 외부 API/라이브러리/버전/스펙 언급인데 수집·근거 흔적 없음
|
|
83
|
+
// \bAPI\b(?!\.[a-z]) 로 파일경로(api.js/api.ts) 오탐 제외. 강한 근거(hasSource)나 수집 흔적(gathered) 있으면 통과.
|
|
84
|
+
const externalRef = /(\bAPI\b(?!\.[a-z])|\bSDK\b|라이브러리|\blibrary\b|\bpackage\b|엔드포인트|\bendpoint\b|버전\s*\d|v\d+\.\d+|\bspec\b|rate\s*limit|레이트\s*리밋|문서에\s*따르면)/i.test(t);
|
|
85
|
+
const gathered = /(https?:\/\/|api-skill|공식\s*문서|\bdocs?\b|문서\s*(?:확인|참조|읽)|읽었|조회(?:함|했)|확인(?:함|했|됨)|fetch|검색(?:함|했)|레퍼런스|reference)/i.test(t);
|
|
86
|
+
if (externalRef && !gathered && !hasSource) findings.push({ dim: 'no-info-gathering', severity: 'medium', label: '외부 정보 미수집', detail: '외부 API/라이브러리/버전/스펙 언급이 있으나 정보 수집(공식문서·api-skill·조회) 흔적이 없음 — 정확한 정보를 먼저 수집 권장.' });
|
|
87
|
+
return { ok: findings.length === 0, findings, dimensions: ['pretend-knowledge', 'premature-judgment', 'no-info-gathering'] };
|
|
88
|
+
}
|
|
89
|
+
|
|
90
|
+
module.exports = { _evidenceQuality, _parseEvidenceStats, _shellGuardAnalyze, _claimFileInGit, _epistemicHonestyCheck };
|
package/lib/mcp-tools.js
CHANGED
|
@@ -85,5 +85,6 @@ module.exports = [
|
|
|
85
85
|
{ name: 'leerness_state_verify', requiredTier: 'safe-write', description: '1.9.279 (UR-0031) — request_verification / verify_done. 현재 run 의 검증 결과 기록. 인자: { path?, result (required: "pass"|"fail"), note? }. 응답: { verified, result, run }.', inputSchema: { type: 'object', properties: { path: { type: 'string' }, result: { type: 'string', enum: ['pass', 'fail'] }, note: { type: 'string' } }, required: ['result'] } },
|
|
86
86
|
{ name: 'leerness_state_handoff', requiredTier: 'safe-write', description: '1.9.279 (UR-0031) — create_handoff / make_handoff. 현재 run 을 마감하고 다음 에이전트용 .leerness/handoff/latest.{md,json} 작성 (Claude→Goose→Codex 인수인계 표준). 인자: { path?, summary (required) }. 응답: { handoff, run }.', inputSchema: { type: 'object', properties: { path: { type: 'string' }, summary: { type: 'string' } }, required: ['summary'] } },
|
|
87
87
|
{ name: 'leerness_get_project_context', requiredTier: 'read-only', description: '1.9.292 (UR-0031) — get_project_context. 외부 에이전트가 작업 시작 전 단 1콜로 "지금 무엇을 알아야 하는가"를 파악하는 집약 컨텍스트. 여러 소스(현재 작업/미답 사용자 요청/최근 결정/활성 룰/next-actions/memory surface/프로젝트 의도)를 한 번에 구조화 회수. read-only. 인자: { path? }. 응답: { version, project, currentTask, openRequests, recentDecisions, activeRules, nextActions, memory }.', inputSchema: { type: 'object', properties: { path: { type: 'string' } } } },
|
|
88
|
-
{ name: 'leerness_about', requiredTier: 'read-only', description: '1.9.296 (UR-0030) — leerness 정체성/포지셔닝 회수. leerness 가 무엇인가: "AI 에이전트 운영 레이어"(실행기 아님) — 기억·정책·인수인계·검증·감사 5계층. read-only. 어떤 에이전트든 "이 도구가 무엇이고 무엇을 보완하는가"를 1콜로 파악. 응답: { identity, isNot, tagline, layers[], complements, entryPoints, surface }.', inputSchema: { type: 'object', properties: {} } }
|
|
88
|
+
{ name: 'leerness_about', requiredTier: 'read-only', description: '1.9.296 (UR-0030) — leerness 정체성/포지셔닝 회수. leerness 가 무엇인가: "AI 에이전트 운영 레이어"(실행기 아님) — 기억·정책·인수인계·검증·감사 5계층. read-only. 어떤 에이전트든 "이 도구가 무엇이고 무엇을 보완하는가"를 1콜로 파악. 응답: { identity, isNot, tagline, layers[], complements, entryPoints, surface }.', inputSchema: { type: 'object', properties: {} } },
|
|
89
|
+
{ name: 'leerness_honesty_check', requiredTier: 'read-only', description: '1.9.305 (사용자 명시) — AI 인식론적 정직성 점검. 주장/evidence 텍스트가 (1) 모르는 걸 아는 척(근거 없는 단정), (2) 검증 없는 섣부른 판단(추정+완료 결론), (3) 외부 정보 미수집(API/버전/스펙 언급+수집흔적 없음) 중 무엇에 해당하는지 휴리스틱 탐지. read-only. 에이전트가 자기 주장을 단언 전 self-check. 인자: { path?, taskId?, text? }. 응답: { ok, findings[], dimensions[], highCount }.', inputSchema: { type: 'object', properties: { path: { type: 'string' }, taskId: { type: 'string' }, text: { type: 'string' } } } }
|
|
89
90
|
];
|
package/package.json
CHANGED
package/scripts/e2e.js
CHANGED
|
@@ -654,7 +654,7 @@ total++;
|
|
|
654
654
|
fs.appendFileSync(path.join(tmpS, '.harness/progress-tracker.md'),
|
|
655
655
|
'| T-0050 | done | DB 마이그레이션 | 사용자 데이터 DB에 저장, 1000건 insert 성공 | (완료) | 2026-05-15 |\n');
|
|
656
656
|
const r = cp.spawnSync(process.execPath, [CLI, 'verify-claim', 'T-0050', '--path', tmpS, '--strict-claims'], { encoding: 'utf8', timeout: 10000 });
|
|
657
|
-
const ok = r.status !== 0 && /낙관적
|
|
657
|
+
const ok = r.status !== 0 && /낙관적 표시.*\(--strict-claims\): ⚠ FAIL/.test(r.stdout) && /DB 호출/.test(r.stdout);
|
|
658
658
|
console.log(ok ? '✓ B(1.9.26) verify-claim --strict-claims: DB 거짓 evidence 통합 감지' : '✗ --strict-claims 실패');
|
|
659
659
|
if (!ok) { failed++; console.log(r.stdout.slice(0, 400)); }
|
|
660
660
|
}
|
|
@@ -3454,5 +3454,52 @@ total++;
|
|
|
3454
3454
|
if (!ok) failed++;
|
|
3455
3455
|
}
|
|
3456
3456
|
|
|
3457
|
+
// 1.9.305 회귀 (사용자 명시): honesty-check — AI 인식론적 정직성 3차원 + exit code + MCP 노출
|
|
3458
|
+
total++;
|
|
3459
|
+
{
|
|
3460
|
+
let ok = false;
|
|
3461
|
+
try {
|
|
3462
|
+
// 양호(근거 있음) → exit 0 + ✓
|
|
3463
|
+
const good = cp.spawnSync(process.execPath, [CLI, 'honesty-check', '--text', 'src/api.js 수정, 12/12 통과 (Exit: 0)'], { cwd: tmp, encoding: 'utf8', timeout: 15000 });
|
|
3464
|
+
const goodOk = good.status === 0 && /정직성 신호 양호/.test(good.stdout || '');
|
|
3465
|
+
// 근거 없는 단정 → exit 1 + pretend-knowledge
|
|
3466
|
+
const bad1 = cp.spawnSync(process.execPath, [CLI, 'honesty-check', '--text', '이 기능은 항상 정상 동작합니다', '--json'], { cwd: tmp, encoding: 'utf8', timeout: 15000 });
|
|
3467
|
+
const b1 = JSON.parse(bad1.stdout); const bad1Ok = bad1.status === 1 && b1.findings.some(f => f.dim === 'pretend-knowledge');
|
|
3468
|
+
// 미검증 섣부른 판단 → premature-judgment
|
|
3469
|
+
const bad2 = cp.spawnSync(process.execPath, [CLI, 'honesty-check', '--text', '아마 될 것 같습니다. 구현 완료했습니다', '--json'], { cwd: tmp, encoding: 'utf8', timeout: 15000 });
|
|
3470
|
+
const bad2Ok = JSON.parse(bad2.stdout).findings.some(f => f.dim === 'premature-judgment');
|
|
3471
|
+
// MCP tools/list 에 노출
|
|
3472
|
+
const ml = cp.spawnSync(process.execPath, [CLI, 'mcp', 'serve'], { cwd: tmp, encoding: 'utf8', timeout: 15000, input: JSON.stringify({ jsonrpc: '2.0', id: 1, method: 'tools/list' }) + '\n' });
|
|
3473
|
+
const mcpOk = JSON.parse(ml.stdout.split('\n').filter(Boolean)[0]).result.tools.some(t => t.name === 'leerness_honesty_check');
|
|
3474
|
+
ok = goodOk && bad1Ok && bad2Ok && mcpOk;
|
|
3475
|
+
} catch {}
|
|
3476
|
+
console.log(ok ? '✓ B(1.9.305) honesty-check: 3차원 탐지 + exit code + MCP 노출 (모르는걸 아는척/미검증판단/정보미수집)' : '✗ honesty-check 실패');
|
|
3477
|
+
if (!ok) failed++;
|
|
3478
|
+
}
|
|
3479
|
+
|
|
3480
|
+
// 1.9.306 회귀 (UR-0045 설치리뷰): exit code 일관성 — 오류 경로 exit 1, 정상/help exit 0
|
|
3481
|
+
total++;
|
|
3482
|
+
{
|
|
3483
|
+
let ok = false;
|
|
3484
|
+
try {
|
|
3485
|
+
const eDir = fs.mkdtempSync(path.join(os.tmpdir(), 'leerness-exit-'));
|
|
3486
|
+
cp.spawnSync(process.execPath, [CLI, 'init', eDir, '--yes', '--language', 'ko', '--skills', 'recommended'], { encoding: 'utf8', timeout: 30000 });
|
|
3487
|
+
const ex = (args) => cp.spawnSync(process.execPath, [CLI, ...args], { cwd: eDir, encoding: 'utf8', timeout: 20000 }).status;
|
|
3488
|
+
// 오류 경로 → exit 1
|
|
3489
|
+
const unknownOk = ex(['definitely-not-a-cmd']) === 1;
|
|
3490
|
+
const missingArgOk = ex(['decision', 'add', '--path', eDir]) === 1;
|
|
3491
|
+
const badSubOk = ex(['task', 'zzznotreal', '--path', eDir]) === 1;
|
|
3492
|
+
// 정상/help/version → exit 0 (fail() 변경 회귀 방지)
|
|
3493
|
+
const okStatus = ex(['status', eDir]) === 0;
|
|
3494
|
+
const okList = ex(['task', 'list', '--path', eDir]) === 0;
|
|
3495
|
+
const okHelp = ex(['--help']) === 0;
|
|
3496
|
+
const okVer = ex(['--version']) === 0;
|
|
3497
|
+
ok = unknownOk && missingArgOk && badSubOk && okStatus && okList && okHelp && okVer;
|
|
3498
|
+
fs.rmSync(eDir, { recursive: true, force: true });
|
|
3499
|
+
} catch {}
|
|
3500
|
+
console.log(ok ? '✓ B(1.9.306) exit code 일관성: 오류 exit 1(unknown/인자누락/badsub) + 정상·help·version exit 0 (UR-0045)' : '✗ exit code 일관성 실패');
|
|
3501
|
+
if (!ok) failed++;
|
|
3502
|
+
}
|
|
3503
|
+
|
|
3457
3504
|
console.log(`\nE2E result: ${total - failed}/${total} passed · ${((Date.now() - _e2eStart) / 1000).toFixed(0)}s`);
|
|
3458
3505
|
if (failed > 0) process.exit(1);
|