deel-local-cli 1.17.6 → 1.17.7

package/README.ko.md

@@ -20,7 +20,7 @@
 
 [![Node.js CI](https://img.shields.io/github/actions/workflow/status/jysvai/deel-local-cli/test.yml?branch=main&logo=github&logoColor=white&label=Node.js%20CI)](https://github.com/jysvai/deel-local-cli/actions/workflows/test.yml)
 [![CodeQL](https://img.shields.io/github/actions/workflow/status/jysvai/deel-local-cli/codeql.yml?branch=main&logo=github&logoColor=white&label=CodeQL)](https://github.com/jysvai/deel-local-cli/actions/workflows/codeql.yml)
-[![tests](https://img.shields.io/badge/tests-8%2C011%20passing-1a7f37?logo=checkmarx&logoColor=white)](docs/ko/develop.md)
+[![tests](https://img.shields.io/badge/tests-8%2C032%20passing-1a7f37?logo=checkmarx&logoColor=white)](docs/ko/develop.md)
 
 [![dependencies](https://img.shields.io/badge/dependencies-0-1a7f37)](https://www.npmjs.com/package/deel-local-cli?activeTab=dependencies)
 [![ESM](https://img.shields.io/badge/ESM-Node%2020%2B-5FA04E?logo=javascript&logoColor=white)](package.json)
@@ -53,6 +53,39 @@
 
 ---
 
+### 그래서 뭐가 다른데 — 나란히 세워 재 봤습니다
+
+같은 프로젝트, 같은 일, 같은 모델(AWS Bedrock · Claude Opus 5). 양쪽 다 공동
+편집기의 **데이터 손실 결함을 찾아 고치게** 했습니다.
+
+|  | Claude CLI | deel |
+|---|---|---|
+| 관측 비용 | $7.90 | **$6.57**  ·  -16.8% |
+| 소요 시간 | 38분 00초 | **36분 59초**  ·  -2.7% |
+| 종합 상대지수 | 97.9% | 98.5% |
+| 곁들인 것 | `claude-token-saver` (별도 npm) | **없음 — 자체 기능만** |
+
+한 줄로 줄이면: **품질은 사실상 동급인데, 절감 패키지를 안 붙이고도 더 쌌습니다.**
+
+<picture>
+  <source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/jysvai/deel-local-cli/main/docs/assets/benchmark-dark.svg">
+  <img alt="Claude CLI 와 deel 벤치마크 — 항목별 상대지수" src="https://raw.githubusercontent.com/jysvai/deel-local-cli/main/docs/assets/benchmark-light.svg" width="900">
+</picture>
+
+두 실행은 같은 버그를 두 번 찾은 게 아닙니다. **서로 다른 실패 경로**를 하나씩
+없앴습니다 — 한쪽은 한글 조합 중 기준값이 오염되는 길, 한쪽은 `await` 사이에
+입력이 덮이는 경쟁 상태(TOCTOU). 둘 다 고치기 전에 재현했고, 최소 수정 뒤
+회귀 검증까지 갔습니다.
+
+> **이 자료로 말할 수 없는 것도 적어 둡니다.** 표본이 2회입니다. Claude 쪽에는
+> 외부 절감 패키지가 붙어 있어서 **엔진 자체의 효율 차이라고 단정할 수 없습니다.**
+> 그리고 **전체 회귀 범위는 Claude 가 넓었습니다** — 우리가 진 항목이고, 그것이
+> 1.17.7 에서 `Verify` 를 고치게 만들었습니다(확인 방법을 하나가 아니라 전부 찾습니다).
+
+→ [전체 기록과 방법론](docs/ko/benchmark.md) · [원본 PDF](pdf/cli_benchmark_anonymized_v4.pdf)
+
+---
+
 ## 목차
 
 - [왜 만들었나](#왜-만들었나)
@@ -268,7 +301,7 @@ deel --offline
 무엇이 어디로 갈 수 있는지는 켤 때 화면 맨 위에 늘 적혀 있습니다.
 
 ```
- deel 1.17.6  ⌂ 이 안
+ deel 1.17.7  ⌂ 이 안
  보냄    이 컴퓨터 안 127.0.0.1:11434  ← 여기 말고는 어디로도 안 갑니다
 ```
 
@@ -1185,7 +1218,7 @@ deel stats                    # 이 폴더에서 실제로 무엇을 했나 (.de
 ## 개발
 
 ```bash
-npm test          전체 검증 (8,011항목 — 몇몇은 터미널에 따라 갈립니다)
+npm test          전체 검증 (8,032항목 — 몇몇은 터미널에 따라 갈립니다)
 npm run coverage  검사가 소스의 어디를 밟았는지
 npm run verify    반입·통신 검증만
 npm run bench     편집 성공률 측정
@@ -1254,6 +1287,7 @@ zip 은 진짜 `unzip` 으로, tar 는 진짜 `tar` 가 만든 것을 읽혀 교
 
 | 판 | 무엇이 바뀌었나 |
 |---|---|
+| [1.17.7](docs/ko/releases/1.17.md#1177) | 나란히 세워 재 봤고, 진 항목을 고쳤습니다 |
 | [1.17.6](docs/ko/releases/1.17.md#1176) | 살아 있다는 신호만 오고 내용이 안 오면, 여태 영원히 기다렸습니다 |
 | [1.17.5](docs/ko/releases/1.17.md#1175) | 한 턴 안에서 단계가 일을 따라갑니다 — 그리고 읽기 도구 넷이 여태 줄을 서 있었습니다 |
 | [1.17.4](docs/ko/releases/1.17.md#1174) | 같은 요청을 한 번 더 보내던 자리들 — 그리고 배운 것이 스스로를 봉인하던 자리 |

package/README.md

@@ -20,7 +20,7 @@ Vendor APIs connect too — **only when you say so**
 
 [![Node.js CI](https://img.shields.io/github/actions/workflow/status/jysvai/deel-local-cli/test.yml?branch=main&logo=github&logoColor=white&label=Node.js%20CI)](https://github.com/jysvai/deel-local-cli/actions/workflows/test.yml)
 [![CodeQL](https://img.shields.io/github/actions/workflow/status/jysvai/deel-local-cli/codeql.yml?branch=main&logo=github&logoColor=white&label=CodeQL)](https://github.com/jysvai/deel-local-cli/actions/workflows/codeql.yml)
-[![tests](https://img.shields.io/badge/tests-8%2C011%20passing-1a7f37?logo=checkmarx&logoColor=white)](docs/en/develop.md)
+[![tests](https://img.shields.io/badge/tests-8%2C032%20passing-1a7f37?logo=checkmarx&logoColor=white)](docs/en/develop.md)
 
 [![dependencies](https://img.shields.io/badge/dependencies-0-1a7f37)](https://www.npmjs.com/package/deel-local-cli?activeTab=dependencies)
 [![ESM](https://img.shields.io/badge/ESM-Node%2020%2B-5FA04E?logo=javascript&logoColor=white)](package.json)
@@ -60,6 +60,41 @@ summary are what deel actually printed.
 
 ---
 
+### So what is actually different — we put them side by side
+
+Same project, same job, same model (Claude Opus 5 via AWS Bedrock). Both were asked to
+**find and fix a data-loss defect** in a collaborative editor.
+
+|  | Claude CLI | deel |
+|---|---|---|
+| Observed cost | $7.90 | **$6.57**  ·  -16.8% |
+| Wall time | 38m 00s | **36m 59s**  ·  -2.7% |
+| Composite index | 97.9% | 98.5% |
+| Extras | `claude-token-saver` (separate npm) | **none — built-in only** |
+
+In one line: **quality came out effectively equal, and it cost less without bolting on
+a savings package.**
+
+<picture>
+  <source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/jysvai/deel-local-cli/main/docs/assets/benchmark-dark.svg">
+  <img alt="Claude CLI and deel benchmark — relative index by dimension" src="https://raw.githubusercontent.com/jysvai/deel-local-cli/main/docs/assets/benchmark-light.svg" width="900">
+</picture>
+
+The two runs did not find the same bug twice. Each removed **a different failure
+path** — one where the base value is corrupted mid-IME-composition, one a TOCTOU race
+where input is overwritten across an `await`. Both reproduced the defect before fixing
+it, and carried the minimal fix through regression verification.
+
+> **What this data cannot say, stated plainly.** The sample is two runs. The Claude
+> side had an external savings package attached, so **the gap cannot be attributed to
+> engine efficiency.** And **Claude covered more regression scope** — that is the row
+> we lost, and it is what made 1.17.7 fix `Verify` to find every way a project checks
+> itself, not just one.
+
+→ [Full record and methodology](docs/en/benchmark.md) · [source PDF](pdf/cli_benchmark_anonymized_v4.pdf)
+
+---
+
 ## 60 seconds
 
 ```bash
@@ -339,7 +374,7 @@ deel --offline
 The destination is printed at the top of every session:
 
 ```
- deel 1.17.6  ⌂ inside
+ deel 1.17.7  ⌂ inside
  Sends to this machine 127.0.0.1:11434  ← nowhere else
 ```
 
@@ -1258,7 +1293,7 @@ Stored in `~/.deel/config.json`. A `.deel/config.json` in the project folder tak
 ## Development
 
 ```bash
-npm test          Full suite (8,011 checks; a few are TTY-dependent)
+npm test          Full suite (8,032 checks; a few are TTY-dependent)
 npm run coverage  Which lines the tests actually execute
 npm run verify    Import + network checks only
 npm run bench     Edit success rate
@@ -1313,6 +1348,7 @@ so one run tells you everything.
 
 | Version | What changed |
 |---|---|
+| [1.17.7](docs/en/releases/1.17.md#1177) | We measured it side by side, and fixed the row we lost |
 | [1.17.6](docs/en/releases/1.17.md#1176) | Only keep-alive and no content used to mean waiting forever |
 | [1.17.5](docs/en/releases/1.17.md#1175) | The phase now follows the work inside a turn — and four read tools had been queueing up |
 | [1.17.4](docs/en/releases/1.17.md#1174) | The places that sent the same request twice — and where what it learned sealed itself in |

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "deel-local-cli",
-  "version": "1.17.6",
+  "version": "1.17.7",
   "description": "A coding-agent CLI that runs on local models and private gateways. Zero dependencies, Node 20+.",
   "type": "module",
   "license": "MIT",

package/src/tools/verify.js

@@ -30,9 +30,10 @@
  */
 import { existsSync, statSync, readFileSync } from 'node:fs';
 import { execFile } from 'node:child_process';
-import { extname, dirname, join, resolve } from 'node:path';
+import { extname, dirname, resolve } from 'node:path';
 import { walk, SKIP_DIRS, 내부살림 } from './fsutil.js';
 import { 건너뜀말 } from './ignore.js';
+import { 확인법들 } from './확인법.js';
 import { decode, looksBinary } from './encoding.js';
 import { checkCommand } from '../safety/guard.js';
 import { 말 } from '../i18n/index.js';
@@ -315,10 +316,24 @@ export const VERIFY_TOOL = {
      * 검사가 걸려 있기 때문이다. 이 도구가 몰래 돌리면 strict 모드에서
      * "물어보고 실행한다" 는 약속이 이 자리에서만 깨진다.
      */
-    const 있는명령 = 프로젝트확인법(뿌리);
-    if (있는명령) {
+    const 확인들 = 확인법들(뿌리);
+    if (확인들.length) {
       줄.push('');
-      줄.push(`이 프로젝트에는 ${있는명령} 가 있습니다. 진짜로 도는지 보려면 Bash 로 돌려라.`);
+      if (확인들.length === 1) {
+        줄.push(`이 프로젝트에는 ${확인들[0].명령} 가 있습니다. 진짜로 도는지 보려면 Bash 로 돌려라.`);
+      } else {
+        /*
+         * **하나만 알려 주면 하나만 돈다.**
+         *
+         * 벤치마크에서 진 자리가 여기다 — 검사가 셋인 프로젝트에서 우리는
+         * 하나만 알려 줬고, 그래서 하나만 돌았고, 회귀 범위가 좁았다.
+         * 고른 하나가 아니라 **찾은 전부**를 준다. 무엇을 돌릴지는 모델이
+         * 정하되, 있는 줄도 몰라서 못 도는 일은 없어야 한다.
+         */
+        줄.push(`이 프로젝트의 확인 방법은 ${확인들.length}가지입니다. 고친 곳과 닿는 것은 **전부** Bash 로 돌려라 —`);
+        for (const { 명령, 어디서 } of 확인들) 줄.push(`  ${명령}   (${어디서})`);
+        줄.push('하나만 돌리고 "회귀 검증했다" 고 말하지 마라. 안 돌린 것은 안 돌렸다고 적어라.');
+      }
     }
 
     const 다됐나 = !탈난것.length;
@@ -339,20 +354,4 @@ export const VERIFY_TOOL = {
   },
 };
 
-/**
- * 이 프로젝트가 스스로 정해 둔 확인 방법.
- *
- * package.json 에 test 가 있으면 그것이 답이다. 없는 것을 지어내지는 않는다 —
- * 없으면 null 이고, 그러면 파일별 확인만 한 것이 전부다.
- * 돌리지는 않는다. 알려 주기만 한다 (위 머리말 참고).
- */
-function 프로젝트확인법(뿌리) {
-  const pkg = join(뿌리, 'package.json');
-  if (!existsSync(pkg)) return null;
-  try {
-    const j = JSON.parse(readFileSync(pkg, 'utf8'));
-    if (j.scripts?.test) return 'npm test';
-    if (j.scripts?.build) return 'npm run build';
-  } catch { /* 망가진 package.json 은 아래 파일 확인에서 잡힌다 */ }
-  return null;
-}
+// 확인 방법 찾기는 tools/확인법.js 로 옮겼다 — 찾을 자리가 늘어 파일이 무거워졌다.

package/src/tools//355/231/225/354/235/270/353/262/225.js

@@ -0,0 +1,127 @@
+/**
+ * 이 프로젝트가 스스로 정해 둔 **확인 방법들**을 찾는다.
+ *
+ * ── 왜 따로 나왔나 ─────────────────────────────────────────────────────
+ *
+ * 벤치마크에서 진 자리다(`docs/ko/benchmark.md`).
+ *
+ * 같은 프로젝트에 같은 일을 시킨 비교에서, 품질은 거의 동급이었는데 **전체
+ * 회귀 범위**만 우리가 낮았다(85% 대 100%). 까닭은 단순했다 — 그 프로젝트의
+ * 검사는 `scripts/` 밑의 독립 실행 파일 셋이었는데, 우리는 `package.json` 의
+ * `test` 하나만 보고 있었다. 못 본 검사는 안 돌고, 안 돈 검사는 회귀를 못 잡는다.
+ *
+ * 고칠 자리가 「더 열심히 하라」 가 아니라 **「무엇이 있는지 알려 주기」** 였다.
+ * 시킴말에 "확인해라" 는 이미 있었다. 확인할 **길**의 목록이 없었을 뿐이다.
+ *
+ * ── 여기서도 안 돌린다 ──────────────────────────────────────────────────
+ *
+ * 찾기만 하고 **실행은 안 한다.** 검사 스크립트는 무슨 짓이든 할 수 있어서,
+ * 그걸 돌리는 길은 Bash 하나여야 한다 — 승인 관문과 안전 검사가 거기에만
+ * 걸려 있다. 이 파일이 몰래 돌리면 strict 모드의 약속이 여기서만 깨진다.
+ *
+ * ── 없는 것은 지어내지 않는다 ───────────────────────────────────────────
+ *
+ * 있을 법한 이름을 추측해서 채우지 않는다. **파일이나 스크립트로 실재하는
+ * 것만** 담는다. 없는 명령을 알려 주면 모델이 그걸 부르고, 실패를 받고, 또
+ * 부른다 — 걸음만 태우고 사람은 왜 헤매는지 모른다.
+ */
+import { existsSync, readFileSync, readdirSync, statSync } from 'node:fs';
+import { join } from 'node:path';
+
+/** 한 판에 몇 개까지 알려 줄까. 스무 개를 늘어놓으면 그건 목록이 아니라 소음이다. */
+export const 최대 = 8;
+
+/*
+ * package.json 의 스크립트 가운데 **확인에 해당하는 것**.
+ *
+ * `test` 만 보던 것을 넓힌다. 요즘 저장소는 확인을 여러 칸에 나눠 둔다 —
+ * 형 검사와 린트와 e2e 가 따로 있고, 그 중 하나만 돌리면 나머지는 안 돈다.
+ *
+ * `build` 는 확인이 아니지만 **깨지면 아무것도 안 되는 것**이라 맨 뒤에 붙인다.
+ */
+const 확인스크립트 = /^(test|tests|check|checks|lint|typecheck|types?|verify|qa|e2e|spec|coverage)(:|$)/i;
+const 뒤에붙일것 = /^build(:|$)/i;
+
+/*
+ * 독립 실행 검사 파일이 사는 자리와 이름.
+ *
+ * `package.json` 에 안 걸리는 검사가 여기 산다. 벤치마크에서 놓친 것이 정확히
+ * 이 모양이었다 — `scripts/qa-collaboration.js` 처럼 npm 스크립트로 등록되지
+ * 않은 채 `node` 로 직접 도는 파일들.
+ */
+const 볼폴더 = ['scripts', 'script', 'test', 'tests', 'qa', 'tools', 'bin'];
+const 검사파일 = /^(qa|test|tests|check|verify|e2e|spec|bench)[-_.].+\.(m?js|cjs|ts|py|sh)$/i;
+const 부르는법 = { '.js': 'node', '.mjs': 'node', '.cjs': 'node', '.ts': 'node', '.py': 'python', '.sh': 'sh' };
+
+/*
+ * 다른 생태계의 관례.
+ *
+ * 자리(표식 파일)가 실재할 때만 담는다. Makefile 은 `test:` 칸이 진짜로
+ * 있을 때만 — 없는데 `make test` 를 알려 주면 그건 지어낸 것이다.
+ */
+function 생태계(뿌리, 담기) {
+  const 있나 = (f) => existsSync(join(뿌리, f));
+  if (있나('Cargo.toml')) 담기('cargo test', 'Cargo.toml');
+  if (있나('go.mod')) 담기('go test ./...', 'go.mod');
+  if (있나('pytest.ini') || 있나('tox.ini')) 담기('pytest', 'pytest 설정');
+  else if ((있나('pyproject.toml') || 있나('setup.cfg')) && (있나('tests') || 있나('test'))) 담기('pytest', 'pyproject + tests/');
+  if (있나('go.work')) 담기('go test ./...', 'go.work');
+  for (const 이름 of ['Makefile', 'makefile']) {
+    if (!있나(이름)) continue;
+    try {
+      // 진짜로 `test:` 칸이 있을 때만. 있을 법하다고 넣지 않는다.
+      if (/^\.?test\s*:/m.test(readFileSync(join(뿌리, 이름), 'utf8'))) 담기('make test', 이름);
+    } catch { /* 못 읽으면 없는 것으로 둔다 */ }
+    break;
+  }
+}
+
+/**
+ * 확인 방법들을 찾아 돌려준다.
+ *
+ * @param {string} 뿌리 프로젝트 뿌리 경로
+ * @returns {{명령: string, 어디서: string}[]} 실재하는 것만. 없으면 빈 배열.
+ */
+export function 확인법들(뿌리) {
+  const 나온것 = [];
+  const 본명령 = new Set();
+  const 담기 = (명령, 어디서) => {
+    if (본명령.has(명령) || 나온것.length >= 최대) return;
+    본명령.add(명령);
+    나온것.push({ 명령, 어디서 });
+  };
+  const 나중에 = [];
+
+  const pkg = join(뿌리, 'package.json');
+  if (existsSync(pkg)) {
+    try {
+      const j = JSON.parse(readFileSync(pkg, 'utf8'));
+      for (const 이름 of Object.keys(j.scripts ?? {})) {
+        // `npm test` 는 관례가 있고 나머지는 `npm run` 을 붙여야 돈다.
+        const 명령 = 이름 === 'test' ? 'npm test' : `npm run ${이름}`;
+        if (확인스크립트.test(이름)) 담기(명령, 'package.json');
+        else if (뒤에붙일것.test(이름)) 나중에.push([명령, 'package.json']);
+      }
+    } catch { /* 망가진 package.json 은 파일별 확인에서 잡힌다 */ }
+  }
+
+  for (const 폴더 of 볼폴더) {
+    const 곳 = join(뿌리, 폴더);
+    let 목록;
+    try {
+      if (!statSync(곳).isDirectory()) continue;
+      목록 = readdirSync(곳);
+    } catch { continue; }
+    for (const 이름 of 목록.sort()) {
+      if (!검사파일.test(이름)) continue;
+      const 끝 = 이름.slice(이름.lastIndexOf('.')).toLowerCase();
+      const 앞 = 부르는법[끝];
+      if (!앞) continue;
+      담기(`${앞} ${폴더}/${이름}`, `${폴더}/`);
+    }
+  }
+
+  생태계(뿌리, 담기);
+  for (const [명령, 어디서] of 나중에) 담기(명령, 어디서);
+  return 나온것;
+}