@walwal-harness/cli 2.5.0 → 3.2.1

package/assets/templates/AGENTS.md.template

@@ -50,3 +50,34 @@
 - 서비스 간 직접 DB 접근
 - 테스트 삭제/약화
 - archive/ 내 파일 수정
+- 아티팩트 상태가 `draft` 미만인 선행 아티팩트에 의존하여 작업 시작
+
+### 품질 게이트 (v3.1)
+
+| 게이트 | 시점 | 내용 |
+|--------|------|------|
+| **Pre-Eval Gate** | Generator → Evaluator 전환 | tsc, eslint, jest/vitest 자동 실행. 실패 시 Generator 리라우팅 |
+| **파일 소유권 검증** | 에이전트 전환 시 | git diff로 권한 밖 파일 수정 감지 |
+| **아티팩트 선행조건** | 에이전트 시작 전 | progress.json.artifacts 상태 확인 |
+| **에스컬레이션** | 3회 연속 실패 | Planner에게 scope 축소/접근 변경 요청 |
+
+### Evaluation System (v3.2)
+
+| 설정 | 값 |
+|------|------|
+| PASS 기준 | **2.80 / 3.00 이상** |
+| FAIL 기준 | 2.79 이하 (예외 없음) |
+| Evidence 없는 Score | 0점 강제 |
+| AC 부분 통과 | FAIL (100% 필수) |
+| Regression 실패 1건+ | FAIL (신규 점수 무관) |
+
+- Planner는 feature-list.json에 **Executable AC** (type: api/visual/e2e + verify 조건) 필수 작성
+- Evaluator는 Adversarial Rules에 따라 적대적으로 검증 (rubber-stamping 금지)
+- 이전 Sprint PASS 기능은 Regression Checkpoint로 재검증
+- Eval-Functional ↔ Eval-Visual 간 Cross-Validation으로 불일치 감지
+
+### 메모리 오염 방어
+
+- gotcha/memory 항목은 `unverified` 상태로 시작, Planner 리뷰 후 `verified` 승격
+- TTL 만료 항목은 Planner 스프린트 전환 시 리뷰 (갱신 또는 삭제)
+- 코드/git으로 검증 불가한 항목은 즉시 삭제

package/assets/templates/HARNESS.md

@@ -69,11 +69,68 @@ Planner → Gen-BE → Eval-Func(API-only) → Archive
 ### 공통 — 실패 시 루프
 
 ```
-Eval-Func FAIL → failure_location에 따라 Gen-BE 또는 Gen-FE 재작업 (max 10회)
-Eval-Visual FAIL → Gen-FE 재작업 (max 10회)
-10회 초과 → 사용자 개입 요청
+Eval-Func FAIL → failure_location에 따라 Gen-BE 또는 Gen-FE 재작업 (max 5회)
+Eval-Visual FAIL → Gen-FE 재작업 (max 5회)
+3회 실패 → Planner 에스컬레이션 (scope 축소/접근 변경)
+5회 초과 → 사용자 개입 요청
 ```
 
+### Pre-Eval Gate (Deterministic Checks)
+
+Generator → Evaluator 전환 전, 결정론적 검증을 자동 실행합니다:
+
+```
+Generator 완료 → [tsc --noEmit] → [eslint] → [jest/vitest --bail] → Evaluator
+                  ↓ FAIL                                              
+                  Generator로 리라우팅 (Evaluator 세션 미개설)
+```
+
+- Backend: `tsc --noEmit`, `eslint . --max-warnings=0`, `jest --bail`
+- Frontend: `tsc --noEmit`, `eslint . --max-warnings=0`, `vitest run --bail 1`
+- `config.json`의 `flow.pre_eval_gate`에서 커스터마이징 가능
+
+### Runtime Guardrail (파일 소유권 검증)
+
+에이전트 전환 시 `git diff`로 이전 에이전트가 권한 밖 파일을 수정했는지 검증합니다.
+위반 발견 시 경고를 출력하고 리뷰를 요청합니다.
+
+### Context Isolation Guard (컨텍스트 분리 가드레일)
+
+한 세션에서 여러 에이전트를 실행하면 컨텍스트가 오염됩니다.
+`UserPromptSubmit` 훅이 다음 위반을 실시간 감지합니다:
+
+- `current_agent`가 running인데 다른 `/harness-*` 스킬 호출 시 경고 주입
+- `agent_status`를 completed로 변경하지 않고 다음 에이전트 호출 시 경고
+
+### Statusline (상시 상태 표시)
+
+터미널 하단에 항상 고정되는 1줄 compact 상태:
+
+```
+[S1] FULL | >backend | 2/5 feat | ctx 45% | $1.23
+```
+
+- `scripts/harness-statusline.sh`가 3초 간격으로 `progress.json`을 읽어 갱신
+- `.claude/settings.json`의 `statusLine` 설정으로 활성화
+- 세션 시작 시 장황한 프로그래스 출력 대신 statusline으로 대체
+
+### Artifact State Machine
+
+주요 아티팩트는 상태를 추적합니다:
+
+```
+pending → draft → reviewed → approved
+```
+
+| 아티팩트 | 생성 에이전트 | 필수 상태 (다음 에이전트 진행 조건) |
+|----------|-------------|----------------------------------|
+| plan.md | Planner | draft 이상 → Generator |
+| api-contract.json | Planner | draft 이상 → Generator |
+| feature-list.json | Planner | draft 이상 → Generator |
+| sprint-contract.md | Generator | draft 이상 → Evaluator |
+
+상태는 `progress.json.artifacts`에서 추적됩니다.
+
 ## 세션 오케스트레이션
 
 ### 핵심: 한 세션에 1 에이전트 단계
@@ -117,12 +174,42 @@ claude --prompt "$(cat .harness/next-prompt.txt)"
 
 모든 에이전트 스킬에 내장된 프로토콜:
 
-- **On Start**: `progress.json` 읽기 → `agent_status: "running"` 설정
-- **On Complete**: `progress.json` 업데이트 → `next_agent` 계산 → **STOP**
+- **On Start**: `progress.json` 읽기 → `agent_status: "running"` 설정 → `handoff.json` 참조
+- **On Complete**: `progress.json` 업데이트 → 아티팩트 상태 갱신 → `next_agent` 계산 → **STOP**
 - **On Fail** (Evaluator): `failure` 정보 기록 → `retry_target` 설정 → **STOP**
+- **On Transition**: 파일 소유권 검증 → Pre-Eval Gate (해당 시) → 아티팩트 선행조건 검증
 
 에이전트는 절대 다음 에이전트를 직접 호출하지 않습니다.
 
+### Handoff Document
+
+에이전트 전환 시 `.harness/handoff.json`이 자동 생성됩니다:
+
+```json
+{
+  "from": "planner",
+  "to": "generator-backend",
+  "sprint": 1,
+  "retry_count": 0,
+  "sprint_status": "running",
+  "failure_context": null,
+  "artifacts_ready": ["plan.md", "api-contract.json", "feature-list.json"],
+  "focus_features": ["F-001", "F-002"],
+  "warnings": [],
+  "timestamp": "2026-04-09T12:00:00Z"
+}
+```
+
+각 에이전트는 세션 시작 시 이 파일을 읽어 컨텍스트를 확보합니다.
+
+### Escalation Protocol
+
+```
+1-2회 실패: 동일 에이전트 재시도 (실패 원인 요약 포함)
+3회 실패:   Planner 에스컬레이션 (scope 축소 또는 접근 변경)
+5회 실패:   BLOCKED — 사용자 개입 요청
+```
+
 ## 핵심 원칙
 
 1. **Backend First** — API가 안정된 후 Frontend 연동 (없는 API 호출 방지)
@@ -130,10 +217,97 @@ claude --prompt "$(cat .harness/next-prompt.txt)"
 3. **한 세션에 1 에이전트 단계** — 컨텍스트 소진 방지, Session Boundary Protocol 준수
 4. **feature-list.json의 passes만 수정** — 기능 정의는 Planner만 변경
 5. **테스트 삭제/약화 금지** — 테스트는 계약이다
-6. **Evaluator는 회의적** — 자기 설득 금지, 기준 미달 = FAIL
+6. **Evaluator는 적대적** — Rubber-stamping 금지, 2.80/3.00 미만 = FAIL, Evidence 없는 Score = 0
 7. **아카이브 불변** — 완료 문서 수정 금지
 8. **MSA 경계 존수** — 서비스 간 직접 DB 접근 금지, 반드시 메시지 패턴
 
+## Evaluation System (v3.2)
+
+### 정량 채점 (Rubric Scoring)
+
+모든 Evaluator는 구조화된 Rubric으로 채점합니다:
+
+| 설정 | 값 |
+|------|------|
+| 척도 | 0-3 (항목별) |
+| PASS 기준 | **2.80 / 3.00 이상** |
+| FAIL 기준 | 2.79 이하 (예외 없음) |
+| Evidence 없는 항목 | Score = 0으로 강제 재계산 |
+
+### Evaluator-Functional 채점 항목 (R1-R5)
+
+| # | Criterion | Weight |
+|---|-----------|--------|
+| R1 | API Contract 준수 | 25% |
+| R2 | Acceptance Criteria 전수 통과 | 25% |
+| R3 | 부정 테스트 (엔드포인트당 2개+) | 20% |
+| R4 | E2E 시나리오 (Playwright) | 15% |
+| R5 | 에러 핸들링 & 엣지케이스 | 15% |
+
+### Evaluator-Visual 채점 항목 (V1-V5)
+
+| # | Criterion | Weight |
+|---|-----------|--------|
+| V1 | 레이아웃 정확성 | 20% |
+| V2 | 반응형 (375/768/1280px) | 20% |
+| V3 | 접근성 WCAG 2.1 AA | 20% |
+| V4 | 시각적 일관성 + AI슬롭 감지 | 20% |
+| V5 | 인터랙션 상태 (로딩/에러/빈/호버/포커스) | 20% |
+
+### 자동 FAIL 조건 (Verdict Rules)
+
+어떤 상황에서도 아래 조건 충족 시 FAIL:
+
+1. Weighted Score < 2.80
+2. AC 100% 미통과 (부분 통과 불인정)
+3. Regression 실패 1건 이상 (신규 점수 무관)
+4. Evidence 누락 항목 존재 → 해당 Score = 0 재계산
+5. Cross-Validation 불일치 1건 이상 → CONDITIONAL FAIL
+6. (Visual) a11y Critical/Serious 위반 1건 이상 → V3 = 0
+7. (Visual) AI Slop 2건 이상 → V4 최대 1점
+
+### Executable Acceptance Criteria
+
+Planner는 feature-list.json에 기능을 정의할 때 **실행 가능한 검증 조건(AC)**을 반드시 작성합니다:
+
+```json
+{
+  "id": "AC-001",
+  "description": "유효한 이메일로 가입 시 201 응답",
+  "type": "api",
+  "verify": {
+    "method": "POST",
+    "path": "/api/auth/register",
+    "body": { "email": "test@test.com", "password": "Test1234!" },
+    "expect": { "status": 201 }
+  }
+}
+```
+
+AC 타입: `api` (HTTP 요청), `visual` (UI 요소 존재), `e2e` (사용자 플로우)
+
+### Regression Checkpoint
+
+Sprint N의 Evaluator는 이전 Sprint에서 PASS된 AC를 재검증합니다:
+- archive에서 이전 feature-list.json의 passed AC를 로드
+- handoff.json의 `regression` 필드로 전달
+- **1건이라도 회귀 실패하면 전체 FAIL**
+
+### Cross-Validation
+
+Eval-Functional의 결과를 Eval-Visual이 교차 검증합니다:
+- evaluation-functional.md 내 JSON 블록 → handoff.json의 `cross_validation_from_functional`
+- API 성공인데 UI에 에러 표시 = 불일치 = FAIL 사유
+
+### Adversarial Rules (적대적 행동 규칙)
+
+Evaluator 에이전트에게 강제되는 행동 규칙:
+- Generator의 '완료' 주장을 신뢰하지 않고 직접 검증
+- 정상 1개당 비정상 2개 이상 테스트
+- PASS 전 자문: "내가 이 코드로 PR을 올리겠는가?"
+- '전반적으로 잘 되었습니다' 류의 모호한 긍정 평가 **금지**
+- '시간 제약상 일부만 테스트' **금지** — 전수 불가 시 FAIL 처리
+
 ## Tech Stack
 
 | 영역 | 기술 |

package/assets/templates/config.json

@@ -1,7 +1,7 @@
 {
   "harness": {
     "name": "6-Agent Production Harness",
-    "version": "3.0.0",
+    "version": "3.2.0",
     "description": "Dispatcher + NestJS MSA + React/Next.js + Playwright 기반 실무 하네스",
     "source": "https://www.anthropic.com/engineering/harness-design-long-running-apps"
   },
@@ -13,12 +13,25 @@
       "always_first": true
     },
     "brainstorming": {
-      "role": "사용자의 러프한 요구사항을 대화형으로 구체화하여 Planner가 바로 쓸 수 있는 brainstorm-spec.md로 변환. Dispatcher가 사용자에게 '브레인스토밍 필요?' 확인 후에만 호출되는 조건부 에이전트.",
+      "role": "사용자의 러프한 요구사항을 대화형으로 구체화하여 Planner가 바로 쓸 수 있는 brainstorm-spec.md로 변환.",
       "skill": "harness-brainstorming",
       "inputs": ["(user conversation)"],
       "outputs": ["actions/brainstorm-spec.md"],
       "conditional": true,
-      "invoked_by": "dispatcher (user opt-in)",
+      "trigger_conditions": {
+        "comment": "Dispatcher가 아래 조건 중 하나 이상 충족 시 사용자에게 브레인스토밍 제안",
+        "rules": [
+          "사용자 요청에 구체적 기능명/엔드포인트/화면명이 없고 추상적 목표만 있을 때",
+          "PRD/OpenAPI 등 구조화된 입력 문서가 없을 때",
+          "'뭔가 만들고 싶은데', '아이디어가 있는데' 등 탐색적 표현이 포함될 때"
+        ],
+        "skip_when": [
+          "사용자가 PRD, OpenAPI spec, 또는 구체적 feature list를 제공한 경우",
+          "사용자가 '브레인스토밍 없이', 'skip brainstorming'을 명시한 경우",
+          "이미 brainstorm-spec.md가 actions/에 존재하는 경우"
+        ]
+      },
+      "invoked_by": "dispatcher (user opt-in after suggestion)",
       "next_on_complete": "planner",
       "attribution": "Derived from obra/superpowers skills/brainstorming (MIT License)"
     },
@@ -50,15 +63,55 @@
       "role": "Playwright로 E2E 기능 검증, API 응답/DB 상태 확인",
       "skill": "harness-evaluator-functional",
       "tools": ["playwright:browser_*"],
-      "inputs": ["actions/sprint-contract.md"],
-      "outputs": ["actions/evaluation-functional.md"]
+      "inputs": ["actions/sprint-contract.md", "actions/feature-list.json", "actions/api-contract.json"],
+      "outputs": ["actions/evaluation-functional.md"],
+      "evaluation_template": "assets/templates/evaluation-functional.md.template",
+      "adversarial_rules": {
+        "comment": "Evaluator 적대적 행동 규칙 — 통과 편향 제거를 위한 강제 규칙",
+        "rules": [
+          "Generator의 '구현 완료' 주장을 절대 신뢰하지 마라. 모든 엔드포인트에 직접 요청을 보내고 응답을 확인하라.",
+          "정상 경로(happy path) 1개당 비정상 경로(unhappy path) 최소 2개를 반드시 테스트하라.",
+          "api-contract.json과 실제 응답을 필드 단위로 비교하라. 누락 필드, 타입 불일치, 추가 필드 모두 FAIL 사유.",
+          "PASS를 주기 전에 자문하라: '내가 이 코드를 직접 작성했다면 이 수준으로 PR을 올리겠는가?' NO이면 FAIL.",
+          "AC 항목 하나라도 미통과이면 전체 FAIL. 부분 통과는 인정하지 않는다.",
+          "Evidence(증거)가 없는 Score는 0점이다. '확인했다'는 주장은 증거가 아니다.",
+          "이전 Sprint에서 PASS된 기능이 하나라도 깨졌으면 신규 기능 점수와 무관하게 FAIL.",
+          "Score 3을 주려면 엣지케이스(빈 값, 초과값, 동시 요청, 특수문자)까지 테스트한 증거가 있어야 한다."
+        ],
+        "forbidden": [
+          "'전반적으로 잘 구현되었습니다' 류의 모호한 긍정 평가",
+          "'사소한 이슈이므로 PASS' — 사소함은 Evaluator가 판단할 사항이 아니다",
+          "'시간 제약상 일부만 테스트' — 전수 테스트가 불가하면 FAIL 처리",
+          "Generator에게 유리한 방향으로 기준을 해석하는 행위"
+        ]
+      }
     },
     "evaluator-visual": {
       "role": "디자인 일관성, 반응형, 접근성, AI슬롭 감지",
       "skill": "harness-evaluator-visual",
       "tools": ["playwright:browser_take_screenshot", "playwright:browser_resize", "playwright:browser_snapshot"],
-      "inputs": ["actions/sprint-contract.md", "actions/evaluation-functional.md"],
-      "outputs": ["actions/evaluation-visual.md"]
+      "inputs": ["actions/sprint-contract.md", "actions/evaluation-functional.md", "actions/feature-list.json"],
+      "outputs": ["actions/evaluation-visual.md"],
+      "evaluation_template": "assets/templates/evaluation-visual.md.template",
+      "adversarial_rules": {
+        "comment": "Visual Evaluator 적대적 행동 규칙",
+        "rules": [
+          "모든 페이지를 반드시 3개 뷰포트(375px, 768px, 1280px)에서 스크린샷 촬영하라. 1개라도 누락이면 해당 페이지 Score 산정 불가.",
+          "axe-core 접근성 검사를 실제로 실행하라. Critical 또는 Serious 위반이 1건이라도 있으면 V3 = 0.",
+          "AI슬롭 패턴(무의미한 그라데이션, 과도한 그림자, 장식 아이콘 남발)을 적극 탐지하라. 2건 이상이면 V4 최대 1점.",
+          "evaluation-functional.md의 Cross-Validation Data와 교차 검증하라. API 성공인데 UI에 에러 표시 = 불일치 = FAIL 사유.",
+          "이전 Sprint 스크린샷 대비 의도치 않은 시각 변경이 있으면 점수 무관 FAIL.",
+          "PASS를 주기 전에 자문하라: '이 UI를 실사용자에게 보여줄 수 있는가?' NO이면 FAIL.",
+          "로딩/에러/빈 상태가 하나라도 미구현이면 V5 최대 1점.",
+          "Evidence(스크린샷 경로 또는 DOM 스냅샷)가 없는 Score는 0점이다."
+        ],
+        "forbidden": [
+          "'디자인이 깔끔합니다' 류의 주관적 긍정 평가",
+          "'접근성은 추후 개선' — 접근성은 기본 요건이지 부가 기능이 아니다",
+          "'모바일 뷰포트는 생략' — 3개 뷰포트 전수 검사는 필수",
+          "스크린샷 없이 '확인했다'고 주장하는 행위"
+        ]
+      }
     },
     "generator-frontend-flutter": {
       "role": "Flutter 앱 개발 — Riverpod, integrated_data_layer(Retrofit), i18n(ARB), build_runner",
@@ -120,14 +173,133 @@
       "reason": "프론트가 존재하지 않는 API를 호출하는 실패 방지"
     },
     "retry_on_fail": true,
-    "max_retries_per_sprint": 10,
-    "archive_on_sprint_complete": true
+    "max_retries_per_sprint": 5,
+    "escalate_to_planner_after": 3,
+    "archive_on_sprint_complete": true,
+    "pre_eval_gate": {
+      "comment": "Generator → Evaluator 전환 전 결정론적 검증. 실패 시 Evaluator 세션을 열지 않고 Generator로 자동 리라우팅.",
+      "enabled": true,
+      "backend_checks": ["npx tsc --noEmit", "npx eslint . --max-warnings=0", "npx jest --bail --passWithNoTests"],
+      "frontend_checks": ["npx tsc --noEmit", "npx eslint . --max-warnings=0", "npx vitest run --bail 1"],
+      "timeout_seconds": 120,
+      "on_fail": "reroute_to_generator"
+    }
+  },
+  "evaluation": {
+    "comment": "Evaluator 공통 설정",
+    "scoring": {
+      "scale": 3,
+      "pass_threshold": 2.80,
+      "fail_threshold": 2.79,
+      "verdict_rules": [
+        "Weighted Score < 2.80 → FAIL",
+        "AC Pass Rate < 100% → FAIL (부분 통과 불인정)",
+        "Regression Failures > 0 → FAIL (신규 점수 무관)",
+        "Evidence 누락 항목 → 해당 Score = 0으로 재계산",
+        "Cross-Validation 불일치 > 0 → CONDITIONAL FAIL"
+      ]
+    },
+    "regression": {
+      "enabled": true,
+      "source": "archive",
+      "scope": "all_passed_features",
+      "comment": "이전 Sprint에서 PASS된 모든 AC를 현재 Sprint에서 재검증. 1건이라도 실패하면 전체 FAIL."
+    },
+    "cross_validation": {
+      "enabled": true,
+      "comment": "evaluator-functional과 evaluator-visual이 서로의 결과를 참조하여 불일치를 감지. evaluation-*.md의 Cross-Validation Data JSON 블록을 기계적으로 파싱."
+    },
+    "acceptance_criteria_schema": {
+      "comment": "Planner가 feature-list.json에 기능 정의 시 반드시 작성해야 하는 실행 가능한 검증 조건 스키마. Evaluator는 이 조건을 기계적으로 실행한다.",
+      "required_fields": ["id", "description", "type", "verify"],
+      "types": {
+        "api": {
+          "verify_fields": ["method", "path", "body", "expect"],
+          "expect_fields": ["status"],
+          "optional_expect": ["body_contains", "body_schema", "headers"]
+        },
+        "visual": {
+          "verify_fields": ["url", "elements"],
+          "optional_verify": ["viewport", "state", "screenshot_match"]
+        },
+        "e2e": {
+          "verify_fields": ["steps"],
+          "step_fields": ["action", "target", "value", "expect"]
+        }
+      },
+      "example": {
+        "id": "AC-001",
+        "description": "유효한 이메일로 가입 시 201 응답",
+        "type": "api",
+        "verify": {
+          "method": "POST",
+          "path": "/api/auth/register",
+          "body": { "email": "test-{{timestamp}}@test.com", "password": "Test1234!" },
+          "expect": { "status": 201, "body_contains": { "id": "string", "email": "string" } }
+        }
+      },
+      "negative_example": {
+        "id": "AC-002",
+        "description": "중복 이메일 시 409 응답",
+        "type": "api",
+        "verify": {
+          "method": "POST",
+          "path": "/api/auth/register",
+          "body": { "email": "duplicate@test.com", "password": "Test1234!" },
+          "expect": { "status": 409 }
+        },
+        "is_negative": true
+      },
+      "visual_example": {
+        "id": "AC-003",
+        "description": "회원가입 폼 렌더링 확인",
+        "type": "visual",
+        "verify": {
+          "url": "/register",
+          "elements": ["input[name=email]", "input[name=password]", "button[type=submit]"],
+          "viewport": [375, 768, 1280]
+        }
+      }
+    }
+  },
+  "artifacts": {
+    "comment": "아티팩트 상태 머신. 각 에이전트 실행 전 선행 아티팩트가 required_status 이상인지 검증.",
+    "states": ["pending", "draft", "reviewed", "approved"],
+    "prerequisites": {
+      "generator-backend": {
+        "plan.md": "draft",
+        "api-contract.json": "draft",
+        "feature-list.json": "draft"
+      },
+      "generator-frontend": {
+        "plan.md": "draft",
+        "api-contract.json": "draft",
+        "feature-list.json": "draft"
+      },
+      "evaluator-functional": {
+        "sprint-contract.md": "draft"
+      },
+      "evaluator-visual": {
+        "sprint-contract.md": "draft"
+      }
+    }
   },
   "session": {
     "isolation": true,
     "state_file": ".harness/progress.json",
     "state_log": ".harness/progress.log",
-    "next_prompt_file": ".harness/next-prompt.txt"
+    "next_prompt_file": ".harness/next-prompt.txt",
+    "handoff_file": ".harness/handoff.json",
+    "context_guard": {
+      "comment": "컨텍스트 분리 하드 가드레일. UserPromptSubmit 훅이 위반을 감지하면 경고를 주입한다.",
+      "enabled": true,
+      "rules": [
+        "current_agent가 running 상태일 때 다른 에이전트 스킬 호출 금지",
+        "한 세션에서 2개 이상의 에이전트 스킬 실행 금지",
+        "agent_status를 completed로 변경하지 않고 다음 에이전트를 호출하면 경고"
+      ],
+      "on_violation": "warn_and_block"
+    }
   },
   "behavior": {
     "comment": "하네스 동작 플래그. UserPromptSubmit 훅이 이 값을 읽어 자동 라우팅을 결정한다.",

package/assets/templates/evaluation-functional.md.template

@@ -0,0 +1,119 @@
+# Evaluation — Functional (Sprint {{SPRINT}})
+
+> Generated by: evaluator-functional
+> Date: {{DATE}}
+> Verdict: **PENDING**
+
+## 1. Scoring Rubric
+
+> **Threshold: 2.80 / 3.00 = PASS**
+> Score 2.79 이하는 이유를 불문하고 FAIL.
+> 모든 항목에 Evidence(근거)를 반드시 기입. Evidence 없는 Score는 0점 처리.
+
+| # | Criterion | Weight | Score (0-3) | Evidence |
+|---|-----------|--------|-------------|----------|
+| R1 | API Contract 준수 — 모든 엔드포인트가 api-contract.json과 일치 (method, path, request/response schema, status codes) | 25% | | |
+| R2 | Acceptance Criteria 통과 — feature-list.json의 모든 AC 항목 실행 결과 | 25% | | |
+| R3 | 부정 테스트 (Negative Testing) — 각 엔드포인트별 최소 2개 비정상 시나리오 (빈 입력, 잘못된 타입, 미인증, 권한 없음, 중복, 초과값) | 20% | | |
+| R4 | E2E 시나리오 통과 — Playwright로 사용자 플로우 전체 재현 (회원가입→로그인→핵심기능→로그아웃 등) | 15% | | |
+| R5 | 에러 핸들링 & 엣지케이스 — 서버 에러 응답 형식 일관성, DB 제약조건 위반 처리, 동시성 충돌 | 15% | | |
+
+### Scoring Guide (엄격 적용)
+
+| Score | 의미 | 기준 |
+|-------|------|------|
+| 3 | 완벽 | 모든 케이스 통과, 추가 검증 불필요, 엣지케이스까지 커버 |
+| 2 | 충족 | 핵심 기능 동작하나 경미한 이슈 1-2건 존재 (로그 누락, 응답 필드 오타 등) |
+| 1 | 부분 충족 | 핵심 기능은 동작하나 명확한 수정 필요 (잘못된 status code, 누락된 validation 등) |
+| 0 | 미충족 | 미구현, 서버 에러, 또는 contract 불일치 |
+
+### Anti-Rubber-Stamping Check
+
+Score를 기입하기 전에 반드시 아래 질문에 답하라:
+- [ ] "이 엔드포인트에 실제로 요청을 보내고 응답을 확인했는가?" (추측 = 0점)
+- [ ] "정상 케이스뿐 아니라 비정상 케이스도 테스트했는가?" (정상만 = Score 최대 2)
+- [ ] "api-contract.json과 실제 응답을 문자열 수준으로 비교했는가?"
+
+## 2. Acceptance Criteria Checklist
+
+> feature-list.json의 acceptance_criteria를 기계적으로 실행한 결과.
+> 각 AC에 대해 PASS/FAIL + 실제 결과를 기록.
+
+| Feature | AC ID | Description | Type | Expected | Actual | Result |
+|---------|-------|-------------|------|----------|--------|--------|
+| | | | | | | |
+
+**AC Summary**: 0/0 passed (0%)
+**AC 전체 통과가 아니면 R2는 최대 Score 1**
+
+## 3. Negative Test Results
+
+> 각 엔드포인트별 최소 2개 부정 테스트. 미실시 엔드포인트가 있으면 R3 = 0.
+
+| Endpoint | Test Case | Expected | Actual | Result |
+|----------|-----------|----------|--------|--------|
+| | | | | |
+
+## 4. E2E Scenario Log
+
+> Playwright 실행 로그. 스크린샷 경로 포함.
+
+```
+(Playwright 실행 결과를 여기에 붙여넣기)
+```
+
+## 5. Regression Check
+
+> 이전 Sprint에서 PASS된 기능 재검증 결과.
+> Sprint 1이면 "N/A - 첫 스프린트"로 기입.
+
+| Sprint | Feature | AC ID | Result | Notes |
+|--------|---------|-------|--------|-------|
+| | | | | |
+
+**Regression Summary**: 0/0 passed
+**회귀 실패가 1건이라도 있으면 전체 Verdict = FAIL (신규 기능 점수 무관)**
+
+## 6. Cross-Validation Data
+
+> evaluator-visual이 참조할 수 있도록 기계 판독 가능한 결과 요약.
+> 이 섹션은 반드시 아래 JSON 코드블록 형식을 유지할 것.
+
+```json
+{
+  "evaluator": "functional",
+  "sprint": {{SPRINT}},
+  "verdict": "PENDING",
+  "total_score": 0.00,
+  "threshold": 2.80,
+  "criteria_scores": {
+    "R1_api_contract": 0,
+    "R2_acceptance_criteria": 0,
+    "R3_negative_testing": 0,
+    "R4_e2e_scenario": 0,
+    "R5_error_handling": 0
+  },
+  "ac_pass_rate": 0.0,
+  "negative_test_count": 0,
+  "regression_failures": 0,
+  "endpoints_tested": [],
+  "pages_tested": []
+}
+```
+
+## 7. Final Verdict
+
+| Metric | Value |
+|--------|-------|
+| Weighted Score | 0.00 / 3.00 |
+| Threshold | 2.80 |
+| AC Pass Rate | 0% |
+| Regression Failures | 0 |
+| **Verdict** | **PENDING** |
+
+### Verdict Rules (위반 불가)
+1. Weighted Score < 2.80 → **FAIL**
+2. AC Pass Rate < 100% → **FAIL** (부분 통과 불인정)
+3. Regression Failures > 0 → **FAIL** (신규 점수 무관)
+4. Evidence 누락 항목 존재 → 해당 항목 Score = 0으로 재계산
+5. 부정 테스트 미실시 엔드포인트 존재 → R3 = 0으로 재계산