@walwal-harness/cli 5.3.2 → 5.4.1

package/assets/templates/memory.md

@@ -52,3 +52,14 @@ docmeta:
   6. 각 단계마다 **어떤 도구/방법으로 검증했는지**(tsc/eslint/curl/playwright 등) 명시.
 - **Context**: 사용자가 대시보드 로그만 보고 진행 상황을 파악해야 하는데, 기존 축약 로그로는 4대 질문에 답이 안 보인다는 피드백.
 - **Applies to**: Team Worker(Generator + Evaluator), Solo Mode Generator/Evaluator, 모든 `logev` 호출 지점.
+
+### [M-002] FE Evaluation은 Playwright 필수
+- **Date**: 2026-04-20
+- **Status**: verified
+- **TTL**: 영구
+- **Lesson**: 웹 렌더링 가능한 FE Feature(React, Next, Flutter Web, RN Web 등)는 **Evaluator-Functional과 Evaluator-Visual이 반드시 Playwright MCP 도구(`mcp__playwright__browser_*`)를 호출하여 실제 브라우저 조작으로 검증**한다. 코드 열람/grep/정적 분석만으로 PASS 판정 금지. 각 AC에 대해 사용한 playwright 도구 이름과 결과를 `evaluation-*.md`에 증거로 남겨야 하며, 증거 없는 AC는 0점 강제.
+- **Context**: FE 피처가 실제 UX를 검증하지 않고 코드 존재 여부만으로 PASS되는 문제.
+- **Applies to**:
+  - Planner: FE Feature AC에 `type: visual|e2e|a11y` + `verify.tool: "playwright"` + `verify.steps` 명시 필수.
+  - Evaluator-Functional / Evaluator-Visual: FE Feature 평가 시 Playwright 도구 호출 없이 진행 금지.
+  - 네이티브 모바일/데스크톱 스택은 `validation.visual.enabled == false`일 때만 MANUAL_REQUIRED로 우회 허용.

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@walwal-harness/cli",
-  "version": "5.3.2",
+  "version": "5.4.1",
   "description": "Production harness for AI agent engineering — Solo/Team mode, Planner, Generator(BE/FE), Evaluator(Func/Visual), optional Brainstormer. Supports React, Next.js, and Flutter FE stacks.",
   "bin": {
     "walwal-harness": "bin/init.js"

package/scripts/harness-dashboard.sh

@@ -382,7 +382,7 @@ render_dashboard() {
       render_team_status
       render_team_features
       render_team_bottleneck
-      render_archive_prompts
+      # Archive Prompt는 별도 패널(harness-prompt-history.sh)에서 렌더링 — Dashboard 모니터링 영역 보호
       ;;
     *)
       render_solo_sprint_overview
@@ -393,7 +393,7 @@ render_dashboard() {
       fi
 
       render_solo_agent_info
-      render_archive_prompts
+      # Archive Prompt는 별도 패널(harness-prompt-history.sh)에서 렌더링
       ;;
   esac
 }

package/scripts/harness-tmux.sh

@@ -4,13 +4,15 @@
 # Team Mode (--team):
 # ┌──────────────┬──────────────┬──────────────┐
 # │              │              │   TEAM 1     │
-# │  Dashboard   │  Gotcha &    │              │
-# │  (queue +    │  Memory      ├──────────────┤
-# │   status +   │              │   TEAM 2     │
-# │   archive)   │              │              │
-# │              │              ├──────────────┤
-# │              │              │   TEAM 3     │
+# │  Dashboard   │              │              │
+# │  (queue +    │  Gotcha &    ├──────────────┤
+# │   status +   │  Memory      │   TEAM 2     │
+# │   features)  │              │              │
+# ├──────────────┤              ├──────────────┤
+# │ Archive      │              │   TEAM 3     │
+# │ Prompt       │              │              │
 # └──────────────┴──────────────┴──────────────┘
+# (Archive Prompt는 별도 패널 — Dashboard 모니터링 영역 보호)
 #
 # Rendering strategy:
 #   1. iTerm2 detected → native split panes (no tmux needed)
@@ -104,6 +106,12 @@ launch_iterm2_team() {
           set name to "harness-studio"
           write text "cd '${PROJECT_ROOT}' && bash '${SCRIPT_DIR}/harness-dashboard.sh' '${PROJECT_ROOT}'"
 
+          -- Split down (bottom of Dashboard column) → Archive Prompt
+          set archivePane to (split horizontally with default profile)
+          tell archivePane
+            write text "cd '${PROJECT_ROOT}' && bash '${SCRIPT_DIR}/harness-prompt-history.sh' '${PROJECT_ROOT}'"
+          end tell
+
           -- Split right → Gotcha & Memory
           set dashPane to (split vertically with default profile)
           tell dashPane
@@ -182,15 +190,19 @@ launch_tmux_team() {
     "bash --norc --noprofile -c 'exec bash \"${SCRIPT_DIR}/harness-monitor.sh\" \"${PROJECT_ROOT}\" --team 2'")
   PANE_T3=$(tmux split-window -v -p 50 -t "$PANE_T2" -c "$PROJECT_ROOT" -P -F '#{pane_id}' \
     "bash --norc --noprofile -c 'exec bash \"${SCRIPT_DIR}/harness-monitor.sh\" \"${PROJECT_ROOT}\" --team 3'")
+  # Dashboard 열을 상(Dashboard)/하(Archive Prompt)로 분할 — archive가 길어져도 모니터링 유지
+  PANE_ARCHIVE=$(tmux split-window -v -p 35 -t "$PANE_DASH" -c "$PROJECT_ROOT" -P -F '#{pane_id}' \
+    "bash --norc --noprofile -c 'exec bash \"${SCRIPT_DIR}/harness-prompt-history.sh\" \"${PROJECT_ROOT}\"'")
 
   tmux send-keys -t "$PANE_DASH"   "bash \"${SCRIPT_DIR}/harness-dashboard.sh\" \"${PROJECT_ROOT}\"" Enter
   tmux send-keys -t "$PANE_GOTCHA" "bash \"${SCRIPT_DIR}/harness-gotcha-memory.sh\" \"${PROJECT_ROOT}\"" Enter
 
-  tmux select-pane -t "$PANE_DASH"   -T "Dashboard"
-  tmux select-pane -t "$PANE_GOTCHA" -T "Gotcha & Memory"
-  tmux select-pane -t "$PANE_T1"     -T "TEAM 1"
-  tmux select-pane -t "$PANE_T2"     -T "TEAM 2"
-  tmux select-pane -t "$PANE_T3"     -T "TEAM 3"
+  tmux select-pane -t "$PANE_DASH"    -T "Dashboard"
+  tmux select-pane -t "$PANE_ARCHIVE" -T "Archive Prompt"
+  tmux select-pane -t "$PANE_GOTCHA"  -T "Gotcha & Memory"
+  tmux select-pane -t "$PANE_T1"      -T "TEAM 1"
+  tmux select-pane -t "$PANE_T2"      -T "TEAM 2"
+  tmux select-pane -t "$PANE_T3"      -T "TEAM 3"
   tmux select-pane -t "$PANE_DASH"
 
   tmux set-option -t "$SESSION_NAME" pane-border-status top 2>/dev/null || true

package/skills/dispatcher/SKILL.md

@@ -27,9 +27,18 @@ disable-model-invocation: false
 2. `.harness/progress.log`에 요약 한 줄 추가
 3. **모드 감지**: `.harness/progress.json`의 `mode` 필드 확인
    - **`"team"`**: Team Mode 활성. 별도 안내 없이 즉시 STOP.
-     출력: `"✓ Dispatcher 완료. Team Mode가 자율 실행 중입니다."`
-   - **`"solo"` / `"paused"`**: Solo Mode.
-     출력: `"✓ Dispatcher 완료. 다음: /harness-solo 또는 프롬프트로 계속하세요."`
+     출력 (아래 3줄을 그대로 사용):
+     ```
+     ✓ Dispatcher 완료 — pipeline.json 생성됨 (next_agent=<값>).
+     → 별도 tmux 창의 Team Worker들이 이 파일을 감지해 자동으로 다음 에이전트를 실행합니다. 사용자 입력은 필요 없습니다.
+     → 진행 상황은 tmux Dashboard/Team 패널에서 확인하세요. 중단하려면 `bash scripts/harness-tmux.sh --kill`.
+     ```
+   - **`"solo"` / `"paused"`**: Solo Mode. 자동 실행되는 것이 아무것도 없음 — 사용자 입력 대기.
+     출력 (아래 2줄을 그대로 사용):
+     ```
+     ✓ Dispatcher 완료 — pipeline.json 생성됨 (next_agent=<값>). 자동 실행은 시작되지 않았습니다.
+     → 다음 에이전트를 돌리려면 `/harness-solo` 를 입력하거나, 그냥 후속 지시를 프롬프트로 주세요.
+     ```
 4. **STOP. 다음 에이전트를 직접 호출하지 않는다.**
    - Team 모드에서는 `/harness-team 실행하시겠습니까?` 같은 **질문을 하지 않는다**. Teams는 이미 실행 중이거나 사용자가 별도로 시작한다.
 

package/skills/evaluator-functional/SKILL.md

@@ -50,6 +50,16 @@ disable-model-invocation: true
 - 코드 읽기는 평가가 아님 — **반드시 앱을 조작**.
 - 기준 미달 = FAIL. 예외 없음.
 
+## FE Playwright Mandatory Rule (v5.4)
+
+**프론트엔드 Feature(FE-ONLY 또는 FULLSTACK의 FE 부분)는 반드시 Playwright MCP 도구 호출로 검증**한다. 예외 없음.
+
+- 필수 호출 도구 (최소 1회 이상): `mcp__playwright__browser_navigate`, `mcp__playwright__browser_snapshot` 또는 `mcp__playwright__browser_take_screenshot`, 그리고 AC 검증을 위한 interaction (`browser_click`, `browser_type`, `browser_fill_form`, `browser_evaluate` 등).
+- **금지**: 소스 코드 열람, grep, 정적 분석만으로 FE Feature를 PASS 처리하는 것.
+- **금지**: "dev 서버 기동 실패"로 Playwright 단계를 스킵하는 것. 서버 기동까지 Evaluator의 책임.
+- `evaluation-functional.md`에 호출한 **playwright 도구 이름 + 결과 요약**을 AC별로 기술. 도구 호출 증거 없으면 해당 AC는 자동 0점(Evidence 없는 Score = 0점 강제 규칙).
+- BE-ONLY Feature는 이 규칙 대상 아님 (CLI 기반 API 테스트 유지).
+
 ## Startup
 
 1. `AGENTS.md` 읽기 — IA-MAP

package/skills/evaluator-visual/SKILL.md

@@ -43,6 +43,16 @@ disable-model-invocation: true
 5. **STOP.**
 6. 출력: `"✖ Evaluator-Visual FAIL. bash scripts/harness-next.sh 실행하여 재작업 대상 확인."`
 
+## FE Playwright Mandatory Rule (v5.4)
+
+**웹 렌더링 가능한 FE Feature에 대해서는 Playwright MCP 사용이 강제**된다 (`validation.visual.enabled == true` 또는 전통 웹 스택).
+
+- 필수 호출: `mcp__playwright__browser_navigate` + `mcp__playwright__browser_take_screenshot` (AC당 최소 1장) + 레이아웃/반응형 검증을 위한 `browser_resize`.
+- 접근성: `browser_snapshot`으로 accessibility tree 확보 후 axe-core 평가 연결.
+- **금지**: 스크린샷/스냅샷 없이 "코드만 봐서 OK" 처리.
+- `evaluation-visual.md`에 사용한 playwright 도구 이름과 뷰포트/URL을 명시. 도구 호출 증거 없으면 해당 기준 자동 0점.
+- `validation.visual.enabled == false`인 네이티브 스택은 Visual Skip Flow 적용 (예외).
+
 ## Startup
 
 1. `AGENTS.md` 읽기

package/skills/planner/SKILL.md

@@ -78,6 +78,35 @@ disable-model-invocation: true
 - 각 기능에 `layer`, `service`, `depends_on` 명시
 - API 계약의 스키마는 Pydantic/class-validator로 직접 변환 가능한 수준
 
+## FE Feature AC 작성 규칙 (v5.4) — Playwright 강제
+
+`layer`가 `"fe"` 또는 `"frontend"`인 Feature(또는 FULLSTACK의 FE 부분)에 대해서는 `acceptance_criteria`의 Executable AC가 **반드시 Playwright MCP로 검증 가능한 형태**로 작성되어야 한다.
+
+각 AC 항목에 다음 필드를 명시:
+
+```json
+{
+  "id": "AC-3",
+  "description": "로그인 성공 시 /dashboard로 리다이렉트",
+  "type": "e2e",
+  "verify": {
+    "tool": "playwright",
+    "steps": [
+      "browser_navigate: http://localhost:3000/login",
+      "browser_fill_form: email/password",
+      "browser_click: submit",
+      "browser_snapshot: 현재 URL=/dashboard 확인"
+    ]
+  }
+}
+```
+
+- `type`: `"visual" | "e2e" | "a11y"` (웹 렌더링 없는 네이티브는 `"manual"` 가능, 다만 pipeline.json의 visual.enabled=false일 때만).
+- `verify.tool`: 웹/Flutter Web/React Native Web은 반드시 `"playwright"`. 네이티브 모바일/데스크톱은 예외 허용.
+- `verify.steps`: Evaluator가 호출할 playwright MCP 도구(`browser_navigate`, `browser_click`, `browser_type`, `browser_snapshot`, `browser_take_screenshot` 등) 이름 + 인자 요약을 순서대로 기술.
+
+**금지**: FE AC를 "컴포넌트가 존재한다", "코드가 작성되어 있다" 같이 코드 검증만으로 충족되는 표현으로 쓰는 것. AC는 **사용자 경험을 실제 브라우저에서 조작**해야 검증 가능해야 한다.
+
 ## Team 병렬 스케줄링 규칙 (필수)
 
 Team Mode는 **최대 3팀이 동시 작업**한다. Planner는 feature-list.json 설계 시 다음 규칙을 반드시 준수한다.