@walwal-harness/cli 4.0.0-alpha.9 → 4.0.0-beta.10
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +235 -273
- package/assets/templates/config.json +1 -48
- package/assets/templates/gitignore-append.txt +1 -0
- package/bin/init.js +139 -67
- package/package.json +4 -2
- package/scripts/harness-dashboard-v4.sh +66 -82
- package/scripts/harness-monitor.sh +202 -67
- package/scripts/harness-next.sh +4 -15
- package/scripts/harness-prompt-history.sh +126 -0
- package/scripts/harness-studio-setup.sh +143 -0
- package/scripts/harness-studio.sh +66 -0
- package/scripts/harness-tmux-v4.sh +136 -0
- package/scripts/harness-user-prompt-submit.sh +13 -0
- package/skills/dispatcher/SKILL.md +7 -2
- package/skills/team-action/SKILL.md +217 -0
- package/skills/team-stop/SKILL.md +19 -0
- package/scripts/harness-control-v4.sh +0 -97
- package/scripts/harness-studio-v4.sh +0 -122
- package/scripts/harness-team-worker.sh +0 -415
- package/skills/evaluator-functional-flutter/SKILL.md +0 -206
- package/skills/evaluator-functional-flutter/references/ia-compliance.md +0 -77
- package/skills/evaluator-functional-flutter/references/scoring-rubric.md +0 -132
- package/skills/evaluator-functional-flutter/references/static-check-rules.md +0 -99
- package/skills/generator-frontend-flutter/SKILL.md +0 -173
- package/skills/generator-frontend-flutter/references/anti-patterns.md +0 -320
- package/skills/generator-frontend-flutter/references/api-layer-pattern.md +0 -233
- package/skills/generator-frontend-flutter/references/flutter-web-pattern.md +0 -273
- package/skills/generator-frontend-flutter/references/i18n-pattern.md +0 -102
- package/skills/generator-frontend-flutter/references/riverpod-pattern.md +0 -199
|
@@ -0,0 +1,66 @@
|
|
|
1
|
+
#!/bin/bash
|
|
2
|
+
# harness-studio.sh — 하네스 통합 진입점
|
|
3
|
+
#
|
|
4
|
+
# 사용자가 기억할 명령: 이것 하나.
|
|
5
|
+
#
|
|
6
|
+
# bash scripts/harness-studio.sh # 자동 감지: v3 or v4
|
|
7
|
+
# bash scripts/harness-studio.sh --kill # 세션 종료
|
|
8
|
+
# bash scripts/harness-studio.sh --v3 # v3 강제
|
|
9
|
+
# bash scripts/harness-studio.sh --v4 # v4 강제
|
|
10
|
+
#
|
|
11
|
+
# 자동 감지 기준:
|
|
12
|
+
# feature-queue.json 존재 → v4 (Agent Teams 병렬 모드)
|
|
13
|
+
# 없으면 → v3 (순차 파이프라인 모드)
|
|
14
|
+
|
|
15
|
+
set -euo pipefail
|
|
16
|
+
|
|
17
|
+
SCRIPT_DIR="$(cd "$(dirname "$0")" && pwd)"
|
|
18
|
+
FORCE_MODE=""
|
|
19
|
+
|
|
20
|
+
# ── Parse args (pass through to sub-script) ──
|
|
21
|
+
PASSTHROUGH_ARGS=()
|
|
22
|
+
for arg in "$@"; do
|
|
23
|
+
case "$arg" in
|
|
24
|
+
--v3) FORCE_MODE="v3" ;;
|
|
25
|
+
--v4) FORCE_MODE="v4" ;;
|
|
26
|
+
--kill)
|
|
27
|
+
tmux kill-session -t "harness-studio" 2>/dev/null && echo "v3 killed." || true
|
|
28
|
+
tmux kill-session -t "harness-v4" 2>/dev/null && echo "v4 killed." || true
|
|
29
|
+
exit 0
|
|
30
|
+
;;
|
|
31
|
+
*)
|
|
32
|
+
PASSTHROUGH_ARGS+=("$arg")
|
|
33
|
+
;;
|
|
34
|
+
esac
|
|
35
|
+
done
|
|
36
|
+
|
|
37
|
+
# ── Auto-detect mode ──
|
|
38
|
+
detect_mode() {
|
|
39
|
+
local dir="${1:-.}"
|
|
40
|
+
while [ "$dir" != "/" ]; do
|
|
41
|
+
if [ -d "$dir/.harness" ]; then
|
|
42
|
+
if [ -f "$dir/.harness/actions/feature-queue.json" ]; then
|
|
43
|
+
echo "v4"
|
|
44
|
+
else
|
|
45
|
+
echo "v3"
|
|
46
|
+
fi
|
|
47
|
+
return
|
|
48
|
+
fi
|
|
49
|
+
dir="$(dirname "$dir")"
|
|
50
|
+
done
|
|
51
|
+
echo "v3" # default
|
|
52
|
+
}
|
|
53
|
+
|
|
54
|
+
MODE="${FORCE_MODE:-$(detect_mode "$(pwd)")}"
|
|
55
|
+
|
|
56
|
+
echo "Harness Studio — mode: $MODE"
|
|
57
|
+
echo ""
|
|
58
|
+
|
|
59
|
+
case "$MODE" in
|
|
60
|
+
v4)
|
|
61
|
+
exec bash "$SCRIPT_DIR/harness-tmux-v4.sh" "${PASSTHROUGH_ARGS[@]}"
|
|
62
|
+
;;
|
|
63
|
+
v3)
|
|
64
|
+
exec bash "$SCRIPT_DIR/harness-tmux.sh" "${PASSTHROUGH_ARGS[@]}"
|
|
65
|
+
;;
|
|
66
|
+
esac
|
|
@@ -0,0 +1,136 @@
|
|
|
1
|
+
#!/bin/bash
|
|
2
|
+
# harness-tmux-v4.sh — v4 Agent Teams: 원커맨드 실행
|
|
3
|
+
#
|
|
4
|
+
# ┌──────────────┬──────────────┬──────────────┐
|
|
5
|
+
# │ │ Dashboard │ │
|
|
6
|
+
# │ Main Claude │ (v4 queue) │ Team Monitor│
|
|
7
|
+
# │ (Lead) ├──────────────┤ (lifecycle) │
|
|
8
|
+
# │ │ Prompt │ │
|
|
9
|
+
# │ │ History │ │
|
|
10
|
+
# └──────────────┴──────────────┴──────────────┘
|
|
11
|
+
#
|
|
12
|
+
# Usage:
|
|
13
|
+
# bash scripts/harness-tmux-v4.sh # 레이아웃 + Claude 자동 실행 + team-action 자동 시작
|
|
14
|
+
# bash scripts/harness-tmux-v4.sh --no-auto # 레이아웃만 (Claude 수동 실행)
|
|
15
|
+
# bash scripts/harness-tmux-v4.sh --kill # 세션 종료
|
|
16
|
+
#
|
|
17
|
+
# 이것만 기억하세요:
|
|
18
|
+
# bash scripts/harness-tmux-v4.sh
|
|
19
|
+
|
|
20
|
+
set -euo pipefail
|
|
21
|
+
|
|
22
|
+
SCRIPT_DIR="$(cd "$(dirname "$0")" && pwd)"
|
|
23
|
+
SESSION_NAME="harness-v4"
|
|
24
|
+
|
|
25
|
+
PROJECT_ROOT=""
|
|
26
|
+
DETACH=false
|
|
27
|
+
AUTO_START=true
|
|
28
|
+
|
|
29
|
+
for arg in "$@"; do
|
|
30
|
+
case "$arg" in
|
|
31
|
+
--detach) DETACH=true ;;
|
|
32
|
+
--no-auto) AUTO_START=false ;;
|
|
33
|
+
--kill)
|
|
34
|
+
tmux kill-session -t "$SESSION_NAME" 2>/dev/null && echo "Killed." || echo "No session."
|
|
35
|
+
exit 0
|
|
36
|
+
;;
|
|
37
|
+
*)
|
|
38
|
+
if [ -d "$arg" ]; then PROJECT_ROOT="$arg"; fi
|
|
39
|
+
;;
|
|
40
|
+
esac
|
|
41
|
+
done
|
|
42
|
+
|
|
43
|
+
if [ -z "$PROJECT_ROOT" ]; then
|
|
44
|
+
dir="$(pwd)"
|
|
45
|
+
while [ "$dir" != "/" ]; do
|
|
46
|
+
if [ -d "$dir/.harness" ]; then PROJECT_ROOT="$dir"; break; fi
|
|
47
|
+
dir="$(dirname "$dir")"
|
|
48
|
+
done
|
|
49
|
+
fi
|
|
50
|
+
|
|
51
|
+
if [ -z "$PROJECT_ROOT" ] || [ ! -d "$PROJECT_ROOT/.harness" ]; then
|
|
52
|
+
echo "Error: .harness/ not found."
|
|
53
|
+
exit 1
|
|
54
|
+
fi
|
|
55
|
+
|
|
56
|
+
echo "Project: $PROJECT_ROOT"
|
|
57
|
+
echo "Session: $SESSION_NAME"
|
|
58
|
+
|
|
59
|
+
tmux kill-session -t "$SESSION_NAME" 2>/dev/null || true
|
|
60
|
+
|
|
61
|
+
# ── Resolve Claude command ──
|
|
62
|
+
HANDOFF="$PROJECT_ROOT/.harness/handoff.json"
|
|
63
|
+
CLAUDE_CMD="claude --dangerously-skip-permissions"
|
|
64
|
+
if [ -f "$HANDOFF" ]; then
|
|
65
|
+
_model=$(jq -r '.model // empty' "$HANDOFF" 2>/dev/null)
|
|
66
|
+
if [ -n "$_model" ] && [ "$_model" != "null" ]; then
|
|
67
|
+
CLAUDE_CMD="$CLAUDE_CMD --model $_model"
|
|
68
|
+
fi
|
|
69
|
+
fi
|
|
70
|
+
|
|
71
|
+
# ══════════════════════════════════════════
|
|
72
|
+
# Build 3-column layout
|
|
73
|
+
# ══════════════════════════════════════════
|
|
74
|
+
|
|
75
|
+
# 1. Create session → Left pane (Main Claude Lead)
|
|
76
|
+
PANE_MAIN=$(tmux new-session -d -s "$SESSION_NAME" -c "$PROJECT_ROOT" -x 220 -y 55 \
|
|
77
|
+
-P -F '#{pane_id}')
|
|
78
|
+
|
|
79
|
+
# 2. Split horizontally: Left 35% | Right 65%
|
|
80
|
+
PANE_MID=$(tmux split-window -h -p 65 -t "$PANE_MAIN" -c "$PROJECT_ROOT" \
|
|
81
|
+
-P -F '#{pane_id}')
|
|
82
|
+
|
|
83
|
+
# 3. Split right section: Middle 45% | Right 55%
|
|
84
|
+
PANE_RIGHT=$(tmux split-window -h -p 55 -t "$PANE_MID" -c "$PROJECT_ROOT" \
|
|
85
|
+
-P -F '#{pane_id}' \
|
|
86
|
+
"bash --norc --noprofile -c 'exec bash \"${SCRIPT_DIR}/harness-monitor.sh\" \"${PROJECT_ROOT}\"'")
|
|
87
|
+
|
|
88
|
+
# 4. Split middle pane vertically: Dashboard (top 45%) | Prompt History (bottom 55%)
|
|
89
|
+
PANE_HISTORY=$(tmux split-window -v -p 55 -t "$PANE_MID" -c "$PROJECT_ROOT" \
|
|
90
|
+
-P -F '#{pane_id}' \
|
|
91
|
+
"bash --norc --noprofile -c 'exec bash \"${SCRIPT_DIR}/harness-prompt-history.sh\" \"${PROJECT_ROOT}\"'")
|
|
92
|
+
|
|
93
|
+
# 5. Start dashboard in the middle-top pane
|
|
94
|
+
tmux send-keys -t "$PANE_MID" "bash \"${SCRIPT_DIR}/harness-dashboard-v4.sh\" \"${PROJECT_ROOT}\"" Enter
|
|
95
|
+
|
|
96
|
+
# 6. Main pane — Claude 자동 실행
|
|
97
|
+
tmux send-keys -t "$PANE_MAIN" "unset npm_config_prefix 2>/dev/null" Enter
|
|
98
|
+
tmux send-keys -t "$PANE_MAIN" "clear" Enter
|
|
99
|
+
|
|
100
|
+
if [ "$AUTO_START" = true ]; then
|
|
101
|
+
# Claude 실행 → 시작 후 자동으로 /harness-team-action 전송
|
|
102
|
+
tmux send-keys -t "$PANE_MAIN" "$CLAUDE_CMD" Enter
|
|
103
|
+
# Claude가 초기화될 시간을 준 뒤 team-action 명령 전송
|
|
104
|
+
sleep 3
|
|
105
|
+
tmux send-keys -t "$PANE_MAIN" "/harness-team-action" Enter
|
|
106
|
+
fi
|
|
107
|
+
|
|
108
|
+
# ── Pane titles ──
|
|
109
|
+
tmux select-pane -t "$PANE_MAIN" -T "Lead (Main Claude)"
|
|
110
|
+
tmux select-pane -t "$PANE_MID" -T "Dashboard"
|
|
111
|
+
tmux select-pane -t "$PANE_HISTORY" -T "Prompt History"
|
|
112
|
+
tmux select-pane -t "$PANE_RIGHT" -T "Team Monitor"
|
|
113
|
+
|
|
114
|
+
tmux set-option -t "$SESSION_NAME" pane-border-status top 2>/dev/null || true
|
|
115
|
+
tmux set-option -t "$SESSION_NAME" pane-border-format " #{pane_title} " 2>/dev/null || true
|
|
116
|
+
|
|
117
|
+
# ── Focus on Main pane ──
|
|
118
|
+
tmux select-pane -t "$PANE_MAIN"
|
|
119
|
+
|
|
120
|
+
# ── Attach ──
|
|
121
|
+
if [ "$DETACH" = true ]; then
|
|
122
|
+
echo ""
|
|
123
|
+
echo "Session created. Attach: tmux attach -t $SESSION_NAME"
|
|
124
|
+
else
|
|
125
|
+
if [ -n "${TMUX:-}" ]; then
|
|
126
|
+
tmux switch-client -t "$SESSION_NAME"
|
|
127
|
+
else
|
|
128
|
+
echo ""
|
|
129
|
+
echo "harness-v4 starting..."
|
|
130
|
+
echo ""
|
|
131
|
+
echo " All automatic. Just watch."
|
|
132
|
+
echo " Stop: bash scripts/harness-tmux-v4.sh --kill"
|
|
133
|
+
echo ""
|
|
134
|
+
tmux attach -t "$SESSION_NAME"
|
|
135
|
+
fi
|
|
136
|
+
fi
|
|
@@ -36,6 +36,19 @@ if [ -f "$CWD/.harness/progress.json" ] && command -v jq >/dev/null 2>&1; then
|
|
|
36
36
|
AGENT_STATUS=$(jq -r '.agent_status // "pending"' "$CWD/.harness/progress.json" 2>/dev/null || echo "pending")
|
|
37
37
|
fi
|
|
38
38
|
|
|
39
|
+
# ── 명령 히스토리 기록 (모든 모드 공통) ──
|
|
40
|
+
PROGRESS_LOG="$CWD/.harness/progress.log"
|
|
41
|
+
if [ -n "$PROMPT" ] && [ -d "$CWD/.harness" ]; then
|
|
42
|
+
# progress.log가 없으면 생성
|
|
43
|
+
if [ ! -f "$PROGRESS_LOG" ]; then
|
|
44
|
+
echo "# Harness Command History — $(date +%Y-%m-%d)" > "$PROGRESS_LOG"
|
|
45
|
+
fi
|
|
46
|
+
PROMPT_SHORT=$(echo "$PROMPT" | tr '\n' ' ' | sed 's/ */ /g' | cut -c1-80)
|
|
47
|
+
if [ ${#PROMPT_SHORT} -gt 2 ]; then
|
|
48
|
+
echo "$(date +"%Y-%m-%d %H:%M") | user-prompt | input | ${PROMPT_SHORT}" >> "$PROGRESS_LOG"
|
|
49
|
+
fi
|
|
50
|
+
fi
|
|
51
|
+
|
|
39
52
|
# ── 컨텍스트 분리 가드레일 ──
|
|
40
53
|
# 현재 에이전트가 활성인데 다른 에이전트 스킬을 호출하려는 경우 경고
|
|
41
54
|
CONTEXT_WARNING=""
|
|
@@ -25,8 +25,13 @@ disable-model-invocation: false
|
|
|
25
25
|
- `pipeline` → 선택된 파이프라인 (FULLSTACK/FE-ONLY/BE-ONLY)
|
|
26
26
|
- `sprint.number` → `1`, `sprint.status` → `"in_progress"` (신규 파이프라인인 경우에만)
|
|
27
27
|
2. `.harness/progress.log`에 요약 한 줄 추가
|
|
28
|
-
3. **
|
|
29
|
-
|
|
28
|
+
3. **v4 모드 감지**: `.harness/actions/feature-queue.json` 파일이 존재하는지 확인
|
|
29
|
+
- **존재**: v4 Parallel Agent Teams 활성 상태. 별도 안내 없이 즉시 STOP.
|
|
30
|
+
출력: `"✓ Dispatcher 완료. Agent Teams가 자율 실행 중입니다."`
|
|
31
|
+
- **미존재**: v3 Classic 모드.
|
|
32
|
+
출력: `"✓ Dispatcher 완료. bash scripts/harness-next.sh 실행하여 다음 단계 확인."`
|
|
33
|
+
4. **STOP. 다음 에이전트를 직접 호출하지 않는다.**
|
|
34
|
+
- v4 모드에서는 `/harness-team 실행하시겠습니까?` 같은 **질문을 하지 않는다**. Teams는 이미 실행 중이거나 사용자가 별도로 시작한다.
|
|
30
35
|
|
|
31
36
|
## Auto-Routing (UserPromptSubmit Hook)
|
|
32
37
|
|
|
@@ -0,0 +1,217 @@
|
|
|
1
|
+
---
|
|
2
|
+
name: harness-team-action
|
|
3
|
+
description: "v4 Agent Teams 가동. Studio 레이아웃 구축 → Queue 초기화 → Gen↔Eval 분리 사이클 팀 병렬 실행. 트리거: '/harness-team-action', 'team 시작', '팀 가동'"
|
|
4
|
+
disable-model-invocation: false
|
|
5
|
+
---
|
|
6
|
+
|
|
7
|
+
# /harness-team-action — Agent Teams 가동
|
|
8
|
+
|
|
9
|
+
## Step 0: Studio 레이아웃 자동 구축
|
|
10
|
+
|
|
11
|
+
3-column 대시보드 레이아웃을 자동 구축합니다:
|
|
12
|
+
|
|
13
|
+
```bash
|
|
14
|
+
bash scripts/harness-studio-setup.sh .
|
|
15
|
+
```
|
|
16
|
+
|
|
17
|
+
스크립트 출력을 확인합니다:
|
|
18
|
+
|
|
19
|
+
- **`Layout ready`** → 현재 터미널에 split 완료. 바로 Step 1로.
|
|
20
|
+
- **`ATTACH_TMUX=harness-studio`** → 새 tmux 세션이 생성됨 (tmux 밖에서 실행한 경우).
|
|
21
|
+
사용자에게 아래 안내를 출력하고 **STOP**합니다:
|
|
22
|
+
|
|
23
|
+
```
|
|
24
|
+
Studio 레이아웃이 준비되었습니다!
|
|
25
|
+
다른 터미널에서 아래 명령을 실행하세요:
|
|
26
|
+
|
|
27
|
+
tmux attach -t harness-studio
|
|
28
|
+
|
|
29
|
+
새 창에서 Claude가 자동 실행됩니다. 거기서 "팀 가동"을 입력하면 Teams가 시작됩니다.
|
|
30
|
+
```
|
|
31
|
+
|
|
32
|
+
- **`already set up`** → 이미 구축됨. 바로 Step 1로.
|
|
33
|
+
|
|
34
|
+
## Step 1: Queue 초기화
|
|
35
|
+
|
|
36
|
+
```bash
|
|
37
|
+
if [ ! -f .harness/actions/feature-queue.json ]; then bash scripts/harness-queue-manager.sh init .; else bash scripts/harness-queue-manager.sh recover .; fi && bash scripts/harness-queue-manager.sh status .
|
|
38
|
+
```
|
|
39
|
+
|
|
40
|
+
## Step 2: Feature 할당 (dequeue)
|
|
41
|
+
|
|
42
|
+
Queue status 결과를 확인하여 `ready` 큐에 feature가 있는지 확인합니다.
|
|
43
|
+
ready feature 수와 설정된 concurrency 중 작은 값만큼 팀을 생성합니다 (최대 3).
|
|
44
|
+
|
|
45
|
+
**각 팀마다** dequeue 명령으로 feature를 원자적으로 할당합니다:
|
|
46
|
+
|
|
47
|
+
```bash
|
|
48
|
+
bash scripts/harness-queue-manager.sh dequeue {TEAM_NUMBER} .
|
|
49
|
+
```
|
|
50
|
+
|
|
51
|
+
dequeue 결과로 feature ID가 반환됩니다. 빈 결과면 해당 팀은 생성하지 않습니다.
|
|
52
|
+
|
|
53
|
+
## Step 3: Agent 도구로 팀 생성 (Gen↔Eval 분리 사이클)
|
|
54
|
+
|
|
55
|
+
dequeue로 할당받은 feature마다 **Agent 도구**를 호출합니다.
|
|
56
|
+
**반드시 `isolation: "worktree"`를 사용**하여 각 팀이 독립된 코드 복사본에서 작업합니다.
|
|
57
|
+
|
|
58
|
+
**독립적인 팀들은 단일 메시지에서 병렬로 호출**하세요 (한 번의 응답에 여러 Agent 도구 호출).
|
|
59
|
+
|
|
60
|
+
```
|
|
61
|
+
Agent({
|
|
62
|
+
description: "Team-{N}: {FEATURE_ID}",
|
|
63
|
+
isolation: "worktree",
|
|
64
|
+
prompt: "<아래 Team Worker 프롬프트>"
|
|
65
|
+
})
|
|
66
|
+
```
|
|
67
|
+
|
|
68
|
+
### Team Worker 프롬프트
|
|
69
|
+
|
|
70
|
+
```
|
|
71
|
+
당신은 Harness Team-{N} 워커입니다. 하나의 Feature에 대해 Gen→Eval 사이클을 수행합니다.
|
|
72
|
+
|
|
73
|
+
## 할당된 Feature
|
|
74
|
+
- Feature ID: {FEATURE_ID}
|
|
75
|
+
- 프로젝트 루트: 현재 디렉토리 (worktree 복사본)
|
|
76
|
+
- 하네스 루트: 메인 프로젝트 루트 (worktree가 아닌 원본)
|
|
77
|
+
|
|
78
|
+
## 실시간 로깅 (필수)
|
|
79
|
+
|
|
80
|
+
모든 Phase 전환 시 반드시 아래 두 명령을 실행하세요. Monitor 대시보드에 실시간 반영됩니다.
|
|
81
|
+
|
|
82
|
+
**progress.log 기록** (하네스 루트의 progress.log에 append):
|
|
83
|
+
```bash
|
|
84
|
+
echo "$(date +'%Y-%m-%d %H:%M') | team-{N} | {ACTION} | {DETAIL}" >> {HARNESS_ROOT}/.harness/progress.log
|
|
85
|
+
```
|
|
86
|
+
|
|
87
|
+
**queue phase 업데이트** (feature-queue.json의 팀 상태 갱신):
|
|
88
|
+
```bash
|
|
89
|
+
bash {HARNESS_ROOT}/scripts/harness-queue-manager.sh update_phase {FEATURE_ID} {PHASE} .
|
|
90
|
+
```
|
|
91
|
+
|
|
92
|
+
> {HARNESS_ROOT}는 worktree의 원본 프로젝트 경로입니다. `git worktree list` 첫 줄에서 확인 가능합니다.
|
|
93
|
+
> 워커 시작 시 먼저 실행: `HARNESS_ROOT=$(git worktree list | head -1 | awk '{print $1}')`
|
|
94
|
+
|
|
95
|
+
## Phase 1: Generator (코드 생성)
|
|
96
|
+
|
|
97
|
+
**시작 시 로깅:**
|
|
98
|
+
```bash
|
|
99
|
+
HARNESS_ROOT=$(git worktree list | head -1 | awk '{print $1}')
|
|
100
|
+
echo "$(date +'%Y-%m-%d %H:%M') | team-{N} | gen | {FEATURE_ID} start" >> "$HARNESS_ROOT/.harness/progress.log"
|
|
101
|
+
bash "$HARNESS_ROOT/scripts/harness-queue-manager.sh" update_phase {FEATURE_ID} gen "$HARNESS_ROOT"
|
|
102
|
+
```
|
|
103
|
+
|
|
104
|
+
1. Feature 정보 확인:
|
|
105
|
+
- `jq '.features[] | select(.id == "{FEATURE_ID}")' .harness/actions/feature-list.json`
|
|
106
|
+
- `.harness/actions/api-contract.json`에서 관련 엔드포인트 확인
|
|
107
|
+
- AC(Acceptance Criteria) 목록을 정확히 파악
|
|
108
|
+
|
|
109
|
+
2. 코드 생성:
|
|
110
|
+
- AGENTS.md의 IA-MAP에 따라 올바른 디렉토리에 코드 작성
|
|
111
|
+
- AC의 모든 항목을 충족하도록 구현
|
|
112
|
+
|
|
113
|
+
3. Pre-eval 게이트 (자체):
|
|
114
|
+
- tsc (타입 체크) 실행
|
|
115
|
+
- eslint (린트) 실행
|
|
116
|
+
- 컴파일 에러가 있으면 직접 수정 (Eval에 넘기지 않음)
|
|
117
|
+
|
|
118
|
+
**Gen 완료 로깅:**
|
|
119
|
+
```bash
|
|
120
|
+
echo "$(date +'%Y-%m-%d %H:%M') | team-{N} | gen | {FEATURE_ID} done — {변경파일수} files" >> "$HARNESS_ROOT/.harness/progress.log"
|
|
121
|
+
```
|
|
122
|
+
|
|
123
|
+
## Phase 2: Evaluator (독립 평가 — Agent 도구 사용)
|
|
124
|
+
|
|
125
|
+
**Eval 시작 로깅:**
|
|
126
|
+
```bash
|
|
127
|
+
echo "$(date +'%Y-%m-%d %H:%M') | team-{N} | eval | {FEATURE_ID} eval start" >> "$HARNESS_ROOT/.harness/progress.log"
|
|
128
|
+
bash "$HARNESS_ROOT/scripts/harness-queue-manager.sh" update_phase {FEATURE_ID} eval "$HARNESS_ROOT"
|
|
129
|
+
```
|
|
130
|
+
|
|
131
|
+
코드 생성이 완료되면 **별도 Agent를 생성하여 평가**합니다.
|
|
132
|
+
이 Evaluator Agent는 당신(Generator)의 추론 과정을 모릅니다.
|
|
133
|
+
오직 코드와 AC만 보고 판단합니다.
|
|
134
|
+
|
|
135
|
+
```
|
|
136
|
+
Agent({
|
|
137
|
+
description: "Eval: {FEATURE_ID}",
|
|
138
|
+
prompt: "<아래 Evaluator 프롬프트>"
|
|
139
|
+
})
|
|
140
|
+
```
|
|
141
|
+
|
|
142
|
+
#### Evaluator 프롬프트
|
|
143
|
+
|
|
144
|
+
```
|
|
145
|
+
당신은 독립 Evaluator입니다. Generator가 작성한 코드를 AC 기준으로 냉정하게 평가합니다.
|
|
146
|
+
Generator의 의도나 추론 과정은 알 수 없습니다. 오직 코드와 결과만 봅니다.
|
|
147
|
+
|
|
148
|
+
## 평가 대상
|
|
149
|
+
- Feature ID: {FEATURE_ID}
|
|
150
|
+
- AC 확인: `jq '.features[] | select(.id == "{FEATURE_ID}").acceptance_criteria' .harness/actions/feature-list.json`
|
|
151
|
+
|
|
152
|
+
## 평가 기준
|
|
153
|
+
1. AC 100% 충족 여부 (부분 통과 = FAIL)
|
|
154
|
+
2. api-contract.json과의 일치 여부 (엔드포인트, 요청/응답 스키마)
|
|
155
|
+
3. tsc, eslint 통과 여부
|
|
156
|
+
4. 보안 취약점 여부 (OWASP Top 10)
|
|
157
|
+
5. 기존 코드와의 regression 여부
|
|
158
|
+
|
|
159
|
+
## 출력 형식
|
|
160
|
+
반드시 아래 형식으로 결과를 반환하세요:
|
|
161
|
+
|
|
162
|
+
VERDICT: PASS 또는 FAIL
|
|
163
|
+
SCORE: X.XX / 3.00
|
|
164
|
+
EVIDENCE:
|
|
165
|
+
- AC-1: [PASS/FAIL] 근거
|
|
166
|
+
- AC-2: [PASS/FAIL] 근거
|
|
167
|
+
- ...
|
|
168
|
+
FEEDBACK: (FAIL인 경우만) 구체적 수정 지시
|
|
169
|
+
```
|
|
170
|
+
|
|
171
|
+
## Phase 3: 결과 처리
|
|
172
|
+
|
|
173
|
+
Evaluator Agent 결과를 확인합니다:
|
|
174
|
+
|
|
175
|
+
### PASS인 경우 (VERDICT: PASS, SCORE ≥ 2.80):
|
|
176
|
+
```bash
|
|
177
|
+
echo "$(date +'%Y-%m-%d %H:%M') | team-{N} | pass | {FEATURE_ID} PASS score={SCORE}" >> "$HARNESS_ROOT/.harness/progress.log"
|
|
178
|
+
bash "$HARNESS_ROOT/scripts/harness-queue-manager.sh" pass {FEATURE_ID} "$HARNESS_ROOT"
|
|
179
|
+
```
|
|
180
|
+
변경 파일 목록과 AC 충족 요약을 Lead에게 반환.
|
|
181
|
+
|
|
182
|
+
### FAIL인 경우:
|
|
183
|
+
```bash
|
|
184
|
+
echo "$(date +'%Y-%m-%d %H:%M') | team-{N} | fail | {FEATURE_ID} FAIL #{ATTEMPT} — {사유요약}" >> "$HARNESS_ROOT/.harness/progress.log"
|
|
185
|
+
```
|
|
186
|
+
1. Evaluator의 FEEDBACK을 읽고 코드를 수정 (Phase 1로 돌아감)
|
|
187
|
+
2. 수정 후 다시 Phase 2 (새 Evaluator Agent 생성 — 이전 Eval 컨텍스트 없음)
|
|
188
|
+
3. 최대 3회 시도. 3회 모두 FAIL이면:
|
|
189
|
+
```bash
|
|
190
|
+
echo "$(date +'%Y-%m-%d %H:%M') | team-{N} | fail | {FEATURE_ID} FINAL FAIL after 3 attempts" >> "$HARNESS_ROOT/.harness/progress.log"
|
|
191
|
+
bash "$HARNESS_ROOT/scripts/harness-queue-manager.sh" fail {FEATURE_ID} "$HARNESS_ROOT"
|
|
192
|
+
```
|
|
193
|
+
실패 사유와 마지막 Eval 결과를 Lead에게 반환.
|
|
194
|
+
```
|
|
195
|
+
|
|
196
|
+
## Step 4: 결과 수집 및 다음 라운드
|
|
197
|
+
|
|
198
|
+
모든 Team Agent가 완료되면:
|
|
199
|
+
1. 각 Agent 반환 메시지에서 PASS/FAIL 확인
|
|
200
|
+
2. Queue 상태 재확인: `bash scripts/harness-queue-manager.sh status .`
|
|
201
|
+
3. ready 큐에 새로 unblock된 feature가 있으면 → **Step 2로 돌아가서** 추가 팀 생성
|
|
202
|
+
4. ready=0, in_progress=0이면 → 최종 결과 보고
|
|
203
|
+
|
|
204
|
+
## 핵심 원칙
|
|
205
|
+
|
|
206
|
+
### 자기 의식 편향 차단
|
|
207
|
+
- Generator가 자기 코드를 평가하지 않음
|
|
208
|
+
- Evaluator는 항상 새 Agent (Generator의 추론 과정을 모름)
|
|
209
|
+
- FAIL 후 재시도 시에도 새 Evaluator를 생성 (이전 Eval 기억 없음)
|
|
210
|
+
|
|
211
|
+
### 중복 방지
|
|
212
|
+
- dequeue는 원자적 (lock 사용) — 같은 feature를 두 번 할당 불가
|
|
213
|
+
- ready가 0이면 팀을 생성하지 않음
|
|
214
|
+
|
|
215
|
+
### 격리
|
|
216
|
+
- 각 팀은 `isolation: "worktree"`로 독립 코드 복사본에서 작업
|
|
217
|
+
- 팀 간 코드 충돌 없음
|
|
@@ -0,0 +1,19 @@
|
|
|
1
|
+
---
|
|
2
|
+
name: harness-team-stop
|
|
3
|
+
description: "v4 Agent Teams 중지. 실행 중인 Teammate를 모두 해산한다. 트리거: '/harness-team-stop', 'team 중지', 'agent team 멈춰', '팀 멈춰', '팀 중지'"
|
|
4
|
+
disable-model-invocation: false
|
|
5
|
+
---
|
|
6
|
+
|
|
7
|
+
# /harness-team-stop — Agent Teams 중지
|
|
8
|
+
|
|
9
|
+
## 실행
|
|
10
|
+
|
|
11
|
+
모든 Teammate에게 현재 작업을 마무리하고 종료하라고 메시지를 보내세요.
|
|
12
|
+
|
|
13
|
+
Queue 상태는 보존되므로, `/harness-team-action`으로 다시 시작할 수 있습니다.
|
|
14
|
+
|
|
15
|
+
## 재시작
|
|
16
|
+
|
|
17
|
+
```
|
|
18
|
+
❯ /harness-team-action
|
|
19
|
+
```
|
|
@@ -1,97 +0,0 @@
|
|
|
1
|
-
#!/bin/bash
|
|
2
|
-
# harness-control-v4.sh — v4 Control Center
|
|
3
|
-
#
|
|
4
|
-
# Commands:
|
|
5
|
-
# init Initialize feature queue
|
|
6
|
-
# start Launch all idle team workers
|
|
7
|
-
# pause <team> Pause team worker
|
|
8
|
-
# resume <team> Resume team worker
|
|
9
|
-
# assign <fid> <t> Force-assign feature to team
|
|
10
|
-
# requeue <fid> Move failed feature back to ready
|
|
11
|
-
# concurrency <N> Change parallel team count
|
|
12
|
-
# status / s Show queue status
|
|
13
|
-
# log <message> Add manual note
|
|
14
|
-
# help / h Show help
|
|
15
|
-
# quit / q Exit
|
|
16
|
-
|
|
17
|
-
set -uo pipefail
|
|
18
|
-
|
|
19
|
-
SCRIPT_DIR="$(cd "$(dirname "$0")" && pwd)"
|
|
20
|
-
|
|
21
|
-
PROJECT_ROOT="${1:-}"
|
|
22
|
-
if [ -z "$PROJECT_ROOT" ]; then
|
|
23
|
-
source "$SCRIPT_DIR/lib/harness-render-progress.sh"
|
|
24
|
-
PROJECT_ROOT="$(resolve_harness_root ".")" || { echo "[control] .harness/ not found."; exit 1; }
|
|
25
|
-
fi
|
|
26
|
-
|
|
27
|
-
QUEUE="$PROJECT_ROOT/.harness/actions/feature-queue.json"
|
|
28
|
-
PROGRESS_LOG="$PROJECT_ROOT/.harness/progress.log"
|
|
29
|
-
QUEUE_MGR="$SCRIPT_DIR/harness-queue-manager.sh"
|
|
30
|
-
|
|
31
|
-
BOLD="\033[1m"
|
|
32
|
-
DIM="\033[2m"
|
|
33
|
-
GREEN="\033[32m"
|
|
34
|
-
YELLOW="\033[33m"
|
|
35
|
-
RED="\033[31m"
|
|
36
|
-
CYAN="\033[36m"
|
|
37
|
-
RESET="\033[0m"
|
|
38
|
-
|
|
39
|
-
cmd_init() {
|
|
40
|
-
bash "$QUEUE_MGR" init "$PROJECT_ROOT"
|
|
41
|
-
}
|
|
42
|
-
|
|
43
|
-
cmd_status() {
|
|
44
|
-
bash "$QUEUE_MGR" status "$PROJECT_ROOT"
|
|
45
|
-
}
|
|
46
|
-
|
|
47
|
-
cmd_requeue() {
|
|
48
|
-
local fid="${1:-}"
|
|
49
|
-
if [ -z "$fid" ]; then echo -e " ${RED}Usage: requeue <feature_id>${RESET}"; return; fi
|
|
50
|
-
bash "$QUEUE_MGR" requeue "$fid" "$PROJECT_ROOT"
|
|
51
|
-
}
|
|
52
|
-
|
|
53
|
-
cmd_log() {
|
|
54
|
-
local msg="$1"
|
|
55
|
-
if [ -z "$msg" ]; then echo -e " ${RED}Usage: log <message>${RESET}"; return; fi
|
|
56
|
-
local ts
|
|
57
|
-
ts=$(date +"%Y-%m-%d")
|
|
58
|
-
echo "${ts} | manual | note | ${msg}" >> "$PROGRESS_LOG"
|
|
59
|
-
echo -e " ${GREEN}Logged:${RESET} ${msg}"
|
|
60
|
-
}
|
|
61
|
-
|
|
62
|
-
show_help() {
|
|
63
|
-
echo ""
|
|
64
|
-
echo -e " ${BOLD}Harness v4 Control${RESET}"
|
|
65
|
-
echo -e " ${CYAN}init${RESET} Initialize feature queue from feature-list.json"
|
|
66
|
-
echo -e " ${CYAN}status${RESET} / ${CYAN}s${RESET} Show queue + team status"
|
|
67
|
-
echo -e " ${CYAN}requeue${RESET} <fid> Move failed feature back to ready"
|
|
68
|
-
echo -e " ${CYAN}log${RESET} <message> Add manual note to progress.log"
|
|
69
|
-
echo -e " ${CYAN}help${RESET} / ${CYAN}h${RESET} Show this help"
|
|
70
|
-
echo -e " ${CYAN}quit${RESET} / ${CYAN}q${RESET} Exit control"
|
|
71
|
-
echo ""
|
|
72
|
-
echo -e " ${DIM}Teams auto-start when studio launches.${RESET}"
|
|
73
|
-
echo -e " ${DIM}Workers auto-dequeue from the ready queue.${RESET}"
|
|
74
|
-
echo ""
|
|
75
|
-
}
|
|
76
|
-
|
|
77
|
-
# ── Main ──
|
|
78
|
-
echo ""
|
|
79
|
-
echo -e " ${BOLD}Harness v4 Control${RESET} ${DIM}(type 'help' for commands)${RESET}"
|
|
80
|
-
echo ""
|
|
81
|
-
|
|
82
|
-
while true; do
|
|
83
|
-
echo -ne " ${BOLD}v4>${RESET} "
|
|
84
|
-
read -r input || exit 0
|
|
85
|
-
input=$(echo "$input" | sed 's/^[[:space:]]*//;s/[[:space:]]*$//')
|
|
86
|
-
|
|
87
|
-
case "$input" in
|
|
88
|
-
init) cmd_init ;;
|
|
89
|
-
status|s) cmd_status ;;
|
|
90
|
-
requeue\ *) cmd_requeue "${input#requeue }" ;;
|
|
91
|
-
log\ *) cmd_log "${input#log }" ;;
|
|
92
|
-
help|h) show_help ;;
|
|
93
|
-
quit|q) echo -e " ${DIM}Goodbye.${RESET}"; exit 0 ;;
|
|
94
|
-
"") ;; # empty
|
|
95
|
-
*) echo -e " ${DIM}Unknown command. Type 'help'.${RESET}" ;;
|
|
96
|
-
esac
|
|
97
|
-
done
|