aiwf 0.3.13 → 0.3.15
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.ko.md +16 -6
- package/README.md +16 -6
- package/docs/AI-WORKFLOW.ko.md +1 -1
- package/docs/AI-WORKFLOW.md +1 -1
- package/docs/GETTING_STARTED.md +1 -1
- package/docs/ROADMAP_v0.4.0.md +286 -0
- package/package.json +1 -1
- package/src/cli/index.js +1 -1
- package/src/lib/installer.js +229 -16
- package/src/utils/messages.js +16 -0
- package/src/utils/paths.js +3 -2
- package/docs/CLEANUP_RECOMMENDATIONS.md +0 -86
- package/docs/git-feature-integration-guide.md +0 -253
- package/docs/lightweight-evaluation.md +0 -198
- package/docs/performance-benchmark-report.md +0 -159
- package/docs/reports/S02-sprint-report.md +0 -190
- package/docs/usability-test-report.md +0 -170
- /package/docs/{AI_PERSONA_SYSTEM_DESIGN.md → designs/AI_PERSONA_SYSTEM_DESIGN.md} +0 -0
- /package/docs/{API_DOCUMENTATION.md → designs/API_DOCUMENTATION.md} +0 -0
- /package/docs/{API_REFERENCE.md → designs/API_REFERENCE.md} +0 -0
- /package/docs/{Enhanced_Installation_Flow_Design.md → designs/Enhanced_Installation_Flow_Design.md} +0 -0
- /package/docs/{moonklabs-metadata-system-prd.md → designs/aiwf-metadata-system-prd.md} +0 -0
- /package/docs/{offline-template-cache.md → designs/offline-template-cache.md} +0 -0
- /package/docs/{persona-aware-compression.md → designs/persona-aware-compression.md} +0 -0
|
@@ -1,253 +0,0 @@
|
|
|
1
|
-
# Git-Feature 통합 가이드
|
|
2
|
-
|
|
3
|
-
이 문서는 AIWF의 Git 연동 Feature 추적 시스템 사용법을 설명합니다.
|
|
4
|
-
|
|
5
|
-
## 개요
|
|
6
|
-
|
|
7
|
-
Git-Feature 통합 시스템은 Git 커밋과 Feature Ledger를 자동으로 연결하여, 개발 진행 상황을 효과적으로 추적할 수 있게 합니다.
|
|
8
|
-
|
|
9
|
-
## 주요 기능
|
|
10
|
-
|
|
11
|
-
1. **커밋 메시지 파싱**: 다양한 형식의 Feature ID 자동 인식
|
|
12
|
-
2. **자동 동기화**: Git hooks를 통한 실시간 Feature 업데이트
|
|
13
|
-
3. **히스토리 스캔**: 기존 커밋 히스토리와 Feature 연결
|
|
14
|
-
4. **리포트 생성**: Feature-커밋 매핑 리포트 자동 생성
|
|
15
|
-
|
|
16
|
-
## 커밋 메시지 규칙
|
|
17
|
-
|
|
18
|
-
### 지원하는 Feature ID 형식
|
|
19
|
-
|
|
20
|
-
```bash
|
|
21
|
-
# 직접 참조
|
|
22
|
-
git commit -m "FL001 사용자 인증 기능 구현"
|
|
23
|
-
|
|
24
|
-
# 대괄호 참조
|
|
25
|
-
git commit -m "[FL001] 로그인 폼 스타일 수정"
|
|
26
|
-
|
|
27
|
-
# Conventional Commit 형식
|
|
28
|
-
git commit -m "feat(FL001): JWT 토큰 발급 로직 추가"
|
|
29
|
-
git commit -m "fix(FL001): 로그인 오류 수정"
|
|
30
|
-
|
|
31
|
-
# 해시 참조
|
|
32
|
-
git commit -m "Update authentication flow #FL001"
|
|
33
|
-
|
|
34
|
-
# 여러 Feature 참조
|
|
35
|
-
git commit -m "FL001, FL002 관련 공통 유틸리티 추가"
|
|
36
|
-
```
|
|
37
|
-
|
|
38
|
-
### 브랜치 명명 규칙
|
|
39
|
-
|
|
40
|
-
```bash
|
|
41
|
-
# Feature 브랜치 형식
|
|
42
|
-
git checkout -b feature/FL001-user-authentication
|
|
43
|
-
git checkout -b feature/FL002-dashboard-redesign
|
|
44
|
-
```
|
|
45
|
-
|
|
46
|
-
## 명령어 사용법
|
|
47
|
-
|
|
48
|
-
### 1. sync_feature_commits - Feature 동기화
|
|
49
|
-
|
|
50
|
-
```bash
|
|
51
|
-
# 특정 Feature 동기화
|
|
52
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js FL001
|
|
53
|
-
|
|
54
|
-
# 모든 활성 Feature 동기화
|
|
55
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js --all
|
|
56
|
-
|
|
57
|
-
# 최근 100개 커밋에서 Feature 찾기
|
|
58
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js --recent 100
|
|
59
|
-
|
|
60
|
-
# 특정 날짜 이후 커밋 검색
|
|
61
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js --since 2025-01-01
|
|
62
|
-
|
|
63
|
-
# 상세 로그 출력
|
|
64
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js --verbose
|
|
65
|
-
```
|
|
66
|
-
|
|
67
|
-
### 2. scan_git_history - 히스토리 스캔
|
|
68
|
-
|
|
69
|
-
```bash
|
|
70
|
-
# 기본 스캔 (2025-01-01부터)
|
|
71
|
-
node claude-code/aiwf/ko/commands/scan_git_history.js
|
|
72
|
-
|
|
73
|
-
# 날짜 범위 지정
|
|
74
|
-
node claude-code/aiwf/ko/commands/scan_git_history.js --since 2024-01-01 --until 2024-12-31
|
|
75
|
-
|
|
76
|
-
# 특정 Feature만 스캔
|
|
77
|
-
node claude-code/aiwf/ko/commands/scan_git_history.js --feature FL001
|
|
78
|
-
|
|
79
|
-
# Dry-run 모드 (실제 업데이트 없음)
|
|
80
|
-
node claude-code/aiwf/ko/commands/scan_git_history.js --dry-run
|
|
81
|
-
|
|
82
|
-
# 누락된 Feature 파일 자동 생성
|
|
83
|
-
node claude-code/aiwf/ko/commands/scan_git_history.js --create-missing
|
|
84
|
-
```
|
|
85
|
-
|
|
86
|
-
### 3. feature_commit_report - 리포트 생성
|
|
87
|
-
|
|
88
|
-
```bash
|
|
89
|
-
# 기본 Markdown 리포트 생성
|
|
90
|
-
node claude-code/aiwf/ko/commands/feature_commit_report.js
|
|
91
|
-
|
|
92
|
-
# 특정 Feature 리포트
|
|
93
|
-
node claude-code/aiwf/ko/commands/feature_commit_report.js --feature FL001
|
|
94
|
-
|
|
95
|
-
# 활성 Feature만 포함
|
|
96
|
-
node claude-code/aiwf/ko/commands/feature_commit_report.js --status active
|
|
97
|
-
|
|
98
|
-
# JSON 형식으로 출력
|
|
99
|
-
node claude-code/aiwf/ko/commands/feature_commit_report.js --format json --output report.json
|
|
100
|
-
|
|
101
|
-
# HTML 형식 + 상세 정보
|
|
102
|
-
node claude-code/aiwf/ko/commands/feature_commit_report.js --format html --detailed --output report.html
|
|
103
|
-
|
|
104
|
-
# 타임라인 뷰 포함
|
|
105
|
-
node claude-code/aiwf/ko/commands/feature_commit_report.js --timeline
|
|
106
|
-
```
|
|
107
|
-
|
|
108
|
-
## Git Hooks 설정
|
|
109
|
-
|
|
110
|
-
### 자동 설치
|
|
111
|
-
|
|
112
|
-
```bash
|
|
113
|
-
# 설치 스크립트 실행
|
|
114
|
-
./claude-code/aiwf/ko/hooks/install-hooks.sh
|
|
115
|
-
|
|
116
|
-
# 환경 변수 설정 (활성화)
|
|
117
|
-
export AIWF_HOOKS_ENABLED=true
|
|
118
|
-
|
|
119
|
-
# 상세 로그 활성화 (선택사항)
|
|
120
|
-
export AIWF_HOOKS_VERBOSE=true
|
|
121
|
-
|
|
122
|
-
# 영구 설정 (~/.bashrc 또는 ~/.zshrc에 추가)
|
|
123
|
-
echo 'export AIWF_HOOKS_ENABLED=true' >> ~/.bashrc
|
|
124
|
-
```
|
|
125
|
-
|
|
126
|
-
### 수동 설치
|
|
127
|
-
|
|
128
|
-
```bash
|
|
129
|
-
# post-commit hook 복사
|
|
130
|
-
cp claude-code/aiwf/ko/hooks/post-commit .git/hooks/
|
|
131
|
-
chmod +x .git/hooks/post-commit
|
|
132
|
-
|
|
133
|
-
# 환경 변수 설정
|
|
134
|
-
export AIWF_HOOKS_ENABLED=true
|
|
135
|
-
```
|
|
136
|
-
|
|
137
|
-
### Hook 동작 확인
|
|
138
|
-
|
|
139
|
-
```bash
|
|
140
|
-
# Feature ID를 포함한 커밋 생성
|
|
141
|
-
git add .
|
|
142
|
-
git commit -m "feat(FL001): 새로운 기능 추가"
|
|
143
|
-
|
|
144
|
-
# 콘솔에 다음과 같은 메시지가 표시됩니다:
|
|
145
|
-
# 🔄 AIWF Feature Ledger 동기화 중...
|
|
146
|
-
# ✅ Feature ID 발견: FL001
|
|
147
|
-
# 📝 FL001 동기화 중...
|
|
148
|
-
# ✅ FL001 동기화 완료
|
|
149
|
-
# ✨ Feature Ledger 동기화 완료!
|
|
150
|
-
```
|
|
151
|
-
|
|
152
|
-
## 워크플로우 예시
|
|
153
|
-
|
|
154
|
-
### 1. 새 Feature 시작
|
|
155
|
-
|
|
156
|
-
```bash
|
|
157
|
-
# 1. Feature Ledger 생성
|
|
158
|
-
/project:aiwf:create_feature_ledger "User Authentication"
|
|
159
|
-
|
|
160
|
-
# 2. Feature 브랜치 생성
|
|
161
|
-
git checkout -b feature/FL001-user-authentication
|
|
162
|
-
|
|
163
|
-
# 3. 개발 및 커밋
|
|
164
|
-
git add src/auth/*
|
|
165
|
-
git commit -m "feat(FL001): 사용자 인증 모듈 구현"
|
|
166
|
-
|
|
167
|
-
# 4. Feature 자동 업데이트 확인
|
|
168
|
-
cat .aiwf/06_FEATURE_LEDGERS/active/FL001_User_Authentication.md
|
|
169
|
-
```
|
|
170
|
-
|
|
171
|
-
### 2. 기존 프로젝트에 적용
|
|
172
|
-
|
|
173
|
-
```bash
|
|
174
|
-
# 1. Git 히스토리 스캔
|
|
175
|
-
node claude-code/aiwf/ko/commands/scan_git_history.js --since 2024-01-01
|
|
176
|
-
|
|
177
|
-
# 2. 누락된 Feature 확인 및 생성
|
|
178
|
-
node claude-code/aiwf/ko/commands/scan_git_history.js --create-missing
|
|
179
|
-
|
|
180
|
-
# 3. 리포트 생성
|
|
181
|
-
node claude-code/aiwf/ko/commands/feature_commit_report.js --detailed
|
|
182
|
-
|
|
183
|
-
# 4. Git hooks 설치
|
|
184
|
-
./claude-code/aiwf/ko/hooks/install-hooks.sh
|
|
185
|
-
export AIWF_HOOKS_ENABLED=true
|
|
186
|
-
```
|
|
187
|
-
|
|
188
|
-
### 3. 진행 상황 모니터링
|
|
189
|
-
|
|
190
|
-
```bash
|
|
191
|
-
# 전체 Feature 상태 확인
|
|
192
|
-
node claude-code/aiwf/ko/commands/feature_commit_report.js
|
|
193
|
-
|
|
194
|
-
# 특정 Feature 상세 정보
|
|
195
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js FL001 --verbose
|
|
196
|
-
|
|
197
|
-
# 최근 활동 확인
|
|
198
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js --recent 50 --verbose
|
|
199
|
-
```
|
|
200
|
-
|
|
201
|
-
## 문제 해결
|
|
202
|
-
|
|
203
|
-
### Git hooks가 실행되지 않음
|
|
204
|
-
|
|
205
|
-
```bash
|
|
206
|
-
# 환경 변수 확인
|
|
207
|
-
echo $AIWF_HOOKS_ENABLED
|
|
208
|
-
|
|
209
|
-
# Hook 파일 권한 확인
|
|
210
|
-
ls -la .git/hooks/post-commit
|
|
211
|
-
|
|
212
|
-
# 수동으로 동기화 실행
|
|
213
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js --all
|
|
214
|
-
```
|
|
215
|
-
|
|
216
|
-
### Feature ID가 인식되지 않음
|
|
217
|
-
|
|
218
|
-
```bash
|
|
219
|
-
# 커밋 메시지 패턴 확인
|
|
220
|
-
git log --oneline | grep "FL[0-9]\{3\}"
|
|
221
|
-
|
|
222
|
-
# 지원하는 형식 사용
|
|
223
|
-
git commit -m "feat(FL001): 기능 설명" # 권장
|
|
224
|
-
git commit -m "[FL001] 기능 설명" # 가능
|
|
225
|
-
git commit -m "FL001 기능 설명" # 가능
|
|
226
|
-
```
|
|
227
|
-
|
|
228
|
-
### 동기화 오류
|
|
229
|
-
|
|
230
|
-
```bash
|
|
231
|
-
# Feature 파일 존재 확인
|
|
232
|
-
find .aiwf/06_FEATURE_LEDGERS -name "FL001*"
|
|
233
|
-
|
|
234
|
-
# 수동으로 Feature 파일 생성
|
|
235
|
-
/project:aiwf:create_feature_ledger "Feature Name"
|
|
236
|
-
|
|
237
|
-
# 다시 동기화 시도
|
|
238
|
-
node claude-code/aiwf/ko/commands/sync_feature_commits.js FL001
|
|
239
|
-
```
|
|
240
|
-
|
|
241
|
-
## 모범 사례
|
|
242
|
-
|
|
243
|
-
1. **일관된 커밋 메시지**: Conventional Commit 형식 사용 권장
|
|
244
|
-
2. **브랜치 전략**: Feature별 브랜치 생성 및 명명 규칙 준수
|
|
245
|
-
3. **정기적 동기화**: 주기적으로 `--all` 옵션으로 전체 동기화
|
|
246
|
-
4. **리포트 활용**: 스프린트 종료 시 리포트 생성하여 진행 상황 공유
|
|
247
|
-
5. **Hook 활성화**: 팀 전체가 Git hooks를 활성화하여 일관성 유지
|
|
248
|
-
|
|
249
|
-
## 추가 리소스
|
|
250
|
-
|
|
251
|
-
- [Feature Ledger 시스템 사양](/.aiwf/02_REQUIREMENTS/M02_Context_Engineering_Enhancement/SPECS_Feature_Ledger_System.md)
|
|
252
|
-
- [Git 통합 사양](/.aiwf/06_FEATURE_LEDGERS/FEATURE_GIT_INTEGRATION.md)
|
|
253
|
-
- [통합 가이드](/.aiwf/06_FEATURE_LEDGERS/FEATURE_INTEGRATION_GUIDE.md)
|
|
@@ -1,198 +0,0 @@
|
|
|
1
|
-
# 경량 평가 시스템
|
|
2
|
-
|
|
3
|
-
## 개요
|
|
4
|
-
|
|
5
|
-
AIWF의 경량 평가 시스템은 AI 응답 품질을 간단하고 효율적으로 모니터링합니다. 복잡한 수동 평가 대신 백그라운드 자동 평가를 통해 사용자 작업 흐름을 방해하지 않으면서도 품질을 유지합니다.
|
|
6
|
-
|
|
7
|
-
## 핵심 원칙
|
|
8
|
-
|
|
9
|
-
### 1. Invisible by Default
|
|
10
|
-
- 평가는 백그라운드에서 자동 실행
|
|
11
|
-
- 사용자가 인지하지 못하도록 설계
|
|
12
|
-
- 필요할 때만 피드백 제공
|
|
13
|
-
|
|
14
|
-
### 2. Simple Metrics
|
|
15
|
-
- 3가지 핵심 지표만 사용
|
|
16
|
-
- 복잡한 계산 없이 빠른 평가
|
|
17
|
-
- 실용적인 피드백 중심
|
|
18
|
-
|
|
19
|
-
### 3. Non-Intrusive
|
|
20
|
-
- 품질이 낮을 때만 알림 (60% 미만)
|
|
21
|
-
- 간단한 한 줄 피드백
|
|
22
|
-
- 작업 흐름을 방해하지 않음
|
|
23
|
-
|
|
24
|
-
## 평가 지표
|
|
25
|
-
|
|
26
|
-
### 1. 역할 일치도 (Role Alignment) - 50%
|
|
27
|
-
페르소나의 핵심 키워드가 응답에 포함되었는지 확인합니다.
|
|
28
|
-
|
|
29
|
-
```javascript
|
|
30
|
-
// 페르소나별 핵심 키워드
|
|
31
|
-
architect: ['시스템', '설계', '구조', '아키텍처']
|
|
32
|
-
security: ['보안', '취약점', '암호화', '위협']
|
|
33
|
-
frontend: ['UI', 'UX', '사용자', '화면']
|
|
34
|
-
backend: ['API', '데이터베이스', '서버', '성능']
|
|
35
|
-
data_analyst: ['데이터', '분석', '통계', '인사이트']
|
|
36
|
-
```
|
|
37
|
-
|
|
38
|
-
### 2. 작업 관련성 (Task Relevance) - 30%
|
|
39
|
-
응답의 길이와 내용으로 작업 관련성을 간단히 평가합니다.
|
|
40
|
-
- 50자 미만: 0.3
|
|
41
|
-
- 50-200자: 0.6
|
|
42
|
-
- 200자 이상: 0.8
|
|
43
|
-
|
|
44
|
-
### 3. 기본 품질 (Response Quality) - 20%
|
|
45
|
-
응답의 구조와 내용 풍부도를 확인합니다.
|
|
46
|
-
- 구조화된 응답 (줄바꿈, 목록 등): +0.2
|
|
47
|
-
- 충분한 내용 (100자 이상): +0.2
|
|
48
|
-
|
|
49
|
-
## 자동 평가 시점
|
|
50
|
-
|
|
51
|
-
### 1. 페르소나 전환 시
|
|
52
|
-
```bash
|
|
53
|
-
$ aiwf persona architect
|
|
54
|
-
✓ Architect 페르소나 활성화
|
|
55
|
-
# (백그라운드에서 자동 평가 시작)
|
|
56
|
-
```
|
|
57
|
-
|
|
58
|
-
### 2. 컨텍스트 압축 시
|
|
59
|
-
```bash
|
|
60
|
-
$ aiwf compress-with-persona
|
|
61
|
-
✓ 압축 완료!
|
|
62
|
-
# (압축 품질 자동 체크)
|
|
63
|
-
💡 시스템 설계 관점을 더 포함해보세요 # 품질이 낮을 때만
|
|
64
|
-
```
|
|
65
|
-
|
|
66
|
-
## 수동 평가 명령어
|
|
67
|
-
|
|
68
|
-
필요할 때 수동으로 평가 정보를 확인할 수 있습니다.
|
|
69
|
-
|
|
70
|
-
### 빠른 확인
|
|
71
|
-
```bash
|
|
72
|
-
$ aiwf evaluate
|
|
73
|
-
🔍 최근 응답 평가
|
|
74
|
-
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
|
|
75
|
-
현재 페르소나: architect
|
|
76
|
-
평균 점수: 0.75
|
|
77
|
-
평가 횟수: 23
|
|
78
|
-
추세: 📈 개선 중
|
|
79
|
-
```
|
|
80
|
-
|
|
81
|
-
### 상세 분석
|
|
82
|
-
```bash
|
|
83
|
-
$ aiwf evaluate --detailed
|
|
84
|
-
📊 상세 평가 분석
|
|
85
|
-
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
|
|
86
|
-
전체 통계:
|
|
87
|
-
- 총 평가: 47회
|
|
88
|
-
- 평균 점수: 0.72
|
|
89
|
-
- 추세: 📈 개선 중
|
|
90
|
-
|
|
91
|
-
페르소나별 성과:
|
|
92
|
-
- 아키텍트: 0.85 (15회)
|
|
93
|
-
- 보안 전문가: 0.62 (8회)
|
|
94
|
-
- 프론트엔드: 0.74 (12회)
|
|
95
|
-
- 백엔드: 0.70 (9회)
|
|
96
|
-
- 데이터 분석가: 0.58 (3회)
|
|
97
|
-
|
|
98
|
-
개선 제안:
|
|
99
|
-
📊 데이터 기반 인사이트를 더 제공해보세요
|
|
100
|
-
```
|
|
101
|
-
|
|
102
|
-
### 평가 히스토리
|
|
103
|
-
```bash
|
|
104
|
-
$ aiwf evaluate --history
|
|
105
|
-
📈 평가 히스토리
|
|
106
|
-
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
|
|
107
|
-
14:32 | 아키텍트 | 0.85
|
|
108
|
-
14:25 | 프론트엔드 | 0.72
|
|
109
|
-
14:18 | 아키텍트 | 0.90
|
|
110
|
-
...
|
|
111
|
-
```
|
|
112
|
-
|
|
113
|
-
### 주간 통계
|
|
114
|
-
```bash
|
|
115
|
-
$ aiwf evaluate --stats
|
|
116
|
-
📊 주간 통계
|
|
117
|
-
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
|
|
118
|
-
평가 횟수: 142회
|
|
119
|
-
평균 점수: 0.74
|
|
120
|
-
추세: 📈 개선 중
|
|
121
|
-
|
|
122
|
-
페르소나별 활용도:
|
|
123
|
-
아키텍트 ████████████ 45회
|
|
124
|
-
프론트엔드 ████████ 32회
|
|
125
|
-
백엔드 ██████ 28회
|
|
126
|
-
보안 전문가 ████ 20회
|
|
127
|
-
데이터 분석가 ████ 17회
|
|
128
|
-
```
|
|
129
|
-
|
|
130
|
-
## 피드백 메시지
|
|
131
|
-
|
|
132
|
-
각 페르소나별로 간단한 피드백 메시지가 준비되어 있습니다:
|
|
133
|
-
|
|
134
|
-
- **Architect**: "💡 시스템 설계 관점을 더 포함해보세요"
|
|
135
|
-
- **Security**: "🔒 보안 측면을 좀 더 고려해보세요"
|
|
136
|
-
- **Frontend**: "🎨 사용자 경험 관점을 추가해보세요"
|
|
137
|
-
- **Backend**: "⚙️ 서버/데이터 처리 관점을 강화해보세요"
|
|
138
|
-
- **Data Analyst**: "📊 데이터 기반 인사이트를 더 제공해보세요"
|
|
139
|
-
|
|
140
|
-
## 데이터 저장
|
|
141
|
-
|
|
142
|
-
평가 데이터는 `.aiwf/.evaluation-stats.json`에 자동 저장됩니다:
|
|
143
|
-
|
|
144
|
-
```json
|
|
145
|
-
{
|
|
146
|
-
"recentEvaluations": [
|
|
147
|
-
{
|
|
148
|
-
"persona": "architect",
|
|
149
|
-
"score": 0.85,
|
|
150
|
-
"timestamp": "2024-01-10T14:32:00Z",
|
|
151
|
-
"responseLength": 350
|
|
152
|
-
}
|
|
153
|
-
],
|
|
154
|
-
"lastUpdated": "2024-01-10T14:32:00Z"
|
|
155
|
-
}
|
|
156
|
-
```
|
|
157
|
-
|
|
158
|
-
## 구현 세부사항
|
|
159
|
-
|
|
160
|
-
### SimplifiedEvaluator 클래스
|
|
161
|
-
- 200줄 이하의 간단한 구현
|
|
162
|
-
- 빠른 평가 알고리즘
|
|
163
|
-
- 최소한의 의존성
|
|
164
|
-
|
|
165
|
-
### BackgroundMonitor 클래스
|
|
166
|
-
- 싱글톤 패턴으로 리소스 효율성
|
|
167
|
-
- 비동기 평가로 성능 영향 최소화
|
|
168
|
-
- 자동 데이터 정리 (최대 100개 기록)
|
|
169
|
-
|
|
170
|
-
## 마이그레이션 가이드
|
|
171
|
-
|
|
172
|
-
### 기존 시스템에서 전환
|
|
173
|
-
1. 기존 평가 명령어들이 자동으로 제거됨
|
|
174
|
-
2. 새로운 `aiwf evaluate` 명령어만 사용
|
|
175
|
-
3. 대부분의 평가는 자동으로 백그라운드에서 수행
|
|
176
|
-
|
|
177
|
-
### 주요 변경사항
|
|
178
|
-
- 5개 지표 → 3개 지표
|
|
179
|
-
- 수동 평가 → 자동 평가
|
|
180
|
-
- 5개 명령어 → 1개 명령어
|
|
181
|
-
- 복잡한 리포트 → 간단한 피드백
|
|
182
|
-
|
|
183
|
-
## 성능 영향
|
|
184
|
-
|
|
185
|
-
- **CPU 사용**: 거의 없음 (< 0.1%)
|
|
186
|
-
- **메모리 사용**: 최소 (< 5MB)
|
|
187
|
-
- **평가 시간**: 즉시 (< 10ms)
|
|
188
|
-
- **저장 공간**: 작음 (< 100KB)
|
|
189
|
-
|
|
190
|
-
## 향후 계획
|
|
191
|
-
|
|
192
|
-
1. **AI 응답 후 자동 평가**: Claude API 응답 후킹
|
|
193
|
-
2. **주간 리포트 자동 생성**: 매주 월요일 아침
|
|
194
|
-
3. **팀 통계 공유**: 팀원 간 평가 통계 공유 기능
|
|
195
|
-
|
|
196
|
-
## 결론
|
|
197
|
-
|
|
198
|
-
경량 평가 시스템은 "적을수록 좋다"는 철학을 따릅니다. 필수적인 기능만 유지하면서도 AI 응답 품질을 효과적으로 모니터링할 수 있습니다. 사용자는 평가 시스템의 존재를 거의 인지하지 못하면서도 품질 개선의 혜택을 받습니다.
|
|
@@ -1,159 +0,0 @@
|
|
|
1
|
-
# M02 Performance Benchmark Report
|
|
2
|
-
|
|
3
|
-
## Executive Summary
|
|
4
|
-
|
|
5
|
-
M02 마일스톤의 핵심 성능 목표인 "토큰 사용량 50% 절감"을 성공적으로 달성했습니다. Context Compression 시스템을 통해 평균 53.5%의 토큰 절감을 실현했으며, 실시간 처리 성능도 목표치를 충족했습니다.
|
|
6
|
-
|
|
7
|
-
## Token Usage Reduction
|
|
8
|
-
|
|
9
|
-
### Benchmark Scenarios
|
|
10
|
-
|
|
11
|
-
#### 1. Feature Implementation Scenario
|
|
12
|
-
- **작업 내용**: 새로운 기능 구현 시 필요한 컨텍스트
|
|
13
|
-
- **원본 토큰**: 10,000 tokens
|
|
14
|
-
- **압축 후 토큰**: 4,500 tokens
|
|
15
|
-
- **절감률**: 55% ✅
|
|
16
|
-
- **절감 토큰**: 5,500 tokens
|
|
17
|
-
|
|
18
|
-
#### 2. Code Review Scenario
|
|
19
|
-
- **작업 내용**: PR 리뷰 시 필요한 파일 컨텍스트
|
|
20
|
-
- **원본 토큰**: 8,000 tokens
|
|
21
|
-
- **압축 후 토큰**: 3,800 tokens
|
|
22
|
-
- **절감률**: 52.5% ✅
|
|
23
|
-
- **절감 토큰**: 4,200 tokens
|
|
24
|
-
|
|
25
|
-
#### 3. Documentation Scenario
|
|
26
|
-
- **작업 내용**: 문서 작성/업데이트 시 참조 컨텍스트
|
|
27
|
-
- **원본 토큰**: 5,000 tokens
|
|
28
|
-
- **압축 후 토큰**: 2,400 tokens
|
|
29
|
-
- **절감률**: 52% ✅
|
|
30
|
-
- **절감 토큰**: 2,600 tokens
|
|
31
|
-
|
|
32
|
-
### Overall Performance
|
|
33
|
-
|
|
34
|
-
| Metric | Value | Target | Status |
|
|
35
|
-
|--------|-------|--------|--------|
|
|
36
|
-
| **평균 토큰 절감률** | 53.5% | 50% | ✅ 초과 달성 |
|
|
37
|
-
| **총 원본 토큰** | 23,000 | - | - |
|
|
38
|
-
| **총 압축 토큰** | 10,700 | - | - |
|
|
39
|
-
| **총 절감 토큰** | 12,300 | - | - |
|
|
40
|
-
|
|
41
|
-
## Compression Performance
|
|
42
|
-
|
|
43
|
-
### Speed Metrics
|
|
44
|
-
|
|
45
|
-
| File Size | Compression Time | Decompression Time | Status |
|
|
46
|
-
|-----------|-----------------|-------------------|---------|
|
|
47
|
-
| 1KB | < 10ms | < 5ms | ✅ |
|
|
48
|
-
| 10KB | < 50ms | < 20ms | ✅ |
|
|
49
|
-
| 100KB | < 200ms | < 80ms | ✅ |
|
|
50
|
-
| 1MB | < 1000ms | < 400ms | ✅ |
|
|
51
|
-
|
|
52
|
-
### Memory Usage
|
|
53
|
-
|
|
54
|
-
- **Base Memory**: 15MB
|
|
55
|
-
- **Peak Memory (1MB file)**: 48MB
|
|
56
|
-
- **Memory Overhead**: < 50MB ✅
|
|
57
|
-
|
|
58
|
-
## AI Persona Performance
|
|
59
|
-
|
|
60
|
-
### Context Switching Speed
|
|
61
|
-
|
|
62
|
-
| Operation | Time | Target | Status |
|
|
63
|
-
|-----------|------|--------|--------|
|
|
64
|
-
| Persona Activation | 120ms | < 200ms | ✅ |
|
|
65
|
-
| Context Loading | 85ms | < 100ms | ✅ |
|
|
66
|
-
| Template Application | 45ms | < 50ms | ✅ |
|
|
67
|
-
|
|
68
|
-
### Persona Usage Statistics
|
|
69
|
-
|
|
70
|
-
| Persona | Usage Count | Avg. Session | Token Savings |
|
|
71
|
-
|---------|------------|--------------|---------------|
|
|
72
|
-
| developer | 156 | 25 min | 54% |
|
|
73
|
-
| architect | 89 | 35 min | 56% |
|
|
74
|
-
| reviewer | 124 | 15 min | 51% |
|
|
75
|
-
| analyst | 67 | 40 min | 53% |
|
|
76
|
-
| tester | 92 | 20 min | 52% |
|
|
77
|
-
|
|
78
|
-
## Feature Ledger Performance
|
|
79
|
-
|
|
80
|
-
### Operation Metrics
|
|
81
|
-
|
|
82
|
-
| Operation | Avg. Time | 95th Percentile | Status |
|
|
83
|
-
|-----------|-----------|-----------------|--------|
|
|
84
|
-
| Create Feature | 25ms | 40ms | ✅ |
|
|
85
|
-
| Update Status | 15ms | 25ms | ✅ |
|
|
86
|
-
| Link to Git | 35ms | 50ms | ✅ |
|
|
87
|
-
| List Features | 45ms | 80ms | ✅ |
|
|
88
|
-
|
|
89
|
-
### Git Integration
|
|
90
|
-
|
|
91
|
-
- **Auto-link Success Rate**: 98.5%
|
|
92
|
-
- **Commit Parse Time**: < 20ms
|
|
93
|
-
- **Branch Detection**: 100%
|
|
94
|
-
|
|
95
|
-
## Cost Analysis
|
|
96
|
-
|
|
97
|
-
### Token Cost Savings (Based on GPT-4 Pricing)
|
|
98
|
-
|
|
99
|
-
| Scenario | Monthly Volume | Original Cost | Compressed Cost | Savings |
|
|
100
|
-
|----------|---------------|---------------|-----------------|---------|
|
|
101
|
-
| Development | 1M tokens | $30 | $13.95 | $16.05 |
|
|
102
|
-
| Code Review | 800K tokens | $24 | $11.40 | $12.60 |
|
|
103
|
-
| Documentation | 500K tokens | $15 | $7.20 | $7.80 |
|
|
104
|
-
| **Total** | **2.3M tokens** | **$69** | **$32.55** | **$36.45** |
|
|
105
|
-
|
|
106
|
-
**Monthly Savings**: $36.45 (52.8%)
|
|
107
|
-
**Annual Savings**: $437.40
|
|
108
|
-
|
|
109
|
-
## Optimization Recommendations
|
|
110
|
-
|
|
111
|
-
### 1. Further Token Reduction
|
|
112
|
-
- Implement semantic compression for code comments
|
|
113
|
-
- Use reference-based compression for repeated patterns
|
|
114
|
-
- Potential additional savings: 5-10%
|
|
115
|
-
|
|
116
|
-
### 2. Performance Improvements
|
|
117
|
-
- Implement compression caching
|
|
118
|
-
- Use worker threads for large files
|
|
119
|
-
- Optimize memory allocation
|
|
120
|
-
|
|
121
|
-
### 3. User Experience
|
|
122
|
-
- Add compression level presets
|
|
123
|
-
- Provide real-time savings feedback
|
|
124
|
-
- Implement batch compression
|
|
125
|
-
|
|
126
|
-
## Benchmark Methodology
|
|
127
|
-
|
|
128
|
-
### Test Environment
|
|
129
|
-
- **CPU**: Intel Core i7-9700K
|
|
130
|
-
- **RAM**: 16GB DDR4
|
|
131
|
-
- **OS**: Ubuntu 22.04 LTS
|
|
132
|
-
- **Node.js**: v20.19.3
|
|
133
|
-
|
|
134
|
-
### Test Data
|
|
135
|
-
- Real project files from 10 different repositories
|
|
136
|
-
- File sizes ranging from 1KB to 5MB
|
|
137
|
-
- Various file types: .js, .ts, .md, .json
|
|
138
|
-
|
|
139
|
-
### Measurement Tools
|
|
140
|
-
- Node.js Performance API
|
|
141
|
-
- Memory profiling with --inspect
|
|
142
|
-
- Custom token counting based on tiktoken
|
|
143
|
-
|
|
144
|
-
## Conclusion
|
|
145
|
-
|
|
146
|
-
M02 마일스톤의 성능 목표를 모두 달성했습니다:
|
|
147
|
-
|
|
148
|
-
1. ✅ **토큰 사용량 50% 이상 절감** (실제: 53.5%)
|
|
149
|
-
2. ✅ **실시간 압축 처리** (< 200ms for 99% of files)
|
|
150
|
-
3. ✅ **낮은 메모리 오버헤드** (< 50MB)
|
|
151
|
-
4. ✅ **높은 압축 품질** (무손실 압축)
|
|
152
|
-
|
|
153
|
-
Context Engineering Enhancement는 AI 도구 사용 비용을 크게 절감하면서도 사용자 경험을 해치지 않는 성능을 제공합니다.
|
|
154
|
-
|
|
155
|
-
---
|
|
156
|
-
|
|
157
|
-
**Report Generated**: 2025-07-08
|
|
158
|
-
**Test Period**: 2025-07-01 to 2025-07-08
|
|
159
|
-
**Next Review**: 2025-08-01
|