musubix 3.6.0 → 3.7.3

package/.github/skills/eval-harness/SKILL.md

@@ -0,0 +1,111 @@
+---
+name: eval-harness
+description: pass@kメトリクスでAIコード生成の品質を評価。Capability/Regression評価をサポート。
+license: MIT
+version: 1.1.0
+triggers:
+  - /eval
+  - 機能評価
+  - 回帰テスト
+---
+
+# Eval Harness
+
+> **要約**: AIコード生成の品質を定量的に評価。pass@kメトリクスと複数の評価タイプをサポート。
+
+## 📊 評価タイプ
+
+### 1. Capability Eval (REQ-EH-001)
+
+**WHEN** 新機能の品質評価が必要  
+**DO** 以下のフォーマットで定義
+
+```markdown
+[CAPABILITY EVAL: <feature-name>]
+Task: <達成タスク>
+Success Criteria:
+  - [ ] 基準1
+  - [ ] 基準2
+  - [ ] 基準3
+Expected Output: <期待出力>
+Test Command: <テストコマンド>
+```
+
+---
+
+### 2. Regression Eval (REQ-EH-002)
+
+**WHEN** 既存機能の品質維持を確認  
+**DO** 以下のフォーマットで定義
+
+```markdown
+[REGRESSION EVAL: <feature-name>]
+Baseline: <Git SHA / チェックポイント>
+Tests:
+  - test-1: PASS/FAIL
+  - test-2: PASS/FAIL
+Result: X/Y passed (previously Y/Y)
+Regression: Yes/No
+```
+
+---
+
+## 📈 pass@k Metrics (REQ-EH-003)
+
+| メトリクス | 定義 | 用途 |
+|-----------|------|------|
+| **pass@1** | 初回試行成功率 | 基本信頼度 |
+| **pass@3** | 3回中1回以上成功 | 一般ターゲット |
+| **consecutive@3** | 3回連続成功 | クリティカルパス |
+
+**計算**:
+```
+pass@1 = 成功数 / 試行数
+pass@k = 1 - C(n-c, k) / C(n, k)
+consecutive@3 = 連続成功シーケンス数 / 可能シーケンス数
+```
+
+**レポート例**:
+```
+📊 Eval Report: user-auth
+━━━━━━━━━━━━━━━━━━━━
+pass@1: 80% (8/10)
+pass@3: 95% 
+consecutive@3: 60%
+━━━━━━━━━━━━━━━━━━━━
+Status: ✅ Meets target
+```
+
+---
+
+## 🔍 Grader Types (REQ-EH-004/005)
+
+| タイプ | 説明 | 使用場面 |
+|--------|------|---------|
+| **Code-Based** | コマンド実行で判定 | 決定的な検証 |
+| **Model-Based** | LLMで判定 | 自由形式の評価 |
+| **Human** | 人手で判定 | 主観的品質評価 |
+
+### Human Grader Template
+
+```markdown
+[HUMAN GRADE: <feature>]
+Reviewer: @username
+Checklist:
+  - [ ] 仕様を満たしている
+  - [ ] エッジケース考慮
+  - [ ] API互換性維持
+  - [ ] セキュリティ問題なし
+Verdict: PASS/FAIL
+Notes: [コメント]
+```
+
+---
+
+## トレーサビリティ
+
+- REQ-EH-001: Capability Eval Definition
+- REQ-EH-002: Regression Eval Definition
+- REQ-EH-003: pass@k Metrics
+- REQ-EH-004: Grader Types
+- REQ-EH-005: Human Grader Support

package/.github/skills/eval-harness/examples/capability-eval.md

@@ -0,0 +1,158 @@
+# Capability Eval Examples
+
+## Example 1: User Authentication Feature
+
+```markdown
+[CAPABILITY EVAL: user-authentication]
+
+Task: JWTベースのユーザー認証機能を実装する
+
+Success Criteria:
+  - [x] ログインエンドポイントが正常に動作する
+  - [x] JWTトークンが正しく生成される
+  - [x] トークン検証ミドルウェアが機能する
+  - [ ] リフレッシュトークンが実装されている
+
+Expected Output: 
+  - POST /api/auth/login → 200 OK + JWT token
+  - GET /api/protected → 401 without token, 200 with valid token
+
+Constraints:
+  - bcryptを使用したパスワードハッシュ
+  - トークン有効期限: 15分
+  - リフレッシュトークン有効期限: 7日
+
+Test Command: npm run test:auth
+
+Result: 3/4 criteria met
+Status: PARTIAL PASS
+```
+
+---
+
+## Example 2: API Rate Limiting
+
+```markdown
+[CAPABILITY EVAL: api-rate-limiting]
+
+Task: APIエンドポイントにレート制限を実装する
+
+Success Criteria:
+  - [x] IPベースのレート制限が機能する
+  - [x] 制限超過時に429エラーを返す
+  - [x] X-RateLimit-* ヘッダーが正しく設定される
+  - [x] Redis/メモリでの状態管理が動作する
+  - [x] ホワイトリストIPが除外される
+
+Expected Output:
+  - 正常リクエスト → 200 OK + X-RateLimit-Remaining: 99
+  - 制限超過 → 429 Too Many Requests + Retry-After header
+
+Constraints:
+  - 制限: 100 requests/minute/IP
+  - スライディングウィンドウアルゴリズム
+
+Test Command: npm run test:rate-limit
+
+Result: 5/5 criteria met
+Status: PASS
+```
+
+---
+
+## Example 3: Data Export Feature
+
+```markdown
+[CAPABILITY EVAL: data-export-csv]
+
+Task: ユーザーデータをCSV形式でエクスポートする機能を実装する
+
+Success Criteria:
+  - [x] CSVファイルが正しいフォーマットで生成される
+  - [x] 大量データ（10万件以上）でもメモリ効率が良い
+  - [x] ダウンロードAPIエンドポイントが動作する
+  - [ ] 非同期エクスポートがサポートされる
+  - [x] 文字エンコーディング（UTF-8 BOM）が正しい
+
+Expected Output:
+  - GET /api/export/users → CSV file download
+  - Content-Type: text/csv; charset=utf-8
+  - Content-Disposition: attachment; filename="users-YYYY-MM-DD.csv"
+
+Constraints:
+  - ストリーミング処理でメモリ消費を抑制
+  - 最大エクスポート件数: 100万件
+
+Test Command: npm run test:export
+
+Result: 4/5 criteria met
+Status: PARTIAL PASS
+
+Notes:
+  - 非同期エクスポートは次のスプリントで実装予定
+```
+
+---
+
+## Example 4: Search Feature with Elasticsearch
+
+```markdown
+[CAPABILITY EVAL: elasticsearch-search]
+
+Task: Elasticsearchを使用した全文検索機能を実装する
+
+Success Criteria:
+  - [x] 基本的なキーワード検索が動作する
+  - [x] ファセット検索（フィルタリング）がサポートされる
+  - [x] ハイライト機能が動作する
+  - [x] ページネーションが正しく実装される
+  - [x] 検索結果のソートが機能する
+  - [x] 検索サジェスト（オートコンプリート）が動作する
+
+Expected Output:
+  - GET /api/search?q=keyword → { hits: [...], total: N, facets: {...} }
+  - レスポンス時間: 200ms以内
+
+Constraints:
+  - Elasticsearch 8.x 使用
+  - 日本語形態素解析（kuromoji）対応
+  - 同義語辞書のサポート
+
+Test Command: npm run test:search
+
+Result: 6/6 criteria met
+Status: PASS
+```
+
+---
+
+## Template for New Capability Eval
+
+```markdown
+[CAPABILITY EVAL: <feature-name>]
+
+Task: <達成すべきタスクの詳細説明>
+
+Success Criteria:
+  - [ ] <成功基準1 - 測定可能で明確に>
+  - [ ] <成功基準2>
+  - [ ] <成功基準3>
+  - [ ] <成功基準4>
+  - [ ] <成功基準5>
+
+Expected Output: 
+  <期待される出力の具体例>
+
+Constraints:
+  - <制約条件1>
+  - <制約条件2>
+  - <制約条件3>
+
+Test Command: <テスト実行コマンド>
+
+Result: X/Y criteria met
+Status: <PASS|PARTIAL PASS|FAIL>
+
+Notes:
+  - <追加の注記や改善点>
+```

package/.github/skills/eval-harness/examples/human-grader-template.md

@@ -0,0 +1,326 @@
+# Human Grader Templates
+
+## Standard Human Grader Template
+
+```markdown
+[HUMAN GRADE: <feature-name>]
+
+Reviewer: @<username>
+Date: YYYY-MM-DD
+Review Type: <Initial|Re-review|Final>
+
+---
+
+## Checklist
+
+### Functional Requirements
+  - [ ] 仕様を満たしている
+  - [ ] 全ての機能が正常に動作する
+  - [ ] エッジケースが考慮されている
+  - [ ] エラーハンドリングが適切
+
+### Code Quality
+  - [ ] コードが読みやすい
+  - [ ] 命名規則が一貫している
+  - [ ] 重複コードがない（DRY原則）
+  - [ ] 適切な抽象化レベル
+
+### Compatibility
+  - [ ] 既存API互換性が維持されている
+  - [ ] 後方互換性が確保されている
+  - [ ] 破壊的変更がある場合は文書化されている
+
+### Security
+  - [ ] セキュリティ上の懸念がない
+  - [ ] 入力バリデーションが適切
+  - [ ] 機密データの取り扱いが安全
+  - [ ] 認証・認可が正しく実装されている
+
+### Performance
+  - [ ] パフォーマンス要件を満たす
+  - [ ] N+1クエリがない
+  - [ ] 適切なキャッシュ戦略
+  - [ ] メモリリークの懸念がない
+
+### Testing
+  - [ ] テストカバレッジが十分（80%以上）
+  - [ ] ユニットテストが存在する
+  - [ ] 統合テストが存在する
+  - [ ] エッジケースのテストがある
+
+### Documentation
+  - [ ] コードコメントが適切
+  - [ ] APIドキュメントが更新されている
+  - [ ] READMEが更新されている（必要な場合）
+
+---
+
+## Scores (1-5)
+
+| Category        | Score | Notes                    |
+|-----------------|-------|--------------------------|
+| Functionality   |   /5  |                          |
+| Code Quality    |   /5  |                          |
+| Maintainability |   /5  |                          |
+| Documentation   |   /5  |                          |
+
+**Total: XX/20**
+
+---
+
+## Detailed Feedback
+
+### Strengths
+1. 
+2. 
+3. 
+
+### Areas for Improvement
+1. 
+2. 
+3. 
+
+### Critical Issues (if any)
+- 
+
+---
+
+## Verdict
+
+**Decision: <PASS|FAIL|NEEDS_REVISION>**
+
+### If NEEDS_REVISION, required changes:
+1. 
+2. 
+
+### Follow-up Actions:
+- [ ] 
+- [ ] 
+
+---
+
+**Signature:** [Reviewer Name]  
+**Date:** YYYY-MM-DD
+```
+
+---
+
+## Specialized Templates
+
+### Security Review Template
+
+```markdown
+[HUMAN GRADE: <feature-name> - Security Review]
+
+Reviewer: @<security-reviewer>
+Date: YYYY-MM-DD
+Review Type: Security Audit
+
+---
+
+## Security Checklist
+
+### Authentication
+  - [ ] 認証メカニズムが適切
+  - [ ] セッション管理が安全
+  - [ ] パスワードポリシーが適切
+  - [ ] MFAの考慮
+
+### Authorization
+  - [ ] アクセス制御が正しく実装
+  - [ ] 権限昇格の脆弱性なし
+  - [ ] リソースベースの認可
+
+### Data Protection
+  - [ ] 機密データの暗号化
+  - [ ] PII/PHIの適切な取り扱い
+  - [ ] データの最小化原則
+
+### Input Validation
+  - [ ] 全入力のバリデーション
+  - [ ] SQLインジェクション対策
+  - [ ] XSS対策
+  - [ ] CSRF対策
+
+### API Security
+  - [ ] レート制限
+  - [ ] 適切なエラーメッセージ
+  - [ ] ログの適切な出力
+
+---
+
+## Risk Assessment
+
+| Vulnerability Type | Risk Level | Status |
+|-------------------|------------|--------|
+| Injection         | Low/Med/High | ✅/⚠️/❌ |
+| Broken Auth       | Low/Med/High | ✅/⚠️/❌ |
+| XSS               | Low/Med/High | ✅/⚠️/❌ |
+| CSRF              | Low/Med/High | ✅/⚠️/❌ |
+| Broken Access     | Low/Med/High | ✅/⚠️/❌ |
+
+---
+
+## Findings
+
+### Critical (Must Fix)
+1. 
+
+### High (Should Fix)
+1. 
+
+### Medium (Consider Fixing)
+1. 
+
+### Low (Nice to Fix)
+1. 
+
+---
+
+**Security Verdict: <APPROVED|REJECTED|CONDITIONAL>**
+```
+
+---
+
+### Architecture Review Template
+
+```markdown
+[HUMAN GRADE: <feature-name> - Architecture Review]
+
+Reviewer: @<architect>
+Date: YYYY-MM-DD
+Review Type: Architecture Decision
+
+---
+
+## Architecture Checklist
+
+### Design Principles
+  - [ ] Single Responsibility Principle
+  - [ ] Open/Closed Principle
+  - [ ] Liskov Substitution Principle
+  - [ ] Interface Segregation Principle
+  - [ ] Dependency Inversion Principle
+
+### Patterns
+  - [ ] 適切なデザインパターンの使用
+  - [ ] アンチパターンの回避
+  - [ ] 過度な複雑さの回避
+
+### Scalability
+  - [ ] 水平スケーラビリティの考慮
+  - [ ] ボトルネックの特定と対策
+  - [ ] 負荷分散の戦略
+
+### Maintainability
+  - [ ] モジュール性
+  - [ ] テスタビリティ
+  - [ ] 変更容易性
+
+---
+
+## Architecture Decision Record
+
+### Context
+<決定の背景>
+
+### Decision
+<選択したアプローチ>
+
+### Consequences
+<この決定の結果・影響>
+
+### Alternatives Considered
+1. <代替案1>: <却下理由>
+2. <代替案2>: <却下理由>
+
+---
+
+**Architecture Verdict: <APPROVED|NEEDS_REVISION|REJECTED>**
+```
+
+---
+
+### UX Review Template
+
+```markdown
+[HUMAN GRADE: <feature-name> - UX Review]
+
+Reviewer: @<ux-designer>
+Date: YYYY-MM-DD
+Review Type: User Experience
+
+---
+
+## UX Checklist
+
+### Usability
+  - [ ] 直感的なUI
+  - [ ] 一貫したデザイン言語
+  - [ ] 適切なフィードバック
+  - [ ] エラー回復が容易
+
+### Accessibility
+  - [ ] キーボードナビゲーション
+  - [ ] スクリーンリーダー対応
+  - [ ] 色覚多様性への配慮
+  - [ ] 適切なコントラスト比
+
+### Performance Perception
+  - [ ] ローディング状態の表示
+  - [ ] スケルトンUI
+  - [ ] 楽観的更新
+  - [ ] 適切なアニメーション
+
+---
+
+## Heuristic Evaluation
+
+| Heuristic                    | Score (1-5) |
+|------------------------------|-------------|
+| Visibility of System Status  |     /5      |
+| Match with Real World        |     /5      |
+| User Control & Freedom       |     /5      |
+| Consistency & Standards      |     /5      |
+| Error Prevention             |     /5      |
+| Recognition over Recall      |     /5      |
+| Flexibility & Efficiency     |     /5      |
+| Aesthetic & Minimal Design   |     /5      |
+| Help Users with Errors       |     /5      |
+| Help & Documentation         |     /5      |
+
+**Total: XX/50**
+
+---
+
+**UX Verdict: <APPROVED|NEEDS_IMPROVEMENT|REJECTED>**
+```
+
+---
+
+## Usage Guidelines
+
+### When to Use Human Grader
+
+1. **主観的判断が必要な場合**
+   - UI/UXの品質評価
+   - コードの読みやすさ
+   - 設計の妥当性
+
+2. **ドメイン専門知識が必要な場合**
+   - ビジネスロジックの正確性
+   - 法規制への準拠
+   - 業界標準への適合
+
+3. **自動化が困難な場合**
+   - クロスブラウザ互換性
+   - アクセシビリティ
+   - パフォーマンス体感
+
+### Best Practices
+
+- 複数のレビュアーによる評価を推奨
+- チェックリストは事前に合意して一貫性を保つ
+- 主観的判断には必ず理由を明記
+- NEEDS_REVISIONの場合は具体的な改善点を列挙
+- フォローアップアクションを明確に定義