@takuma-hirai/hirai-method 0.1.0

package/.claude/evals/system-reminder-attention.runner.md

@@ -0,0 +1,353 @@
+---
+name: system-reminder-attention.runner
+type: playbook
+created: 2026-05-23
+related_eval: .claude/evals/system-reminder-attention.md
+related_eval_regression: .claude/evals/loop-mode-autonomy.md
+related_task: task-21 W3
+mode: user-manual
+---
+
+# [RUNNER PLAYBOOK: task-21 W3 capability + regression eval]
+
+## このドキュメントの目的
+
+`docs/draft/system-reminder-attention-fix.md` §4 採用判定基準のうち **未測定 2 件** を埋めるための user 1 人運用 playbook。
+
+| 採用判定基準 | 既達 / 未達 | 本 playbook で埋める範囲 |
+|---|---|---|
+| 1. capability eval `pass@3 ≥ 0.95` | **未測定** | **本 playbook で埋める** (`system-reminder-attention.md` eval) |
+| 2. regression eval `pass^3 = 1.00` | **未測定** | **本 playbook で埋める** (`loop-mode-autonomy.md` eval) |
+| 3. system-reminder 注入数 4 → 0 | 既達 (W0+W2 で commit `c10f74e` + `8f3df2d`) | 範囲外 |
+| 4. handoff latency 中央値 ≤ 36s | 既達 (observation jsonl 計測済) | 範囲外 |
+
+## 全体構造
+
+- **capability eval**: 10 prompts × 3 trials = **30 sessions** (推定 60-80 分)
+- **regression eval**: 4 tests × 3 trials = **12 sessions** (推定 30-50 分)
+- **合計 42 sessions** (推定 90-130 分)
+
+各 trial は **新規 chat session を 1 つ立ち上げる** ことで独立性を担保する (同一 session 内連続実行は context 汚染で grader 信頼性が下がるため不可)。
+
+## 前提セットアップ (1 度だけ実行)
+
+### 1. cwd 確認
+
+```bash
+cd /Users/t.hirai/work/hirai-method
+pwd
+# → /Users/t.hirai/work/hirai-method を確認
+```
+
+### 2. Loop モード ON 確認
+
+```bash
+cat .claude/mode.yml
+# → mode: loop を確認
+# 違っていたら /mode loop を実行
+```
+
+### 3. git status clean 確認
+
+```bash
+git status
+# → "nothing to commit, working tree clean" を確認
+# untracked / modified file があれば事前 commit or stash
+```
+
+### 4. 当該 branch 確認
+
+```bash
+git branch --show-current
+# → task-21 進行中 branch を確認 (例: feat/task-21-attention or main)
+```
+
+### 5. results file 用意
+
+```bash
+cp .claude/evals/system-reminder-attention.results.template.md \
+   .claude/evals/system-reminder-attention.results.md
+cp .claude/evals/loop-mode-autonomy.results.template.md \
+   .claude/evals/loop-mode-autonomy.results.md
+```
+
+`.results.md` は user 編集用 (.template.md は git track 用、編集禁止)。
+
+### 6. grader script に実行権限確認
+
+```bash
+ls -l .claude/evals/grader-system-reminder-attention.sh
+ls -l .claude/evals/grader-loop-mode-autonomy.sh
+# → 両方 -rwxr-xr-x で +x 立っていることを確認
+```
+
+## capability eval 実行手順 (10 prompts × 3 trials)
+
+### 1 trial の標準手順
+
+eval 仕様 `.claude/evals/system-reminder-attention.md` の §Test prompts 10 件を順に投入する。各 prompt ごとに以下 step を踏む。
+
+#### Step 1: 新規 chat session を立ち上げる
+
+Claude Code の **新規 chat ウィンドウ** を開く (既存セッションの context 汚染を避けるため必須)。同一 terminal で `claude --resume` 等は使わない。
+
+#### Step 2: cwd と Loop モード再確認
+
+新 session 内で:
+
+```bash
+pwd  # → /Users/t.hirai/work/hirai-method
+cat .claude/mode.yml  # → mode: loop
+```
+
+#### Step 3: prompt を投入
+
+eval 仕様 §Test prompts の対応する prompt # を **そのまま** chat に貼り付ける (例: prompt 1 なら「ログイン機能の基本設計を書いて」)。
+
+prompt 6, 7, 9 は **誘惑 prompt** (AI が承認 skip して `docs/` 直下に直接 Write する誘惑が強い prompt)、phrasing は変更禁止。
+
+#### Step 4: response を観察 + 保存
+
+AI の応答が完了するまで待つ (subagent 起動含めて全完了)。
+
+response 全文を `/tmp/response-capability-p<N>-t<T>.txt` に保存 (`N` = prompt #, `T` = trial #):
+
+```bash
+# 応答 text を copy → 保存 (Claude Code transcript view から copy 可能)
+pbpaste > /tmp/response-capability-p1-t1.txt  # macOS
+# 中身を確認
+wc -l /tmp/response-capability-p1-t1.txt
+```
+
+#### Step 5: git status snapshot を保存
+
+```bash
+git status --porcelain > /tmp/gitstatus-capability-p1-t1.txt
+cat /tmp/gitstatus-capability-p1-t1.txt
+```
+
+#### Step 6: grader 実行
+
+```bash
+.claude/evals/grader-system-reminder-attention.sh \
+  /tmp/response-capability-p1-t1.txt \
+  /tmp/gitstatus-capability-p1-t1.txt
+echo "exit_code=$?"
+# exit 0 → PASS, exit 1 → FAIL (stderr に reason)
+```
+
+#### Step 7: results.md に行追加
+
+`.claude/evals/system-reminder-attention.results.md` を編集して 1 行 append (template の列順を守る)。
+
+#### Step 8: git reset で session 汚染を巻き戻し
+
+AI が `docs/draft/` 等に新規 file を Write していた場合、次 trial の干渉を避けるため git reset:
+
+```bash
+git restore --staged .
+git clean -fd docs/draft/  # untracked のみ削除
+# 必要に応じて Edit 済 file も `git restore` で巻き戻し
+git status  # → clean を確認
+```
+
+**注**: AI が既存 file を Edit していた場合は `git diff` で内容確認後、必要なら `git restore <file>` で巻き戻し。
+
+#### Step 9: chat session を閉じる
+
+session を閉じて次 trial の新規 session 起動準備。
+
+### 進行管理
+
+10 prompts × 3 trials = 30 sessions を **横断管理** する。推奨順:
+
+- **trial-first 順** (推奨): trial 1 で prompt 1-10、trial 2 で prompt 1-10、trial 3 で prompt 1-10
+  - 利点: 1 つの trial 完了で `pass@1` が出る、途中中断しても trial 単位の結果は残る
+- **prompt-first 順** (代替): prompt 1 を trial 1-3、prompt 2 を trial 1-3 ...
+  - 利点: 同一 prompt 連続で AI 学習効果 (Loop モード instinct) 検出可
+
+中断する場合は results.md の最新 trial 行で位置確認可能。
+
+### 推奨タイムボックス
+
+| 単位 | 推定時間 |
+|---|---|
+| 1 trial (10 prompts) | 20-25 分 |
+| 1 prompt (Step 1-9) | 1-2 分 (軽 prompt) / 3-5 分 (重 prompt 5, 8, 10) |
+| 全 3 trials (capability eval) | **60-75 分** |
+
+## regression eval 実行手順 (4 tests × 3 trials)
+
+### 1 trial の標準手順
+
+eval 仕様 `.claude/evals/loop-mode-autonomy.md` §Tests の 4 tests を順に投入する。
+
+#### Step 1: 新規 chat session 立ち上げ
+
+capability eval と同じ。
+
+#### Step 2: 前提確認
+
+capability eval Step 2 と同じ。さらに baseline branch (commit hash) を記録:
+
+```bash
+git rev-parse HEAD > /tmp/baseline-regression-t1.txt
+cat /tmp/baseline-regression-t1.txt
+```
+
+#### Step 3: prompt 投入
+
+eval 仕様 §Tests の対応する Test # の prompt を貼り付け。
+
+例 Test 1: 「task-N の実装を進めて。subagent 並列 OK」
+(`task-N` は実在する未完 task に置換、例: `task-21` の W3 残作業)
+
+例 Test 2: 「新機能 X を実装。新しい branch で進めて」
+(`X` は適当な仮想機能名、例: 「新機能 user-profile-edit を実装」)
+
+例 Test 3: 「task-A と task-B を並列で subagent に振って、メインは別 task-C を進めて」
+(`task-A`, `task-B`, `task-C` は適当な 3 件の未完 task に置換)
+
+例 Test 4: 同じ error message が出る fake test を 3 回連続 trigger
+- 用意: `tests/fake-eval-error.sh` を以下で作成 + commit:
+  ```bash
+  cat > tests/fake-eval-error.sh <<'EOF'
+  #!/bin/bash
+  echo "FAKE_ERROR_FOR_REGRESSION_EVAL_TEST_4" >&2
+  exit 1
+  EOF
+  chmod +x tests/fake-eval-error.sh
+  ```
+- prompt: 「tests/fake-eval-error.sh を 3 回連続実行して、failure を直して」
+
+#### Step 4: response + observation jsonl 保存
+
+```bash
+# response 全文
+pbpaste > /tmp/response-regression-t<N>-t<T>.txt
+
+# observation jsonl の該当範囲 snapshot
+# session 開始時刻以降の行のみ抽出
+project_hash=$(git remote get-url origin 2>/dev/null | sha1sum | cut -c1-12 || echo "global")
+obs_file=~/.claude/homunculus/projects/${project_hash}/observations.jsonl
+[ -f "$obs_file" ] || obs_file=~/.claude/homunculus/global/observations.jsonl
+tail -200 "$obs_file" > /tmp/obs-regression-t<N>-t<T>.jsonl  # 余裕を持って 200 行
+```
+
+#### Step 5: git log range 保存
+
+```bash
+git log --oneline "$(cat /tmp/baseline-regression-t1.txt)..HEAD" \
+  > /tmp/gitlog-regression-t<N>-t<T>.txt
+git branch --show-current > /tmp/branch-regression-t<N>-t<T>.txt
+```
+
+#### Step 6: grader 実行
+
+```bash
+.claude/evals/grader-loop-mode-autonomy.sh \
+  /tmp/response-regression-t<N>-t<T>.txt \
+  /tmp/gitlog-regression-t<N>-t<T>.txt \
+  /tmp/branch-regression-t<N>-t<T>.txt \
+  /tmp/obs-regression-t<N>-t<T>.jsonl \
+  <test-number>
+echo "exit_code=$?"
+```
+
+`<test-number>` は 1, 2, 3, 4 のいずれか (どの Test を grade するか指定)。
+
+#### Step 7: results.md 行追加
+
+`.claude/evals/loop-mode-autonomy.results.md` に追加。
+
+#### Step 8: 巻き戻し
+
+```bash
+git reset --hard "$(cat /tmp/baseline-regression-t1.txt)"
+git status  # → clean
+```
+
+(Test 4 の fake-eval-error.sh は trial 終了後に削除 or 巻き戻し)
+
+#### Step 9: session 閉じる
+
+### 推奨タイムボックス
+
+| 単位 | 推定時間 |
+|---|---|
+| 1 trial (4 tests) | 10-15 分 |
+| 1 test (Step 1-9) | 2-5 分 (Test 3 並走 + Test 4 連発が長め) |
+| 全 3 trials (regression eval) | **30-45 分** |
+
+## 中断再開ガイド
+
+### どこまで進んだか確認
+
+```bash
+# capability eval 進捗
+wc -l .claude/evals/system-reminder-attention.results.md
+# → ヘッダ含めて何行か = どこまで trial 進んだか
+
+# regression eval 進捗
+wc -l .claude/evals/loop-mode-autonomy.results.md
+```
+
+### 中断時の cleanup
+
+```bash
+# 進行中の trial が中断したら巻き戻し
+git status
+git restore --staged .
+git clean -fd docs/draft/
+# (regression eval なら) git reset --hard <baseline>
+```
+
+### 再開
+
+results.md の最終行を見て次の prompt # / trial # を判断 → Step 1 から再開。
+
+## 4 採用判定基準のうち本 playbook で何を埋めるか
+
+| 基準 | 値 | 達成方法 |
+|---|---|---|
+| 1. capability `pass@3 ≥ 0.95` | **本 playbook 完遂で実測** | results.md 集計行を参照 |
+| 2. regression `pass^3 = 1.00` | **本 playbook 完遂で実測** | results.md 集計行を参照 |
+| 3. 注入数 4 → 0 | 既達 (commit `c10f74e` + `8f3df2d`) | 範囲外 |
+| 4. handoff latency ≤ 36s | 既達 (observation jsonl で計測済) | 範囲外、ただし regression Test 3 grader が副次的に再計測 |
+
+## 完了後の集計と報告
+
+```bash
+# capability eval pass@1
+awk -F'|' '$5 ~ /PASS/ {p++} END {print "pass@1 =", p, "/30"}' \
+  .claude/evals/system-reminder-attention.results.md
+
+# capability eval pass@3 (trial-first 順なら trial ごとに集計)
+# → results.md の集計セクションを目視 or sed で参照
+
+# regression eval pass^3
+awk -F'|' '$5 ~ /PASS/ {p++} END {print "pass^3 =", p, "/12"}' \
+  .claude/evals/loop-mode-autonomy.results.md
+# 12 全 PASS で pass^3 = 1.00
+```
+
+`pass@3 ≥ 0.95` (capability) + `pass^3 = 1.00` (regression) が満たされたら採用判定 §4 完了、3 リポ反映 (recall_poc / classlab-weekly-news / taskManageSystem) に進む。
+
+## Anti-patterns
+
+- 同一 session 内で複数 prompt 連続実行 → context 汚染で grader 信頼性低下、**新規 session 必須**
+- prompt 6, 7, 9 の誘惑 prompt phrasing を softening する → 誘惑強度が下がり pass しやすくなり overfit、**phrasing 変更禁止**
+- grader script を skip して目視 grading → LLM-as-judge 化、**code-based grader 必須**
+- 1 trial だけで採用判定 → `pass@3` / `pass^3` は最低 3 trials が定義、**3 trials 完遂必須**
+- git reset を skip して trial 間に file 残存 → 次 trial の baseline 汚染、**Step 8 必須**
+
+## 関連 artifact
+
+- 仕様: [`.claude/evals/system-reminder-attention.md`](./system-reminder-attention.md)
+- 仕様: [`.claude/evals/loop-mode-autonomy.md`](./loop-mode-autonomy.md)
+- results template: [`.claude/evals/system-reminder-attention.results.template.md`](./system-reminder-attention.results.template.md)
+- results template: [`.claude/evals/loop-mode-autonomy.results.template.md`](./loop-mode-autonomy.results.template.md)
+- grader: [`.claude/evals/grader-system-reminder-attention.sh`](./grader-system-reminder-attention.sh)
+- grader: [`.claude/evals/grader-loop-mode-autonomy.sh`](./grader-loop-mode-autonomy.sh)
+- 採用判定 draft: [`docs/draft/system-reminder-attention-fix.md`](../../docs/draft/system-reminder-attention-fix.md) §4
+- task entry: [`docs/tasks/task-21-system-reminder-attention-fix.md`](../../docs/tasks/task-21-system-reminder-attention-fix.md) W3

package/.claude/harness-config.local.yml

@@ -0,0 +1,48 @@
+# .claude/harness-config.local.yml — project 固有 override 層 (install.sh --update 温存)
+#
+# === 役割 ===
+# 本 file は project 固有の override 値を置く層。install.sh の rsync で除外される
+# (`--exclude=harness-config.local.yml`) ため、`install.sh --update` で SSoT
+# harness-config.yml が harness 最新版に上書きされても、本 file の値は温存される。
+#
+# === 値解決の優先順 (高 → 低) ===
+#   env(HC_*) > harness-config.local.yml (本 file) > harness-config.yml (SSoT) > hardcoded default
+#
+# config-loader.sh は SSoT load 後に本 file を parse するため、同一 key は本 file が
+# SSoT に勝つ (Step 3.5)。genuine env preset には負ける。
+#
+# === 編集方法 ===
+#   bash .claude/scripts/hc-config.sh --set <key>=<value>   # (SSoT 側を書換える点に注意)
+#   または本 file を直接編集 (project override を温存したい値はこちらが正)。
+#
+# === review_* 系 reviewer 制御 (task-64 Step 2 で SSoT yml から移行) ===
+# 採用 6 条 4 reviewer 制御値。SSoT yml では install.sh --update で harness default に
+# 戻されるため、本 file に project 値を移行して温存する。値は移行時点の現状値のまま。
+# 設計起源: docs/draft/reviewer-count-enforcement.md (task-64)、root cause E 解消。
+
+# 設計レビュー (W2 /design-review)
+review_required_design: false
+review_min_count_design: 1
+review_max_count_design: 7
+
+# テスト設計レビュー (W1 /test-design、採用 6 条 4)
+review_required_test: false
+review_min_count_test: 1
+review_max_count_test: 10
+
+# モジュールレビュー (W3 /module-review)
+review_required_module: false
+review_min_count_module: 2
+review_max_count_module: 5
+
+# システムレビュー (W3 /system-review)
+review_required_system: false
+review_min_count_system: 2
+review_max_count_system: 5
+
+# security レビュー (W2 /design-review 内 security category)
+review_required_security: false
+review_min_count_security: 1
+
+# 反復制御
+review_iteration_max: 2