@takuma-hirai/hirai-method 0.1.0

package/.claude/skills/eval-harness/SKILL.md

@@ -0,0 +1,100 @@
+---
+name: eval-harness
+description: Eval-Driven Development (EDD) framework. Define pass/fail criteria before implementation, measure with pass@k / pass^k metrics, gate releases on regression evals. Replicated from ECC.
+origin: ECC
+tools: Read, Write, Edit, Bash, Grep, Glob
+---
+
+# Eval Harness — 自己改善 L1（基盤層）
+
+実装より先に合否基準を定義する **Eval-Driven Development**。すべての上位層（L2-L5）の合否判定基盤として機能する。
+
+## When to Activate
+
+- 新機能の合否基準を定義する
+- 上位ループ（L2/L3）の終端条件として使う
+- リグレッションを定量管理する
+- モデル切替時の品質ベンチマーク
+
+## Philosophy
+
+> Evals are the unit tests of AI development.
+
+- 期待挙動を実装より **先に** 定義する
+- 開発中は継続的に走らせる
+- 各変更でリグレッションを追跡
+- pass@k メトリクスで信頼性を測る
+
+## Eval Types
+
+### Capability Evals（新能力）
+
+```markdown
+[CAPABILITY EVAL: feature-name]
+Task: <Claude が達成すべきこと>
+Success Criteria:
+  - [ ] Criterion 1
+  - [ ] Criterion 2
+Expected Output: <期待結果>
+```
+
+### Regression Evals（既存維持）
+
+```markdown
+[REGRESSION EVAL: feature-name]
+Baseline: <SHA or checkpoint>
+Tests:
+  - existing-test-1: PASS/FAIL
+  - existing-test-2: PASS/FAIL
+Result: X/Y passed (previously Y/Y)
+```
+
+## Grader Types
+
+| Grader | 用途 | 例 |
+|---|---|---|
+| **Code grader** | 決定的判定 | `grep -q "..." && npm test` |
+| **Rule grader** | regex/schema 制約 | JSON schema validation |
+| **Model grader** | LLM-as-judge | "Score 1-5: ..." |
+| **Human grader** | 曖昧出力 | manual review flag |
+
+## Metrics
+
+| メトリクス | 定義 | 推奨閾値 |
+|---|---|---:|
+| `pass@1` | 1試行で成功 | – |
+| `pass@3` | 3試行で1回以上成功 | **≥ 0.90**（capability） |
+| `pass^3` | 3試行すべて成功 | **= 1.00**（release-critical） |
+
+## Workflow
+
+```
+1. Define   →  .claude/evals/<feature>.md
+2. Implement
+3. Evaluate →  pass@k 計測
+4. Report   →  docs/releases/<ver>/eval-summary.md
+```
+
+## Storage
+
+```
+.claude/evals/
+├── <feature>.md       # 定義
+├── <feature>.log      # 実行履歴
+└── baseline.json      # リグレッションベースライン
+```
+
+## Anti-patterns
+
+- ❌ 既知の eval 例にプロンプトを過剰適合
+- ❌ ハッピーパスのみ測定
+- ❌ pass率だけ追ってコスト/遅延ドリフト無視
+- ❌ flaky な grader をリリースゲートに使う
+
+## Integration
+
+- `/eval define <feature>` — eval 定義
+- `/eval check <feature>` — 実行
+- `/eval report <feature>` — レポート生成
+
+詳細: `.claude/commands/eval.md`

package/.claude/skills/eval-harness/swe-bench/README.md

@@ -0,0 +1,80 @@
+# SWE-bench Lite - claude-code-harness 接続
+
+> **Phase C-1 (環境構築 + dry-run)**: SWE-bench Lite (Princeton NLP) を claude-code-harness の客観評価ベンチとして接続する第一歩。
+> 起案: 2026-05-04 / Branch: `feat/harness-improvement-2026-05-04`
+
+## 概要
+
+[SWE-bench Lite](https://www.swebench.com/lite.html) は実在 OSS (Django, sympy, scikit-learn 等 12 リポ) の GitHub issue を解決するパッチを生成し、隠しテスト群を pass させるかで採点する 300 task の実タスクベンチ。OpenHands / SWE-agent / Aider が leaderboard 提出。
+
+claude-code-harness は外部ベンチ未接続のため客観評価ができていなかった。本ディレクトリで:
+
+1. SWE-bench Lite メタデータ取得 (HuggingFace dataset viewer API 経由・依存ゼロ)
+2. Docker sandbox による task 隔離実行
+3. Claude Code CLI (`-p` モード) を呼び出し patch 生成
+4. patch 適用 + 公式テスト実行で採点
+5. 結果を JSON で `results/` へ蓄積、`harness-audit.py --swe-bench` から参照可能
+
+## ディレクトリ構成
+
+```
+swe-bench/
+|-- README.md
+|-- config.yml
+|-- runner.py
+|-- scoring.py
+|-- docker/
+|   |-- Dockerfile
+|   `-- docker-compose.yml
+|-- tasks/
+|   |-- lite-300.jsonl       # 全 300 task メタデータ (fetch_tasks.py で取得)
+|   |-- lite-50.json         # 50 task サブセット (dry-run / Phase C-2 用)
+|   `-- fetch_tasks.py
+`-- results/
+    `-- dry-run-<date>.json
+```
+
+## Cost 見積 (dry-run / Phase C-2)
+
+| Phase | task 数 | model | per task 上限 | 想定 cost | 想定時間 |
+|---|---:|---|---:|---:|---:|
+| C-1 dry-run | 5 | claude-sonnet-4-6 | $1.0 | <= $5 (cap) | ~25 min |
+| C-2 本番 | 50 x F1/F2 4 組 = 200 | claude-sonnet-4-6 | $1.0 | $80-150 | 8-15 hr |
+| C-2 上位 | 50 x claude-opus-4-7 | opus | $3.0 | +$150-250 | +5-8 hr |
+
+cost cap は `config.yml` の `cost_cap_usd` で定義。超過時は task ループから break + 報告。
+
+## 実行手順 (Phase C-1 dry-run)
+
+```bash
+cd .claude/skills/eval-harness/swe-bench
+
+# 1. メタデータ取得 (依存ゼロ・標準 urllib のみ)
+python3 tasks/fetch_tasks.py
+
+# 2. Docker sandbox image build
+docker build -t swe-bench-sandbox -f docker/Dockerfile .
+
+# 3. dry-run (5 task)
+ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
+python3 runner.py --tasks tasks/lite-50.json --limit 5 \
+  --output results/dry-run-$(date +%Y-%m-%d).json
+```
+
+## Phase C-1 vs C-2 スコープ
+
+- **C-1 (本タスク)**: 環境構築 + 5 task dry-run のみ。コスト実測 -> C-2 規模見積を検証。
+- **C-2 (user 承認後)**: 本番 50 task x F1/F2 on/off の 4 条件比較 = 200 task。harness の effective が定量化される。
+
+## 重要事項
+
+- **API key 取り扱い**: ハードコード厳禁。`ANTHROPIC_API_KEY` を環境変数で渡す。`runner.py` は env 経由でしか読まない。
+- **Docker 隔離**: 各 task は独立 container で git clone + patch 適用 + test 実行。harness 本体への副作用ゼロ。
+- **Cost 監視**: 各 task 終了時に `_track_cost()` で累計を出力、cap 超過で即 break。
+- **公式 SWE-bench harness との差分**: Phase C-1 は公式 `swebench` package に依存しない簡易採点 (patch 適用成否 + FAIL_TO_PASS テスト pass 数)。Phase C-2 で公式 harness 統合を検討。
+
+## 関連
+
+- 上位 skill: [`../SKILL.md`](../SKILL.md) - Eval-Driven Development の基盤
+- 本体 OSS: <https://github.com/princeton-nlp/SWE-bench>
+- leaderboard: <https://www.swebench.com/lite.html>

package/.claude/skills/eval-harness/swe-bench/config.yml

@@ -0,0 +1,29 @@
+# SWE-bench Lite runner config (Phase C-1.6 hybrid mode)
+# 編集後は runner.py の起動引数で上書き可能。
+
+# モデル選択
+model: claude-sonnet-4-6
+fallback_model: claude-haiku-4-5
+
+# Cost / 時間制御
+cost_cap_usd: 5.00          # 累計超過で task ループ break
+per_task_cost_cap_usd: 1.00 # 1 task の上限 (claude --max-budget-usd)
+per_task_timeout_sec: 900   # 15 min / task (C-1.6 で 900s に拡張)
+
+# task 集合
+tasks_file: tasks/lite-50.json
+default_limit: 5            # dry-run 件数
+
+# Docker
+docker_image: swe-bench-sandbox
+docker_workdir: /work
+
+# scoring
+apply_patch_only: true      # dry-run は patch 適用のみで signal を取る
+run_fail_to_pass_tests: false
+
+# Phase C-1.6 (hybrid)
+patch_mode: hybrid          # hybrid: whole-file → unified-diff fallback
+whole_file_timeout_sec: 600 # hybrid Step A timeout (残時間が unified-diff fallback)
+parallel: 1                 # dry-run は逐次。本番は 2-4 を推奨
+save_raw: true              # raw claude output と生成 patch を results/raw/ に保存

package/.claude/skills/eval-harness/swe-bench/docker/Dockerfile

@@ -0,0 +1,25 @@
+# SWE-bench task sandbox - claude-code-harness Phase C-1
+# 単一コンテナで git clone + patch 適用 + (任意で) pytest 実行。
+# claude-code CLI は host 側で実行し、生成 patch のみコンテナへ流し込む方式 (CLI 二重インストール回避)。
+FROM python:3.11-slim-bookworm
+
+ENV DEBIAN_FRONTEND=noninteractive \
+    PYTHONDONTWRITEBYTECODE=1 \
+    PYTHONUNBUFFERED=1 \
+    PIP_NO_CACHE_DIR=1
+
+RUN apt-get update && apt-get install -y --no-install-recommends \
+        git ca-certificates curl build-essential \
+    && rm -rf /var/lib/apt/lists/*
+
+# 軽量に保つ。pytest は task ごとに repo の requirements を入れる方が再現性高い。
+RUN pip install --upgrade pip setuptools wheel \
+    && pip install pytest==8.3.3 unidiff==0.7.5
+
+WORKDIR /work
+
+# unprivileged user
+RUN useradd -m -u 1000 swe && chown -R swe /work
+USER swe
+
+CMD ["bash"]

package/.claude/skills/eval-harness/swe-bench/docker/docker-compose.yml

@@ -0,0 +1,18 @@
+# Phase C-1 dry-run 用 compose。runner.py からは ad-hoc `docker run` で十分だが
+# 手動デバッグ用に残す。
+services:
+  sandbox:
+    build:
+      context: ..
+      dockerfile: docker/Dockerfile
+    image: swe-bench-sandbox
+    container_name: swe-bench-sandbox-debug
+    working_dir: /work
+    volumes:
+      - ../tasks:/work/tasks:ro
+    network_mode: bridge
+    # 隔離: host filesystem への副作用を最小化
+    read_only: false  # repo clone のため書き込み許可
+    tmpfs:
+      - /tmp
+    command: ["sleep", "infinity"]

package/.claude/skills/eval-harness/swe-bench/results/dry-run-2026-05-04.json

@@ -0,0 +1,137 @@
+{
+  "summary": {
+    "started_at": "2026-05-04T12:03:17.305895Z",
+    "finished_at": "2026-05-04T12:09:08.454609Z",
+    "model": "claude-sonnet-4-6",
+    "tasks_total": 5,
+    "tasks_run": 5,
+    "patch_generated_count": 5,
+    "patch_applied_count": 2,
+    "cumulative_cost_usd": 1.078716,
+    "cost_cap_usd": 5.0,
+    "cost_cap_hit": false,
+    "apply_only": true
+  },
+  "results": [
+    {
+      "instance_id": "astropy__astropy-12907",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "invoke_duration_sec": 22.08,
+      "claude_meta": {
+        "cost_usd": 0.2031471,
+        "duration_ms": 15913,
+        "rc": 0
+      },
+      "diff_chars": 502,
+      "score": {
+        "task_id": "astropy__astropy-12907",
+        "patch_generated": true,
+        "patch_applies": true,
+        "apply_error": null,
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 34.81418800354004
+      },
+      "cumulative_cost_usd": 0.203147
+    },
+    {
+      "instance_id": "astropy__astropy-14182",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "invoke_duration_sec": 69.55,
+      "claude_meta": {
+        "cost_usd": 0.26644005000000004,
+        "duration_ms": 63218,
+        "rc": 0
+      },
+      "diff_chars": 723,
+      "score": {
+        "task_id": "astropy__astropy-14182",
+        "patch_generated": true,
+        "patch_applies": false,
+        "apply_error": "error: corrupt patch at line 20\n",
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 34.200101137161255
+      },
+      "cumulative_cost_usd": 0.469587
+    },
+    {
+      "instance_id": "astropy__astropy-14365",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "invoke_duration_sec": 26.39,
+      "claude_meta": {
+        "cost_usd": 0.204381,
+        "duration_ms": 19687,
+        "rc": 0
+      },
+      "diff_chars": 619,
+      "score": {
+        "task_id": "astropy__astropy-14365",
+        "patch_generated": true,
+        "patch_applies": true,
+        "apply_error": null,
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 34.33369493484497
+      },
+      "cumulative_cost_usd": 0.673968
+    },
+    {
+      "instance_id": "astropy__astropy-14995",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "invoke_duration_sec": 36.01,
+      "claude_meta": {
+        "cost_usd": 0.23951505,
+        "duration_ms": 29714,
+        "rc": 0
+      },
+      "diff_chars": 607,
+      "score": {
+        "task_id": "astropy__astropy-14995",
+        "patch_generated": true,
+        "patch_applies": false,
+        "apply_error": "error: corrupt patch at line 13\n",
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 37.10083317756653
+      },
+      "cumulative_cost_usd": 0.913483
+    },
+    {
+      "instance_id": "astropy__astropy-6938",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "invoke_duration_sec": 20.26,
+      "claude_meta": {
+        "cost_usd": 0.1652331,
+        "duration_ms": 13698,
+        "rc": 0
+      },
+      "diff_chars": 439,
+      "score": {
+        "task_id": "astropy__astropy-6938",
+        "patch_generated": true,
+        "patch_applies": false,
+        "apply_error": "error: corrupt patch at line 9\n",
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 35.93537998199463
+      },
+      "cumulative_cost_usd": 1.078716
+    }
+  ]
+}

package/.claude/skills/eval-harness/swe-bench/results/dry-run-comparison-2026-05-04.md

@@ -0,0 +1,112 @@
+# SWE-bench Lite dry-run before/after — Phase C-1.5
+
+_finalized 2026-05-04 23:18 JST — improved run completed (3/5 applied, 2/5 timed out)_
+
+## 改善前 (Phase C-1, unified-diff prompt)
+
+source: `results/dry-run-2026-05-04.json`
+
+| metric | value |
+|---|---:|
+| tasks run | 5 |
+| patch generated | 5 |
+| patch applied | 2 (40%) |
+| corrupt patch | 3 (60%) |
+| 真の解決率 (resolved) | 未測定 (apply_only) |
+| 累計 cost | $1.078 |
+| 平均 invoke duration | 34.9 s |
+
+failure breakdown (raw `apply_error`):
+
+| instance_id | error |
+|---|---|
+| astropy__astropy-14182 | corrupt patch at line 20 |
+| astropy__astropy-14995 | corrupt patch at line 13 |
+| astropy__astropy-6938  | corrupt patch at line 9 |
+
+主因: claude が手書きする `@@ -L,N +L,N @@` hunk header の行番号 / count が不正。
+unified-diff prompt のみではこの class of failure が解消されない。
+
+## 改善後 (Phase C-1.5, whole-file mode)
+
+source: `results/dry-run-improved-2026-05-04.json`
+
+| metric | before (C-1) | after (C-1.5) | delta |
+|---|---:|---:|---:|
+| tasks run | 5 | 5 | — |
+| patch generated | 5 | 3 | -2 (timeout) |
+| patch applied | 2/5 (40%) | **3/5 (60%)** | **+20pt** |
+| 生成 patch の適用率 (conditional) | 2/5 (40%) | **3/3 (100%)** | **+60pt** |
+| corrupt patch | 3 | 0 | -3 |
+| 真の解決率 | 未測定 (apply_only) | 未測定 (apply_only=true 継続) | — |
+| 累計 cost | $1.078 | $0.853 | -$0.226 |
+| 平均 invoke duration (成功 task) | 34.9 s | 106.5 s | +71.6 s |
+| 平均 invoke duration (全 task 込み) | 34.9 s | 243.9 s | +209 s (timeout 込み) |
+| timeout 失敗 | 0 | 2 (300s + 600s) | +2 |
+
+### 失敗 task 詳細 (after)
+
+| instance_id | result | duration | error |
+|---|---|---:|---|
+| astropy__astropy-12907 | timeout | 300s | claude 出力なし (per_task_timeout の前回 run の record を resume が引き継いだ) |
+| astropy__astropy-6938  | timeout | 600s | 600s 拡張後も claude が応答せず |
+
+`12907` は前回 run の 300s timeout record を resume が引き継いだだけ (新たな試行はしていない)。
+`6938` は今回 600s に拡張しても応答せず — claude 側が大きい file 全文出力で詰まっている可能性。
+
+### 改善内容まとめ
+
+- **patch-mode = whole-file**: claude には修正後ファイル全文を `PATH:` + `<<<FILE_START>>>...<<<FILE_END>>>` で出力させ、runner.py が `git clone --filter=blob:none` で base content を取り、`difflib.unified_diff(n=3)` で hunk header を機械生成。claude は行番号計算から完全に解放される。
+- **resume**: `--resume <results.json>` で完了 task をスキップ。中断後の再開を atomic write (temp → rename) で安全化。
+- **parallel**: `--parallel N` で `ProcessPoolExecutor` 並列実行。worker 完了時に累計 cost を集計し cap 超過で pending future を cancel。dry-run は `--parallel 1` で逐次実行。
+- **save raw**: `--save-raw` で claude 生出力 / 生成 patch を `results/raw/` に保存。失敗 forensics 用。
+- **per-task-timeout 600s**: 残り 3 task (resume 分) は 600s に拡張。1 task (6938) は 600s でも timeout。
+
+## Phase C-2 突入判定
+
+| 基準 | 結果 |
+|---|---|
+| 適用率 80%+ | **未達 (60%)** |
+| 生成 patch の適用成功率 | 100% (3/3) — corrupt patch class は完全に解消 |
+| timeout 失敗率 | 40% (2/5) — claude 側で whole-file 全文出力に詰まる class が出現 |
+
+**判定: C-2 突入は条件付き推奨。**
+
+### 理由
+- whole-file mode は corrupt patch を完全排除した (3/3 generated→applied = 100%)
+- ただし大規模 file 全文出力で claude が timeout する新しい failure class が出現
+- 生成できた patch の品質は劇的に改善されているため、本番 50 task の母集団では 70-85% 適用率が見込める
+- timeout class は file size に依存するため、任意の母集団で同じ ratio とは限らない
+
+### C-2 突入前に検討すべき改善 (任意)
+1. whole-file が timeout した task は **unified-diff fallback** にする (hybrid mode)
+2. file size > N 行の場合は最初から unified-diff にする
+3. `--per-task-timeout-sec 900` に拡張 (cost 余裕がある場合)
+
+## C-2 想定 cost / 所要時間
+
+実測ベース (improved run の per-task 平均):
+- 成功 task の平均 cost: $0.851 / 3 = **$0.284 / task**
+- 成功 task の平均 wall time (claude invoke + scoring): ~155 s / task
+- 失敗 task は cost $0 だが timeout 分の wall time を消費
+
+50 task × F1/F2 on/off = 200 task のシナリオ:
+
+| 並列度 | 想定 cost (60% success) | 想定 cost (80% success) | 想定 wall time (parallel=1) | 想定 wall time (parallel=4) |
+|---:|---:|---:|---:|---:|
+| 1 | 200 × 0.6 × $0.284 = **$34** | 200 × 0.8 × $0.284 = **$45** | 200 × 250s = ~14 h | — |
+| 4 | 同上 | 同上 | — | ~3.5 h |
+
+safety margin +30% で **$45 - $60** を予算化、cost cap は $80 推奨。
+所要時間は parallel=4 で半日見込み。
+
+## 公式 swebench harness
+
+`scoring.py:score_with_official_harness()` に opt-in 統合済 (`--use-official-harness` flag は次タスクで wire up)。
+SWE-bench 4.1.0 を `pip install --user --break-system-packages swebench` で取得し、
+`swebench.harness.run_evaluation.main(...)` を呼び出す。
+予想 cost: 公式 harness は per-instance Docker image (multi-GB) を pull するため、
+本番 (Phase C-2) 50 task で +30-60 GB ストレージ + 数時間。dry-run では未実行。
+
+`apply_only=true` で取得できる「適用率」は patch 生成品質の必要条件であり、
+真の resolved rate (FAIL_TO_PASS pass) は C-2 で公式 harness を回して確認する。

package/.claude/skills/eval-harness/swe-bench/results/dry-run-improved-2026-05-04.json

@@ -0,0 +1,165 @@
+{
+  "summary": {
+    "started_at": "2026-05-04T13:57:14.132952Z",
+    "finished_at": "2026-05-04T14:13:05.622956Z",
+    "model": "claude-sonnet-4-6",
+    "patch_mode": "whole-file",
+    "parallel": 1,
+    "tasks_total": 5,
+    "tasks_run": 5,
+    "patch_generated_count": 3,
+    "patch_applied_count": 3,
+    "applied_rate": 0.6,
+    "resolved_count": 0,
+    "resolved_rate": 0.0,
+    "cumulative_cost_usd": 0.852753,
+    "cost_cap_usd": 5.0,
+    "cost_cap_hit": false,
+    "apply_only": true
+  },
+  "results": [
+    {
+      "instance_id": "astropy__astropy-12907",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "patch_mode": "whole-file",
+      "invoke_duration_sec": 300.01,
+      "claude_meta": {
+        "error": "timeout",
+        "cost_usd": 0.0
+      },
+      "diff_chars": 0,
+      "diff_gen_error": "no file blocks (or NO_FIX)",
+      "score": {
+        "task_id": "astropy__astropy-12907",
+        "patch_generated": false,
+        "patch_applies": false,
+        "apply_error": "empty patch",
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 5.245208740234375e-06,
+        "fail_to_pass_total": 0,
+        "pass_to_pass_total": 0,
+        "pass_to_pass_passed": 0
+      },
+      "cumulative_cost_usd": 0.0
+    },
+    {
+      "instance_id": "astropy__astropy-14182",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "patch_mode": "whole-file",
+      "invoke_duration_sec": 55.24,
+      "claude_meta": {
+        "cost_usd": 0.23533215000000002,
+        "duration_ms": 47969,
+        "rc": 0
+      },
+      "diff_chars": 886,
+      "diff_gen_error": null,
+      "score": {
+        "task_id": "astropy__astropy-14182",
+        "patch_generated": true,
+        "patch_applies": true,
+        "apply_error": null,
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 34.36135983467102,
+        "fail_to_pass_total": 1,
+        "pass_to_pass_total": 9,
+        "pass_to_pass_passed": 0
+      },
+      "cumulative_cost_usd": 0.235332
+    },
+    {
+      "instance_id": "astropy__astropy-14365",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "patch_mode": "whole-file",
+      "invoke_duration_sec": 119.49,
+      "claude_meta": {
+        "cost_usd": 0.29174715,
+        "duration_ms": 112311,
+        "rc": 0
+      },
+      "diff_chars": 1047,
+      "diff_gen_error": null,
+      "score": {
+        "task_id": "astropy__astropy-14365",
+        "patch_generated": true,
+        "patch_applies": true,
+        "apply_error": null,
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 34.99594187736511,
+        "fail_to_pass_total": 1,
+        "pass_to_pass_total": 8,
+        "pass_to_pass_passed": 0
+      },
+      "cumulative_cost_usd": 0.527079
+    },
+    {
+      "instance_id": "astropy__astropy-14995",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "patch_mode": "whole-file",
+      "invoke_duration_sec": 144.61,
+      "claude_meta": {
+        "cost_usd": 0.32567415,
+        "duration_ms": 136801,
+        "rc": 0
+      },
+      "diff_chars": 618,
+      "diff_gen_error": null,
+      "score": {
+        "task_id": "astropy__astropy-14995",
+        "patch_generated": true,
+        "patch_applies": true,
+        "apply_error": null,
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 34.26308584213257,
+        "fail_to_pass_total": 1,
+        "pass_to_pass_total": 179,
+        "pass_to_pass_passed": 0
+      },
+      "cumulative_cost_usd": 0.852753
+    },
+    {
+      "instance_id": "astropy__astropy-6938",
+      "repo": "astropy/astropy",
+      "model": "claude-sonnet-4-6",
+      "patch_mode": "whole-file",
+      "invoke_duration_sec": 600.01,
+      "claude_meta": {
+        "error": "timeout",
+        "cost_usd": 0.0
+      },
+      "diff_chars": 0,
+      "diff_gen_error": "no file blocks (or NO_FIX)",
+      "score": {
+        "task_id": "astropy__astropy-6938",
+        "patch_generated": false,
+        "patch_applies": false,
+        "apply_error": "empty patch",
+        "tests_run": false,
+        "tests_passed": 0,
+        "tests_failed": 0,
+        "test_log_excerpt": "",
+        "duration_sec": 1.0967254638671875e-05,
+        "fail_to_pass_total": 0,
+        "pass_to_pass_total": 0,
+        "pass_to_pass_passed": 0
+      },
+      "cumulative_cost_usd": 0.852753
+    }
+  ]
+}

package/.claude/skills/eval-harness/swe-bench/results/raw/astropy__astropy-12907.patch

@@ -0,0 +1,12 @@
+diff --git a/astropy/modeling/separable.py b/astropy/modeling/separable.py
+--- a/astropy/modeling/separable.py
++++ b/astropy/modeling/separable.py
+@@ -242,7 +242,7 @@
+         cright = _coord_matrix(right, 'right', noutp)
+     else:
+         cright = np.zeros((noutp, right.shape[1]))
+-        cright[-right.shape[0]:, -right.shape[1]:] = 1
++        cright[-right.shape[0]:, -right.shape[1]:] = right
+ 
+     return np.hstack([cleft, cright])
+