runops 2.3.1__tar.gz → 2.5.0__tar.gz

{runops-2.3.1 → runops-2.5.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: runops
-Version: 2.3.1
+Version: 2.5.0
 Summary: Run ledger and Slurm job submission for HPC simulation projects
 Project-URL: Homepage, https://github.com/Nkzono99/runops
 Project-URL: Documentation, https://github.com/Nkzono99/runops/blob/main/docs/reference.md
@@ -73,6 +73,7 @@ runo init
 | 試してから本計算 | 100 step だけ smoke で試して、通ったら wc を 3 通りに振った候補を見せて |
 | 様子を見る | 先週投げた run の状況を見て。失敗していたら原因をノートに残して |
 | 続きを流す | R20261015-0003 の続きを 2 倍の step で |
+| 資源を変えて作り直す | R20261015-0003 を 256 並列・72 時間で作り直して（case はそのまま） |
 | 片付ける | 古い run を整理して。消すものと archive するものを先に見せて |
 | 作り直した旧系列を片付ける | 旧系列は新系列で置き換えたので、対応を記録して archive して |
 | simulator を足す | パッチを当てた ~/BEACH-dev をビルドして、別の simulator として登録して |

{runops-2.3.1 → runops-2.5.0}/README.md

@@ -42,6 +42,7 @@ runo init
 | 試してから本計算 | 100 step だけ smoke で試して、通ったら wc を 3 通りに振った候補を見せて |
 | 様子を見る | 先週投げた run の状況を見て。失敗していたら原因をノートに残して |
 | 続きを流す | R20261015-0003 の続きを 2 倍の step で |
+| 資源を変えて作り直す | R20261015-0003 を 256 並列・72 時間で作り直して（case はそのまま） |
 | 片付ける | 古い run を整理して。消すものと archive するものを先に見せて |
 | 作り直した旧系列を片付ける | 旧系列は新系列で置き換えたので、対応を記録して archive して |
 | simulator を足す | パッチを当てた ~/BEACH-dev をビルドして、別の simulator として登録して |

{runops-2.3.1 → runops-2.5.0}/SPEC.md

@@ -283,6 +283,12 @@ ntasks = 800
   adapter の `render_inputs()` が `[params]` を適用して上書きする。
 - `runo new` / `runo sweep` の `--set k=v` は `[params]` の上書きである。
   既存 key でなくても受け付ける（adapter の `validate_params()` が warning を出せる）。
+  warning には判定した adapter と package version を付け、executable が package 由来でない
+  （`local_source` / `local_executable`）ときは「schema が古いだけかもしれない」と添える。
+- run の `[job]` は、case から作る run では case の `[job]`、`new --from RUN`（`--continue` 含む）
+  では **元 run の `[job]`** を引き継ぐ（元 run に無い key は case から）。`--job k=v` で個別に上書きし（`[job]` の key のみ）、
+  `--job-from-case` で case の値に戻す。資源の変更に case の編集を要しない。作成時に、元 run
+  （または case）に対する params と資源の差分を表示する。
 - **variation は case ではなく run で表現する。** 「同じ物理設定で 1 つの値だけ変える」
   ために新しい case を作らない。`new CASE --set`、`new --from RUN --set`、`sweep` を使う。
   `case new --from CASE` は、base 入力ファイルの構造そのものが変わるときだけ使う。
@@ -388,6 +394,7 @@ cancel_reason = ""                # cancel --why の理由。retry はこれが
 
 [variation]
 changed_keys = ["plasma.wc", "plasma.phiz"]   # case の params との差分 key
+job_changed_keys = ["walltime"]                # case の [job] との差分 key（--job / 元 run から）
 
 [identity]
 input_hash = "sha256:..."         # input/ 配下全ファイルの content hash
@@ -419,7 +426,7 @@ created ──submit──▶ submitted ──(slurm)──▶ running ──▶
    │                   └───cancel──────────────┴──────▶ cancelled
    │
    └────────────── archive ─────────────────────────▶ archived
-                   (completed / failed / cancelled から)
+                   (created / completed / failed / cancelled から)
 ```
 
 - `retry` は `failed` / `cancelled` を `created` に戻し `job.attempt` を +1 する。
@@ -453,6 +460,22 @@ created ──submit──▶ submitted ──(slurm)──▶ running ──▶
 
 ---
 
+### 6.4 進捗
+
+adapter が `progress(run_dir)` を持つとき、`sync` は running の run と、queue を離れた
+直後の run について呼び、`{done, total, unit, start}` を受け取る。`done` は今の到達点、
+`total` は目標（不明なら省略）、`unit` は数える単位（`batch`、`step` など）、`start` は
+この attempt を始めた地点（resume した run の再開点。新規なら 0）。
+
+- 観測は `submit/progress.<job_id>.jsonl` に `{at, done}` として追記する（attempt ごと、
+  上限 1000 件程度）。queue を離れたときの観測は終了時刻で記録し、終了後の待ち時間を速度に含めない。
+- 要約を `[[job.attempts]].progress` に置く: `done`、`total`、`unit`、`start`、`fraction`、
+  `rate_recent_per_hour`（直近 10 分）、`rate_attempt_per_hour`（program 開始から。起点は
+  `start`）、`eta_hours`（running のみ）。program 開始時刻は job.sh が stdout に出す
+  `runops: start` 行から取り、`started_at` に入れる。
+- `status` / `list` は要約だけを読む（file を開かない）。read-only command は観測を足さない。
+- 解析は adapter が行い、runops は保存と表示だけを持つ（§1.2 #4）。
+
 ## 7. CLI
 
 ### 7.1 共通規則
@@ -494,9 +517,9 @@ created ──submit──▶ submitted ──(slurm)──▶ running ──▶
 | `runo context [--json]` | agent 向け現在地。project 名、simulator、active run 数、直近 run 5 件、scratch 期限切れ数、`LOG.md` 末尾 20 行。配置した runops skill が install 済みの runops より古ければ `runo update --skills-only` を促す warning |
 | `runo case new NAME --simulator SIM [--from CASE]` | case をスキャフォールド。adapter の `case_template()` を展開 |
 | `runo case list` | case 一覧 |
-| `runo new CASE [--why TEXT] [--label L] [--set k=v]... [--tag T]... [--scratch] [--dest DIR] [--submit] [--created-by WHO] [--json]` | 単発 run を作る |
-| `runo new --from RUN [--why] [--set k=v]... [--continue] [--submit]` | 既存 run の params から派生 run を作る。`--continue` は adapter が `extend_inputs()` を実装する場合のみ有効（§8.1） |
-| `runo sweep CASE --set k=v1,v2,... [--set ...] [--names KEY=n1,n2,...]... [--label L] [--dest DIR] [--why TEXT] [--apply] [--submit] [--limit N] [--json]` | 直積の候補を表示する。`--apply` で生成。`--submit` は `--apply` と同時のみ有効 |
+| `runo new CASE [--why TEXT] [--label L] [--set k=v]... [--job k=v]... [--tag T]... [--scratch] [--dest DIR] [--submit] [--created-by WHO] [--json]` | 単発 run を作る |
+| `runo new --from RUN [--why] [--set k=v]... [--job k=v]... [--job-from-case] [--continue] [--submit]` | 既存 run の params と `[job]` から派生 run を作る（§5）。置き場所の既定は元 run と同じ directory（元 run が archive / scratch なら `runs/<case>/`）。`--continue` は adapter が `extend_inputs()` を実装する場合のみ有効（§8.1） |
+| `runo sweep CASE --set k=v1,v2,... [--set ...] [--names KEY=n1,n2,...]... [--job k=v]... [--label L] [--dest DIR] [--why TEXT] [--apply] [--submit] [--limit N] [--json]` | 直積の候補を表示する。`--apply` で生成。`--submit` は `--apply` と同時のみ有効 |
 | `runo submit RUN... [--partition P] [--qos Q] [--afterok JOBID] [-y]` | job.sh を生成して sbatch。`created` 以外は拒否 |
 | `runo submit --all [DIR] [-y]` | DIR 配下の `created` run をすべて投入。件数と概算 core-hours を表示して確認 |
 | `runo cancel RUN... [--why TEXT] [-y]` | scancel して sync。`--why` は `cancelled: ...` の note として残す |
@@ -509,7 +532,7 @@ created ──submit──▶ submitted ──(slurm)──▶ running ──▶
 | `runo pin RUN [--off] [--reason TEXT]` | `run.pinned` を切り替える。pinned は `list` に常に出て、`tidy` / `delete` の対象外 |
 | `runo summarize RUN... [--force]` | adapter の `summarize()` を呼び `analysis/summary.json` を書く。既存があれば `--force` なしではスキップ |
 | `runo mv RUN... [--dest DIR] [--label L] [--why TEXT]` | run を `runs/` 配下で改名・移動する。id、入力、履歴は変えない（§7.7） |
-| `runo archive RUN\|DIR... [--superseded-by RUN\|DIR --why TEXT] [-y]` / `runo archive --older-than 90d [-y]` | `runs/_archive/<元の相対 path>` に移動して `archived` にする。移動前に全対象を検査し、指定した RUN が終端でなければ何も動かさない。DIR は配下の run（系列）を指し、終端でない run と pinned を除いて表示する。`--superseded-by` は各 run に置き換え先（`parent_run` がその run の置き換え先 run、無ければ指定した全 run）を `run.superseded_by` に記録し、`--why` を note に残す |
+| `runo archive RUN\|DIR... [--superseded-by RUN\|DIR --why TEXT] [-y]` / `runo archive --older-than 90d [-y]` | `runs/_archive/<元の相対 path>` に移動して `archived` にする。対象は created と終端の run（created は job を持たないため）。移動前に全対象を検査し、指定した RUN が対象外なら何も動かさない。DIR は配下の run（系列）を指し、submitted / running と pinned を除いて表示する。created は `--superseded-by` があるときだけ含める。`--superseded-by` は各 run に置き換え先（`parent_run` がその run の置き換え先 run、無ければ指定した全 run）を `run.superseded_by` に記録し、`--why` を note に残す |
 | `runo restore RUN` | archive 前の場所に戻す。既に何かあれば拒否 |
 | `runo delete RUN... [-y]` | directory を削除。`created`/`failed`/`cancelled`/scratch のみ。`pinned` は拒否 |
 | `runo tidy [--apply] [--only KIND] [--older-than AGE] [--purge-work RUN...] [--json]` | 整理候補を表示する（§7.5）。`--apply` で実行 |
@@ -534,7 +557,7 @@ created ──submit──▶ submitted ──(slurm)──▶ running ──▶
 
 | kind | 条件 | 動作 |
 |---|---|---|
-| `expired-scratch` | `scratch = true` かつ `expires_at` を過ぎ、`pinned = false` | delete |
+| `expired-scratch` | `scratch = true` かつ `expires_at` を過ぎ、`pinned = false`、archived でない | delete |
 | `stale-failed` | `failed`/`cancelled` で `defaults.tidy_failed_days`（既定 30）日より古く、note も `why` も空 | delete |
 | `old-completed` | `completed` で `defaults.tidy_archive_days`（既定 90）日より古く、`pinned = false` | archive |
 | `orphan-job` | `submitted`/`running` だが squeue/sacct に job が無い | sync（state 確定） |
@@ -614,6 +637,7 @@ class SimulatorAdapter(ABC):
     def agent_context_dir(self) -> Path | None: return None      # §8.2
     def configure(self, sim_config: dict) -> None: ...           # runops.toml の [simulators.X] を受け取る
     def job_prelude(self, run_dir: Path) -> list[str]: return [] # job.sh で実行直前に置く shell 行
+    def progress(self, run_dir: Path) -> dict | None: return None  # §6.4。{done, total, unit, start}
 ```
 
 - job.sh は run_dir へ `cd` してから実行する（v1 と同じ。v1 adapter の path 規約
@@ -668,12 +692,16 @@ runops は `init` と `update` で次を行う。
    （例: `mpiemses3d-input-review`）。`runops-` で始まる名前は予約されており展開しない。
 2. `references/` を `.agents/skills/<adapter>-references/` にコピーし、
    `SKILL.md` が無ければ reference 一覧を列挙した `SKILL.md` を生成する。
+   `docs/` があれば同じく `.agents/skills/<adapter>-docs/` に置く。展開した skill の
+   `../../references/`、`../../docs/`（package 内の配置での参照）は `../<adapter>-references/`、
+   `../<adapter>-docs/` に書き換える。
 3. 展開先には `.managed-by-runops` marker を置く。marker のある directory は
    `update` 時に **無条件で上書き** する。marker の無い同名 directory は触らず warning。
 4. `.runops/skills.lock` に adapter 名、package version、展開した directory、content hash を記録する。
 
 `doctor` は lock の package version と現在 install されている version を比較し、
-差があれば `runo update --skills-only` を提案する。
+差があれば `runo update --skills-only` を提案する。展開済み skill の相対リンクで
+存在しない file を指すものも報告する。
 
 既存の simulator repo（MPIEMSES3D、emout、BEACH）は `plugins/<name>-context/` に
 `skills/` と `references/` を既に持つ。各 package 側で必要な変更は
@@ -971,4 +999,6 @@ v2 の文書は次の 4 ファイルだけにする。
 | 置き換えた系列の整理（2026-10-21） | `archive` が DIR（系列）を受け、`--superseded-by` で置き換え先を manifest に記録する。新しい command と tidy の種別は足さない。skill は新系列を作ったら旧系列の要否を確かめ、不要なら archive して現用系列・archive 先・件数を報告する | 修正版を作った後に旧系列が作業領域に残り、毎回ユーザーが整理を頼んでいた。`parent_run` だけでは比較用の派生と置き換えを区別できないので、置き換えは明示操作で記録する。旧 `archive` は 1 件ずつ検査していて、途中の running run で一部だけ移動していた（#113） |
 | 生成ハーネスの書き方（2026-10-21） | AGENTS.md の Rules を「作業の進め方」5 項目に絞り、各項目を「何をするか」と短い理由で書く。skill は手順に専念し、AGENTS.md の方針（manifest を手で編集しない等）を繰り返さない | #112・#113 で規則が増え、禁止形（never / do not）が並んでいた。現行の Claude の prompting 指針は、しないことより何をするかを、理由と共に書くことを勧め、強い禁止語は過剰反応を招くとしている |
 | 複数 run の mv / archive（2026-10-22） | 1 回の `run.lock` の下で全対象を読み直して検査し、通ってから移す。途中の filesystem error では移し終えた run id を示して止まる | `mv A B C --dest X` は 1 件ずつ検査して移していたので、途中の submitted run で一部だけ移動していた。archive は表示の後で lock を取り直していて、その間に再投入された run で同じことが起き得た |
+| 進捗と系列配置 2.5.0（2026-10-23） | adapter に任意の `progress()`、`sync` が時刻付き観測を保存し速度・残り時間を要約（§6.4）。`new --from` の既定置き場所を元 run と同じ directory に。agent context の `docs/` も展開 | 速度比較のために agent が時刻付き batch 観測を手で保存し、再開点や終了後の待ちを毎回補正していた（4 回）。継続世代が case 直下に並び、同じ計算の系列を見分けにくかった。skill が package の `docs/` を参照していたが展開されていなかった。進捗の解析は simulator 固有なので adapter が持ち、runops は保存と表示だけにする |
+| FEEDBACK 棚卸し 2.4.0（2026-10-23） | `--job k=v` と `new --from` の `[job]` 継承、created の archive / restore、archived scratch を期限削除しない、展開 skill の references 参照の書き換えと `doctor` のリンク検査、adapter warning への版の併記、生成 AGENTS.md に解析環境の置き場所 | hub の FEEDBACK で、資源変更のための case 編集（3 回）、置換済み draft を archive できず helper で迂回（2 回）、保管目的の archive が期限削除される、skill から reference に辿れない、新版の正規キーが誤記に見える、解析依存の置き場所が project ごとに違う、が記録された。いずれも既存 command の拡張で、command 数は増やさない |
 | 使い方ガイド | `docs/guide.md` を追加し、文書を 4 ファイルにする（§13.3） | README の依頼例の表と command 一覧の間を埋める、場面ごとの流れ（case と run の分け方、smoke から本計算、状態の決まり方、整理）の置き場所が無かった |

{runops-2.3.1 → runops-2.5.0}/docs/adapter.md

@@ -49,6 +49,7 @@ class Adapter:
 | `keep_patterns() -> list[str]` | `tidy --purge-work` で残す glob |
 | `extend_inputs(src_run, run_dir, params) -> list[str]` | `runo new --from RUN --continue` の restart 設定 |
 | `agent_context_dir() -> Path | None` | 同梱 skill と reference の場所 |
+| `progress(run_dir) -> dict | None` | 進捗 `{"done", "total", "unit", "start"}`。`runo sync` が時刻付きで保存し、速度と残り時間を出す |
 
 `runtime` は `executable`、`package_version`、`exe_hash`、`git_commit`、`git_dirty`、
 `env`、`resolver_mode`、`build_dir` を持ちます。
@@ -76,12 +77,16 @@ project の `adapters/mysim.py` に `Adapter` という名前で置けば使え
 <dir>/
   skills/<skill-name>/SKILL.md
   references/*.md
+  docs/*.md          # 任意。references と同じく展開する
 ```
 
 `runo init` と `runo update` は `skills/*` を project の `.agents/skills/` と
 `.claude/skills/` に同名でコピーし、`references/` を `<adapter>-references` として置きます。
 skill 名は package 側で名前空間を付けてください（例: `mysim-input-review`）。
-`runops-` で始まる名前は予約されています。展開した directory には
+`runops-` で始まる名前は予約されています。skill から reference へは
+`../<adapter>-references/X.md`（`docs/` なら `../<adapter>-docs/X.md`）と書いてください。
+package 内の配置どおりの `../../references/X.md`、`../../docs/X.md` は展開時にこの形へ書き換えます。`runo doctor` は展開済み skill の
+相対リンク切れを報告します。展開した directory には
 `.managed-by-runops` が置かれ、更新時に上書きされます。利用者が作った同名 directory は
 上書きしません。
 

{runops-2.3.1 → runops-2.5.0}/docs/guide.md

@@ -105,8 +105,11 @@ run id、入力、sweep の帰属、ノートはそのままで、移動元は
 投入、削除、整理、移行の前には、エージェントが対象の run、partition、資源量、core-hours を示して
 確認を取ります。`runo` 自体も、複数 run の投入や削除の前に確認を求めます。
 
-資源量（partition、walltime、並列数）は case の `[job]` に書きます。1 回だけ partition を
-変えるなら「今回は gr20001b で投げて」と頼めば `runo submit RUN --partition gr20001b` になります。
+資源量（partition、walltime、並列数）は case の `[job]` に書きます。run ごとに変えるときは
+「R… を 256 並列・72 時間で作り直して」と頼めば `runo new --from RUN --job processes=256 --job walltime=72:00:00`
+になり、case は変えません。`--from` で作る run は元 run の資源を引き継ぎ、作成時に元 run との
+params と資源の差分を表示します。1 回だけ partition を変えるなら「今回は gr20001b で投げて」と頼めば
+`runo submit RUN --partition gr20001b` になります。
 
 walltime は、同じ case・同じ資源で終わった run の実時間を元に決めます。`runo list --json` と
 `runo status` は、各 run の `elapsed`（最新の実行の実時間）、`walltime`、使った割合を示します。
@@ -128,6 +131,11 @@ walltime は、同じ case・同じ資源で終わった run の実時間を元
 `runo sync` は、active な run が何件あっても `squeue` と `sacct` を 1 回ずつしか呼びません。
 エージェントには `squeue` を直接叩かせず、`runo sync` を使わせてください。
 
+adapter が進捗に対応していれば（BEACH の batch、MPIEMSES3D の step）、`sync` のたびに時刻付きの
+観測を残し、`runo list` / `status` に `62% 0.198 s/batch eta 3.1h` のように進み具合、直近 10 分の
+速度、残り時間を出します。resume した run は再開点から数え、終わった run は終了時刻までで速度を出すので、
+版を切り替えた前後の比較にそのまま使えます（`--json` の `progress`）。
+
 ### 状態の決まり方
 
 run の状態は `created → submitted → running → completed | failed | cancelled` と進みます。
@@ -177,6 +185,7 @@ project の run だけが対象です。同じアカウントの別 project の
 > R20261015-0003 の続きを 2 倍の step で。
 
 `runo new --from RUN --continue` で、終わった run の出力から再開する run を作ります。
+`--from` で作る run は元 run と同じ directory に置かれるので、同じ計算の継続は 1 つの directory に並びます。
 再開の方法は simulator ごとに違い、adapter が対応している場合だけ使えます
 （現在は MPIEMSES3D が対応し、`SNAPSHOT1` から再開します）。新しい run は元の run を `parent_run` として記録します。
 
@@ -209,7 +218,7 @@ run は消さなくても `runo list` が古いものを隠しますが、direct
 
 | 種類 | 条件 | 処理 |
 |---|---|---|
-| `expired-scratch` | 期限切れの scratch run | 削除 |
+| `expired-scratch` | 期限切れの scratch run（archive したものは除く） | 削除 |
 | `stale-failed` | 30 日より古い failed / cancelled で、`why` もノートも無い | 削除 |
 | `old-completed` | 90 日より古い completed | archive |
 | `orphan-job` | 投入済みなのに Slurm が知らない | `sync` で状態を確定 |
@@ -225,8 +234,8 @@ run id で引き続き見つかり、`runo restore` で戻せます。
 > 旧系列は不要。新系列で置き換えたと記録して archive して。
 
 で `runo archive runs/<case>/<旧系列> --superseded-by runs/<case>/<新系列> --why "..."` になります。
-系列の directory を渡すと、対象の run を先に表示し、投入中・実行中・作成のみの run と pin した run は
-除きます。各旧 run の `superseded_by` には、その run から `--from` で作った新 run（無ければ新系列の全 run）が
+系列の directory を渡すと、対象の run を先に表示し、投入中・実行中の run と pin した run は
+除きます。投入前の run（created）も `--superseded-by` を付けたときは archive でき、`runo restore` で戻せます。各旧 run の `superseded_by` には、その run から `--from` で作った新 run（無ければ新系列の全 run）が
 記録され、理由はノートに残ります。比較用に派生しただけの run は置き換えとは扱わないので、
 旧系列が不要かどうかは毎回確かめます。
 

{runops-2.3.1 → runops-2.5.0}/docs/reference.md

@@ -110,9 +110,9 @@ runops だけが書きます。手で編集しないでください。主な fie
 | `[path]` | `run_dir`（project 相対）、`archived_from`、`archived_at` |
 | `[origin]` | `case`、`sweep`、`parent_run`、`created_by`、`case_input_hash` |
 | `[simulator]` | `name`、`adapter`、`adapter_source`、`adapter_version`、`executable`、`resolver_mode`、`package_version`、`exe_hash`、`git_commit`、`git_dirty`、`build_dir` |
-| `[job]` | case の `[job]` に加え `job_id`、`attempt`、`submitted_at`、`finished_at`、`last_slurm_state`、`exit_code`、`[[job.attempts]]`（attempt ごとの `job_id`、`started_at`、`exit_code`、`exe_hash`、`elapsed`、`cancel --why` の `cancel_reason`） |
+| `[job]` | case の `[job]` に加え `job_id`、`attempt`、`submitted_at`、`finished_at`、`last_slurm_state`、`exit_code`、`[[job.attempts]]`（attempt ごとの `job_id`、`started_at`、`exit_code`、`exe_hash`、`elapsed`、`cancel --why` の `cancel_reason`、`runo sync` が付ける `progress`（§進捗）） |
 | `[params]` | case の params に `--set` を適用した最終値 |
-| `[variation]` | `changed_keys` |
+| `[variation]` | `changed_keys`、`job_changed_keys`（case の `[job]` と違う key） |
 | `[identity]` | `input_hash` |
 | `[storage]` | `work_purged_at` |
 | `[[notes]]` | `at`、`by`、`text` |
@@ -139,7 +139,9 @@ run id は削除後も再利用しません。`--dest` に既存 run の中は
 ## command
 
 `list --json` と `status --json` は、walltime の根拠として `walltime`、最新 attempt の `elapsed`、
-`walltime_used`（elapsed / walltime）、`slurm_state` も返します。表では `TIMEOUT` などを
+`walltime_used`（elapsed / walltime）、`slurm_state` も返します。adapter が `progress()` を持てば
+`progress`（`done`、`total`、`unit`、`fraction`、`rate_recent_per_hour`、`rate_attempt_per_hour`、
+`eta_hours`）も返し、表の `progress` 列に `62% 0.198 s/batch eta 3.1h` と出します。表では `TIMEOUT` などを
 `failed (TIMEOUT)` と示します。
 
 全 command は `--help` で option を確認できます。`RUN` には run id、run directory、
@@ -148,14 +150,14 @@ run id は削除後も再利用しません。`--dest` に既存 run の中は
 | command | 動作 |
 |---|---|
 | `runo init [SIM...] [--site kudpc\|standard] [--no-install] [-y]` | project を作る。`SIM` は `emses` や `name=package-spec`。端末から引数なしで実行すると site と simulator を尋ねる。`--site` の既定はホスト名から推定（KUDPC のログインノードなら `kudpc`、`camphor` も同義） |
-| `runo doctor [--json]` | 設定、adapter の解決経路、executable、sbatch、skill の鮮度を点検 |
+| `runo doctor [--json]` | 設定、adapter の解決経路、executable、sbatch、skill の鮮度とリンク切れを点検 |
 | `runo update [--skills-only] [-y]` | simulator package を更新し skill と AGENTS.md の管理 block を再生成 |
 | `runo build SIM [--force]` | `local_source` の simulator を build |
 | `runo context [--json]` | agent 向けの現在地 |
 | `runo case new NAME [-s SIM] [--from CASE]` / `runo case list` | case の作成と一覧 |
-| `runo new CASE [--why] [--label] [--set k=v]... [--tag] [--scratch] [--dest DIR] [--submit] [--json]` | run を 1 つ作る |
-| `runo new --from RUN [--set k=v]... [--continue]` | 既存 run の params から派生。`--continue` は adapter の restart 対応が必要 |
-| `runo sweep CASE --set k=v1,v2 ... [--names k=n1,n2...] [--label] [--dest DIR] [--limit N] [--apply] [--submit] [--json]` | 直積の候補表示。`--apply` で作成。`--names` は各値の短い label、`--dest` は sweep directory の親 |
+| `runo new CASE [--why] [--label] [--set k=v]... [--job k=v]... [--tag] [--scratch] [--dest DIR] [--submit] [--json]` | run を 1 つ作る。`--job` はこの run の `[job]` の値 |
+| `runo new --from RUN [--set k=v]... [--job k=v]... [--job-from-case] [--continue]` | 既存 run の params と `[job]` から派生（`--job-from-case` で `[job]` は case から）。置き場所の既定は元 run と同じ directory。`--continue` は adapter の restart 対応が必要 |
+| `runo sweep CASE --set k=v1,v2 ... [--names k=n1,n2...] [--job k=v]... [--label] [--dest DIR] [--limit N] [--apply] [--submit] [--json]` | 直積の候補表示。`--apply` で作成。`--names` は各値の短い label、`--dest` は sweep directory の親 |
 | `runo submit RUN... [-p P] [--qos Q] [--afterok JOB]` / `runo submit --all [DIR] [-y]` | job.sh を生成して sbatch |
 | `runo cancel RUN... [--why TEXT] [-y]` / `runo retry RUN [--submit] [-y]` | scancel（`--why` は note に残る）/ failed・cancelled を created に戻す（理由付きで cancel された run は確認を取る） |
 | `runo status [RUN...]` / `runo sync [RUN...]` / `runo log RUN [--err] [-n N] [-f]` | 状態表示 / Slurm から更新 / log 表示 |
@@ -163,7 +165,7 @@ run id は削除後も再利用しません。`--dest` に既存 run の中は
 | `runo note RUN [TEXT]` / `runo pin RUN [--off] [--reason]` | ノート追記・表示 / pin |
 | `runo summarize RUN... [--force]` | adapter の要約を `analysis/summary.json` に書く |
 | `runo mv RUN... [--dest DIR] [--label L] [--why TEXT]` | `runs/` 配下で改名・移動。id、入力、sweep、ノートは保つ。submitted / running と archived は不可。全対象を検査してから移し、1 件でも不可なら何も動かさない |
-| `runo archive RUN\|DIR... [--superseded-by RUN\|DIR --why TEXT]` / `runo archive --older-than 90d` / `runo restore RUN` | `runs/_archive/` へ移動 / 戻す。移動前に全対象を検査し、指定した RUN が終了していなければ何も動かさない。DIR は配下の run（系列）で、created / submitted / running と pinned を除いて表示する。`--superseded-by` は置き換え先（その run から `--from` で派生した run、無ければ指定した全 run）を `superseded_by` に記録し、`--why` をノートに残す |
+| `runo archive RUN\|DIR... [--superseded-by RUN\|DIR --why TEXT]` / `runo archive --older-than 90d` / `runo restore RUN` | `runs/_archive/` へ移動 / 戻す。対象は created と終了した run。移動前に全対象を検査し、対象外の RUN があれば何も動かさない。DIR は配下の run（系列）で、submitted / running と pinned を除き、created は `--superseded-by` のときだけ含めて表示する。`--superseded-by` は置き換え先（その run から `--from` で派生した run、無ければ指定した全 run）を `superseded_by` に記録し、`--why` をノートに残す |
 | `runo delete RUN... [-y]` | created・failed・cancelled・scratch の run を削除 |
 | `runo tidy [--apply] [--only KIND] [--older-than AGE] [--purge-work RUN...]` | 整理候補の表示と実行 |
 | `runo migrate-v1 [--dry-run] [--apply-delete-test-runs] [-y]` | v1 project の変換 |
@@ -175,7 +177,7 @@ scratch と archived は表示しません。
 
 | kind | 条件 | 動作 |
 |---|---|---|
-| `expired-scratch` | 期限切れの scratch run | delete |
+| `expired-scratch` | 期限切れの scratch run（archived は除く） | delete |
 | `stale-failed` | `tidy_failed_days`（既定 30）日より古い failed / cancelled で、why も note も無い | delete |
 | `old-completed` | `tidy_archive_days`（既定 90）日より古い completed | archive |
 | `orphan-job` | Slurm が知らない submitted / running | sync |

{runops-2.3.1 → runops-2.5.0}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "runops"
-version = "2.3.1"
+version = "2.5.0"
 description = "Run ledger and Slurm job submission for HPC simulation projects"
 readme = "README.md"
 license = "Apache-2.0"

{runops-2.3.1 → runops-2.5.0}/src/runops/__init__.py

@@ -1,3 +1,3 @@
 """runops: run ledger and Slurm job submission for HPC simulation projects."""
 
-__version__ = "2.3.1"
+__version__ = "2.5.0"

{runops-2.3.1 → runops-2.5.0}/src/runops/cli.py

@@ -312,9 +312,13 @@ def case_list(as_json: bool = typer.Option(False, "--json")) -> None:
 # ---------------------------------------------------------------------------
 
 
-def _print_created(project: Project, manifests: list[Manifest]) -> None:
+def _print_created(
+    project: Project, manifests: list[Manifest], changes: list[str] | None = None
+) -> None:
     for m in manifests:
         out.print(f"created {m.id}  {project.rel(m.run_dir)}")
+    for line in changes or []:
+        out.print(f"  {line}", markup=False)
 
 
 def _submit_each(project: Project, manifests: list[Manifest], *, quiet: bool = False) -> None:
@@ -341,16 +345,24 @@ def new(
     continue_run: bool = typer.Option(
         False, "--continue", help="Continue from --from RUN (adapter support needed)."
     ),
+    job: Optional[list[str]] = typer.Option(
+        None, "--job", help="key=value for this run's [job] (walltime, processes, ...)."
+    ),
+    job_from_case: bool = typer.Option(
+        False, "--job-from-case", help="With --from: take [job] from the case, not the run."
+    ),
     submit: bool = typer.Option(False, "--submit"),
     created_by: str = typer.Option("", "--created-by"),
     as_json: bool = typer.Option(False, "--json", help="Print the created run as JSON."),
 ) -> None:
     """Create one run."""
-    from runops.ops.create import CreateRequest, create_run, parse_sets
+    from runops.ops.create import CreateRequest, create_run, parse_job, parse_sets
 
     project = _project()
     if case and from_run:
         raise UsageError("give either CASE or --from RUN, not both")
+    if job_from_case and not from_run:
+        raise UsageError("--job-from-case needs --from RUN")
     request = CreateRequest(
         case=case or "",
         sets=parse_sets(sets or []),
@@ -362,13 +374,15 @@ def new(
         created_by=created_by or _actor(),
         from_run=from_run,
         continue_run=continue_run,
+        job=parse_job(job or []),
+        job_from_case=job_from_case,
     )
     result = create_run(project, request)
     _warn(result.warnings)
     if not why:
         _warn(["no --why given; consider `runo note RUN` to record the purpose"])
     if not as_json:
-        _print_created(project, result.manifests)
+        _print_created(project, result.manifests, result.changes)
     if submit:
         _submit_each(project, result.manifests, quiet=as_json)
     if as_json:
@@ -388,6 +402,9 @@ def sweep(
     dest: str = typer.Option(
         "", "--dest", help="Parent of the sweep directory (default runs/<case>)."
     ),
+    job: Optional[list[str]] = typer.Option(
+        None, "--job", help="key=value for the [job] of every point (walltime, processes, ...)."
+    ),
     why: str = typer.Option("", "--why"),
     apply: bool = typer.Option(False, "--apply", help="Create the runs."),
     submit: bool = typer.Option(False, "--submit", help="Submit after --apply."),
@@ -401,6 +418,7 @@ def sweep(
     from runops.ops.create import (
         CreateRequest,
         apply_sweep,
+        parse_job,
         parse_sweep_names,
         parse_sweep_sets,
         plan_sweep,
@@ -418,6 +436,7 @@ def sweep(
         limit=limit,
         dest=dest,
         names=parse_sweep_names(names or [], axes),
+        job=parse_job(job or []),
     )
     if as_json and not apply:
         _print_json(
@@ -429,6 +448,7 @@ def sweep(
                     {"ref": p.ref, "label": p.label, "values": p.values} for p in plan.points
                 ],
                 "core_hours": plan.core_hours,
+                "job": plan.job,
             }
         )
         return
@@ -446,6 +466,15 @@ def sweep(
             f"{len(plan.points)} runs -> {project.rel(plan.parent)}/  "
             f"(~{plan.core_hours:.1f} core-hours)"
         )
+        overridden = {k: v for k, v in plan.job.items() if plan.case.job.get(k) != v}
+        if overridden:
+            out.print(
+                "  job vs case: "
+                + ", ".join(
+                    f"{k} {plan.case.job.get(k, '-')} -> {v}" for k, v in overridden.items()
+                ),
+                markup=False,
+            )
     if not apply:
         out.print("preview only; add --apply to create")
         return
@@ -458,7 +487,7 @@ def sweep(
     result = apply_sweep(project, plan, request)
     _warn(result.warnings)
     if not as_json:
-        _print_created(project, result.manifests)
+        _print_created(project, result.manifests, result.changes)
     if submit:
         _submit_each(project, result.manifests, quiet=as_json)
     if as_json:
@@ -563,9 +592,20 @@ def retry(
 
 def _status_table(project: Project, manifests: list[Manifest]) -> Table:
     from runops.ops.listing import relative_age
+    from runops.ops.progress import format_progress
 
     table = Table(
-        "id", "status", "label", "case", "sweep", "created", "elapsed", "note", "why", box=None
+        "id",
+        "status",
+        "label",
+        "case",
+        "sweep",
+        "created",
+        "elapsed",
+        "progress",
+        "note",
+        "why",
+        box=None,
     )
     for m in manifests:
         s = m.to_summary(project.root)
@@ -586,6 +626,8 @@ def _status_table(project: Project, manifests: list[Manifest]) -> Table:
             status += " [dim](scratch)[/]"
         if s["pinned"]:
             status += " [dim](pinned)[/]"
+        if s["superseded_by"]:
+            status += f" [dim](-> {', '.join(s['superseded_by'])})[/]"
         table.add_row(
             s["id"],
             status,
@@ -594,6 +636,7 @@ def _status_table(project: Project, manifests: list[Manifest]) -> Table:
             s["sweep"],
             relative_age(s["created_at"]),
             elapsed,
+            format_progress(s["progress"]),
             s["last_note"][:60],
             s["why"][:60],
         )
@@ -793,7 +836,7 @@ def archive(
     why: str = typer.Option("", "--why", help="Reason, recorded in each run's notes."),
     yes: bool = typer.Option(False, "-y", "--yes"),
 ) -> None:
-    """Move terminal runs to runs/_archive/ (same relative path)."""
+    """Move created or finished runs to runs/_archive/ (same relative path)."""
     from datetime import datetime
 
     from runops.ops.tidy import ArchivePlan, archive_runs, plan_archive

{runops-2.3.1 → runops-2.5.0}/src/runops/harness.py

@@ -14,8 +14,8 @@ COMMANDS = """\
 |---|---|
 | `runo context --json` | where the project stands: active runs, recent runs, LOG.md tail |
 | `runo case list` / `runo case new NAME --simulator SIM [--from CASE]` | list / scaffold cases |
-| `runo new CASE --why TEXT [--set k=v]... [--scratch] [--submit]` | create one run |
-| `runo new --from RUN --why TEXT [--set k=v]... [--continue]` | derive a run from another |
+| `runo new CASE --why TEXT [--set k=v]... [--job k=v]... [--scratch] [--submit]` | create one run |
+| `runo new --from RUN --why TEXT [--set k=v]... [--job k=v]... [--continue]` | derive a run (keeps its params and [job]) |
 | `runo sweep CASE --set k=v1,v2 [--names k=n1,n2] [--apply] [--submit]` | preview / create a parameter product |
 | `runo submit RUN... [--partition P]` / `runo submit --all DIR` | sbatch created runs |
 | `runo sync` / `runo status RUN` / `runo log RUN [--err]` | refresh state from Slurm / show / read logs |
@@ -25,7 +25,7 @@ COMMANDS = """\
 | `runo summarize RUN` | adapter summary into analysis/summary.json |
 | `runo tidy` / `runo tidy --apply` | list / apply cleanup (expired scratch, stale failures, old runs) |
 | `runo mv RUN... [--dest DIR] [--label L] --why TEXT` | rename / move runs, keeping ids and inputs |
-| `runo archive RUN\\|DIR... [--superseded-by RUN\\|DIR --why T]` | move finished runs (or a series) to runs/_archive |
+| `runo archive RUN\\|DIR... [--superseded-by RUN\\|DIR --why T]` | move created or finished runs (or a series) to runs/_archive |
 | `runo restore RUN` / `runo delete RUN` | move back / remove |
 | `runo build SIM` | build a local_source simulator into .runops/build |
 | `runo doctor` / `runo update` | check environment / upgrade simulator packages and skills |"""
@@ -70,9 +70,9 @@ the project found from the current directory.
   sessions, so act on them only when the user names them. If nothing here matches, say so.
 - **Change runs through `runo`.** `runo` writes each run's manifest and `input/`, so
   they stay an exact record of what ran.
-  Express a change as a new run (`runo new --from RUN --set k=v`, `runo sweep`) and
-  rename or regroup with `runo mv`. Variations are runs; a new case is for a different
-  structure of the base input.
+  Express a change as a new run (`runo new --from RUN --set k=v`, `--job walltime=...`
+  for resources, `runo sweep`) and rename or regroup with `runo mv`. Variations are
+  runs; a new case is for a different structure of the base input.
 - **Leave the reason behind.** Give each new run `--why`. When you cancel runs to fix or
   replace them, add `runo cancel --why`, so later sessions and `runo retry` leave them
   stopped. When a new series replaces an old one, ask whether the old one is still
@@ -86,6 +86,10 @@ Notes live in three places, where `runo context` and the next session find them:
 - reusable knowledge (formulas, methods, pitfalls): `notes/<topic>.md`, extending the
   existing file for a topic.
 
+Analysis tools the simulator package does not bring go in `.runops/analysis-env/`
+(`uv venv .runops/analysis-env`), so `.venv` stays as `runo update` manages it. Run heavy
+reading and plotting where the site allows compute jobs.
+
 ## Skills
 
 {skill_lines}

{runops-2.3.1 → runops-2.5.0}/src/runops/manifest.py

@@ -27,7 +27,7 @@ ACTIVE_STATES = frozenset({RunState.SUBMITTED, RunState.RUNNING})
 TERMINAL_STATES = frozenset({RunState.COMPLETED, RunState.FAILED, RunState.CANCELLED})
 
 _TRANSITIONS: dict[RunState, frozenset[RunState]] = {
-    RunState.CREATED: frozenset({RunState.SUBMITTED}),
+    RunState.CREATED: frozenset({RunState.SUBMITTED, RunState.ARCHIVED}),
     RunState.SUBMITTED: frozenset(
         {RunState.RUNNING, RunState.COMPLETED, RunState.FAILED, RunState.CANCELLED}
     ),
@@ -37,10 +37,24 @@ _TRANSITIONS: dict[RunState, frozenset[RunState]] = {
     RunState.COMPLETED: frozenset({RunState.ARCHIVED}),
     RunState.FAILED: frozenset({RunState.CREATED, RunState.ARCHIVED}),
     RunState.CANCELLED: frozenset({RunState.CREATED, RunState.ARCHIVED}),
-    RunState.ARCHIVED: frozenset(TERMINAL_STATES),
+    RunState.ARCHIVED: frozenset({*TERMINAL_STATES, RunState.CREATED}),
 }
 
 
+# Shown with each run so resource differences are visible next to parameter differences.
+_RESOURCE_KEYS = (
+    "partition",
+    "qos",
+    "walltime",
+    "nodes",
+    "ntasks",
+    "cpus_per_task",
+    "processes",
+    "threads",
+    "cores",
+)
+
+
 class Manifest:
     """A run manifest backed by a plain dict so unknown fields survive."""
 
@@ -198,14 +212,24 @@ class Manifest:
             # Enough for an agent to compare runs without another command.
             "params": self.params,
             "changed_keys": list(self.section("variation").get("changed_keys", [])),
+            "job_changed_keys": list(self.section("variation").get("job_changed_keys", [])),
+            "resources": {k: self.job[k] for k in _RESOURCE_KEYS if k in self.job},
             "parent_run": self.parent_run,
             "superseded_by": self.superseded_by,
             "exe_hash": str(self.section("simulator").get("exe_hash", "")),
             "input_hash": str(self.section("identity").get("input_hash", "")),
             # Walltime evidence for the next run: elapsed of the latest attempt.
             **self.timing(),
+            "progress": self.progress,
         }
 
+    @property
+    def progress(self) -> dict[str, Any] | None:
+        """Progress of the latest attempt as `runo sync` last saw it (adapter ``progress()``)."""
+        attempts = self.job.get("attempts") or []
+        value = attempts[-1].get("progress") if attempts else None
+        return dict(value) if isinstance(value, dict) else None
+
     def timing(self) -> dict[str, Any]:
         """Walltime, latest attempt elapsed, the fraction used, and the last Slurm state."""
         walltime = str(self.job.get("walltime", ""))