runops 2.6.0__tar.gz → 2.7.0__tar.gz

{runops-2.6.0 → runops-2.7.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: runops
-Version: 2.6.0
+Version: 2.7.0
 Summary: Run ledger and Slurm job submission for HPC simulation projects
 Project-URL: Homepage, https://github.com/Nkzono99/runops
 Project-URL: Documentation, https://github.com/Nkzono99/runops/blob/main/docs/reference.md

{runops-2.6.0 → runops-2.7.0}/SPEC.md

@@ -475,8 +475,12 @@ adapter が `progress(run_dir)` を持つとき、`sync` は running の run と
   上限 1000 件程度）。queue を離れたときの観測は終了時刻で記録し、終了後の待ち時間を速度に含めない。
 - 要約を `[[job.attempts]].progress` に置く: `done`、`total`、`unit`、`start`、`fraction`、
   `rate_recent_per_hour`（直近 10 分）、`rate_attempt_per_hour`（program 開始から。起点は
-  `start`）、`eta_hours`（running のみ）。program 開始時刻は job.sh が stdout に出す
+  `start`）、`eta_hours`（running のみ）、`last_change_at`（`done` が最後に増えた観測時刻）、
+  `stalled_hours`（最新観測が `last_change_at` から 1 時間以上進んでいないとき、その長さ。
+  終了後の観測には付けない）。program 開始時刻は job.sh が stdout に出す
   `runops: start` 行から取り、`started_at` に入れる。
+- `status` / `list` は `stalled_hours` があれば `stalled 6.7h` と表示する。観測は `sync` のときだけ
+  なので、停止の検出は `sync` の間隔より細かくならない。
 - `status` / `list` は要約だけを読む（file を開かない）。read-only command は観測を足さない。
 - 解析は adapter が行い、runops は保存と表示だけを持つ（§1.2 #4）。
 
@@ -497,7 +501,8 @@ adapter が `progress(run_dir)` を持つとき、`sync` は running の run と
   `--json` は作成した run の同じ summary を返す。summary には `params`、`changed_keys`、
   `parent_run`、`exe_hash`、`input_hash` を含め、run 同士の比較に別 command を要らなくする。
   walltime の根拠として `walltime`、最新 attempt の `elapsed`、`walltime_used`（elapsed / walltime）、
-  `slurm_state`（`TIMEOUT` など）も含める。
+  `slurm_state`（`TIMEOUT` など）も含める。`list` / `status` の `--brief` は summary から
+  `params`、`why`、`last_note` を外す（多数の run を横断して渡すとき用。表では note / why 列を省く）。
 - 破壊的 command（`cancel`、`delete`、`tidy --apply`、`archive`）は対象を表示して
   確認を取る。`-y/--yes` で省略。
 - exit code: 0 成功、1 対象 run の実行時エラー（例: sbatch 失敗）、2 使用方法・設定エラー。
@@ -518,7 +523,7 @@ adapter が `progress(run_dir)` を持つとき、`sync` は running の run と
 | `runo doctor [--json]` | `runops.toml` の妥当性、adapter の import 可否、executable の存在、`sbatch` の有無、skill の鮮度を検査 |
 | `runo update [--skills-only] [-y]` | adapter package を upgrade し、skill を再展開する |
 | `runo build SIM [--force]` | `local_source` simulator を `.runops/build/` に build する（§4.1） |
-| `runo context [--json]` | agent 向け現在地。project 名、simulator、active run 数、直近 run 5 件、scratch 期限切れ数、`LOG.md` 末尾 20 行、現用 group の解析 topic 名（§9.1）。配置した runops skill が install 済みの runops より古ければ `runo update --skills-only` を促す warning |
+| `runo context [--json]` | agent 向け現在地。project 名、simulator、active run 数と全 active run（`--brief` と同じ summary、`active`）、直近 run 5 件、scratch 期限切れ数、`LOG.md` 末尾 20 行、現用 group の解析 topic 名（§9.1）。配置した runops skill が install 済みの runops より古ければ `runo update --skills-only` を促す warning |
 | `runo case new NAME --simulator SIM [--from CASE]` | case をスキャフォールド。adapter の `case_template()` を展開 |
 | `runo case list` | case 一覧 |
 | `runo new CASE [--why TEXT] [--label L] [--set k=v]... [--job k=v]... [--tag T]... [--scratch] [--dest DIR] [--submit] [--created-by WHO] [--json]` | 単発 run を作る |
@@ -528,10 +533,10 @@ adapter が `progress(run_dir)` を持つとき、`sync` は running の run と
 | `runo submit --all [DIR] [-y]` | DIR 配下の `created` run をすべて投入。件数と概算 core-hours を表示して確認 |
 | `runo cancel RUN... [--why TEXT] [-y]` | scancel して sync。`--why` は `cancelled: ...` の note として残す |
 | `runo retry RUN [--submit] [-y]` | `failed`/`cancelled` を `created` に戻す。直近の cancel に `--why` があれば理由を示して確認を取る |
-| `runo status [RUN...] [--json]` | manifest の状態を表示。Slurm を呼ばない |
+| `runo status [RUN...] [--brief] [--json]` | manifest の状態を表示。Slurm を呼ばない。`--brief` は §7.1 |
 | `runo sync [RUN...] [--json]` | squeue/sacct で状態を更新。引数なしは `submitted`/`running` 全件 |
 | `runo log RUN [--err] [-n N] [-f]` | 最新 job の stdout/stderr を表示。`-f` は tail -f |
-| `runo list [PATH] [--all] [--since 30d] [--case C] [--sweep L] [--status S]... [--tag T]... [--scratch] [--archived] [--json]` | run 一覧（§7.4） |
+| `runo list [PATH] [--all] [--since 30d] [--case C] [--sweep L] [--status S]... [--tag T]... [--scratch] [--archived] [--brief] [--json]` | run 一覧（§7.4） |
 | `runo note RUN [TEXT] [--by WHO]` | TEXT があれば `[[notes]]` に追記、なければ notes と `notes.md` を表示 |
 | `runo pin RUN [--off] [--reason TEXT]` | `run.pinned` を切り替える。pinned は `list` に常に出て、`tidy` / `delete` の対象外 |
 | `runo summarize RUN... [--force]` | adapter の `summarize()` を呼び `analysis/summary.json` を書く。既存があれば `--force` なしではスキップ |
@@ -550,7 +555,8 @@ adapter が `progress(run_dir)` を持つとき、`sync` は running の run と
 - 既定で表示しない: scratch run、archived run、上記以外の古い terminal run。
 - `--all` は scratch と archived 以外をすべて表示。`--scratch`、`--archived` は
   それぞれを **追加** する。
-- 表示列: id、status、label、case、sweep、created（相対時刻）、最新 note の先頭 60 文字、`why`。
+- 表示列: id、status、label、case、sweep、created（相対時刻）、elapsed、progress、最新 note の先頭 60 文字、`why`。
+  `--brief` は note と `why` の列を省く。
 - sort は `created_at` 降順。
 - `PATH` を与えた場合はその directory 配下に限定する。
 
@@ -1038,5 +1044,6 @@ v2 の文書は次の 4 ファイルだけにする。
 | 生成ハーネスの書き方（2026-10-21） | AGENTS.md の Rules を「作業の進め方」5 項目に絞り、各項目を「何をするか」と短い理由で書く。skill は手順に専念し、AGENTS.md の方針（manifest を手で編集しない等）を繰り返さない | #112・#113 で規則が増え、禁止形（never / do not）が並んでいた。現行の Claude の prompting 指針は、しないことより何をするかを、理由と共に書くことを勧め、強い禁止語は過剰反応を招くとしている |
 | 複数 run の mv / archive（2026-10-22） | 1 回の `run.lock` の下で全対象を読み直して検査し、通ってから移す。途中の filesystem error では移し終えた run id を示して止まる | `mv A B C --dest X` は 1 件ずつ検査して移していたので、途中の submitted run で一部だけ移動していた。archive は表示の後で lock を取り直していて、その間に再投入された run で同じことが起き得た |
 | 進捗と系列配置 2.5.0（2026-10-23） | adapter に任意の `progress()`、`sync` が時刻付き観測を保存し速度・残り時間を要約（§6.4）。`new --from` の既定置き場所を元 run と同じ directory に。agent context の `docs/` も展開 | 速度比較のために agent が時刻付き batch 観測を手で保存し、再開点や終了後の待ちを毎回補正していた（4 回）。継続世代が case 直下に並び、同じ計算の系列を見分けにくかった。skill が package の `docs/` を参照していたが展開されていなかった。進捗の解析は simulator 固有なので adapter が持ち、runops は保存と表示だけにする |
+| 横断の状態確認 2.7.0（2026-10-30） | `list` / `status` に `--brief`、`context` に全 active run の `active`、progress 要約に `last_change_at` と `stalled_hours`（§6.4、§7.1、§7.3） | hub で 4 project の active run を集めるのに `recent_runs` 5 件では足りず、全 `params` 付きの `list --json` は shell 引数長を超えた（3 回）。進捗が 6 時間止まった run を 49% と報告した。新しい command は足さず、既存の summary を小さくし、観測から止まりを出す |
 | FEEDBACK 棚卸し 2.4.0（2026-10-23） | `--job k=v` と `new --from` の `[job]` 継承、created の archive / restore、archived scratch を期限削除しない、展開 skill の references 参照の書き換えと `doctor` のリンク検査、adapter warning への版の併記、生成 AGENTS.md に解析環境の置き場所 | hub の FEEDBACK で、資源変更のための case 編集（3 回）、置換済み draft を archive できず helper で迂回（2 回）、保管目的の archive が期限削除される、skill から reference に辿れない、新版の正規キーが誤記に見える、解析依存の置き場所が project ごとに違う、が記録された。いずれも既存 command の拡張で、command 数は増やさない |
 | 使い方ガイド | `docs/guide.md` を追加し、文書を 4 ファイルにする（§13.3） | README の依頼例の表と command 一覧の間を埋める、場面ごとの流れ（case と run の分け方、smoke から本計算、状態の決まり方、整理）の置き場所が無かった |

{runops-2.6.0 → runops-2.7.0}/docs/guide.md

@@ -134,7 +134,10 @@ walltime は、同じ case・同じ資源で終わった run の実時間を元
 adapter が進捗に対応していれば（BEACH の batch、MPIEMSES3D の step）、`sync` のたびに時刻付きの
 観測を残し、`runo list` / `status` に `62% 0.198 s/batch eta 3.1h` のように進み具合、直近 10 分の
 速度、残り時間を出します。resume した run は再開点から数え、終わった run は終了時刻までで速度を出すので、
-版を切り替えた前後の比較にそのまま使えます（`--json` の `progress`）。
+版を切り替えた前後の比較にそのまま使えます（`--json` の `progress`）。`sync` を重ねても進みが 1 時間以上
+変わらない run には `stalled 6.7h` が付くので、Slurm では RUNNING でも止まっている run を見分けられます。
+全 project を横断して見るときは `runo context --json` の `active`（全 active run）か `runo list --brief --json`
+（`params` や note を省いた小さい JSON）を使います。
 
 ### 状態の決まり方
 

{runops-2.6.0 → runops-2.7.0}/docs/reference.md

@@ -141,7 +141,8 @@ run id は削除後も再利用しません。`--dest` に既存 run の中は
 `list --json` と `status --json` は、walltime の根拠として `walltime`、最新 attempt の `elapsed`、
 `walltime_used`（elapsed / walltime）、`slurm_state` も返します。adapter が `progress()` を持てば
 `progress`（`done`、`total`、`unit`、`fraction`、`rate_recent_per_hour`、`rate_attempt_per_hour`、
-`eta_hours`）も返し、表の `progress` 列に `62% 0.198 s/batch eta 3.1h` と出します。表では `TIMEOUT` などを
+`eta_hours`、`last_change_at`、`stalled_hours`）も返し、表の `progress` 列に `62% 0.198 s/batch eta 3.1h` と出します。
+`sync` の観測で `done` が 1 時間以上増えていなければ `stalled 6.7h` が付きます（観測は `sync` のときだけ）。表では `TIMEOUT` などを
 `failed (TIMEOUT)` と示します。
 
 全 command は `--help` で option を確認できます。`RUN` には run id、run directory、
@@ -153,15 +154,15 @@ run id は削除後も再利用しません。`--dest` に既存 run の中は
 | `runo doctor [--json]` | 設定、adapter の解決経路、executable、sbatch、skill の鮮度とリンク切れを点検 |
 | `runo update [--skills-only] [-y]` | simulator package を更新し skill と AGENTS.md の管理 block を再生成 |
 | `runo build SIM [--force]` | `local_source` の simulator を build |
-| `runo context [--json]` | agent 向けの現在地と現用 group の解析 topic 名（JSON の `group_analysis` は group path → topic 名一覧） |
+| `runo context [--json]` | agent 向けの現在地。全 active run（`active`、`--brief` と同じ形）、直近 5 run、現用 group の解析 topic 名（JSON の `group_analysis` は group path → topic 名一覧） |
 | `runo case new NAME [-s SIM] [--from CASE]` / `runo case list` | case の作成と一覧 |
 | `runo new CASE [--why] [--label] [--set k=v]... [--job k=v]... [--tag] [--scratch] [--dest DIR] [--submit] [--json]` | run を 1 つ作る。`--job` はこの run の `[job]` の値 |
 | `runo new --from RUN [--set k=v]... [--job k=v]... [--job-from-case] [--continue]` | 既存 run の params と `[job]` から派生（`--job-from-case` で `[job]` は case から）。置き場所の既定は元 run と同じ directory。`--continue` は adapter の restart 対応が必要 |
 | `runo sweep CASE --set k=v1,v2 ... [--names k=n1,n2...] [--job k=v]... [--label] [--dest DIR] [--limit N] [--apply] [--submit] [--json]` | 直積の候補表示。`--apply` で作成。`--names` は各値の短い label、`--dest` は sweep directory の親 |
 | `runo submit RUN... [-p P] [--qos Q] [--afterok JOB]` / `runo submit --all [DIR] [-y]` | job.sh を生成して sbatch |
 | `runo cancel RUN... [--why TEXT] [-y]` / `runo retry RUN [--submit] [-y]` | scancel（`--why` は note に残る）/ failed・cancelled を created に戻す（理由付きで cancel された run は確認を取る） |
-| `runo status [RUN...]` / `runo sync [RUN...]` / `runo log RUN [--err] [-n N] [-f]` | 状態表示 / Slurm から更新 / log 表示 |
-| `runo list [PATH] [--all] [--since 30d] [--case] [--sweep] [--status] [--tag] [--scratch] [--archived] [--json]` | run 一覧 |
+| `runo status [RUN...] [--brief]` / `runo sync [RUN...]` / `runo log RUN [--err] [-n N] [-f]` | 状態表示 / Slurm から更新 / log 表示 |
+| `runo list [PATH] [--all] [--since 30d] [--case] [--sweep] [--status] [--tag] [--scratch] [--archived] [--brief] [--json]` | run 一覧。`--brief` は `params`、`why`、note を省く（表では note / why 列） |
 | `runo note RUN [TEXT]` / `runo pin RUN [--off] [--reason]` | ノート追記・表示 / pin |
 | `runo summarize RUN... [--force]` | adapter の要約を `analysis/summary.json` に書く |
 | `runo mv RUN... [--dest DIR] [--label L] [--why TEXT]` | `runs/` 配下で改名・移動。id、入力、sweep、ノートは保つ。submitted / running と archived は不可。全対象を検査してから移し、1 件でも不可なら何も動かさない |

{runops-2.6.0 → runops-2.7.0}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "runops"
-version = "2.6.0"
+version = "2.7.0"
 description = "Run ledger and Slurm job submission for HPC simulation projects"
 readme = "README.md"
 license = "Apache-2.0"

{runops-2.6.0 → runops-2.7.0}/src/runops/__init__.py

@@ -1,3 +1,3 @@
 """runops: run ledger and Slurm job submission for HPC simulation projects."""
 
-__version__ = "2.6.0"
+__version__ = "2.7.0"

{runops-2.6.0 → runops-2.7.0}/src/runops/cli.py

@@ -257,6 +257,16 @@ def context(as_json: bool = typer.Option(False, "--json")) -> None:
         f"runs: {counts or 'none'}; active: {data['active_runs']}; "
         f"expired scratch: {data['expired_scratch']}"
     )
+    if data["active"]:
+        from runops.ops.progress import format_progress
+
+        out.print("active:")
+        for run in data["active"]:
+            out.print(
+                f"  {run['id']} {run['status']:9} {run['case']} {run['label']}  "
+                f"{format_progress(run['progress'])}"
+            )
+    out.print("recent:")
     for run in data["recent_runs"]:
         out.print(
             f"  {run['id']} {run['status']:9} {run['case']} {run['label']}  {run['why'][:60]}"
@@ -592,23 +602,14 @@ def retry(
         _submit_each(project, [m])
 
 
-def _status_table(project: Project, manifests: list[Manifest]) -> Table:
+def _status_table(project: Project, manifests: list[Manifest], *, brief: bool = False) -> Table:
     from runops.ops.listing import relative_age
     from runops.ops.progress import format_progress
 
-    table = Table(
-        "id",
-        "status",
-        "label",
-        "case",
-        "sweep",
-        "created",
-        "elapsed",
-        "progress",
-        "note",
-        "why",
-        box=None,
-    )
+    columns = ["id", "status", "label", "case", "sweep", "created", "elapsed", "progress"]
+    if not brief:
+        columns += ["note", "why"]
+    table = Table(*columns, box=None)
     for m in manifests:
         s = m.to_summary(project.root)
         color = {
@@ -630,7 +631,7 @@ def _status_table(project: Project, manifests: list[Manifest]) -> Table:
             status += " [dim](pinned)[/]"
         if s["superseded_by"]:
             status += f" [dim](-> {', '.join(s['superseded_by'])})[/]"
-        table.add_row(
+        row = [
             s["id"],
             status,
             s["label"],
@@ -639,15 +640,19 @@ def _status_table(project: Project, manifests: list[Manifest]) -> Table:
             relative_age(s["created_at"]),
             elapsed,
             format_progress(s["progress"]),
-            s["last_note"][:60],
-            s["why"][:60],
-        )
+        ]
+        if not brief:
+            row += [s["last_note"][:60], s["why"][:60]]
+        table.add_row(*row)
     return table
 
 
 @app.command()
 def status(
     runs: Optional[list[str]] = typer.Argument(None),
+    brief: bool = typer.Option(
+        False, "--brief", help="Leave out params, why, notes and the note/why columns."
+    ),
     as_json: bool = typer.Option(False, "--json"),
 ) -> None:
     """Show manifest state (no Slurm query). Without RUN: active runs."""
@@ -662,18 +667,19 @@ def status(
     if as_json:
         data = []
         for m in targets:
-            s = m.to_summary(project.root)
-            s.update(
-                {
-                    "params": m.params,
-                    "job": {k: v for k, v in m.job.items() if k != "attempts"},
-                    "notes": m.notes,
-                }
-            )
+            s = m.to_summary(project.root, brief=brief)
+            if not brief:
+                s.update(
+                    {
+                        "params": m.params,
+                        "job": {k: v for k, v in m.job.items() if k != "attempts"},
+                        "notes": m.notes,
+                    }
+                )
             data.append(s)
         _print_json(data)
         return
-    out.print(_status_table(project, targets))
+    out.print(_status_table(project, targets, brief=brief))
 
 
 @app.command("sync")
@@ -730,6 +736,9 @@ def list_cmd(
     tags: Optional[list[str]] = typer.Option(None, "--tag"),
     scratch: bool = typer.Option(False, "--scratch", help="Also show scratch runs."),
     archived: bool = typer.Option(False, "--archived", help="Also show archived runs."),
+    brief: bool = typer.Option(
+        False, "--brief", help="Leave out params, why and notes (small JSON, short table)."
+    ),
     as_json: bool = typer.Option(False, "--json"),
 ) -> None:
     """List active and recent runs."""
@@ -752,12 +761,12 @@ def list_cmd(
     )
     runs = select_runs(project, flt)
     if as_json:
-        _print_json([m.to_summary(project.root) for m in runs])
+        _print_json([m.to_summary(project.root, brief=brief) for m in runs])
         return
     if not runs:
         out.print("no runs (try --all, --scratch, --archived)")
         return
-    out.print(_status_table(project, runs))
+    out.print(_status_table(project, runs, brief=brief))
 
 
 @app.command()

{runops-2.6.0 → runops-2.7.0}/src/runops/harness.py

@@ -12,14 +12,14 @@ END = "<!-- runops:end -->"
 COMMANDS = """\
 | command | effect |
 |---|---|
-| `runo context --json` | active runs, recent runs, group analysis topics, LOG.md tail |
+| `runo context --json` | all active runs (with progress), recent runs, group analysis topics, LOG.md tail |
 | `runo case list` / `runo case new NAME --simulator SIM [--from CASE]` | list / scaffold cases |
 | `runo new CASE --why TEXT [--set k=v]... [--job k=v]... [--scratch] [--submit]` | create one run |
 | `runo new --from RUN --why TEXT [--set k=v]... [--job k=v]... [--continue]` | derive a run (keeps its params and [job]) |
 | `runo sweep CASE --set k=v1,v2 [--names k=n1,n2] [--apply] [--submit]` | preview / create a parameter product |
 | `runo submit RUN... [--partition P]` / `runo submit --all DIR` | sbatch created runs |
 | `runo sync` / `runo status RUN` / `runo log RUN [--err]` | refresh state from Slurm / show / read logs |
-| `runo list [--all] [--case C] [--status S] [--json]` | recent + active runs (old, scratch, archived hidden) |
+| `runo list [--all] [--case C] [--status S] [--brief] [--json]` | recent + active runs (old, scratch, archived hidden); `--brief` drops params/why/notes |
 | `runo cancel RUN [--why T]` / `runo retry RUN` | stop a job / reset failed or cancelled to created |
 | `runo note RUN "text"` / `runo pin RUN --reason TEXT` | append an observation / protect a key run |
 | `runo summarize RUN` | adapter summary into analysis/summary.json |

{runops-2.6.0 → runops-2.7.0}/src/runops/manifest.py

@@ -188,14 +188,18 @@ class Manifest:
         notes = self.data.setdefault("notes", [])
         notes.append({"at": now_iso(), "by": by, "text": text})
 
-    def to_summary(self, root: Path) -> dict[str, Any]:
-        """Flat dict for ``list --json`` / ``status --json``."""
+    def to_summary(self, root: Path, *, brief: bool = False) -> dict[str, Any]:
+        """Flat dict for ``list --json`` / ``status --json``.
+
+        *brief* leaves out ``params``, ``why`` and ``last_note``, so a listing of many
+        runs stays small enough to pass around (e.g. a cross-project status table).
+        """
         notes = self.notes
         try:
             rel = self.run_dir.resolve().relative_to(root.resolve()).as_posix()
         except ValueError:
             rel = str(self.run_dir)
-        return {
+        summary = {
             "id": self.id,
             "status": self.status.value,
             "label": self.label,
@@ -222,6 +226,10 @@ class Manifest:
             **self.timing(),
             "progress": self.progress,
         }
+        if brief:
+            for key in ("params", "why", "last_note"):
+                del summary[key]
+        return summary
 
     @property
     def progress(self) -> dict[str, Any] | None:

{runops-2.6.0 → runops-2.7.0}/src/runops/ops/notes.py

@@ -64,11 +64,9 @@ def project_context(project: Project, *, log_lines: int = 20) -> dict[str, Any]:
             expires = parse_iso(str(m.run.get("expires_at", "")))
             if expires is not None and expires <= now:
                 expired += 1
-    recent = sorted(
-        (m for m in runs if m.status != RunState.ARCHIVED),
-        key=lambda m: m.created_at,
-        reverse=True,
-    )[:5]
+    by_created = sorted(runs, key=lambda m: m.created_at, reverse=True)
+    recent = [m for m in by_created if m.status != RunState.ARCHIVED][:5]
+    active = [m for m in by_created if m.status in ACTIVE_STATES]
     log_path = project.root / "LOG.md"
     log_tail = ""
     if log_path.is_file():
@@ -88,7 +86,9 @@ def project_context(project: Project, *, log_lines: int = 20) -> dict[str, Any]:
             for name, sim in project.config.simulators.items()
         },
         "status_counts": counts,
-        "active_runs": sum(1 for m in runs if m.status in ACTIVE_STATES),
+        "active_runs": len(active),
+        # Every submitted / running run, briefly (no params), so one call shows them all.
+        "active": [m.to_summary(project.root, brief=True) for m in active],
         "expired_scratch": expired,
         "recent_runs": [m.to_summary(project.root) for m in recent],
         "notes_files": note_files,

{runops-2.6.0 → runops-2.7.0}/src/runops/ops/progress.py

@@ -12,6 +12,7 @@ from __future__ import annotations
 
 import json
 from datetime import datetime, timedelta
+from itertools import pairwise
 from pathlib import Path
 from typing import Any
 
@@ -24,6 +25,7 @@ from runops.util import parse_iso
 
 SAMPLES_KEPT = 1000  # per attempt; older samples are dropped when the file doubles
 RECENT_WINDOW = timedelta(minutes=10)
+STALL_WINDOW = timedelta(hours=1)  # no change across this much observed time -> stalled
 _START_MARK = "runops: start "
 
 
@@ -106,11 +108,23 @@ def summarize(
     reference = earlier[-1] if earlier else (points[0] if len(points) > 1 else origin)
     rate_attempt = _rate(origin, points[-1])
     rate_recent = _rate(reference, points[-1]) or rate_attempt
+    # When done last moved: the first sample, then every sample that exceeds the one before.
+    last_change_at = points[0][0]
+    for (_, prev_done), (at, now_done) in pairwise(points):
+        if now_done > prev_done:
+            last_change_at = at
+    stalled = last_at - last_change_at
     summary: dict[str, Any] = {
         "done": raw_done,
         "total": total,
         "unit": unit,
         "at": last_at.isoformat(timespec="seconds"),
+        "last_change_at": last_change_at.isoformat(timespec="seconds"),
+        "stalled_hours": (
+            round(stalled.total_seconds() / 3600, 1)
+            if not final and stalled >= STALL_WINDOW
+            else None
+        ),
         "fraction": round(done / total, 4) if total else None,
         "rate_recent_per_hour": _round(rate_recent),
         "rate_attempt_per_hour": _round(rate_attempt),
@@ -157,6 +171,8 @@ def format_progress(progress: dict[str, Any] | None) -> str:
         parts.append(f"{3600 / rate:.3g} s/{progress['unit']}")
     if progress.get("eta_hours") is not None:
         parts.append(f"eta {progress['eta_hours']:.1f}h")
+    if progress.get("stalled_hours") is not None:
+        parts.append(f"stalled {progress['stalled_hours']:.1f}h")
     return " ".join(parts)
 
 

{runops-2.6.0 → runops-2.7.0}/src/runops/skills/runops-check-status/SKILL.md

@@ -12,6 +12,10 @@ description: Check the progress or result of runops runs (sync, list, log, retry
 3. `runo status RUN` shows one run, with progress, recent speed and time left when the
    adapter reports progress (`--json` → `progress`; counted from the resume point, ending
    at the finish). Use it for speed comparisons instead of timing logs by hand.
+   `stalled 6.7h` means the progress has not moved across the last syncs for that long
+   while Slurm still says RUNNING: check `runo log RUN` and the output mtimes before
+   deciding to cancel. For all active runs at once use `runo context --json` (`active`)
+   or `runo list --status running --status submitted --brief --json`.
    `runo log RUN` and `runo log RUN --err` show the
    tail of the latest job's stdout / stderr (`-n 200` for more, `-f` to follow).
 4. For a failed run, read the stderr log and the adapter summary

{runops-2.6.0 → runops-2.7.0}/src/runops/skills/runops-reference/SKILL.md

@@ -11,7 +11,7 @@ description: Full runops (runo) command reference, project layout and manifest f
 | `runo doctor [--json]` | check config, adapters, executables, sbatch, skill freshness |
 | `runo update [--skills-only] [-y]` | upgrade simulator packages and redeploy skills / AGENTS.md block |
 | `runo build SIM [--force]` | build a local_source simulator into .runops/build/<sim>-<commit>-<hash> |
-| `runo context [--json]` | project summary and group analysis topics for agents |
+| `runo context [--json]` | project summary: all active runs with progress, recent runs, group analysis topics |
 | `runo case new NAME [--simulator SIM] [--from CASE]` / `runo case list` | scaffold / list cases |
 | `runo new CASE [--why] [--label] [--set k=v]... [--job k=v]... [--tag] [--scratch] [--dest DIR] [--submit] [--json]` | create a run; `--job` sets this run's `[job]` values |
 | `runo new --from RUN [--why] [--set k=v]... [--job k=v]... [--job-from-case] [--continue] [--submit]` | derive a run with the source's params and `[job]` |
@@ -20,10 +20,10 @@ description: Full runops (runo) command reference, project layout and manifest f
 | `runo submit --all [DIR] [-y]` | sbatch every created run under DIR |
 | `runo cancel RUN... [--why TEXT] [-y]` | scancel; `--why` is noted and `retry` asks before reviving |
 | `runo retry RUN [--submit] [-y]` | failed/cancelled -> created |
-| `runo status [RUN...] [--json]` | show manifest state (no Slurm call) |
+| `runo status [RUN...] [--brief] [--json]` | show manifest state (no Slurm call) |
 | `runo sync [RUN...] [--json]` | update state from Slurm |
 | `runo log RUN [--err] [-n N] [-f]` | latest job stdout/stderr |
-| `runo list [PATH] [--all] [--since 30d] [--case C] [--sweep L] [--status S] [--tag T] [--scratch] [--archived] [--json]` | runs |
+| `runo list [PATH] [--all] [--since 30d] [--case C] [--sweep L] [--status S] [--tag T] [--scratch] [--archived] [--brief] [--json]` | runs (`--brief`: no params/why/notes) |
 | `runo note RUN [TEXT] [--by WHO]` | append / show notes |
 | `runo pin RUN [--off] [--reason TEXT]` | keep a run visible and safe from tidy/delete |
 | `runo summarize RUN... [--force]` | analysis/summary.json from the adapter |

{runops-2.6.0 → runops-2.7.0}/tests/test_progress.py

@@ -118,3 +118,53 @@ def test_runs_without_progress_hook_are_unchanged(project_dir: Path, cli, fake_s
     m = Project.open(project_dir).resolve_run(run_id)
     assert "progress" not in m.job["attempts"][-1]
     assert not list((m.run_dir / "submit").glob("progress.*"))
+
+
+def test_summarize_flags_a_run_whose_progress_stopped_moving() -> None:
+    samples = [
+        {"at": _at(0), "done": 100},
+        {"at": _at(30), "done": 200},
+        {"at": _at(60), "done": 200},
+        {"at": _at(120), "done": 200},  # 90 min without a change
+    ]
+    out = summarize(samples, total=1000, unit="batch", start=0, started_at=None)
+    assert out["last_change_at"] == _at(30)
+    assert out["stalled_hours"] == 1.5
+    assert format_progress(out).endswith("stalled 1.5h")
+
+    moving = summarize(samples[:3], total=1000, unit="batch", start=0, started_at=None)
+    assert "stalled_hours" not in moving  # 30 min without a change is not yet a stall
+    final = summarize(samples, total=1000, unit="batch", start=0, started_at=None, final=True)
+    assert "stalled_hours" not in final  # a finished run is not stalled
+
+
+def test_brief_listing_and_context_active(project_dir: Path, cli, fake_slurm) -> None:  # type: ignore[no-untyped-def]
+    _project_with_progress(project_dir)
+    (run_id,) = cli("new", "prog", "--submit", "--why", "p").run_ids()
+    cli("new", "demo", "--why", "a draft")
+    job = fake_slurm.last_job
+    m = Project.open(project_dir).resolve_run(run_id)
+    (m.run_dir / "work/progress.txt").write_text("2500 10000 0\n")
+    fake_slurm.states[job] = "RUNNING"
+    assert cli("sync").code == 0
+
+    full = json.loads(cli("list", "--json").out)
+    brief = json.loads(cli("list", "--brief", "--json").out)
+    assert {r["id"] for r in full} == {r["id"] for r in brief}
+    assert "params" in full[0] and "why" in full[0]
+    assert not {"params", "why", "last_note"} & set(brief[0])
+    assert brief[0]["progress"] is None or "done" in brief[0]["progress"]
+    table = cli("list", "--brief").out
+    assert "why" not in table.splitlines()[0] and run_id in table
+
+    status = json.loads(cli("status", "--brief", "--json").out)
+    assert [s["id"] for s in status] == [run_id] and "notes" not in status[0]
+
+    data = json.loads(cli("context", "--json").out)
+    assert data["active_runs"] == 1
+    assert [r["id"] for r in data["active"]] == [run_id]
+    assert "params" not in data["active"][0]
+    assert data["active"][0]["progress"]["done"] == 2500
+    assert len(data["recent_runs"]) == 2
+    text = cli("context").out
+    assert "active:" in text and "25%" in text

{runops-2.6.0 → runops-2.7.0}/uv.lock

@@ -525,7 +525,7 @@ wheels = [
 
 [[package]]
 name = "runops"
-version = "2.6.0"
+version = "2.7.0"
 source = { editable = "." }
 dependencies = [
     { name = "jinja2" },