@cocorograph/hub-agent 0.7.75 → 0.7.77

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@cocorograph/hub-agent",
-  "version": "0.7.75",
+  "version": "0.7.77",
   "description": "Hub Hosted Cockpit のローカル常駐 agent。Hub と outbound WSS で接続し、ローカルの tmux/pty を中継する。",
   "type": "module",
   "license": "UNLICENSED",

package/src/claude-history.mjs

@@ -73,6 +73,68 @@ export function clearHydrateCacheForTest() {
   hydrateCache.clear()
 }
 
+/**
+ * listSessions の並び順キー last_turn_at_ms を **cwd(dir) 単位** でキャッシュする。
+ *
+ * 背景 (finding 3): listSessions は Cockpit の閲覧ハートビート経路 (main.mjs) からも
+ * limit:1 で周期的に呼ばれる。毎回 cwd 配下の全 jsonl を stat→open→末尾 read すると、
+ * セッション数 N に比例した定期 I/O (最悪 64KB×N) が閲覧者ごとに走る。ほとんどのファイルは
+ * 会話が進んでいない (mtime/size 不変) ので、キャッシュヒット時はディスク読みを丸ごと省く。
+ *
+ * ⚠️ round2 finding: 単一グローバル LRU (上限 N 件) だと、1 dir のファイル数がその上限を
+ * 超えたとき「毎回同じ順で全件走査 → 先頭 miss が末尾側の既存エントリを順次追い出す」
+ * スキャン汚染で結局ほぼ全 miss になる (実環境に 1 dir 1996 件の履歴あり)。これを避けるため
+ * キャッシュを **dir → (filePath→{mtimeMs,size,lastTurnAtMs}) の 2 段**にし、LRU 退避は
+ * **dir 単位**でのみ行う。1 dir 内の全ファイルは同時に保持されるので、ファイル総数が
+ * どれだけ多くても 1 回の走査でキャッシュが自壊しない。dir 数を上限 (同時に見る cwd 数) で
+ * 縛るのでメモリも有界。dir 内は毎回の走査で「今存在するファイル」に prune する。
+ */
+const LAST_TURN_DIR_CACHE_MAX = 64 // 同時にキャッシュを保持する cwd(dir) 数の上限
+const lastTurnDirCache = new Map() // dir -> Map<filePath, {mtimeMs, size, lastTurnAtMs}>
+
+// テスト用: extractLastTurnAtMs の実 I/O 呼び出し回数 (キャッシュ有効性の回帰テスト用)。
+let extractCallCountForTest = 0
+export function getExtractCallCountForTest() {
+  return extractCallCountForTest
+}
+export function resetExtractCallCountForTest() {
+  extractCallCountForTest = 0
+}
+
+function getLastTurnDirMap(dir) {
+  let fileMap = lastTurnDirCache.get(dir)
+  if (fileMap) {
+    // LRU touch (再挿入で挿入順を更新)。
+    lastTurnDirCache.delete(dir)
+    lastTurnDirCache.set(dir, fileMap)
+    return fileMap
+  }
+  fileMap = new Map()
+  lastTurnDirCache.set(dir, fileMap)
+  while (lastTurnDirCache.size > LAST_TURN_DIR_CACHE_MAX) {
+    const oldest = lastTurnDirCache.keys().next().value
+    lastTurnDirCache.delete(oldest)
+  }
+  return fileMap
+}
+
+async function getLastTurnAtMsCached(fileMap, filePath, mtimeMs, size) {
+  const entry = fileMap.get(filePath)
+  if (entry && entry.mtimeMs === mtimeMs && entry.size === size) return entry.lastTurnAtMs
+  // extract に fallback を渡さず null を受ける。巨大最終行 (>4MB) 等で抽出不能のとき、
+  // mtime へ飛ばして再浮上させるのではなく **前回の last_turn_at_ms を維持** する (sticky。
+  // round2 minor 対応)。前回値も無ければ最後の手段として mtime。
+  const extracted = await extractLastTurnAtMs(filePath, null)
+  const lastTurnAtMs = extracted ?? entry?.lastTurnAtMs ?? mtimeMs
+  fileMap.set(filePath, { mtimeMs, size, lastTurnAtMs })
+  return lastTurnAtMs
+}
+
+/** テスト用: last_turn_at_ms キャッシュを全消去する。 */
+export function clearLastTurnCacheForTest() {
+  lastTurnDirCache.clear()
+}
+
 /**
  * jsonl の生 object を、Browser が SDK message として受け取れる表示用 shape に正規化する。
  * 余分な内部メタは落とし、表示・集計に必要なフィールドだけを superset で拾う。
@@ -318,6 +380,124 @@ async function extractPreview(filePath) {
   return ""
 }
 
+/**
+ * jsonl ファイルの「最後の会話ターン境界の時刻」(= 末尾メッセージに埋め込まれた timestamp) を
+ * ms epoch で返す。無ければ null。
+ *
+ * 背景 (症状⑨=実害): サイドバーの並び順はファイル mtime 降順だった (listSessions)。だが
+ * mtime は「会話への書き込み」以外の操作 (resume 時の jsonl 書き戻し・compact/summary の
+ * 全書き換え・ツールによる touch 等) でも bump するため、古いセッションを開いただけで最上位に
+ * 浮上する等の並び順ズレを起こす。会話の各行には ISO8601 の `timestamp` が埋め込まれており、
+ * これは resume 書き戻しでも歴史値として保存される (= 実際のターン発生時刻)。末尾行の
+ * timestamp を採れば「最後にターンが動いた時刻」で安定して並べられる。
+ *
+ * 末尾だけを読むため、ファイルサイズに関係なく最後の数十 KB だけを fd で読む
+ * (Claude jsonl は append-then-close なので末尾行は必ず完結している)。
+ *
+ * ⚠️ 2 つの落とし穴を回避している:
+ *  1. **巨大な最終行** (tool_result / 画像 base64 埋め込み等で 1 メッセージが 64KB 超も普通)。
+ *     固定窓だと最終行が窓境界で切れて JSON.parse できず取りこぼす。→ user/assistant の
+ *     message 行を拾えるまで窓を倍々に読み広げる (上限 MAX_READ)。
+ *  2. **非ターン行の timestamp** (message 後の `attachment` / `system` の stop_hook_summary /
+ *     turn_duration 等にも timestamp があり、会話ターン境界でない操作で時刻が進む)。
+ *     → 採用対象を `type in {user, assistant}` かつ `message` を持つ行に限定する。
+ *
+ * @param {string} filePath
+ * @param {number} fallbackMtimeMs stat 済みなら渡す (末尾に会話 message が無い時の保険)
+ * @returns {Promise<number|null>}
+ */
+const LAST_TURN_TAIL_CHUNK = 65536
+const LAST_TURN_MAX_READ = 4 * 1024 * 1024 // 4MB を超えて遡っても割に合わない → fallback
+
+/** テキスト中の「最後の user/assistant message 行」の timestamp(ms) を返す。無ければ null。 */
+function lastTurnTsFromText(text) {
+  const lines = text.split("\n")
+  for (let i = lines.length - 1; i >= 0; i--) {
+    const line = lines[i]
+    if (!line) continue
+    let obj
+    try {
+      obj = JSON.parse(line)
+    } catch {
+      continue
+    }
+    // 会話ターン境界 = user/assistant の message 行のみ (finding 2)。
+    if ((obj?.type === "user" || obj?.type === "assistant") && obj.message) {
+      const ts = obj.timestamp
+      if (typeof ts === "string") {
+        const ms = Date.parse(ts)
+        if (!Number.isNaN(ms)) return ms
+      }
+    }
+  }
+  return null
+}
+
+/**
+ * 巨大行 (読み込み上限 4MB を超え、完全な行として parse できない) で正規 parse が空振り
+ * したときの最終手段: tail テキストから最後の `"timestamp":"<ISO>"` を正規表現で拾う
+ * (round2 minor / round3 対応)。
+ *
+ * Claude jsonl の各行はトップレベルに `"timestamp"` を持ち、これは message 本文の**後ろ**に
+ * 来る (= 行末側)。よって「最後の一致」を採ればトップレベルの timestamp をほぼ確実に拾える
+ * (message 本文内に稀に "timestamp" があっても、それより後ろのトップレベル側が勝つ)。
+ * 完全 parse で type を検証できない degraded path 専用。mtime 再浮上 (症状⑨) を避けるための
+ * 保守的 fallback として、この不確実性を許容する。
+ */
+const TIMESTAMP_FIELD_RE = /"timestamp":"([^"]+)"/g
+function regexLastTimestampMs(text) {
+  let m
+  let last = null
+  TIMESTAMP_FIELD_RE.lastIndex = 0
+  while ((m = TIMESTAMP_FIELD_RE.exec(text)) !== null) last = m[1]
+  if (last == null) return null
+  const ms = Date.parse(last)
+  return Number.isNaN(ms) ? null : ms
+}
+
+async function extractLastTurnAtMs(filePath, fallbackMtimeMs = null) {
+  extractCallCountForTest++
+  let handle
+  try {
+    handle = await open(filePath, "r")
+    const st = await handle.stat()
+    if (st.size <= 0) return fallbackMtimeMs
+    let readLen = Math.min(LAST_TURN_TAIL_CHUNK, st.size)
+    let hugeLineText = null // 上限まで読んでも完全行を parse できなかった巨大行の raw tail
+    for (;;) {
+      const start = st.size - readLen
+      const buf = Buffer.allocUnsafe(readLen)
+      const { bytesRead } = await handle.read(buf, 0, readLen, start)
+      const text = buf.toString("utf-8", 0, bytesRead)
+      // 窓の先頭が partial の可能性: start>0 なら最初の改行より前 (途中から始まる行) を捨て、
+      // 完全な行だけを対象にする。改行が無い (= 1 行が窓より大きい) 場合は下で窓拡張。
+      const nl = text.indexOf("\n")
+      const usable = start > 0 ? (nl >= 0 ? text.slice(nl + 1) : "") : text
+      const ms = lastTurnTsFromText(usable)
+      if (ms != null) return ms
+      // 見つからず、まだファイル先頭に届いておらず上限内なら窓を倍にして読み足す
+      // (巨大な最終行を完全に取り込むまで遡る。finding 1)。
+      if (start <= 0 || readLen >= LAST_TURN_MAX_READ) {
+        // 上限まで読んでも完全行が取れなかった (start>0 のまま budget 到達) = 巨大最終行。
+        // cold path (キャッシュ prev 値も無い) で mtime へ飛んで再浮上しないよう、
+        // raw tail から timestamp を正規表現で拾う degraded fallback を試みる。
+        if (start > 0 && readLen >= LAST_TURN_MAX_READ) hugeLineText = text
+        break
+      }
+      readLen = Math.min(readLen * 2, st.size, LAST_TURN_MAX_READ)
+    }
+    if (hugeLineText != null) {
+      const ms = regexLastTimestampMs(hugeLineText)
+      if (ms != null) return ms
+    }
+    return fallbackMtimeMs
+  } catch {
+    return fallbackMtimeMs
+  } finally {
+    await handle?.close()
+  }
+}
+
 /**
  * cwd 配下の全 jsonl ファイルから session 一覧を返す。
  * 各ファイルから session_id / 最終更新時刻 / サイズ / 最初の user message preview を抽出。
@@ -341,6 +521,9 @@ export async function listSessions({ cwd, projectsRoot, limit = 30, logger }) {
     logger?.warn({ err: err.message, dir }, "claude history list failed")
     return { sessions: [], error: err.message }
   }
+  // この dir 専用の last_turn_at_ms キャッシュ (dir 単位 LRU。スキャン汚染しない。finding 3/round2)。
+  const fileMap = getLastTurnDirMap(dir)
+  const seenPaths = new Set()
   const stats = []
   for (const f of files) {
     if (!f.endsWith(".jsonl")) continue
@@ -348,13 +531,32 @@ export async function listSessions({ cwd, projectsRoot, limit = 30, logger }) {
     const filePath = path.join(dir, f)
     try {
       const st = await stat(filePath)
-      stats.push({ session_id, file_path: filePath, mtime: st.mtimeMs, size_bytes: st.size })
+      seenPaths.add(filePath)
+      // last_turn_at_ms = jsonl 末尾メッセージの埋め込み timestamp (会話ターン境界)。
+      // サイドバーの並び順はこれを使う (mtime は resume 書き戻し等でも bump し、古い
+      // セッションを開いただけで浮上する症状⑨の原因になるため)。抽出不能なら前回値 sticky。
+      // (mtimeMs+size キャッシュ経由。ハートビート経路の周期呼び出しで全ファイルを毎回
+      //  読み直さない。finding 3)
+      const last_turn_at_ms = await getLastTurnAtMsCached(fileMap, filePath, st.mtimeMs, st.size)
+      stats.push({
+        session_id,
+        file_path: filePath,
+        mtime: st.mtimeMs,
+        last_turn_at_ms,
+        size_bytes: st.size,
+      })
     } catch {
       // ignore individual file stat errors
     }
   }
-  // 最新順 + limit 件に絞ってから preview 抽出 (全ファイル読みを避ける)
-  stats.sort((a, b) => b.mtime - a.mtime)
+  // 消えた jsonl (削除・rotate) のキャッシュエントリを掃除し、dir 内キャッシュを有界に保つ。
+  if (fileMap.size > seenPaths.size) {
+    for (const key of fileMap.keys()) {
+      if (!seenPaths.has(key)) fileMap.delete(key)
+    }
+  }
+  // 会話ターン境界の新しい順 + limit 件に絞ってから preview 抽出 (全ファイル読みを避ける)
+  stats.sort((a, b) => b.last_turn_at_ms - a.last_turn_at_ms)
   const top = stats.slice(0, limit)
   const sessions = []
   for (const s of top) {

package/src/codex-stream-bridge.mjs

@@ -126,7 +126,27 @@ function flattenThreadItems(thread, { maxItems = HISTORY_MAX_ITEMS, maxBytes = H
   const turns = Array.isArray(thread?.turns) ? thread.turns : []
   const all = []
   for (const turn of turns) {
-    if (Array.isArray(turn?.items)) all.push(...turn.items)
+    if (!Array.isArray(turn?.items)) continue
+    // 表示用バブル時刻 (症状⑧: 履歴 hydrate で全バブルが reload 時刻 = Date.now() になる問題)。
+    // app-server の ThreadItem は per-item timestamp を持たない (生成スキーマで確認済み)。
+    // ターン単位の時刻 (単位は秒) を各 item に at_ms (ms epoch) として付与する。
+    //
+    // ⚠️ ライブ経路との整合 (round2 minor): item の種別で使う時刻を変える。
+    //   - userMessage: ライブでは item/completed.completedAtMs = **ターン冒頭**の時刻で届く
+    //     (ユーザー入力の echo は即完了するため)。履歴で completedAt(ターン終了) を当てると、
+    //     長いターンでリロード後にユーザーバブルが終了時刻へ飛ぶ。→ Turn.startedAt を優先。
+    //   - それ以外 (agentMessage/tool 等): ライブでは各 item の完了時刻で届くので、
+    //     ターン終了に近い Turn.completedAt を優先 (無ければ startedAt)。
+    const num = (v) => (typeof v === "number" ? v : null)
+    const startSec = num(turn.startedAt)
+    const endSec = num(turn.completedAt)
+    const secFor = (item) =>
+      item?.type === "userMessage" ? (startSec ?? endSec) : (endSec ?? startSec)
+    for (const item of turn.items) {
+      const sec = secFor(item)
+      const atMs = sec != null ? Math.round(sec * 1000) : null
+      all.push(atMs != null && item && typeof item === "object" ? { ...item, at_ms: atMs } : item)
+    }
   }
   const total = all.length
   const kept = []
@@ -535,10 +555,12 @@ export class CodexStreamBridge extends EventEmitter {
       const result = await client.request("thread/list", {
         cwd: cwd || undefined,
         limit: limit || undefined,
-        // recency_at は「読み込みも含めた実際の使用感」の並び順 (公式スキーマの説明:
-        // "Unix timestamp used for thread recency ordering")。updated_at だと最終書き込み
-        // のみで並ぶため、Claude 側の mtime (listSessions) と体感を揃えるならこちらが近い。
-        sortKey: "recency_at",
+        // ⚠️ updated_at を使う (recency_at ではない)。recency_at は「読み込み(=スレッドを
+        // 開くだけ)も含めた使用感」の並び順なので、古いスレッドを開いただけでサイドバー最上位
+        // に浮上してしまう (症状⑨=実害)。サイドバーは「会話への書き込み(=ターン境界)」で
+        // 並べたいので、最終書き込み時刻の updated_at を採用する。
+        // (Claude 側 listSessions も jsonl 内の最終メッセージ timestamp = ターン境界に揃えた)
+        sortKey: "updated_at",
         sortDirection: "desc",
       })
       const threads = Array.isArray(result?.data) ? result.data : []
@@ -546,10 +568,12 @@ export class CodexStreamBridge extends EventEmitter {
         thread_id: t.id,
         cwd: t.cwd || "",
         preview: typeof t.preview === "string" ? t.preview.slice(0, 80) : "",
-        // recencyAt 優先 (無ければ updatedAt) を ms へ変換。claude 側 ClaudeSessionSummary.mtime
-        // (ms epoch) と同じ単位に揃え、frontend が同じ並び替えロジックを使い回せるようにする。
+        // updatedAt 優先 (無ければ recencyAt fallback) を ms へ変換。claude 側
+        // ClaudeSessionSummary.mtime (ms epoch) と同じ単位に揃え、frontend が同じ並び替え
+        // ロジックを使い回せるようにする。並び順の source of truth は上の sortKey なので、
+        // ここは表示用の mtime も updatedAt を優先させて sortKey と一貫させる。
         updated_at_ms:
-          (typeof t.recencyAt === "number" ? t.recencyAt : t.updatedAt || 0) * 1000,
+          (typeof t.updatedAt === "number" ? t.updatedAt : t.recencyAt || 0) * 1000,
       }))
     } finally {
       client.stop()