@cocorograph/hub-agent 0.8.45 → 0.8.47

package/src/ws-client.mjs

@@ -143,6 +143,7 @@ export class WsClient extends EventEmitter {
     this.bundleStatus = {}
     this.bundleManifestPath = opts.bundleManifestPath || null
     this.bundleWatcher = null
+    this.bundleWatcherConnectionMeta = null
     this.bundleWatchDebounceTimer = null
     this.hostname = opts.hostname || os.hostname()
     this.platform = opts.platform || "unknown"
@@ -171,6 +172,10 @@ export class WsClient extends EventEmitter {
     this.lastRecvAt = 0
     // heartbeat tick の直前実発火時刻。スリープ復帰のジャンプ検知に使う。
     this.lastTickAt = 0
+    // close ログを接続世代ごとに完結させる。古い socket の close が遅れて届いても、
+    // 新しい接続の診断状態や timer を壊さないよう socket のクロージャに保持する。
+    this.connectionGeneration = 0
+    this.connectionMeta = this._newConnectionMeta(0)
   }
 
   /** WSS 接続を開始する。`stop()` まで自動で reconnect 続行。 */
@@ -183,14 +188,21 @@ export class WsClient extends EventEmitter {
       Authorization: `Bearer ${this.config.agent_id}:${this.config.agent_token}`,
     }
     const ws = new WebSocket(wsUrl, { headers })
+    const connectionMeta = this._newConnectionMeta(++this.connectionGeneration)
     this.ws = ws
+    this.connectionMeta = connectionMeta
 
-    ws.on("open", () => this._onOpen())
+    ws.on("open", () => {
+      if (!this._isActiveConnection(ws, connectionMeta)) return
+      this._onOpen(connectionMeta)
+    })
 
     ws.on("message", (data) => {
+      if (!this._isActiveConnection(ws, connectionMeta)) return
       // 何かを受信した = TCP は生きている。zombie 検知の鮮度を更新する
       // (parse 失敗でも「届いた」事実は生存の証拠なので先に記録する)。
       this.lastRecvAt = Date.now()
+      connectionMeta.lastRecvAt = this.lastRecvAt
       let msg
       try {
         msg = JSON.parse(data.toString("utf-8"))
@@ -202,13 +214,7 @@ export class WsClient extends EventEmitter {
     })
 
     ws.on("close", (code, reason) => {
-      this._clearStreamsSyncBarrier()
-      this._clearStableReset()
-      this._stopHeartbeat()
-      this._stopBundleWatcher()
-      this.logger?.info({ code, reason: reason?.toString() }, "ws close")
-      this.emit("close", { code, reason })
-      if (!this.stopped) this._scheduleReconnect()
+      this._onSocketClose(ws, connectionMeta, code, reason)
     })
 
     ws.on("error", (err) => {
@@ -216,7 +222,10 @@ export class WsClient extends EventEmitter {
       // Upgrade で CF/origin が 5xx を返した場合 (典型: "Unexpected server
       // response: 502") は、次回 reconnect の最低 backoff を引き上げる。
       // CF が 5xx を short-cache するため、1s 連発リトライは逆に詰まる。
-      if (/Unexpected server response: 5\d\d/.test(err?.message || "")) {
+      if (
+        this._isActiveConnection(ws, connectionMeta) &&
+        /Unexpected server response: 5\d\d/.test(err?.message || "")
+      ) {
         this.lastCloseWas5xx = true
       }
       this.emit("error", err)
@@ -235,14 +244,23 @@ export class WsClient extends EventEmitter {
    * test からも直接呼べるように method として切り出している (`ws.on("open")`
    * のクロージャだと spy しづらい)。
    */
-  _onOpen() {
+  _onOpen(connectionMeta = this.connectionMeta) {
     // open 自体が生存の証拠。直前接続の古い lastRecvAt で開幕直後に zombie 誤検知
     // しないようリセットする。⚠️ _armStableReset() の armedAt 捕捉より「前」に設定すること。
     // ack ベース判定 (lastRecvAt > armedAt) を初期状態で偽にするため (順序を逆にすると
     // armedAt < lastRecvAt となり「inbound 受信済み」と誤判定し、half-open でも backoff を
     // リセットしてしまう)。
-    this.lastRecvAt = Date.now()
-    this.lastTickAt = Date.now()
+    const now = Date.now()
+    this.lastRecvAt = now
+    this.lastTickAt = now
+    connectionMeta.openedAt = now
+    connectionMeta.lastRecvAt = 0
+    connectionMeta.lastTickAt = now
+    connectionMeta.lastTickGapMs = null
+    connectionMeta.lastHeartbeatAt = 0
+    connectionMeta.lastHeartbeatOk = null
+    connectionMeta.forceReconnectReason = null
+    connectionMeta.closeInitiator = null
     // backoff の即時リセットはしない。接続が STABLE_CONNECTION_MS 維持 + inbound 受信できてから
     // _armStableReset() でリセットする (open→即 close フラッピング時の再接続ストロボ対策)。
     // すぐ切れた / half-open の接続では backoff がリセットされず指数バックオフが効き続けるため、
@@ -275,8 +293,8 @@ export class WsClient extends EventEmitter {
       request_id: streamsSyncRequestId,
     })
     this._armStreamsSyncBarrier(streamsSyncRequestId)
-    this._startHeartbeat()
-    this._startBundleWatcher()
+    this._startHeartbeat(connectionMeta)
+    this._startBundleWatcher(connectionMeta)
     this.emit("open")
   }
 
@@ -419,6 +437,7 @@ export class WsClient extends EventEmitter {
     }
     if (this.ws) {
       try {
+        this.connectionMeta.closeInitiator = "client_stop"
         this.ws.close(1000, "client_stop")
       } catch {
         /* ignore */
@@ -430,6 +449,66 @@ export class WsClient extends EventEmitter {
   // internals
   // ------------------------------------------------------------
 
+  _newConnectionMeta(id) {
+    return {
+      id,
+      openedAt: 0,
+      lastRecvAt: 0,
+      lastTickAt: 0,
+      lastTickGapMs: null,
+      lastHeartbeatAt: 0,
+      lastHeartbeatOk: null,
+      forceReconnectReason: null,
+      closeInitiator: null,
+    }
+  }
+
+  _isActiveConnection(ws, connectionMeta) {
+    return this.ws === ws && this.connectionMeta === connectionMeta
+  }
+
+  _onSocketClose(ws, connectionMeta, code, reason) {
+    const now = Date.now()
+    const isActive = this._isActiveConnection(ws, connectionMeta)
+    this.logger?.info(
+      {
+        code,
+        reason: reason?.toString(),
+        connection_id: connectionMeta.id,
+        dur_s: connectionMeta.openedAt
+          ? Math.max(0, Math.round((now - connectionMeta.openedAt) / 100) / 10)
+          : null,
+        since_recv_s: connectionMeta.lastRecvAt
+          ? Math.max(0, Math.round((now - connectionMeta.lastRecvAt) / 100) / 10)
+          : null,
+        received_inbound: connectionMeta.lastRecvAt > 0,
+        last_heartbeat_at: connectionMeta.lastHeartbeatAt
+          ? new Date(connectionMeta.lastHeartbeatAt).toISOString()
+          : null,
+        last_heartbeat_ok: connectionMeta.lastHeartbeatOk,
+        last_tick_at: connectionMeta.lastTickAt
+          ? new Date(connectionMeta.lastTickAt).toISOString()
+          : null,
+        last_tick_gap_s: connectionMeta.lastTickGapMs == null
+          ? null
+          : Math.max(0, Math.round(connectionMeta.lastTickGapMs / 100) / 10),
+        force_reconnect_reason: connectionMeta.forceReconnectReason,
+        close_initiator: connectionMeta.closeInitiator,
+        stale_generation: !isActive,
+      },
+      "ws close",
+    )
+    // terminate 後の close は次世代の connect/open より遅れて届くことがある。
+    // 旧世代から現世代の heartbeat・barrier・watcher・reconnect を変更しない。
+    if (!isActive) return
+    this._clearStreamsSyncBarrier()
+    this._clearStableReset()
+    this._stopHeartbeat()
+    this._stopBundleWatcher()
+    this.emit("close", { code, reason })
+    if (!this.stopped) this._scheduleReconnect()
+  }
+
   _buildWsUrl() {
     const hub = this.config.hub_url.replace(/\/+$/, "")
     const scheme = hub.startsWith("https:") ? "wss:" : "ws:"
@@ -447,22 +526,39 @@ export class WsClient extends EventEmitter {
     }
   }
 
-  _startHeartbeat() {
+  _sendHeartbeat(connectionMeta, heartbeatAt = Date.now()) {
+    if (connectionMeta !== this.connectionMeta) return null
+    const ok = this._sendJson({
+      type: "heartbeat",
+      uptime_sec: Math.floor((Date.now() - this.startedAt) / 1000),
+      bundle_version: this.bundleVersion,
+      ...this.bundleStatus,
+    })
+    connectionMeta.lastHeartbeatAt = heartbeatAt
+    connectionMeta.lastHeartbeatOk = ok
+    return ok
+  }
+
+  _startHeartbeat(connectionMeta = this.connectionMeta) {
     this._stopHeartbeat()
     this.lastTickAt = Date.now()
+    connectionMeta.lastTickAt = this.lastTickAt
     this.heartbeatTimer = setInterval(() => {
+      if (connectionMeta !== this.connectionMeta) return
       const now = Date.now()
       // スリープ復帰検知: スリープ中はプロセスごと止まり、setInterval の実発火間隔が
       // 大きく開く。復帰直後の TCP は half-open でほぼ確実に死んでいるのに send は
       // 成功扱いになるため、鮮度判定 (受信側) を待たず即座に再接続へ倒す。
       const tickGap = this.lastTickAt > 0 ? now - this.lastTickAt : 0
       this.lastTickAt = now
+      connectionMeta.lastTickAt = now
+      connectionMeta.lastTickGapMs = tickGap
       if (tickGap > TICK_JUMP_MS) {
         this.logger?.warn(
           { tickGapMs: tickGap },
           "heartbeat tick jump detected (likely sleep wake), forcing reconnect",
         )
-        this._forceReconnect()
+        this._forceReconnect("sleep_tick_jump", connectionMeta)
         return
       }
       // zombie WS 検知 (inbound 鮮度): backend は heartbeat のたびに ack を返すため、
@@ -475,7 +571,7 @@ export class WsClient extends EventEmitter {
           { sinceLastRecvMs: now - this.lastRecvAt },
           "ws liveness timeout (zombie suspected), forcing reconnect",
         )
-        this._forceReconnect()
+        this._forceReconnect("liveness_timeout", connectionMeta)
         return
       }
       // heartbeat 都度 provider 経由で bundle version / CLI 別ステータスを最新化する。
@@ -485,15 +581,11 @@ export class WsClient extends EventEmitter {
       // 送信失敗 (= ws not OPEN) を検知したら即時 close + reconnect 発火。
       // setInterval を放置すると死んだコネクションに heartbeat を投げ続けて
       // 30s 間気付かないので、close を強制トリガーする。
-      const ok = this._sendJson({
-        type: "heartbeat",
-        uptime_sec: Math.floor((Date.now() - this.startedAt) / 1000),
-        bundle_version: this.bundleVersion,
-        ...this.bundleStatus,
-      })
+      const ok = this._sendHeartbeat(connectionMeta, now)
+      if (ok == null) return
       if (!ok) {
         this.logger?.warn("heartbeat send failed, forcing reconnect")
-        this._forceReconnect()
+        this._forceReconnect("heartbeat_send_failed", connectionMeta)
       }
     }, HEARTBEAT_INTERVAL_MS)
     // unref して node プロセスが timer 1 個で抜けられなくならないように
@@ -549,13 +641,16 @@ export class WsClient extends EventEmitter {
    * Cockpit UI への反映ラグを 30s heartbeat 周期から ~15s (UI poll) に短縮する。
    * fs.watch の起動に失敗しても heartbeat 都度 refresh が保険として動くので no-op。
    */
-  _startBundleWatcher() {
-    if (!this.bundleManifestPath || this.bundleWatcher) return
+  _startBundleWatcher(connectionMeta = this.connectionMeta) {
+    if (!this.bundleManifestPath) return
+    if (this.bundleWatcher && this.bundleWatcherConnectionMeta === connectionMeta) return
+    if (this.bundleWatcher) this._stopBundleWatcher()
     try {
+      this.bundleWatcherConnectionMeta = connectionMeta
       this.bundleWatcher = fs.watch(
         this.bundleManifestPath,
         { persistent: false },
-        () => this._onBundleManifestChange(),
+        () => this._onBundleManifestChange(connectionMeta),
       )
       this.bundleWatcher.on("error", (err) => {
         this.logger?.warn(
@@ -568,6 +663,7 @@ export class WsClient extends EventEmitter {
         "bundle manifest watcher started",
       )
     } catch (err) {
+      this.bundleWatcherConnectionMeta = null
       this.logger?.warn(
         { err: err.message, path: this.bundleManifestPath },
         "bundle manifest watcher failed to start",
@@ -588,43 +684,46 @@ export class WsClient extends EventEmitter {
       }
       this.bundleWatcher = null
     }
+    this.bundleWatcherConnectionMeta = null
   }
 
   /**
    * fs.watch のコールバック。同一書き込みで多重 fire することがある (macOS) ため
    * デバウンスしてから refresh + 即時 heartbeat する。
    */
-  _onBundleManifestChange() {
+  _onBundleManifestChange(connectionMeta = this.connectionMeta) {
+    if (connectionMeta !== this.connectionMeta) return
     if (this.bundleWatchDebounceTimer) {
       clearTimeout(this.bundleWatchDebounceTimer)
     }
     this.bundleWatchDebounceTimer = setTimeout(() => {
       this.bundleWatchDebounceTimer = null
+      if (connectionMeta !== this.connectionMeta) return
       const changed = this._refreshBundleVersion()
       if (!changed) return
       this._refreshBundleStatus()
-      const ok = this._sendJson({
-        type: "heartbeat",
-        uptime_sec: Math.floor((Date.now() - this.startedAt) / 1000),
-        bundle_version: this.bundleVersion,
-        ...this.bundleStatus,
-      })
+      const ok = this._sendHeartbeat(connectionMeta)
+      if (ok == null) return
       if (!ok) {
         this.logger?.warn("bundle-change heartbeat send failed, forcing reconnect")
-        this._forceReconnect()
+        this._forceReconnect("bundle_heartbeat_send_failed", connectionMeta)
       }
     }, BUNDLE_WATCH_DEBOUNCE_MS)
     this.bundleWatchDebounceTimer.unref?.()
   }
 
-  _forceReconnect() {
+  // reason の既定値は、将来の呼出漏れを無情報の null にせずログで検知する fail-soft。
+  _forceReconnect(reason = "unspecified", connectionMeta = this.connectionMeta) {
     // 現在の ws を強制 close。close ハンドラが _scheduleReconnect を呼ぶので
     // それ以上の処理は不要。stopped 中は no-op。
     // ws 実装によって terminate (ws npm package) と close (browser WebSocket
     // 互換) どちらが生えているか異なるので両対応する。
+    if (connectionMeta !== this.connectionMeta) return
     if (this.stopped) return
     if (!this.ws) return
     if (this.ws.readyState === WebSocket.CLOSED) return
+    connectionMeta.forceReconnectReason = reason
+    connectionMeta.closeInitiator = "agent_reconnect"
     try {
       if (typeof this.ws.terminate === "function") {
         this.ws.terminate()
@@ -682,7 +781,7 @@ export class WsClient extends EventEmitter {
           { sinceArmedMs: Date.now() - armedAt },
           "ws stable window elapsed with no inbound (half-open suspected), forcing reconnect",
         )
-        this._forceReconnect()
+        this._forceReconnect("stable_no_inbound")
       }
     }, STABLE_CONNECTION_MS)
     this.stableResetTimer.unref?.()