@cocorograph/hub-agent 0.8.64 → 0.8.66

package/src/tool-result-mask.mjs

@@ -8,23 +8,20 @@
  * jsonl へ流れていた。さらに Hub ナレッジに格納した **非公開スキルプロンプト本文**
  * (`get_skill_prompt` MCP の戻り値) も毎回リザルトに露出していた。
  *
- * 本モジュールは「表示・配信・記録されるコピー」だけをマスクする。モデルが実際に受け取る
- * 入力は SDK stream の上流 (Claude CLI) で確定しており、hub-agent に届くのは **モデルが
- * 消費した後** のイベントなので、ここでマスクしてもモデルの動作・スキル実行は壊れない
- * (詳細は claude-stream-bridge.mjs の emit 経路コメント参照)。
+ * ライブ表示は SDK / app-server のイベントのコピーをマスクし、実行中のモデル入力を変更しない。
+ * Claude の終了後 JSONL 書き換えは従来の対象・正規表現を別 helper で維持する。再開時にはマスク済みの
+ * 内容が読まれる。Codex の再開用 rollout 原本には適用しない。
  *
  * 2 種類のマスク:
  *  - 秘匿情報: 正規表現で既知トークン形 / sensitive な KEY=VALUE 代入を伏せ字化する。
- *    モデルは元々不要なので、オンディスク jsonl をマスクしても resume は無傷。
+ *    表示コピーでは JSON の秘密フィールドにも適用する。保存用の対象は拡大しない。
  *  - スキルプロンプト本文: `get_skill_prompt` (MCP 名前空間込み) の tool_result 本文を
  *    まるごとプレースホルダへ置換する。tool_use → tool_result の id 対応が必要なため、
  *    stream にはステートフルな masker (createEventMasker)、jsonl 一括には 1 パスの
  *    maskJsonlText を用意する。
  *
- * ⚠️ 限定事項 (v1): includePartialMessages の **部分デルタ (stream_event)** はマスク
- * しない。秘匿情報の主出所である tool_result / .env ダンプは完成済みメッセージとして
- * 届くためここで捕捉でき、最終メッセージ・jsonl・hydrate も全てマスクされる。アシスタント
- * が逐次生成する途中テキストにシークレットが現れる確率は低いと判断し v1 では対象外。
+ * 部分デルタは claude-display-mask / codex-result-mask が表示前に抑止し、
+ * 分割された秘密値を連結・表示しない。本文は完成済みメッセージから表示する。
  */
 import { readFile, rename, rm, stat, utimes, writeFile } from "node:fs/promises"
 
@@ -54,12 +51,14 @@ export const DEPLOY_CRED_PLACEHOLDER =
  * 既知の秘匿情報パターン (誤検知を抑えるため、形が明確なトークンに限定する)。
  * 各要素は global フラグ付き RegExp。replace で SECRET_PLACEHOLDER に置換する。
  */
+const DISPLAY_OPENAI_PATTERN = /\bsk-(?:(?:proj|svcacct)-)?[A-Za-z0-9_-]{20,}/g
+const AT_REST_OPENAI_PATTERN = /sk-[A-Za-z0-9]{20,}/g
 const SECRET_PATTERNS = [
   // PEM 秘密鍵ブロック (複数行)。RSA/EC/OPENSSH/DSA/PGP の修飾子に対応。
   /-----BEGIN (?:RSA |EC |OPENSSH |DSA |PGP )?PRIVATE KEY-----[\s\S]*?-----END (?:RSA |EC |OPENSSH |DSA |PGP )?PRIVATE KEY-----/g,
   // Anthropic / OpenAI 系 API キー (sk-ant-... を先に置換するため先頭に)。
   /sk-ant-[A-Za-z0-9_-]{20,}/g,
-  /sk-[A-Za-z0-9]{20,}/g,
+  DISPLAY_OPENAI_PATTERN,
   // AWS アクセスキー ID。
   /\bAKIA[0-9A-Z]{16}\b/g,
   // GitHub トークン (ghp_/gho_/ghu_/ghs_/ghr_ と fine-grained PAT)。
@@ -79,10 +78,16 @@ const SECRET_PATTERNS = [
 /**
  * sensitive な名前の KEY=VALUE / KEY: VALUE 代入を伏せ字化する。キー名は残し値だけ消す
  * (例: `DB_PASSWORD=hunter2` → `DB_PASSWORD=[REDACTED]`)。.env ダンプ / 環境変数出力対策。
- * 値は 4 文字以上のとき対象 (短い値の誤検知回避)。引用符は維持する。
+ * キーの完全な構成要素で判定し、短い値も対象にする。引用符は維持する。
  */
 const ASSIGN_PATTERN =
-  /\b([A-Za-z0-9_]*(?:PASSWORD|PASSWD|SECRET|TOKEN|API[_-]?KEY|ACCESS[_-]?KEY|PRIVATE[_-]?KEY|CLIENT[_-]?SECRET|AUTH[_-]?TOKEN)[A-Za-z0-9_]*)(\s*[=:]\s*)(['"]?)([^\s'"]{4,})\3/gi
+  /(["']?)\b([A-Za-z_][A-Za-z0-9_-]*)\1(\s*[=:]\s*)("(?:\\.|[^"\\])*"|'[^']*'|\[REDACTED\]|[^\s,;{}\[\]"']+|["'][^\r\n]*)/g
+
+// Match complete key components, not substrings such as tokenUsage / tokenizer.
+function isSecretKey(key) {
+  const normalized = key.replace(/([a-z0-9])([A-Z])/g, "$1_$2").replace(/-/g, "_").toLowerCase()
+  return /(?:^|_)(?:password|passwd|secret|token|api_key|access_key|private_key|client_secret|authorization|cookie|set_cookie)$/.test(normalized)
+}
 
 /**
  * 文字列中の秘匿情報を伏せ字化する。マスク対象が無ければ同一文字列をそのまま返す。
@@ -91,17 +96,113 @@ const ASSIGN_PATTERN =
  */
 export function redactSecrets(text) {
   if (typeof text !== "string" || text.length === 0) return text
+  // Decode JSON (including JSON encoded inside a JSON string) before inspecting
+  // keys. Keep the original bytes when no redaction is needed.
+  if (/^\s*[\[{\"]/.test(text)) {
+    try {
+      const parsed = JSON.parse(text)
+      const masked = redactSecretsValue(parsed)
+      return masked !== parsed ? JSON.stringify(masked) : text
+    } catch { /* Plain text and incomplete JSON use the patterns below. */ }
+  }
   let out = text
   for (const re of SECRET_PATTERNS) {
     out = out.replace(re, SECRET_PLACEHOLDER)
   }
+  out = out.replace(/\b(Authorization\s*:\s*)(?:Bearer|Basic)\s+[^\s,"'}]+/gi, `$1${SECRET_PLACEHOLDER}`)
   out = out.replace(
     ASSIGN_PATTERN,
-    (_m, key, sep, quote, _val) => `${key}${sep}${quote}${SECRET_PLACEHOLDER}${quote}`,
+    (match, keyQuote, key, sep, value) => {
+      if (!isSecretKey(key)) return match
+      const quote = /^["']/.test(value) ? value[0] : ""
+      return `${keyQuote}${key}${keyQuote}${sep}${quote}${SECRET_PLACEHOLDER}${quote}`
+    },
   )
+  out = out.replace(/\b([a-z][a-z0-9+.-]*:\/\/)[^\s/@]+:[^\s/@]+@/gi, `$1${SECRET_PLACEHOLDER}@`)
   return out
 }
 
+/** Recursively sanitize a display copy; unchanged branches retain identity. */
+export function redactSecretsValue(value) {
+  if (typeof value === "string") return redactSecrets(value)
+  if (!value || typeof value !== "object") return value
+  let changed = false
+  const keys = new Set()
+  let collision = false
+  const entries = Object.entries(value).map(([key, original]) => {
+    const safeKey = Array.isArray(value) ? key : redactSecrets(key)
+    if (keys.has(safeKey)) collision = true
+    keys.add(safeKey)
+    const presenceFlag = typeof original === "boolean" && /^has(?:_|[A-Z])/.test(key)
+    const masked = !Array.isArray(value) && !presenceFlag && isSecretKey(key)
+      ? SECRET_PLACEHOLDER : redactSecretsValue(original)
+    if (masked !== original || safeKey !== key) changed = true
+    return [safeKey, masked]
+  })
+  if (collision) return SECRET_PLACEHOLDER
+  if (!changed) return value
+  return Array.isArray(value) ? entries.map(([, item]) => item) : Object.fromEntries(entries)
+}
+
+/** Only recognize a real, explicit helper invocation, not echo/documentation. */
+function isDeployHelperCommand(command, allowShellWrapper = true) {
+  if (typeof command !== "string") return false
+  const tokens = command.match(/"(?:\\.|[^"\\])*"|'[^']*'|&&|\|\||[;\n|]|[^\s;&|]+/g) ?? []
+  let start = 0
+  for (let end = 0; end <= tokens.length; end++) {
+    if (end < tokens.length && !/^(?:&&|\|\||[;\n|])$/.test(tokens[end])) continue
+    const words = tokens.slice(start, end).map((word) => word.replace(/^(["'])([\s\S]*)\1$/, "$2"))
+    start = end + 1
+    while (/^[A-Za-z_][A-Za-z0-9_]*=/.test(words[0] ?? "")) words.shift()
+    // Unwrap one explicit shell command only; do not evaluate arbitrary shell code.
+    if (allowShellWrapper && /(?:^|\/)(?:bash|sh|zsh)$/.test(words[0] ?? "")
+        && /^-(?:c|lc|cl)$/.test(words[1] ?? "") && words.length === 3
+        && isDeployHelperCommand(words[2], false)) return true
+    if (/(?:^|\/)python(?:3(?:\.\d+)?)?$/.test(words[0] ?? "")) {
+      words.shift()
+      while (/^-(?:u|B)$/.test(words[0] ?? "")) words.shift()
+    }
+    if (/(?:^|\/)hub_helper\.py$/.test(words[0] ?? "") && words[1] === "deploy_creds") return true
+  }
+  return false
+}
+
+/** Shared Claude/Codex policy. Input is consulted before it is redacted. */
+export function toolResultPlaceholder(name, input) {
+  if (isSkillPromptTool(name)) return SKILL_PROMPT_PLACEHOLDER
+  if (isDeployCredentialTool(name)) return DEPLOY_CRED_PLACEHOLDER
+  const shortName = typeof name === "string" ? name.split(/__|\./).at(-1) : ""
+  if (shortName === "exec") {
+    const source = typeof input === "string" ? input : input?.code ?? input?.source
+    // Code-mode aggregates inner results without a reliable per-result tool ID.
+    // A visible reference to a protected tool therefore makes the entire wrapper
+    // result private, including other results from that same execution. This is
+    // deliberately conservative (also covers bracket access/aliases), not a JS
+    // interpreter or a claim to detect dynamically constructed tool names.
+    if (typeof source === "string") {
+      if (/(?:\b|__)get_skill_prompt\b/.test(source)
+          || (/(?:\b|__)(?:get_knowledge_page|get_session_log)\b/.test(source)
+            && /(?:skill|エージェント)\//.test(source))) return SKILL_PROMPT_PLACEHOLDER
+      if (/(?:\b|__)(?:get_deploy_target|deploy_creds)\b/.test(source)) return DEPLOY_CRED_PLACEHOLDER
+    }
+  }
+  if (["get_knowledge_page", "get_session_log"].includes(shortName)
+      && typeof input?.slug === "string" && /^(?:skill|エージェント)\//.test(input.slug)) {
+    return SKILL_PROMPT_PLACEHOLDER
+  }
+  if (["Bash", "exec_command"].includes(shortName)
+      && isDeployHelperCommand(input?.command ?? input?.cmd)) return DEPLOY_CRED_PLACEHOLDER
+  return null
+}
+
+function classifiedToolName(block) {
+  if (isSkillPromptTool(block.name) || isDeployCredentialTool(block.name)) return block.name
+  const placeholder = toolResultPlaceholder(block.name, block.input)
+  if (placeholder === SKILL_PROMPT_PLACEHOLDER) return "get_skill_prompt"
+  if (placeholder === DEPLOY_CRED_PLACEHOLDER) return "deploy_creds"
+  return block.name
+}
+
 /**
  * tool 名が非公開スキルプロンプト取得ツールか判定する。MCP 名前空間が付くため
  * (`mcp__hub__get_skill_prompt` / `mcp__hub_staff__get_skill_prompt`)、末尾一致でも拾う。
@@ -132,28 +233,6 @@ export function isDeployCredentialTool(name) {
   )
 }
 
-/** tool_result の content (string | block[]) をプレースホルダ 1 本へ潰す。 */
-function skillPlaceholderContent() {
-  return [{ type: "text", text: SKILL_PROMPT_PLACEHOLDER }]
-}
-
-/** tool_result の content をデプロイ接続情報プレースホルダ 1 本へ潰す。 */
-function deployCredPlaceholderContent() {
-  return [{ type: "text", text: DEPLOY_CRED_PLACEHOLDER }]
-}
-
-/** content blocks 配列の text を redactSecrets で処理した新配列を返す (非破壊)。 */
-function redactBlocks(blocks) {
-  if (!Array.isArray(blocks)) return blocks
-  return blocks.map((b) => {
-    if (b && b.type === "text" && typeof b.text === "string") {
-      const masked = redactSecrets(b.text)
-      return masked === b.text ? b : { ...b, text: masked }
-    }
-    return b
-  })
-}
-
 /**
  * SDK message 形 (jsonl 1 行 / live event) のオブジェクトをマスクした **コピー** を返す。
  * 変更が無ければ元オブジェクトをそのまま返す (参照同一で「変化なし」を呼び出し側が判定可)。
@@ -165,104 +244,33 @@ function redactBlocks(blocks) {
 export function maskMessageObject(obj, toolNames) {
   if (!MASK_ENABLED) return obj
   if (!obj || typeof obj !== "object") return obj
-
-  if (obj.type === "system" && obj.subtype === "codex_delegate") {
-    let changed = false
-    const next = { ...obj }
-    for (const field of ["prompt", "description"]) {
-      if (typeof obj[field] !== "string") continue
-      const masked = redactSecrets(obj[field])
-      if (masked !== obj[field]) {
-        next[field] = masked
-        changed = true
-      }
-    }
-    return changed ? next : obj
+  collectToolUseNames(obj, toolNames)
+  obj = redactSecretsValue(obj)
+  // Some SDK/user envelopes duplicate tool output outside message.content.
+  if (obj.type === "user" && Object.hasOwn(obj, "tool_use_result") && Array.isArray(obj.message?.content)) {
+    const placeholder = obj.message.content.reduce((found, block) => found ||
+      (block?.type === "tool_result" ? toolResultPlaceholder(toolNames.get(block.tool_use_id)) : null), null)
+    if (placeholder && obj.tool_use_result !== placeholder) obj = { ...obj, tool_use_result: placeholder }
   }
 
   const message = obj.message
-  if (!message || typeof message !== "object") return obj
-  const content = message.content
-
-  // assistant: tool_use の id→name を記録しつつ text ブロックの秘匿情報を伏せる。
-  if (obj.type === "assistant") {
-    if (Array.isArray(content)) {
-      for (const b of content) {
-        if (b && b.type === "tool_use" && typeof b.id === "string") {
-          toolNames.set(b.id, b.name)
-        }
-      }
-      const masked = redactBlocks(content)
-      if (masked !== content && masked.some((b, i) => b !== content[i])) {
-        return { ...obj, message: { ...message, content: masked } }
-      }
-    } else if (typeof content === "string") {
-      const masked = redactSecrets(content)
-      if (masked !== content) {
-        return { ...obj, message: { ...message, content: masked } }
-      }
-    }
-    return obj
-  }
-
-  // user: tool_result をスキル判定 or 秘匿情報マスク。素のテキスト発言も秘匿情報を伏せる。
-  if (obj.type === "user") {
-    if (Array.isArray(content)) {
-      let changed = false
-      const next = content.map((b) => {
-        if (b && b.type === "tool_result") {
-          const name = toolNames.get(b.tool_use_id)
-          if (isSkillPromptTool(name)) {
-            changed = true
-            return { ...b, content: skillPlaceholderContent() }
-          }
-          if (isDeployCredentialTool(name)) {
-            changed = true
-            return { ...b, content: deployCredPlaceholderContent() }
-          }
-          // 非スキル tool_result: 中身 (string | block[]) の秘匿情報を伏せる。
-          if (typeof b.content === "string") {
-            const masked = redactSecrets(b.content)
-            if (masked !== b.content) {
-              changed = true
-              return { ...b, content: masked }
-            }
-            return b
-          }
-          if (Array.isArray(b.content)) {
-            const mc = redactBlocks(b.content)
-            if (mc.some((x, i) => x !== b.content[i])) {
-              changed = true
-              return { ...b, content: mc }
-            }
-            return b
-          }
-          return b
-        }
-        if (b && b.type === "text" && typeof b.text === "string") {
-          const masked = redactSecrets(b.text)
-          if (masked !== b.text) {
-            changed = true
-            return { ...b, text: masked }
-          }
-        }
-        return b
-      })
-      if (changed) return { ...obj, message: { ...message, content: next } }
-    } else if (typeof content === "string") {
-      const masked = redactSecrets(content)
-      if (masked !== content) {
-        return { ...obj, message: { ...message, content: masked } }
-      }
-    }
-    return obj
-  }
-
-  return obj
+  if (obj.type !== "user" || !Array.isArray(message?.content)) return obj
+  let changed = false
+  const content = message.content.map((block) => {
+    if (block?.type !== "tool_result") return block
+    const placeholder = toolResultPlaceholder(toolNames.get(block.tool_use_id))
+    if (!placeholder) return block
+    if (Array.isArray(block.content) && block.content.length === 1
+        && block.content[0]?.type === "text" && block.content[0].text === placeholder) return block
+    changed = true
+    return { ...block, content: [{ type: "text", text: placeholder }] }
+  })
+  return changed ? { ...obj, message: { ...message, content } } : obj
 }
 
 /**
- * assistant メッセージ obj から tool_use の id→name を toolNames Map へ記録する
+ * assistant メッセージ obj から tool_use の id→表示用分類名を toolNames Map へ記録する。
+ * 値は実際の tool 名とは限らず、引数から分類した get_skill_prompt / deploy_creds も含む。
  * (マスクはしない)。履歴 hydrate で「tool_use 行が表示スライスの外へ truncate されても
  * tool_result のスキル判定が効く」よう、全行を事前走査して id→name を集めるのに使う。
  * @param {Record<string, unknown>} obj
@@ -272,12 +280,75 @@ export function collectToolUseNames(obj, toolNames) {
   if (obj?.type === "assistant" && Array.isArray(obj.message?.content)) {
     for (const b of obj.message.content) {
       if (b && b.type === "tool_use" && typeof b.id === "string") {
-        toolNames.set(b.id, b.name)
+        toolNames.set(b.id, classifiedToolName(b))
       }
     }
   }
 }
 
+// 保存用は従来の token regex と 4 文字以上の代入だけ。表示用の JSON/key/URI
+// 拡張を呼ばないことで、Claude resume が読む原本の変更範囲を維持する。
+const AT_REST_ASSIGN_PATTERN =
+  /\b([A-Za-z0-9_]*(?:PASSWORD|PASSWD|SECRET|TOKEN|API[_-]?KEY|ACCESS[_-]?KEY|PRIVATE[_-]?KEY|CLIENT[_-]?SECRET|AUTH[_-]?TOKEN)[A-Za-z0-9_]*)(\s*[=:]\s*)(['"]?)([^\s'"]{4,})\3/gi
+
+function redactAtRestText(text) {
+  let out = text
+  for (const pattern of SECRET_PATTERNS) {
+    out = out.replace(pattern === DISPLAY_OPENAI_PATTERN ? AT_REST_OPENAI_PATTERN : pattern, SECRET_PLACEHOLDER)
+  }
+  return out.replace(AT_REST_ASSIGN_PATTERN,
+    (_match, key, sep, quote) => `${key}${sep}${quote}${SECRET_PLACEHOLDER}${quote}`)
+}
+
+function redactAtRestTextBlock(block) {
+  if (block?.type !== "text" || typeof block.text !== "string") return block
+  const text = redactAtRestText(block.text)
+  return text === block.text ? block : { ...block, text }
+}
+
+/** Existing at-rest message scope; tool names are real names, never display classifications. */
+function maskAtRestMessage(obj, toolNames) {
+  if (!obj || typeof obj !== "object") return obj
+  if (obj.type === "system" && obj.subtype === "codex_delegate") {
+    let next = obj
+    for (const field of ["prompt", "description"]) {
+      if (typeof obj[field] !== "string") continue
+      const masked = redactAtRestText(obj[field])
+      if (masked !== obj[field]) next = { ...next, [field]: masked }
+    }
+    return next
+  }
+  const message = obj.message
+  if (!message || typeof message !== "object" || !["assistant", "user"].includes(obj.type)) return obj
+  const content = message.content
+  let next = content
+  if (typeof content === "string") next = redactAtRestText(content)
+  else if (Array.isArray(content)) {
+    next = content.map((block) => {
+      if (obj.type === "assistant" && block?.type === "tool_use" && typeof block.id === "string") {
+        toolNames.set(block.id, block.name)
+      }
+      if (obj.type !== "user" || block?.type !== "tool_result") return redactAtRestTextBlock(block)
+      const name = toolNames.get(block.tool_use_id)
+      const placeholder = isSkillPromptTool(name) ? SKILL_PROMPT_PLACEHOLDER
+        : isDeployCredentialTool(name) ? DEPLOY_CRED_PLACEHOLDER : null
+      // Keep the legacy rewrite behavior even for an already masked result.
+      if (placeholder) return { ...block, content: [{ type: "text", text: placeholder }] }
+      if (typeof block.content === "string") {
+        const masked = redactAtRestText(block.content)
+        return masked === block.content ? block : { ...block, content: masked }
+      }
+      if (Array.isArray(block.content)) {
+        const masked = block.content.map(redactAtRestTextBlock)
+        if (masked.some((item, i) => item !== block.content[i])) return { ...block, content: masked }
+      }
+      return block
+    })
+    if (next.every((block, i) => block === content[i])) return obj
+  }
+  return next === content ? obj : { ...obj, message: { ...message, content: next } }
+}
+
 /**
  * ライブ stream / watch 用のステートフル masker を生成する。tool_use → tool_result が
  * 別イベントで届くため、id→name を内部 Map に蓄積しながら 1 イベントずつマスクする。
@@ -297,7 +368,7 @@ export function createEventMasker(initialToolNames) {
 }
 
 /**
- * jsonl ファイル全文 (改行区切り JSON) を 1 パスでマスクした文字列を返す。
+ * 保存用の従来 policy で jsonl ファイル全文をマスクする。表示は maskMessageObject を使う。
  * tool_use を先に通すと id→name が貯まるので、行順 (assistant→user) のまま走査すれば
  * tool_result のスキル判定が成立する。マスク対象が 1 件も無ければ null を返す
  * (呼び出し側が「書き換え不要」を判定して mtime を温存できる)。
@@ -321,7 +392,7 @@ export function maskJsonlText(text) {
     } catch {
       return line // パース不能行はそのまま (壊さない)
     }
-    const masked = maskMessageObject(obj, toolNames)
+    const masked = maskAtRestMessage(obj, toolNames)
     if (masked !== obj) {
       changed = true
       return JSON.stringify(masked)