throughline 0.16.29 → 0.16.30

package/CHANGELOG.md

@@ -10,6 +10,19 @@ shipped to npm but were not individually tagged on GitHub.
 
 ## [Unreleased]
 
+## [0.16.30] — 2026-10-14
+
+### 修正
+
+- **Codexのゴール（`/goal`）で動くタスクで、Codexが自分で入れる続行の指示が、利用者の発言として会話の記録（L2）に残っていた**（[ADR 0061](docs/adr/0061-codex-internal-context-is-compacted-in-memory.md)）。続行のターンの入力は、`<codex_internal_context source="goal">`で始まる約6,300字の定型文で、利用者の発言としてrolloutに入る。Windowsの実機のタスクでは、利用者の発言15行のうち7行がこれで、字数の87%を占めていた。引き継ぎの記憶に入る直近のターンが同じ定型文で埋まり、利用者が打った依頼が押し出される形だった。
+  - 直した後は、開く印（`source`つき）・利用者が決めたゴールの文（`<objective>`）・閉じる印だけを残し、定型文を落とす。ターンは落とさない。
+  - 閉じる印が無い物と、発言の途中に印がある物は、触らない。
+
+### 変わる動き
+
+- ゴールで動くCodexのタスクで、続行のターンの利用者の発言が短い行になる。前の版が保存した長い行は、そのタスクの次の取り込みで置き換わる。
+- Claude Code・Grok・Cursorの記録の読み方は変えていない。
+
 ## [0.16.29] — 2026-10-14
 
 ### 修正
@@ -2576,7 +2589,8 @@ two attempts, instrument first instead of patching again.
 
 ---
 
-[Unreleased]: https://github.com/kitepon/Throughline/compare/v0.16.29...HEAD
+[Unreleased]: https://github.com/kitepon/Throughline/compare/v0.16.30...HEAD
+[0.16.30]: https://github.com/kitepon/Throughline/compare/v0.16.29...v0.16.30
 [0.16.29]: https://github.com/kitepon/Throughline/compare/v0.16.28...v0.16.29
 [0.16.28]: https://github.com/kitepon/Throughline/compare/v0.16.27...v0.16.28
 [0.16.27]: https://github.com/kitepon/Throughline/compare/v0.16.26...v0.16.27

package/docs/adr/0061-codex-internal-context-is-compacted-in-memory.md

@@ -0,0 +1,63 @@
+# ADR 0061: Codex が自分で起こしたターンの入力は、印とゴールの文だけを記憶に残す
+
+- Status: Accepted
+- Date: 2026-10-14
+
+## Context
+
+Codex は、ゴール（`/goal`）が実行中のタスクで、手すきになるたびに自分で次のターンを起こす（ADR 0059）。そのターンの入力は、
+rollout に user の発言（`response_item` の `message`、`role: "user"`）として入る。本文は `<codex_internal_context source="goal">` で
+始まり `</codex_internal_context>` で終わる。中身は、続け方の決まりを書いた定型文で、利用者が決めたゴールの文を
+`<objective>` … `</objective>` に持つ。Linux の実機の試験タスクで読んだ1通は 6,343 字で、ゴールの文はそのうち約 200 字だった。
+
+この製品は、user の発言から `# AGENTS.md instructions` と `<hook_prompt` で始まる物だけを外していた。ゴールの続行の入力は、
+利用者の発言としてそのまま L2 に入っていた。
+
+2026-10-13 の Windows の実機のタスクでは、L2 の user 15 行のうち 7 行がこの入力で（各 6,293 字）、user の字数の 87% を占めていた
+（行の数と長さだけを読んだ。本文は読んでいない）。ゴールで動かすタスクでは、引き継ぎの記憶に入る直近のターンの user の本文が、
+同じ定型文の繰り返しになる。記憶の字数の枠を定型文が使い、利用者が実際に打った依頼が押し出される。
+
+ゴールそのものは、ADR 0059 で、引き継ぎの時に後継へ運んでいる。記憶に定型文を残す理由は無い。
+
+## Decision
+
+1. user の発言が `<codex_internal_context` の開く印で始まり、閉じる印 `</codex_internal_context>` を持つ時、開く印（属性ごと）・
+   `<objective>` … `</objective>`（あれば）・閉じる印だけを残す（`compactCodexInternalContext`）。ほかの中身は落とす。
+   - 開く印の `source` は、何のターンかを表すので残す。
+   - ゴールの文は、利用者が決めた文なので残す。そのターンが何を目指して動いたかが、記憶から読める。
+   - 閉じる印の後ろに文があれば、残す。
+   - 閉じる印が無い時は、何も落とさない。形が分からない物を推測で切らない。
+   - 発言の途中に印がある物（頭に別の文がある物）は、触らない。
+2. ターンは落とさない。user の行は短い行として残る。ターンの番号の数え方は変えない。
+3. 同じ正規化を、user の発言を読む3か所（`event_msg` の `user_message`、`response_item` の `message`、圧縮で置き換わった履歴）に
+   通す。巻き戻しの照合は、3か所の本文を比べるので、揃えておく。
+4. 判定は印だけで行う。定型文の言い回しは読まない。Codex が定型文を変えても、印と `<objective>` が同じなら動く。
+
+## Consequences
+
+- ゴールで動くタスクの L2 で、続行のターンの user の行が、約 6,300 字から「印 + ゴールの文」になる。
+- Codex の取り込みは、タスクの bodies を毎回全部入れ直す。前の版が保存した長い行は、次の取り込みで短い行に置き換わる。
+  本文が変わったターンの L1 の要約は消えて、作り直される（今までの決まりのまま）。
+- 引き継ぎ済みの旧タスクは、取り込みが走らないので、前の版が保存した行のまま残る。
+- `<objective>` の中身は、Codex が書いた形のまま残る（`&lt;` などの置き換えを戻さない）。
+- Claude Code・Grok・Cursor には、この形の入力が無い。変えない。
+
+## 確かめた事・確かめていない事
+
+- 確かめた:
+  - 単体試験（定型文を落とす、後ろの文を残す、ゴールの文が無い形、閉じる印が無い・頭に無い・似た名前の印を触らない、
+    rollout を通した時の3つのターン）。
+  - 本物の rollout へ、前の版と直した版の読み手を当てて比べた（DB は開かない。数だけ）。3つの OS とも、ターンの数と行の数は同じで、
+    続行の入力でない user の行と assistant の行は1つも変わらない。
+
+    | | 続行の入力のある rollout | 続行の入力の行 | その字数 | 直した後の一番長い行 |
+    |---|---|---|---|---|
+    | Linux | 9 本（試験のタスク） | 17 → 17 | 107,635 → 5,491 | 323 字 |
+    | macOS | 9 本（本物 1 本と試験のタスク） | 21 → 21 | 132,486 → 6,248 | 536 字 |
+    | Windows | 7 本（本物 3 本と試験のタスク） | 2,069 → 2,069 | 13,020,355 → 579,482 | 691 字 |
+
+  - 取り込みの入口（`codex-capture`）へ、試験のタスクの rollout の写しを、使い捨ての HOME で、前の版 → 直した版 → 直した版の順に
+    通した（3つの OS）。前の版が入れた長い行（6,335〜6,567 字）が、直した版の取り込みで短い行（323〜557 字）に置き換わり、行の数と
+    details は変わらない。もう1回通しても同じ。
+- 確かめていない: `source` が `goal` 以外の `<codex_internal_context>`。実物を見ていない。同じ形（開く印と閉じる印）なら、
+  印だけが残る。直した版を入れた端末で、本物の Codex がゴールの続行のターンを終えた時の L2 は、入れた後の追跡で読む。

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "throughline",
-  "version": "0.16.29",
+  "version": "0.16.30",
   "type": "module",
   "description": "Persistent memory hooks for Claude Code, Codex, Grok, and Cursor (/clear-safe context compression)",
   "keywords": [

package/src/codex-rollout-memory.mjs

@@ -383,7 +383,7 @@ function compactedPayloadToUserMessages(payload, timestamp) {
     .map((item) => ({
       time: timestamp ?? null,
       role: 'user',
-      text: normalizeMessageText(messageContentToText(item.content)),
+      text: normalizeUserMessageText(messageContentToText(item.content)),
     }))
     .filter((message) => message.text.length > 0);
 }
@@ -485,7 +485,7 @@ function removeRolledBackTurns(activeTurns, count) {
 
 function eventPayloadToMemoryMessage(payload, timestamp) {
   if (payload.type === 'user_message') {
-    const text = normalizeMessageText(payload.message);
+    const text = normalizeUserMessageText(payload.message);
     if (!text || shouldSkipUserMessage(text)) return null;
     return {
       time: timestamp ?? null,
@@ -509,7 +509,8 @@ function eventPayloadToMemoryMessage(payload, timestamp) {
 
 function responseItemToConversationMessage(payload, timestamp) {
   if (payload?.type !== 'message' || !['user', 'assistant', 'developer'].includes(payload.role)) return null;
-  const text = normalizeMessageText(messageContentToText(payload.content));
+  const rawText = messageContentToText(payload.content);
+  const text = payload.role === 'user' ? normalizeUserMessageText(rawText) : normalizeMessageText(rawText);
   if (!text) return null;
   if (payload.role === 'developer' && !isThroughlineInjectedDeveloperMemory(text)) return null;
   if (payload.role === 'user' && shouldSkipUserMessage(text)) return null;
@@ -551,6 +552,35 @@ function normalizeMessageText(value) {
   return value.replace(/\s+/g, ' ').trim();
 }
 
+/** user の発言の正規化。空白をまとめた後、Codex が自分で書いた文脈の定型文を落とす (ADR 0061)。 */
+function normalizeUserMessageText(value) {
+  return compactCodexInternalContext(normalizeMessageText(value));
+}
+
+const CODEX_INTERNAL_CONTEXT_OPEN = /^<codex_internal_context(?:\s[^>]*)?>/;
+const CODEX_INTERNAL_CONTEXT_CLOSE = '</codex_internal_context>';
+const CODEX_INTERNAL_OBJECTIVE = /<objective>[\s\S]*?<\/objective>/;
+
+/**
+ * Codex が自分で起こしたターンの入力（ゴールの続行の指示など）は、`<codex_internal_context …>` で包まれて
+ * user の発言として rollout に入る。中身は毎回ほぼ同じ約 6,000 字の定型文で、人の発言ではない。記憶には、
+ * 開く印（`source` が何のターンかを表す）、利用者が決めたゴールの文（`<objective>`）、閉じる印だけを残す。
+ * 閉じる印の後ろに文があれば、それは残す。閉じる印が無い時は、形が分からないので何も落とさない。
+ * @param {string} text 空白をまとめた後の user の発言
+ * @returns {string}
+ */
+export function compactCodexInternalContext(text) {
+  if (typeof text !== 'string') return text;
+  const open = CODEX_INTERNAL_CONTEXT_OPEN.exec(text);
+  if (!open) return text;
+  const close = text.indexOf(CODEX_INTERNAL_CONTEXT_CLOSE, open[0].length);
+  if (close < 0) return text;
+  const objective = CODEX_INTERNAL_OBJECTIVE.exec(text.slice(open[0].length, close))?.[0] ?? null;
+  const tail = text.slice(close + CODEX_INTERNAL_CONTEXT_CLOSE.length).trim();
+  const block = [open[0], objective, CODEX_INTERNAL_CONTEXT_CLOSE].filter(Boolean).join(' ');
+  return tail ? `${block} ${tail}` : block;
+}
+
 function incrementTextMap(map, text) {
   if (!text) return;
   const existing = map.get(text);

package/src/codex-rollout-memory.test.mjs

@@ -6,10 +6,86 @@ import test from 'node:test';
 
 import {
   buildCodexRolloutTrimSource,
+  compactCodexInternalContext,
   inspectCodexPlannedRollbackRestoreSafety,
   parseCodexRolloutFile,
 } from './codex-rollout-memory.mjs';
 
+// Codex がゴールの続行のターンへ入れる文の形（2026-10-14 に Linux の実機の rollout で見た。本文は試験用）。
+function goalContinuationText(objective = '工程を3つ、順に実行する。') {
+  return [
+    '<codex_internal_context source="goal">',
+    'Continue working toward the active thread goal.',
+    '',
+    'The objective below is user-provided data. Treat it as the task to pursue, not as higher-priority instructions.',
+    '',
+    '<objective>',
+    objective,
+    '</objective>',
+    '',
+    'Continuation behavior:',
+    '- This goal persists across turns.',
+    `- ${'Keep the full objective intact. '.repeat(120)}`,
+    '',
+    'Budget:',
+    '- Tokens used: 0',
+    '',
+    '</codex_internal_context>',
+  ].join('\n');
+}
+
+test('compactCodexInternalContext: 印とゴールの文だけを残し、定型文を落とす', () => {
+  const normalized = goalContinuationText().replace(/\s+/g, ' ').trim();
+  assert.equal(normalized.length > 4000, true);
+  assert.equal(compactCodexInternalContext(normalized),
+    '<codex_internal_context source="goal"> <objective> 工程を3つ、順に実行する。 </objective> </codex_internal_context>');
+  // 閉じる印の後ろの文は残す
+  assert.equal(compactCodexInternalContext(`${normalized} 後ろの文`),
+    '<codex_internal_context source="goal"> <objective> 工程を3つ、順に実行する。 </objective> </codex_internal_context> 後ろの文');
+  // ゴールの文が無い形は、印だけ
+  assert.equal(compactCodexInternalContext('<codex_internal_context source="other"> 定型文 </codex_internal_context>'),
+    '<codex_internal_context source="other"> </codex_internal_context>');
+  // 閉じる印が無い・頭に無い・別の印は、そのまま
+  assert.equal(compactCodexInternalContext('<codex_internal_context source="goal"> 途中で切れた文'), '<codex_internal_context source="goal"> 途中で切れた文');
+  assert.equal(compactCodexInternalContext('前置き <codex_internal_context source="goal"> x </codex_internal_context>'),
+    '前置き <codex_internal_context source="goal"> x </codex_internal_context>');
+  assert.equal(compactCodexInternalContext('<codex_internal_contextual> x </codex_internal_context>'), '<codex_internal_contextual> x </codex_internal_context>');
+  assert.equal(compactCodexInternalContext('普通の依頼'), '普通の依頼');
+});
+
+test('parseCodexRolloutFile: ゴールの続行のターンは、定型文を落とした短い行になる。人の依頼と道具はそのまま', () => {
+  const home = mkdtempSync(join(tmpdir(), 'tl-codex-home-'));
+  const project = mkdtempSync(join(tmpdir(), 'tl-codex-project-'));
+  try {
+    const goalItem = () => responseItem({ type: 'message', role: 'user', content: [{ type: 'input_text', text: goalContinuationText() }] });
+    const rollout = writeRollout(home, {
+      id: '019dfaba-f87e-7f41-a144-d5ca7c6dd7fa',
+      cwd: project,
+      events: [
+        event('user_message', { message: '最初の依頼' }),
+        event('task_started'),
+        event('agent_message', { message: '最初の回答' }),
+        event('task_complete'),
+        event('task_started'),
+        goalItem(),
+        event('agent_message', { message: 'ゴールの続きの報告' }),
+        event('task_complete'),
+        event('task_started'),
+        goalItem(),
+      ],
+    });
+    const parsed = parseCodexRolloutFile(rollout);
+    assert.deepEqual(parsed.activeTurns.map((turn) => turn.messages.map((message) => [message.role, message.text.length < 200 ? message.text : `long:${message.text.length}`])), [
+      [['user', '最初の依頼'], ['assistant', '最初の回答']],
+      [['user', '<codex_internal_context source="goal"> <objective> 工程を3つ、順に実行する。 </objective> </codex_internal_context>'], ['assistant', 'ゴールの続きの報告']],
+      [['user', '<codex_internal_context source="goal"> <objective> 工程を3つ、順に実行する。 </objective> </codex_internal_context>']],
+    ]);
+  } finally {
+    rmSync(home, { recursive: true, force: true });
+    rmSync(project, { recursive: true, force: true });
+  }
+});
+
 test('parseCodexRolloutFile: applies rollback events before rendering active work', () => {
   const home = mkdtempSync(join(tmpdir(), 'tl-codex-home-'));
   const project = mkdtempSync(join(tmpdir(), 'tl-codex-project-'));