dsh-log-contract 0.3.2 → 0.3.4

package/bin/dsh-log-contract.mjs

@@ -23,11 +23,15 @@ const USAGE = `dsh-log-contract —— 日志契约守护（DSH session log cont
       --json          输出机器可读 JSON 报告
       --max-details N 每条违规最多列 N 个缺失 seq（默认 8，--json 忽略）
 
-  dsh-log-contract fix <session-log> [--remove-markers] [--apply] [--backup-dir DIR] [--json]
+  dsh-log-contract fix <session-log> [--remove-markers] [--neutralize] [--clip-crossstep] [--apply] [--backup-dir DIR] [--json]
       诊断 + 修复（2026-08 事故固化方案）。先做严格 seq 连续扫描 + 契约体检
       （含 W1/W2 wire 级悬空 tool 检查），再按需修复：
       --remove-markers 移除 retrace/message-editor marker 并全量重编号
                        （用于大范围遮蔽历史 / marker 漏盖 tool/result）
+      --clip-crossstep 裁剪 assistant/message 的跨 step sourceEventSeqs（token-meter 不再抛 belongs to another step）
+      --neutralize     原地中和 turn-null marker（type→retrace/marker +
+                       ignorable:true，删 surfaceOp/sourceEventSeqs，seq/行数不变）
+                       —— token-meter 不再刷屏，会话驻留也安全（2026-08-30 事故）
       --apply          备份后落盘（.zstd 走官方帧格式重建：帧1=header、
                        帧2=其余、带 checksum、单个结尾换行）
       不传 --apply 为干跑（只报告）。
@@ -168,6 +172,8 @@ function cmdContracts() {
 function cmdFix(args) {
   const json = args.includes('--json');
   const removeMarkers = args.includes('--remove-markers');
+  const neutralize = args.includes('--neutralize');
+  const clipCrossStep = args.includes('--clip-crossstep');
   const dropFailedTurns = args.includes('--drop-failed-turns');
   const trimIdx = args.indexOf('--trim-last');
   const trimLast = trimIdx >= 0 && args[trimIdx + 1] ? Number(args[trimIdx + 1]) : undefined;
@@ -179,7 +185,7 @@ function cmdFix(args) {
   const file = args.find((a) => !a.startsWith('-'));
   if (!file) fail(USAGE);
 
-  const result = repairSession(file, { removeMarkers, dropFailedTurns, trimLast, compactLast, apply, backupDir });
+  const result = repairSession(file, { removeMarkers, neutralize, clipCrossStep, dropFailedTurns, trimLast, compactLast, apply, backupDir });
   if (json) {
     process.stdout.write(JSON.stringify(result, null, 2) + '\n');
     process.exit(result.ok ? 0 : 1);
@@ -188,7 +194,7 @@ function cmdFix(args) {
   process.stdout.write(`\n🔧 dsh-log-contract fix —— ${file}\n`);
   process.stdout.write(`   诊断：${result.issues.length === 0 ? '无问题' : result.issues.map((i) => `[${i.kind}] ${i.detail}`).join('\n         ')}\n`);
   if (result.applied) {
-    process.stdout.write(`   已应用修复：移除 ${result.removed} 项，重编号 ${result.renumbered} 行\n`);
+    process.stdout.write(`   已应用修复：移除 ${result.removed} 项，重编号 ${result.renumbered} 行，中和 ${result.neutralized} 个 turn-null marker，裁剪 ${result.clipped} 个跨 step 引用（seq ${(result.neutralizedSeqs ?? []).join(',')}）\n`);
     process.stdout.write(`   备份：${result.backupPath}\n`);
     process.stdout.write(`   修复后体检：error ${result.check.summary?.bySeverity?.error ?? '?'} ｜ surface ${result.check.summary?.surfaceNodes ?? '?'} 节点\n`);
   } else if (apply && !result.ok) {
@@ -196,7 +202,7 @@ function cmdFix(args) {
   } else if (apply) {
     process.stdout.write('   （--apply 且无问题——无内容可修）\n');
   } else {
-    process.stdout.write(`   （干跑模式：${result.removed} 项可移除、${result.renumbered} 行待重编号；加 --apply 落盘，--remove-markers / --drop-failed-turns / --trim-last N 启用于对应修复）\n`);
+    process.stdout.write(`   （干跑模式：${result.removed} 项可移除、${result.renumbered} 行待重编号、${result.neutralized} 个 turn-null marker 可中和、${result.clipped} 个跨 step 引用可裁剪；加 --apply 落盘，--remove-markers / --neutralize / --clip-crossstep / --drop-failed-turns / --trim-last N 启用于对应修复）\n`);
   }
   process.stdout.write('\n');
   process.exit(result.ok ? 0 : 1);

package/lib/index.js

@@ -7,7 +7,7 @@
 export { loadSessionLog, tailSeq } from './log-reader.js';
 export { validateSessionLog } from './validate.js';
 export { createPreWriter, preWriterFromLog } from './prewrite.js';
-export { repairSession, strictScanText, removeMarkersText, dropFailedTurnsText, trimLastMessagesText, compactLastMessagesText, rebuildZstdText } from './repair.js';
+export { repairSession, strictScanText, removeMarkersText, neutralizeMarkersText, clipCrossStepSourcesText, dropFailedTurnsText, trimLastMessagesText, compactLastMessagesText, rebuildZstdText } from './repair.js';
 export { CONTRACT_RULES, LAYER, SEVERITY, ruleById } from './contracts.js';
 export { tokenMeterViolations } from './checks.js';
 export { auditToolCalls, extractText, extractToolOutputs, indexToolCalls, toolCommandOf } from './archaeology.js';

package/lib/repair.js

@@ -119,6 +119,107 @@ export function strictScanText(text) {
   return { failures, count };
 }
 
+/**
+ * 裁剪 assistant/message 的跨 step sourceEventSeqs（2026-08-30 第二类事故）。
+ *
+ * 现象：DSH 的 resend/regenerate 在 agent 仍开着 step 时被触发，会把旧 step 的
+ * assistant/chunk 全部引用进新 assistant/message 的 sourceEventSeqs（526f1835
+ * seq 936047：sourceEventSeqs 覆盖 turn 54 的 step 7/8/9 三段）。token-meter
+ * 要求每个 source chunk 与消息同 turn/step（dsh-token-meter lib/index.js:645，
+ * `belongs to another step`）→ 同样刷屏压垮 host。
+ *
+ * 修复：把 sourceEventSeqs 裁剪为只含「与消息同 turn/step 的 assistant/chunk」
+ * （丢弃跨 step 的 chunk 与边界事件）。token-meter 检查全过（所有 src 同 step），
+ * token 计量仍准（保留的就是本 step 实际输出）。不动 seq/行数/其他字段。
+ *
+ * @param {string} text - JSONL 全文（含 header 行）。
+ * @returns {{ text: string, clipped: number, seqs: Array<number> }}
+ */
+export function clipCrossStepSourcesText(text) {
+  const parts = text.split('\n');
+  // 用 decodeLine 展开每行，建立「展开后事件 seq → 事件」映射（chunk 行会展开为
+  // 多个 assistant/chunk，其 seq 是 seq0+偏移——必须用展开后的 seq 才能对上
+  // sourceEventSeqs 引用的值）。同时记录每个展开后事件属于哪一行，便于回写。
+  const bySeq = new Map(); // 展开后 seq → { event, lineIndex }
+  for (let i = 0; i < parts.length; i++) {
+    const raw = parts[i];
+    if (!raw.trim()) continue;
+    const decoded = decodeLine(raw);
+    if (decoded === null) continue;
+    for (const ev of decoded) {
+      if (typeof ev.seq === 'number') bySeq.set(ev.seq, { event: ev, lineIndex: i });
+    }
+  }
+  const clipped = [];
+  let clippedCount = 0;
+  for (const { event, lineIndex } of bySeq.values()) {
+    if (event.type !== 'assistant/message' || !Array.isArray(event.sourceEventSeqs) || event.sourceEventSeqs.length === 0) continue;
+    const { turn, step } = event.data ?? {};
+    if (turn == null || step == null) continue; // turn-null marker 由 neutralize 处理
+    let dirty = false;
+    const kept = event.sourceEventSeqs.filter((s) => {
+      const src = bySeq.get(s)?.event;
+      if (!src || src.type !== 'assistant/chunk') return true; // 保留非 chunk 引用（边界事件）
+      if (src.data?.turn === turn && src.data?.step === step) return true;
+      dirty = true;
+      return false;
+    });
+    if (dirty) {
+      // 回写：只改事件所属的行。若该行是 chunk 行（多个展开事件共享一行），
+      // 此事件必是独立 assistant/message 行，直接改那一行。
+      event.sourceEventSeqs = kept;
+      parts[lineIndex] = JSON.stringify(event);
+      clipped.push(event.seq);
+      clippedCount++;
+    }
+  }
+  return { text: parts.join('\n'), clipped: clippedCount, seqs: clipped };
+}
+
+/**
+ * 原地中和 turn-null marker（2026-08-30 事故升级：单 marker 会让 token-meter
+ * 监听器在每条事件上抛错刷屏、压垮 host 事件循环 → 全会话连锁锁定）。
+ *
+ * 机制（自检单 §3.3）：把 turn-null `assistant/message` replace marker 改写为
+ * `retrace/marker` + `ignorable: true`（dsh-session lib/index.js:1203/1209 认可
+ * envelope 级 ignorable），**删除 surfaceOp/sourceEventSeqs，不动行数/seq/时间**。
+ * 改写后该事件不再属于 SURFACE_EVENT_TYPES（dsh-session:219-223）→ foldSurface
+ * 跳过、token-meter 不做 step 配对（不再抛错刷屏）；会话驻留时也安全（seq 不变，
+ * 退出 flush 不撞车）。代价：被遮蔽的旧消息回到 surface（编辑外观回退为原文）。
+ *
+ * @param {string} text - JSONL 全文（含 header 行）。
+ * @returns {{ text: string, neutralized: number, seqs: Array<number> }}
+ */
+export function neutralizeMarkersText(text) {
+  const parts = text.split('\n');
+  const seqs = [];
+  let neutralized = 0;
+  for (let i = 0; i < parts.length; i++) {
+    const raw = parts[i];
+    if (!raw.trim()) continue;
+    let v;
+    try {
+      v = JSON.parse(raw);
+    } catch {
+      continue;
+    }
+    if (!v || typeof v !== 'object' || v.type !== 'assistant/message') continue;
+    // 只中和 turn-null 的 retrace marker（data.turn/step 为 null 且 id 带 marker 前缀）
+    if (v.data?.turn != null || v.data?.step != null) continue;
+    const id = v.data?.message?.id;
+    if (typeof id !== 'string' || !MARKER_PREFIXES.some((p) => id.startsWith(`${p}-`))) continue;
+    const seq = v.seq;
+    delete v.surfaceOp;
+    delete v.sourceEventSeqs;
+    v.type = 'retrace/marker';
+    v.ignorable = true;
+    parts[i] = JSON.stringify(v);
+    seqs.push(seq);
+    neutralized++;
+  }
+  return { text: parts.join('\n'), neutralized, seqs };
+}
+
 /**
  * 移除 retrace/message-editor marker 并全量重编号。
  * @param {string} text - JSONL 全文。
@@ -555,11 +656,12 @@ export function rebuildZstdText(text) {
  * @param {string} file - .jsonl 或 .jsonl.zstd 路径。
  * @param {{
  *   removeMarkers?: boolean, dropFailedTurns?: boolean, trimLast?: number, compactLast?: number,
- *   apply?: boolean, backupDir?: string
+ *   neutralize?: boolean, clipCrossStep?: boolean, apply?: boolean, backupDir?: string
  * }} opts
  * @returns {{
  *   file, ok, issues: Array<{kind:string, detail:string}>,
- *   removed, renumbered, backupPath, applied,
+ *   removed, renumbered, neutralized, neutralizedSeqs: Array<number>,
+ *   clipped, clippedSeqs: Array<number>, backupPath, applied,
  *   check: { ok, summary }
  * }}
  */
@@ -610,6 +712,28 @@ export function repairSession(file, opts = {}) {
     const r = removeMarkersText(plain);
     applyFix('markers', r, `移除 ${r.removed} 个 retrace/message-editor marker（重编号 ${r.renumbered} 行）`);
   }
+  let neutralized = 0;
+  const neutralizedSeqs = [];
+  if (opts.neutralize) {
+    const r = neutralizeMarkersText(plain);
+    neutralized = r.neutralized;
+    neutralizedSeqs.push(...r.seqs);
+    if (r.neutralized > 0) {
+      issues.push({ kind: 'neutralize', detail: `原地中和 ${r.neutralized} 个 turn-null marker（type→retrace/marker + ignorable:true，删除 surfaceOp/sourceEventSeqs，seq/行数不变）→ token-meter 不再刷屏` });
+      plain = r.text;
+    }
+  }
+  let clipped = 0;
+  const clippedSeqs = [];
+  if (opts.clipCrossStep) {
+    const r = clipCrossStepSourcesText(plain);
+    clipped = r.clipped;
+    clippedSeqs.push(...r.seqs);
+    if (r.clipped > 0) {
+      issues.push({ kind: 'clip-crossstep', detail: `裁剪 ${r.clipped} 个 assistant/message 的跨 step sourceEventSeqs（保留同 step chunk，token-meter 不再抛 belongs to another step）` });
+      plain = r.text;
+    }
+  }
   if (typeof opts.trimLast === 'number') {
     const r = trimLastMessagesText(plain, opts.trimLast);
     applyFix('trim', r, `裁剪到最近 ${r.kept} 条消息（丢弃 ${r.removed} 行，重编号 ${r.renumbered} 行）`);
@@ -652,6 +776,10 @@ export function repairSession(file, opts = {}) {
     issues,
     removed,
     renumbered,
+    neutralized,
+    neutralizedSeqs,
+    clipped,
+    clippedSeqs,
     backupPath,
     applied,
     check,

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "dsh-log-contract",
   "description": "日志契约守护 — DSH session log contract guard: offline health check (CLI) + pre-write validation for DeepSeek Harness session logs",
-  "version": "0.3.2",
+  "version": "0.3.4",
   "type": "module",
   "main": "lib/index.js",
   "bin": {