@240xu/dsh-message-ops 0.2.2 → 0.2.4

package/README.md

@@ -44,6 +44,24 @@ dsh plugin --profile web add file:C:/path/to/dsh-message-ops
 | GET  | `/api/message-ops/export?sessionId=<id>&seq=<可选>` | 导出 Markdown（seq ≤ 上界，缺省全部），附件下载 |
 | POST | `/api/message-ops/restore` | `{sessionId, seq}` 回滚恢复：seq 为某次 revert/delete 标记事件的 seq |
 
+## 0.2.3 格式兼容（compat-audit + 用户实测紧急修复）
+
+- **P0 旧单帧 `session.jsonl.zstd` 读取必崩**：`readSessionFile` 旧实现把帧 0
+  整段 `JSON.parse`——旧单帧格式整个文件是一帧、解压出多行 NDJSON，直接抛异常，
+  与「旧格式兼容」声明矛盾。现改为**逐行扫描统一路径**：全部帧解压后按行扫描，
+  首个 `type:"session"` 行作 header、其余行作事件，v3 多帧 / v4 多帧 / 旧单帧
+  三种格式一条代码路径（撕裂行仍按完整前缀语义跳过）。
+- **P0 v4 会话格式（用户实测 3080 服务暴露）**：DSH 已升级 v4 持久化
+  （`session.v4.jsonl.zstd`，结构同 v3，仅文件名与 `version` 数字不同）。
+  `findSessionDirs` 探测序列改为 **v4 → v3 → 旧单帧**（此前只找 v3，最新会话
+  全部 "session log not found"）；`readSessionFile` 不做 version 硬校验；
+  `applyBranch` 分支写回沿用读到的原格式版本（`session.v<version>.jsonl.zstd`），
+  不再写死 v3。
+- **dedup**：`listMessages` 内联文本提取收敛到 `session-file.messageText`
+  单点（ops-core 转出保持导入面兼容），消除双实现漂移面。
+- 回归：40 项测试全绿，含旧单帧/ v4 fixture 往返、listMessages、
+  findSessionDirs 三格式发现与 v4 分支写回；真实 v4 会话日志已实测通过。
+
 ## 0.2.2 前端收尾（评审 M1/M2）
 
 - **M2 观察范围收窄**：侧栏行菜单注入的 `MutationObserver` 仍观察

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@240xu/dsh-message-ops",
-  "version": "0.2.2",
+  "version": "0.2.4",
   "description": "Roll back, branch, and export any DSH conversation — from the UI or straight from the agent via a message_ops tool. Non-destructive: logs stay append-only and recoverable. 消息回滚/删除/分支/导出四合一，内置 message_ops agent 工具；非破坏语义，日志只追加可恢复。",
   "type": "module",
   "license": "MIT",
@@ -46,6 +46,6 @@
     "test": "node --test \"test/*.test.js\""
   },
   "peerDependencies": {
-    "@deepseek-ai/dsh-tools": "^0.1.0-rc.6"
+    "@deepseek-ai/dsh-tools": "^0.1.0-rc.6 || ^0.2.0-rc.1"
   }
 }

package/src/branch.js

@@ -35,16 +35,19 @@ export function planBranch(header, events, upToSeq) {
 }
 
 /**
- * 落盘：在同 project 目录下创建 <newId>/session.v3.jsonl.zstd。
+ * 落盘：在同 project 目录下创建 <newId>/session.v<version>.jsonl.zstd。
+ * 写回沿用读到的原格式版本（v4/v3/旧单帧），不写死版本号。
  * @returns {{newId: string, dir: string, logPath: string, keptEvents: number}}
  */
 export function applyBranch(logPath, upToSeq) {
   const { header, events } = readSessionFile(logPath);
   const { header: newHeader, events: kept } = planBranch(header, events, upToSeq);
+  const version = Number(newHeader.version) === 4 ? 4 : Number(newHeader.version) === 3 ? 3 : null;
+  const logName = version ? `session.v${version}.jsonl.zstd` : "session.jsonl.zstd";
   const dir = path.dirname(path.resolve(logPath));
   const newDir = path.join(path.dirname(dir), newHeader.id);
   fs.mkdirSync(newDir, { recursive: true });
-  const newLogPath = path.join(newDir, "session.v3.jsonl.zstd");
+  const newLogPath = path.join(newDir, logName);
   const buf = encodeSessionFile(newHeader, kept);
   // 原子写：先写临时名再 rename，避免半写日志被会话扫描读到。
   const tmpPath = newLogPath + ".tmp-messageops";

package/src/ops-core.js

@@ -16,7 +16,11 @@
  * @module dsh-message-ops/ops-core
  */
 
-import { readReplaceOp } from "./session-file.js";
+import { readReplaceOp, messageText } from "./session-file.js";
+
+// messageText 的单点实现在 session-file.js（listMessages 同用）；此处转出保持
+// 既有导入面兼容（ops-core 的 messageText/exportMarkdown 调用方不受影响）。
+export { messageText };
 
 /** 带语义状态码的操作错误（HTTP 直接映射，工具端转为失败文本）。 */
 export class OpsError extends Error {
@@ -26,17 +30,6 @@ export class OpsError extends Error {
   }
 }
 
-/** 从 message 事件提取首个非空 text 块（与 listMessages 同一规则）。 */
-export function messageText(e) {
-  const msg = e && e.data && e.data.message;
-  const content = msg && Array.isArray(msg.content) ? msg.content : (e && e.data && e.data.content);
-  if (!Array.isArray(content)) return "";
-  for (const c of content) {
-    if (c && c.type === "text" && typeof c.text === "string" && c.text.trim()) return c.text;
-  }
-  return "";
-}
-
 /** planRevert：回撤语义 = 遮蔽 targetSeq 及其之后全部可见节点（连续到末尾）。 */
 export function planRevert(surface, targetSeq) {
   const nodes = surface && Array.isArray(surface.nodes) ? surface.nodes : [];

package/src/session-file.js

@@ -18,6 +18,17 @@ import { constants, zstdCompressSync, zstdDecompressSync } from "node:zlib";
 
 const ZSTD_MAGIC = 0xfd2fb528;
 
+/** 从 message 事件提取首个非空 text 块（listMessages / ops-core 共用单点）。 */
+export function messageText(e) {
+  const msg = e && e.data && e.data.message;
+  const content = msg && Array.isArray(msg.content) ? msg.content : (e && e.data && e.data.content);
+  if (!Array.isArray(content)) return "";
+  for (const c of content) {
+    if (c && c.type === "text" && typeof c.text === "string" && c.text.trim()) return c.text;
+  }
+  return "";
+}
+
 /** 与 DSH 宿主一致：帧带 checksum（ZSTD_c_checksumFlag=1）。 */
 function compressFrame(input) {
   return zstdCompressSync(Buffer.from(input, "utf8"), {
@@ -49,25 +60,42 @@ export function scanZstdFrames(buf) {
 }
 
 /**
- * 读取会话日志 → { header, events }。撕裂的最终帧按宿主同款
- * 「完整前缀」语义忽略（完整帧全部恢复）。
+ * 逐行解帧：首个 type:"session" 行作 header，其余行作事件。
+ * 一条路径同时覆盖两种持久化格式（compat-audit P0）：
+ *   - v3 多帧：帧 0 = 恰一行 header，其后每帧一批事件行；
+ *   - 旧单帧 session.jsonl.zstd：整个文件一帧，解压出多行 NDJSON，
+ *     首行 header、其余事件——旧实现把帧 0 整段 JSON.parse 会直接崩。
+ * 撕裂行（JSON.parse 失败）按宿主「完整前缀」语义跳过。
+ */
+function collectHeaderAndEvents(text, events) {
+  let header = null;
+  for (const line of text.split("\n")) {
+    const t = line.trim();
+    if (!t) continue;
+    let json;
+    try { json = JSON.parse(t); } catch { continue; /* torn record: skip */ }
+    if (!header && json && typeof json === "object" && json.type === "session") { header = json; continue; }
+    events.push(json);
+  }
+  return header;
+}
+
+/**
+ * 读取会话日志 → { header, events }。两种格式（v3 多帧 / 旧单帧）同一条
+ * 逐行扫描路径，见 collectHeaderAndEvents。
  */
 export function readSessionFile(file) {
   const buf = fs.readFileSync(file);
   const { frames } = scanZstdFrames(buf);
   if (frames.length === 0) throw new Error("empty or header-less session log");
-  const headerText = zstdDecompressSync(buf.subarray(frames[0].start, frames[0].end)).toString("utf8");
-  const header = JSON.parse(headerText.trim());
-  if (header.type !== "session") throw new Error("first frame is not a session header");
   const events = [];
-  for (const f of frames.slice(1)) {
+  let header = null;
+  for (const f of frames) {
     const text = zstdDecompressSync(buf.subarray(f.start, f.end)).toString("utf8");
-    for (const line of text.split("\n")) {
-      const t = line.trim();
-      if (!t) continue;
-      try { events.push(JSON.parse(t)); } catch { /* torn record: skip */ }
-    }
+    const found = collectHeaderAndEvents(text, events);
+    if (!header) header = found;
   }
+  if (!header) throw new Error(`session log ${file}: no {type:"session"} header line in any frame`);
   return { header, events };
 }
 
@@ -116,8 +144,14 @@ export function findSessionDirs(sessionId) {
       try {
         if (!fs.statSync(dir).isDirectory()) continue;
       } catch { continue; }
-      const logPath = path.join(dir, "session.v3.jsonl.zstd");
-      try { fs.statSync(logPath); } catch { continue; }
+      // 探测序列（用户实测 DSH 已升级 v4 格式）：v4 → v3 → 旧单帧，
+      // 高版本优先；文件名与 header.version 对应，读取逻辑三格式同构。
+      let logPath = null;
+      for (const name of ["session.v4.jsonl.zstd", "session.v3.jsonl.zstd", "session.jsonl.zstd"]) {
+        const candidate = path.join(dir, name);
+        try { fs.statSync(candidate); logPath = candidate; break; } catch { /* probe next */ }
+      }
+      if (!logPath) continue;
       if (!found.some((f) => f.dir === dir)) found.push({ dir, logPath });
     }
   }
@@ -135,16 +169,8 @@ export function listMessages(events) {
   for (const e of events) {
     if (!e || typeof e.seq !== "number") continue;
     if (e.type === "user/message" || e.type === "assistant/message" || e.type === "system/message") {
+      const text = messageText(e);
       const msg = e.data && e.data.message;
-      const content = msg && Array.isArray(msg.content) ? msg.content : (e.data && e.data.content);
-      let text = "";
-      if (Array.isArray(content)) {
-        for (const c of content) {
-          if (c && c.type === "text" && typeof c.text === "string" && c.text.trim()) {
-            text = c.text; break;
-          }
-        }
-      }
       messages.push({
         seq: e.seq,
         type: e.type,
@@ -208,23 +234,19 @@ export async function readSessionFileAsync(file, { framesPerYield = 8, frameBudg
   const buf = fs.readFileSync(file);
   const { frames } = scanZstdFrames(buf);
   if (frames.length === 0) throw new Error("empty or header-less session log");
-  const headerText = zstdDecompressSync(buf.subarray(frames[0].start, frames[0].end)).toString("utf8");
-  const header = JSON.parse(headerText.trim());
-  if (header.type !== "session") throw new Error("first frame is not a session header");
   const events = [];
-  const bodyFrames = frames.slice(1);
+  let header = null;
   let framesSinceYield = 0;
-  for (const f of bodyFrames) {
+  for (const f of frames) {
     const text = zstdDecompressSync(buf.subarray(f.start, f.end)).toString("utf8");
-    for (const line of text.split("\n")) {
-      const t = line.trim();
-      if (!t) continue;
-      try { events.push(JSON.parse(t)); } catch { /* torn record: skip */ }
-    }
+    const found = collectHeaderAndEvents(text, events);
+    if (!header) header = found;
     if (++framesSinceYield >= framesPerYield) {
       framesSinceYield = 0;
       await yieldToLoop();
     }
   }
-  return { header, events, frameCount: bodyFrames.length, partial: bodyFrames.length > frameBudget };
+  if (!header) throw new Error(`session log ${file}: no {type:"session"} header line in any frame`);
+  const bodyFrames = frames.length - 1;
+  return { header, events, frameCount: bodyFrames, partial: bodyFrames > frameBudget };
 }

package/test/legacy-format.test.js

@@ -0,0 +1,137 @@
+/**
+ * dsh-message-ops — compat-audit P0 回归测试：旧单帧 session.jsonl.zstd
+ * 必须与 v3 多帧走同一读取路径（帧 0 是整段 NDJSON，不是单行 header）。
+ */
+import test from 'node:test'
+import assert from 'node:assert/strict'
+import fs from 'node:fs'
+import os from 'node:os'
+import path from 'node:path'
+import { constants, zstdCompressSync } from 'node:zlib'
+
+process.env.DSH_HOME = fs.mkdtempSync(path.join(os.tmpdir(), 'dsh-msgops-legacy-'))
+
+const { readSessionFile, readSessionFileAsync, encodeSessionFile, findSessionDirs, listMessages } =
+  await import('../src/session-file.js')
+const { applyBranch } = await import('../src/branch.js')
+
+const HEADER = { type: 'session', version: 3, id: 'session-22222222-2222-2222-2222-222222222222', createdAt: 1, cwd: '/tmp/x' }
+const EVENTS = [
+  { type: 'user/message', seq: 0, surfaceOp: 'append', data: { message: { role: 'user', content: [{ type: 'text', text: '旧格式第一问' }] } } },
+  { type: 'assistant/message', seq: 1, surfaceOp: 'append', data: { message: { role: 'assistant', content: [{ type: 'text', text: '旧格式回复' }] } } },
+]
+
+/** 旧单帧：整个文件 = 单个 zstd 帧，解压出 header 行 + 事件行 NDJSON。 */
+function writeLegacySingleFrame(dir) {
+  fs.mkdirSync(dir, { recursive: true })
+  const ndjson = JSON.stringify(HEADER) + '\n' + EVENTS.map((e) => JSON.stringify(e)).join('\n') + '\n'
+  const frame = zstdCompressSync(Buffer.from(ndjson, 'utf8'), { params: { [constants.ZSTD_c_checksumFlag]: 1 } })
+  const logPath = path.join(dir, 'session.jsonl.zstd')
+  fs.writeFileSync(logPath, frame)
+  return logPath
+}
+
+test('readSessionFile：旧单帧格式往返（header + 事件完整恢复）', () => {
+  const p = writeLegacySingleFrame(path.join(process.env.DSH_HOME, 'sessions', 'legacy-a', HEADER.id))
+  const { header, events } = readSessionFile(p)
+  assert.equal(header.type, 'session')
+  assert.equal(header.id, HEADER.id)
+  assert.equal(events.length, 2)
+  assert.equal(events[0].data.message.content[0].text, '旧格式第一问')
+})
+
+test('readSessionFileAsync：旧单帧同样走逐行扫描路径', async () => {
+  const p = writeLegacySingleFrame(path.join(process.env.DSH_HOME, 'sessions', 'legacy-b', HEADER.id))
+  const { header, events, frameCount } = await readSessionFileAsync(p)
+  assert.equal(header.id, HEADER.id)
+  assert.equal(events.length, 2)
+  assert.equal(frameCount, 0) // 单帧格式：除承载 header+事件的帧外无其余帧
+})
+
+test('listMessages：旧单帧日志可提取消息（含 tool 摘要）', () => {
+  const dir = path.join(process.env.DSH_HOME, 'sessions', 'legacy-c', HEADER.id)
+  fs.mkdirSync(dir, { recursive: true })
+  const ndjson = JSON.stringify(HEADER) + '\n'
+    + JSON.stringify(EVENTS[0]) + '\n'
+    + JSON.stringify({ type: 'tool/call', seq: 1, data: { name: 'bash' } }) + '\n'
+    + JSON.stringify(EVENTS[1]) + '\n'
+  fs.writeFileSync(path.join(dir, 'session.jsonl.zstd'),
+    zstdCompressSync(Buffer.from(ndjson, 'utf8'), { params: { [constants.ZSTD_c_checksumFlag]: 1 } }))
+  const { header, events } = readSessionFile(path.join(dir, 'session.jsonl.zstd'))
+  assert.equal(header.id, HEADER.id)
+  const ms = listMessages(events)
+  assert.equal(ms.length, 3)
+  assert.equal(ms[0].snippet, '旧格式第一问')
+  assert.match(ms[1].snippet, /\[tool\] bash/)
+})
+
+test('findSessionDirs：旧文件名 session.jsonl.zstd 可发现（v3 缺席时）', () => {
+  const uniq = 'session-44444444-4444-4444-4444-444444444444'
+  writeLegacySingleFrame(path.join(process.env.DSH_HOME, 'sessions', 'legacy-d', uniq))
+  const dirs = findSessionDirs(uniq)
+  assert.equal(dirs.length, 1)
+  assert.match(dirs[0].logPath, /session\.jsonl\.zstd$/)
+})
+
+test('v3 多帧回归：新格式不受统一路径影响', () => {
+  const id = 'session-33333333-3333-3333-3333-333333333333'
+  const dir = path.join(process.env.DSH_HOME, 'sessions', 'v3-a', id)
+  fs.mkdirSync(dir, { recursive: true })
+  const p = path.join(dir, 'session.v3.jsonl.zstd')
+  fs.writeFileSync(p, encodeSessionFile({ ...HEADER, id }, [{ type: 'user/message', seq: 0, surfaceOp: 'append', data: { message: { role: 'user', content: [{ type: 'text', text: '多帧' }] } } }]))
+  const { header, events } = readSessionFile(p)
+  assert.equal(header.id, id)
+  assert.equal(events.length, 1)
+  // 同目录同时存在 v3 与旧格式时 v3 优先
+  fs.writeFileSync(path.join(dir, 'session.jsonl.zstd'),
+    zstdCompressSync(Buffer.from(JSON.stringify(HEADER) + '\n', 'utf8'), { params: { [constants.ZSTD_c_checksumFlag]: 1 } }))
+  const dirs = findSessionDirs(id)
+  assert.equal(dirs.length, 1)
+  assert.match(dirs[0].logPath, /session\.v3\.jsonl\.zstd$/)
+})
+
+// --- v4 会话格式（用户实测 DSH 已升级；结构同 v3，仅文件名与 version 数字不同） ---
+
+const V4_HEADER = { type: 'session', version: 4, id: 'session-55555555-5555-5555-5555-555555555555', createdAt: 2, cwd: '/tmp/x' }
+
+test('readSessionFile：v4 多帧格式往返（version 不硬校验）', () => {
+  const dir = path.join(process.env.DSH_HOME, 'sessions', 'v4-a', V4_HEADER.id)
+  fs.mkdirSync(dir, { recursive: true })
+  fs.writeFileSync(path.join(dir, 'session.v4.jsonl.zstd'), encodeSessionFile(V4_HEADER, [
+    { type: 'user/message', seq: 0, surfaceOp: 'append', data: { message: { role: 'user', content: [{ type: 'text', text: 'v4 会话第一问' }] } } },
+    { type: 'assistant/message', seq: 1, surfaceOp: 'append', data: { message: { role: 'assistant', content: [{ type: 'text', text: 'v4 回复' }] } } },
+  ]))
+  const { header, events } = readSessionFile(path.join(dir, 'session.v4.jsonl.zstd'))
+  assert.equal(header.version, 4)
+  assert.equal(events.length, 2)
+})
+
+test('readSessionFileAsync：v4 同样可读', async () => {
+  const p = path.join(process.env.DSH_HOME, 'sessions', 'v4-a', V4_HEADER.id, 'session.v4.jsonl.zstd')
+  const { header, events } = await readSessionFileAsync(p)
+  assert.equal(header.version, 4)
+  assert.equal(events.length, 2)
+})
+
+test('findSessionDirs：v4 文件名优先发现；同目录 v4 压过 v3/legacy', () => {
+  const dirs = findSessionDirs(V4_HEADER.id)
+  assert.equal(dirs.length, 1)
+  assert.match(dirs[0].logPath, /session\.v4\.jsonl\.zstd$/)
+})
+
+test('applyBranch：v4 会话分支写回 v4 文件名与 version=4', () => {
+  const id = 'session-66666666-6666-6666-6666-666666666666'
+  const dir = path.join(process.env.DSH_HOME, 'sessions', 'v4-b', id)
+  fs.mkdirSync(dir, { recursive: true })
+  const origLog = path.join(dir, 'session.v4.jsonl.zstd')
+  fs.writeFileSync(origLog, encodeSessionFile({ ...V4_HEADER, id }, [
+    { type: 'user/message', seq: 0, surfaceOp: 'append', data: { message: { role: 'user', content: [{ type: 'text', text: 'a' }] } } },
+    { type: 'user/message', seq: 1, surfaceOp: 'append', data: { message: { role: 'user', content: [{ type: 'text', text: 'b' }] } } },
+  ]))
+  const result = applyBranch(origLog, 0)
+  assert.match(result.logPath, /session\.v4\.jsonl\.zstd$/)
+  const { header, events } = readSessionFile(result.logPath)
+  assert.equal(header.version, 4)
+  assert.equal(header.parentSession, id)
+  assert.equal(events.length, 1)
+})