@modusensus/dsh-mneme 0.8.15 → 0.9.0

package/lib/inject.js

@@ -1,9 +1,10 @@
 import { createScopeResolver } from "./scope.js";
-import { createHotMemory } from "./hot-memory.js";
+import { createHotMemory, roundsFromEvents } from "./hot-memory.js";
 import { STR, langOf } from "./lang.js";
 import { MEMORY_GUIDE_SECTION } from "./guide.js";
 import { adaptiveInjectBudget } from "./search/adaptive.js";
 import { injectChildEnabled } from "./config.js";
+import { safeSlice } from "./safe-slice.js";
 
 // Issue #179：注入预览的数据底座。systemPrompt 渲染是同步回调，面板只能事后
 // 拉取，所以在这里旁路缓存「最近一帧组装」——快照就是本次渲染用过的同一份
@@ -16,21 +17,19 @@ export function getInjectionSnapshot() {
   return injectionSnapshot;
 }
 
-// Issue #334：UTF-16 截断切开 emoji 代理对会留下孤立代理项（如 🔴 = D83D DD34
-// 在 800 处切，D83D 留下、DD34 被切走）。DSH 把它序列化成非法 UTF-8，DeepSeek
-// API 对每个请求回 400 INVALID_REQUEST——而且畸形文本随注入消息被永久写进会话
-// 历史，此后**每一轮**都带着它，表现为会话从某一轮起连续 400、换话题/重启都不
-// 恢复（会话级不可逆损坏）。防法是「少一个字符都行，绝不留半个」：尾字符是
-// 高位代理（0xD800–0xDBFF）说明它的低位搭档被切走了，把这个高位代理整个丢掉。
-// （反过来尾字符是低位代理不可能孤立——它的搭档必然紧邻在前、同在切点之内。）
-// ASCII-only 的文本零开销（length 相等直接短路）。
-function safeSlice(text, limit) {
-  const s = String(text);
-  if (s.length <= limit) return s;
-  let cut = s.slice(0, limit);
-  const tail = cut.charCodeAt(cut.length - 1);
-  if (tail >= 0xd800 && tail <= 0xdbff) cut = cut.slice(0, -1);
-  return cut;
+// 「模型可见事件 seq」集合：宿主在 session.surface.nodes 维护可见面——rewind 的
+// surfaceOp replace 与 compact 的隐藏替换都作用在这层（dsh-rewind 插件即据此计算
+// 替换区间）。拿不到（老版本宿主）返回 null，调用方退回「全量事件」的旧行为。
+// 读取必须在 try 内：`surface.nodes` 是宿主 getter，其 _assertProjections 在消息投影
+// 所属插件被移除时会 throw（dsh-session lib/types/surface.js）。抛出等同于「没有
+// 可见面」，绝不能让整块热记忆消失——那是比旧偏差更糟的退化。
+function visibleSeqsOf(session) {
+  try {
+    const nodes = session?.surface?.nodes;
+    return Array.isArray(nodes) ? new Set(nodes) : null;
+  } catch {
+    return null;
+  }
 }
 
 // Best-effort extraction of the current user's latest message text from the
@@ -39,15 +38,23 @@ function safeSlice(text, limit) {
 // session event log (same event shape summarize.js consumes) and returns the
 // most recent human message. Any failure degrades to "" — the injector then
 // falls back to the legacy rule-based pick, never breaking the render.
-function lastUserQuery(ctx) {
+//
+// v0.9.0：导出给 tools.js 的 memory_update 用。失败记录表的 query 与注入
+// 候选问的是同一件事——「当时到底想干什么」；这条取原话的路只该有一份实现。
+// 复制一份的代价本仓库付过几次（src/lib 平价、snapshotEvents 兼容层），所以
+// 这里只加 export，不改行为。
+export function lastUserQuery(ctx) {
   try {
     const session = ctx?.agent?.session;
     // DSH ≥0.1.2-rc only exposes events via snapshotEvents(); older builds
     // still have the .events property, so fall back to it.
     const events = session?.snapshotEvents?.() ?? session?.events;
     if (!Array.isArray(events) || events.length === 0) return "";
+    const visibleSeqs = visibleSeqsOf(session);
     for (let i = events.length - 1; i >= 0; i--) {
       const event = events[i];
+      // 被撤回/被压缩遮蔽的事件不算「最近一条用户消息」（与 extractRounds 同口径）。
+      if (visibleSeqs && !visibleSeqs.has(event?.seq)) continue;
       if (event?.type !== "user/message") continue;
       const kind = event.data?.source?.kind;
       if (kind !== undefined && kind !== "user") continue;
@@ -66,58 +73,20 @@ function lastUserQuery(ctx) {
 }
 
 // Hot-memory round extraction (v0.5.0 1.3): pairs each user/message with the
-// next assistant reply from the materialized session log. Tolerates shapes
-// where assistant events carry a different type tag — anything whose payload
-// has content parts and is not a user message counts as a reply. Best-effort:
-// returns [] on any failure, and the hot block simply does not render.
+// next assistant reply. The pairing lives in hot-memory.js (roundsFromEvents)
+// so it can be unit-tested directly; this adapter only resolves the session's
+// raw event log and the model-visible seq set (session.surface.nodes — see
+// visibleSeqsOf). Rewind-shadowed / compacted events are thereby excluded:
+// hot memory and the model see the same conversation. Best-effort: returns []
+// on any failure, and the hot block simply does not render.
 function extractRounds(ctx, maxRounds) {
   try {
     const session = ctx?.agent?.session;
+    // DSH ≥0.1.2-rc only exposes events via snapshotEvents(); older builds
+    // still have the .events property, so fall back to it.
     const events = session?.snapshotEvents?.() ?? session?.events;
     if (!Array.isArray(events) || events.length === 0) return [];
-    const rounds = [];
-    let pendingQuery = null;
-    const textOf = (event) => {
-      // user/message 的正文就在 data 上，而 assistant/message（以及 tool/result）的消息体
-      // 嵌在 data.message 下 —— DSH 侧由 @deepseek-ai/dsh-session 的
-      // assertMessageEventShape 一行写死：const message = type === "user/message" ? record : record?.["message"]。
-      // 只读 data.content 会让每一轮的 response 恒为空（Issue #129）。
-      // 这里用 ?? 兜底而不是直接改成 data.message.content：user 消息与旧的扁平形状都照旧可用。
-      const parts = event?.data?.content ?? event?.data?.message?.content;
-      if (!Array.isArray(parts)) return "";
-      // 只取正文 part（type === "text" 或字符串），跳过 reasoning（issue #162）：
-      // reasoning 里出现 Go template / Vue / Handlebars / 正则 / 日志原文的概率远高于
-      // 正文，把它带进 hot memory 会让 `{{...}}` 模板片段注入 prompt。旧的扁平形状
-      // （字符串 part）照旧取用，无 type 字段的兜底视为正文。
-      return parts
-        .map((p) => {
-          if (typeof p === "string") return p;
-          if (p?.type && p.type !== "text") return "";
-          return p?.text ?? "";
-        })
-        .filter(Boolean)
-        .join("\n")
-        .trim();
-    };
-    for (const event of events) {
-      const kind = event?.data?.source?.kind;
-      const isUser = event?.type === "user/message" && (kind === undefined || kind === "user");
-      if (isUser) {
-        if (pendingQuery) rounds.push({ query: pendingQuery, response: "" });
-        pendingQuery = safeSlice(textOf(event), 500);
-        continue;
-      }
-      // Only assistant-originated events close a round; tool/system events
-      // carrying text must not be mistaken for the model's reply.
-      const isAssistant = typeof event?.type === "string" && event.type.includes("assistant")
-        || kind === "assistant";
-      const body = isAssistant ? textOf(event) : "";
-      if (!body || !pendingQuery) continue;
-      rounds.push({ query: pendingQuery, response: safeSlice(body, 800) });
-      pendingQuery = null;
-    }
-    if (pendingQuery) rounds.push({ query: pendingQuery, response: "" });
-    return rounds.slice(-maxRounds);
+    return roundsFromEvents(events, maxRounds, visibleSeqsOf(session));
   } catch {
     return [];
   }

package/lib/maintenance.js

@@ -6,7 +6,7 @@
 // 东西）。所以模块里没有任何定时器，挂点只有两个：standalone 数据面的
 // `POST /maintenance/reclaim` 与它上面的 `dsh-mneme reclaim` 子命令。
 //
-// 两项都零价值判断、零条数变化：
+// 三项都零价值判断、零条数变化：
 //   A `dream_runs.input` 置空。这一列的含义按 run_type 分叉：auto / sleep 的 run 存的
 //     是当时的记忆库快照，可由记忆库重建；**organize 的 run 存的是 apply 的重放载荷**，
 //     置空会让那次 apply 静默空转并把报告锁死，所以 organize 行不在可清范围内（谓词
@@ -14,6 +14,13 @@
 //     与 receipt 一律保留，行永不删（拍板 3：裁列同意、删行不同意）。
 //   B 归档行向量置空：检索 SQL 恒带 `archived = 0`，这部分向量按定义不可达。它不是
 //     单程票——取消归档时 service 会重新排队嵌入（archiveMemory 的还原分支）。
+//   C #399 蒸馏原文记录按 distilled_at 到期删除：记录是蒸馏那次调用的凭证，越旧越
+//     没有复核价值，而它按定义就是整段对话原文（本入口里唯一的「真删内容」项）。它的
+//     常态保留期是独立配置键 distillRecords.retentionDays（启动期裁剪走那个键）；本入口
+//     **不读那个键**，与 A/B 共用同一条 --older-than 截止（想对齐就显式传同样的天数，
+//     见 STORAGE.md「两处不冲突」）。链接
+//     （memory_provenance）**不在可清范围内**：保留指向空区间即「来源已过期」，删链
+//     接等于假装这条记忆从来没有过出处——那是篡改历史，不是回收。
 //
 // 报告口径（拍板 2）：收益按 VACUUM 前后体积量，不按列字节估——实际释放来自溢出页与
 // 索引页回收，列文本大小只是上界，所以两个数分开报，不混成一个「省了多少」。
@@ -33,7 +40,8 @@ export const DEFAULT_INPUT_RETENTION_DAYS = 7;
  *
  * @param {object} deps
  * @param {object} deps.store 存储层（dreamRunInputStats / clearDreamRunInputs /
- *   archivedEmbeddingStats / clearArchivedEmbeddings / storageStats / vacuum / saveLlmAudit）
+ *   archivedEmbeddingStats / clearArchivedEmbeddings / distillRecordStats /
+ *   clearDistillRecords / storageStats / vacuum / saveLlmAudit）
  * @param {object} [deps.config] 已解析配置（读 llmAudit.enabled：关掉 audit 时不落 receipt）
  * @param {object} [deps.logger]
  * @param {() => number} [deps.now] 时钟注入（测试用）
@@ -86,15 +94,26 @@ export function createMaintenance({ store, config, logger, now = Date.now } = {}
     const before = store.storageStats();
     const inputs = store.dreamRunInputStats(cutoff);
     const embeddings = store.archivedEmbeddingStats();
+    // #399：蒸馏原文记录与上面两项同款——按 distilled_at 到期裁剪。链接
+    // （memory_provenance）不在此列：它保留指向空区间，显示「来源已过期」。
+    const records = store.distillRecordStats(cutoff);
     const report = {
       dryRun,
       olderThanDays: days,
       cutoff,
       // planned = 这次会动几行；cleared = 实际动了几行（dry-run 恒 0）
-      planned: { dream_run_inputs: inputs.runs, archived_embeddings: embeddings.rows },
+      planned: {
+        dream_run_inputs: inputs.runs,
+        archived_embeddings: embeddings.rows,
+        distill_records: records.rows
+      },
       // 列文本大小：上界，不是回收量（真实释放看下面的 size 差值）
-      column_bytes: { dream_run_inputs: inputs.bytes, archived_embeddings: embeddings.bytes },
-      cleared: { dream_run_inputs: 0, archived_embeddings: 0 },
+      column_bytes: {
+        dream_run_inputs: inputs.bytes,
+        archived_embeddings: embeddings.bytes,
+        distill_records: records.bytes
+      },
+      cleared: { dream_run_inputs: 0, archived_embeddings: 0, distill_records: 0 },
       size: {
         before_bytes: before.fileBytes,
         after_bytes: before.fileBytes,
@@ -114,6 +133,7 @@ export function createMaintenance({ store, config, logger, now = Date.now } = {}
     }
     report.cleared.dream_run_inputs = store.clearDreamRunInputs(cutoff);
     report.cleared.archived_embeddings = store.clearArchivedEmbeddings();
+    report.cleared.distill_records = store.clearDistillRecords(cutoff);
     if (report.vacuum.requested) {
       // VACUUM 失败不能把前面的清理一起吞掉：两个 UPDATE 已经各自提交了，此时抛出去
       // 就是「数据已经不可逆地清了，但没有任何回执」。所以失败记进报告、回执照写，