@modusensus/dsh-mneme 0.9.4 → 0.10.0

package/lib/api.js

@@ -1,6 +1,7 @@
 import { URL } from "node:url";
 import { isAbsolute } from "node:path";
 import { existsSync, readdirSync } from "node:fs";
+import { homedir } from "node:os";
 import { timingSafeEqual, randomBytes } from "node:crypto";
 import { FEATURE_FLAG_SPEC } from "./settings.js";
 import { TYPES } from "./store.js";
@@ -8,12 +9,17 @@ import { TYPE_FILE, renderMirrorText, renderFileHeader, parseHumanEdits, MIRROR_
 import { langOf } from "./lang.js";
 import { computeHeat } from "./heat.js";
 import { EFFORT_REJECT_RE, describeStreamFailure, resolveRoute, withEffortFallback } from "./dream.js";
+// Issue #521：面板要按归一化原因显示 skipped，归一化只有一份实现（住在
+// decisions.js，与产生这些 error 的校验器同一文件，避免措辞漂移）。
+import { summarizeSkipped } from "./dream/decisions.js";
 import { getInjectionSnapshot } from "./inject.js";
 import { renderUserSettingsBlock } from "./user-settings.js";
+import { parseProvenanceSelector, provenanceReply } from "./provenance-http.js";
 import { describeLocalRuntime, publicRuntimeStatus } from "./runtime/loader.js";
 import { hostModulesDir, provisionRuntime } from "./runtime/provision.js";
 import { classify, fetchLatestVersion, PACKAGE_VERSION } from "./version-check.js";
 import { parseReclaimQuery, parseReclaimJson, readReclaimFields, reclaimReply, RECLAIM_UNAVAILABLE } from "./reclaim-http.js";
+import { parseShareBody, shareReply, shareFilename, parseReceiveBody, receiveReply, parseUndoBody, undoReply } from "./share-http.js";
 import { readPipelineDoc, loadPipelines, projectPipelineDir } from "./pipeline.js";
 import { loadRunsById, runsDir, RUNS_SUFFIX } from "./pipeline-runs.js";
 import { observationDir, loadObservationsById } from "./pipeline-observations.js";
@@ -387,6 +393,15 @@ export function createApi(ctx, service, settings, commands, embedder, semantic =
           ...m,
           archived: rows[i].archived === true || rows[i].archived === 1,
           quality_score: rows[i].quality_score ?? null,
+          // 外来区的包号：抽屉里的「收起这个包」按 pack_id 整批删，寻址键必须由行自己带上。
+          // 与 heat 同一个做法——**缺省就不带键**，面板的撤销按钮因此天然自门控。
+          // /search 那一面为什么没有这一格，别说错原因：召回侧的候选行内存里带着
+          // share_pack_id（searchMemories 只是把 source 盖成渠道名），toApiList 也从不透出这一列；
+          // 真正的事实是这层扩展只长在 /list 的答复上，搜索面没有一处代码去补它。所以搜索态
+          // 按不了撤销，那条代价写在 docs/SHARE.md 的车道 D 一节。
+          // 扩展点留在 HTTP 层而不是 toApiList：模型工具严格复用后者（src/service.js:2094 与
+          // MEMORY_ITEM_SCHEMA），给它们加一格没有第二个消费者，却要多改一处 schema 声明。
+          ...(rows[i].share_pack_id ? { share_pack_id: rows[i].share_pack_id } : {}),
           ...(heatOn ? { heat: computeHeat(rows[i], Date.now(), config ?? {}) } : {})
         }));
         // Total honors the same filters as the rows, or the pager's
@@ -1293,6 +1308,62 @@ export function createApi(ctx, service, settings, commands, embedder, semantic =
     }
   });
 
+  // --- 记忆级溯源读出口（#399 写、#421 读）-----------------------------------
+  // #399 把蒸馏窗口的原文落进 distill_records、把 memory → (session, seq 区间)
+  // 的归因写进 memory_provenance，但只做了写：库里有答案、service.provenanceFor
+  // 能查，外部（面板 / standalone API / 脚本）拿不到，「这条记忆是从哪几句蒸出来
+  // 的」只能开 sqlite 手写 JOIN。本端点补最后一段接线。
+  //
+  // 两个读方向共一条路径（#524）：?id=<memoryId> 是「这条记忆从哪几句蒸出来的」，
+  // ?sessionId=<sid> 是「这个会话蒸出了哪几段」。两个主键互斥——都缺 400、都给
+  // 400（择一意味着调用方发一个自己也不知道会被读哪个主键的请求，而两边结果形状
+  // 不同）。共用路径是有意的：多一条路径就多一处要登记的地方（SECURITY.md 两张
+  // 表、README 路由表、security-doc 的清单锁），而两者读的是同一批数据。
+  //
+  // 一个链接一个窗口：区间 + 区间里的原文行（按 seq 升序）。没有链接的记忆
+  // （memory_save / 工具写入 / 冷启动）返回空 windows——「不是蒸馏来的」本身是
+  // 有效答案，不是错误，所以不 404。
+  //
+  // policy 是 **token**，不是 open（#509 维护者评审定）：records 带的是蒸馏窗口的
+  // 逐条会话原文，而 /list 是 open 且逐条带 id——两者串起来等于「先枚举 id、再按 id
+  // 捞回原文」，可达结果与 /export（一次拿全库，本仓 2026-10 审计后列 gated）同量级，
+  // 只是换了形状。抽稀不该靠「调用方不知道有这条路」。
+  //
+  // 口径只在 src/provenance-http.js 写一份，两个入口都调它（#411 的教训：两张皮
+  // 整段复制必然漂移）。
+  //
+  // distillRecords.enabled 门（#509 评审整改）：这个读出口吃的是**写侧同一枚开关、
+  // 同一个判据**（isDistillRecordsEnabled，与 src/summarize.js:988 逐字同源；本文件
+  // 不重写那个表达式，静态锁盯着）。关着时回 409，错误码取共用模块导出的
+  // DISTILL_RECORDS_DISABLED——「用户关了」而不是「装配坏了」（后者是 503，
+  // src/index.js:589-591 立的可区分性原则），也不是 404（本端点刻意不就「这条记忆
+  // 是否存在」作断言）。cfg 是启动期冻结值，所以面板改开关要到下次重启才对这里生效；
+  // 该键在 settings 白名单与 NESTED_FLAG_PATHS 里都登记着，面板会显示「待重启」
+  // （#481 的教训）。阶梯全貌见 provenance-http.js 文件头。
+  register({
+    kind: "exact",
+    path: "/api/dsh-mneme/memory/provenance",
+    policy: "token",
+    handler(req, res) {
+      try {
+        const url = new URL(req.url, "http://localhost");
+        const parsed = parseProvenanceSelector({
+          memoryId: url.searchParams.get("id"),
+          sessionId: url.searchParams.get("sessionId"),
+          limit: url.searchParams.get("limit")
+        });
+        if (!parsed.ok) {
+          sendJson(res, parsed.status, { error: parsed.error });
+          return;
+        }
+        const { status, body } = provenanceReply({ service, selector: parsed.selector, config, warn: (m) => ctx.logger?.warn?.(m) });
+        sendJson(res, status, body);
+      } catch {
+        sendJson(res, 500, { error: "internal" });
+      }
+    }
+  });
+
   // --- ego graph: 1-2 hop neighborhood of one entity (graph panel P1) ---
   // Read-only like list/search/semantic, so it stays open when apiToken is set.
   // BFS from the root entity over entity_relations (both directions; the
@@ -1518,6 +1589,133 @@ export function createApi(ctx, service, settings, commands, embedder, semantic =
     }
   });
 
+  // --- 分享包（spec §4）------------------------------------------------------
+  // 读侧全库口径，鉴权与 /export 同门（token）：它导出的是**脱敏后**的行集，但
+  // 「谁在往外打整库」这件事本身就需要跟写路由一样登记在册。
+  // GET 不开口子：这条路由的存在感来自「有人主动按分享键」，不是给面板轮询用的。
+  // 判据一条都不在这里：哪些行进包、超没超限、抛错回什么码，全在 share-http.js 那份
+  // 共用实现里（#411 的口径——两张皮只许剩鉴权与路径不同）。本侧独有的只有两件事：
+  // Content-Disposition（sendJson 的 headers 第四参，数据面没有这个签名）和把
+  // shareReply 的 warn 接到宿主 logger 上——它兜住抛错回 500，不接日志就是静默失败。
+  register({
+    kind: "exact",
+    path: "/api/dsh-mneme/share",
+    policy: "token",
+    handler(req, res) {
+      try {
+        if (req.method !== "POST") {
+          sendJson(res, 405, { error: "method-not-allowed" });
+          return;
+        }
+        return readBody(req, res).then((text) => {
+          if (text === null) return; // readBody 已经答过 413，再写一次就是双写响应
+          const parsed = parseShareBody(text);
+          if (!parsed.ok) {
+            sendJson(res, 400, { error: parsed.error });
+            return;
+          }
+          const out = shareReply({
+            service,
+            packageVersion: PACKAGE_VERSION,
+            homeDir: homedir(),
+            options: parsed.options,
+            warn: (msg) => ctx.logger?.warn?.(msg)
+          });
+          if (out.status === 200) {
+            sendJson(res, 200, out.body, {
+              "Content-Disposition": `attachment; filename="${shareFilename(out.body.pack_id)}"`
+            });
+            return;
+          }
+          sendJson(res, out.status, out.body);
+        }).catch(() => sendJson(res, 500, { error: "internal" }));
+        // .catch 与下面的外层 try 各挡一类：外层那个只包得住同步那半，而 readBody 的回调
+        // 抛出时它早已退栈。共用层从不抛（连 warn 自己坏都被守卫吞掉），所以这条链现在能被
+        // 走到的只剩**面自己**写答复那一步——sendJson 的 writeHead 在真 socket 上会因
+        // 「一个响应两写」抛 ERR_HTTP_HEADERS_SENT。少这一声就是 unhandled rejection +
+        // 一个字节都没回（#410），而下面 /receive 两条一直带着它。
+      } catch {
+        sendJson(res, 500, { error: "internal" });
+      }
+    }
+  });
+
+  // --- 分享包入库与整包退出（车道 C，spec §5）--------------------------------
+  // 写库的一面（token-write：非 GET 要 Bearer）。判据一条都不在这里：包体合格不合格住在
+  // share.js 的闸门（由 service 的 importSharePack 调），错误码 → 状态的映射住在
+  // share-http.js 那份共用实现里——#411 的口径是两张皮只许剩鉴权与路径不同。本侧独有的
+  // 只有把 warn 接到宿主 logger 上（不接就是一条静默的 500，现场只剩 internal）。
+  //
+  // 非 POST 一律 405。这**故意**与上面的 /maintenance/reclaim 不同（那边掉到末尾 404）：
+  // 每条 receive 都有一个数据面双胞胎（C6 的 POST /receive、/receive/undo），那里只认
+  // 405，状态码差一次就是第三处差别——一致性在这里比「照抄本文件的邻居」更硬。
+  //
+  // 外层 try 与 .catch 都要留着：外层那个在 .then 的回调里已经退栈，回调里抛出去就是没人接
+  // 的 rejection，客户端拿到的不是 500 而是「一个字节都没回」（#410）。
+  register({
+    kind: "exact",
+    path: "/api/dsh-mneme/receive",
+    policy: "token-write",
+    handler(req, res) {
+      try {
+        if (req.method !== "POST") {
+          sendJson(res, 405, { error: "method-not-allowed" });
+          return;
+        }
+        return readBody(req, res).then((text) => {
+          if (text === null) return; // readBody 已经答过 413，再写一次就是双写响应
+          const parsed = parseReceiveBody(text);
+          if (!parsed.ok) {
+            sendJson(res, 400, { error: parsed.error });
+            return;
+          }
+          const out = receiveReply({
+            service,
+            pack: parsed.pack,
+            dryRun: parsed.dryRun,
+            warn: (msg) => ctx.logger?.warn?.(msg)
+          });
+          sendJson(res, out.status, out.body);
+        }).catch(() => sendJson(res, 500, { error: "internal" }));
+      } catch {
+        sendJson(res, 500, { error: "internal" });
+      }
+    }
+  });
+
+  // 退出按 pack_id 收起一整包（物删不归档，理由见 src/share-import.js）。dry-run 同样是
+  // 缺省：没带 confirm 就只报「会删掉几条」，与 reclaim、与入库那侧同一个脾气。
+  register({
+    kind: "exact",
+    path: "/api/dsh-mneme/receive/undo",
+    policy: "token-write",
+    handler(req, res) {
+      try {
+        if (req.method !== "POST") {
+          sendJson(res, 405, { error: "method-not-allowed" });
+          return;
+        }
+        return readBody(req, res).then((text) => {
+          if (text === null) return;
+          const parsed = parseUndoBody(text);
+          if (!parsed.ok) {
+            sendJson(res, 400, { error: parsed.error });
+            return;
+          }
+          const out = undoReply({
+            service,
+            packId: parsed.packId,
+            dryRun: parsed.dryRun,
+            warn: (msg) => ctx.logger?.warn?.(msg)
+          });
+          sendJson(res, out.status, out.body);
+        }).catch(() => sendJson(res, 500, { error: "internal" }));
+      } catch {
+        sendJson(res, 500, { error: "internal" });
+      }
+    }
+  });
+
   // --- 导入（Markdown 镜像回填）----------------------------------------------
   // 写路径（requireAuth）。body {type, markdown}：type 是镜像 TYPE_FILE 键，
   // markdown 是与镜像文件同构的文本。解析复用 readHumanEdits 的纯函数核心 parseHumanEdits（同一实现，
@@ -1571,7 +1769,7 @@ export function createApi(ctx, service, settings, commands, embedder, semantic =
     policy: "open",
     handler(req, res) {
       try {
-        const runs = (service.listDreamRuns?.({ limit: 5 }) ?? []).map((r) => ({
+        const toRun = (r) => ({
           created_at: r.created_at,
           status: r.status,
           provider: r.provider ?? null,
@@ -1582,8 +1780,23 @@ export function createApi(ctx, service, settings, commands, embedder, semantic =
           // 数据来自 runSleep 写入的 decisions.demotion（{demoted,archived} 数组）。
           demotion: r.decisions?.demotion
             ? { demoted: (r.decisions.demotion.demoted ?? []).length, archived: (r.decisions.demotion.archived ?? []).length }
-            : null
-        }));
+            : null,
+          // Issue #521：degraded 轮的 skipped 明细按归一化原因聚合。status:
+          // degraded + applied: 3 从外面看完全是健康轮的样子，不展开 skipped
+          // 看不出「一整个 action 类型 100% 失败」——实测那个 bug 跑了一整天才
+          // 被发现。这里只回聚合（原因 + 动作 + 条数），明细仍留在库里。
+          skippedCount: Array.isArray(r.skipped) ? r.skipped.length : 0,
+          skippedReasons: summarizeSkipped(r.skipped)
+        });
+        // Issue #495：organize 上线后 runs 会混进 run_type="organize"，而面板那张
+        // 卡的标题是「最近巩固」——一次 agent 主动整理就会把它顶成整理回执。
+        // 两条路里选了「标注」而不是过滤：runs 仍是全类型 5 条（审计面是证据，
+        // 不因显示面积省略），另给一个只含 auto/sleep 的 lastConsolidation 供那张
+        // 卡取数；面板再用 lastRun 是否为 organize 决定要不要标一句脚注。
+        // 这里不能只靠 runs[0] 的 run_type 过滤——一次整理写两行（dryRun 报告 +
+        // apply 回执），挤空 5 个名额时 runs 里可能一条巩固都没有。
+        const runs = (service.listDreamRuns?.({ limit: 5 }) ?? []).map(toRun);
+        const lastConsolidation = service.listDreamRuns?.({ limit: 1, excludeRunType: "organize" })?.[0];
         const pendingConflicts = service.countConflictPending?.() ?? 0;
         const ids = new Set();
         for (const row of service.listConflictPending?.({ limit: 200, includeResolved: false }) ?? []) {
@@ -1594,6 +1807,7 @@ export function createApi(ctx, service, settings, commands, embedder, semantic =
         }
         sendJson(res, 200, {
           lastRun: runs[0] ?? null,
+          lastConsolidation: lastConsolidation ? toRun(lastConsolidation) : null,
           runs,
           pendingConflicts,
           pendingMemoryIds: [...ids].slice(0, 200)