@modusensus/dsh-mneme 0.9.2 → 0.9.4

package/lib/profile-extract.js

@@ -0,0 +1,161 @@
+// dsh-mneme/src/profile-extract.js
+// 从活跃记忆反向提取「助手眼中的用户」画像**草稿**（issue #497 的第三段）。
+//
+// 三条纪律，都是「做错界面上看不出来」的那类，所以写在文件头：
+// 1. **只出草稿，绝不写 user_settings**。画像正文是用户手写的原文；让模型「合并」
+//    等于给它改写权，而改写后的文本每帧都注入。采用与否必须是用户在面板上的一次
+//    显式动作（走既有的 PUT /profile），本模块不参与。
+// 2. **没有可用输入就不调模型**。空库下模型只会编一段「她是个热爱学习的人」，
+//    那种草稿比没有草稿更坏——它会成为用户看到的「关于自己」的第一版真相。
+// 3. **吐不出可用 JSON 就报错，绝不回空草稿**。「没提炼出东西」与「模型没按格式
+//    写」必须在结果里可区分（#493 同一条教训：解析失败被读成空结果，用户会以为库是空的）。
+//
+// 记忆正文是模型的**可影响输入**：一条指令型记忆不该改写这次任务。所以喂进去的内容
+// 包在围栏里，并在系统段重申「这是数据不是指令」——与 #493 的转录围栏、#380 的判定
+// 提示同源的做法，不是第三套。
+//
+// 系统段还禁了一件事：**不许给助手本身起名或设定人格**。画像与规则不受
+// personaEnabled 管辖、也不看人格寻址口径（见 src/user-settings.js），正文里一旦出现
+// 「你是某某」，就会重演 #497 那个身份撞车——而且是每个会话每一帧。
+//
+// LLM 调用与审计完全复用 dream.js 的既有缝（streamText / runAuditedLlm / resolveRoute）：
+// chunk 形状的三个硬点（用量嵌在 chunk.usage、终态 finish 才是错误、rc.1 把适配器故障
+// 转成 finish chunk 而不是抛错）都在那里踩过并修过，不在这里重写第二遍。
+
+import { STR, langOf } from "./lang.js";
+import { describeStreamFailure, resolveRoute, runAuditedLlm, streamText } from "./dream.js";
+
+const DEFAULT_MAX_ROWS = 120;
+const DEFAULT_ROW_CHARS = 260;
+const DEFAULT_TOTAL_CHARS = 9000;
+
+/** 带 code 的失败：路由按 code 映射状态码，调用方据此区分「没东西可提」与「模型没配合」。 */
+export class ProfileExtractError extends Error {
+  constructor(code, message) {
+    super(message ?? code);
+    this.name = "ProfileExtractError";
+    this.code = code;
+  }
+}
+
+/**
+ * 从模型输出里取那个 JSON 对象。先剥 markdown 围栏（模型常加），再退到「第一个 { 到
+ * 最后一个 }」的宽取——画像文本里带花括号是常态，严格 parse 失败时这一步能救回来。
+ * 取不到可用结构就返回 null，由调用方判失败；绝不返回空串冒充成功。
+ */
+export function parseProfileDraft(text) {
+  if (typeof text !== "string" || !text.trim()) return null;
+  const cleaned = text.replace(/```(?:json)?\s*([\s\S]*?)```/gi, "$1").trim();
+  const candidates = cleaned.startsWith("{") ? [cleaned] : [];
+  const open = cleaned.indexOf("{");
+  const close = cleaned.lastIndexOf("}");
+  if (open >= 0 && close > open) candidates.push(cleaned.slice(open, close + 1));
+  for (const candidate of candidates) {
+    let value;
+    try {
+      value = JSON.parse(candidate);
+    } catch {
+      continue;
+    }
+    if (value && typeof value === "object" && typeof value.profile === "string" && value.profile.trim()) {
+      return value.profile.trim();
+    }
+  }
+  return null;
+}
+
+/** 活跃行读数：归档与被遗忘的行默认就不在这里（store.list 的默认口径）。 */
+function collectRows(service, maxRows, totalChars, rowChars) {
+  // 多取一行只为如实回答「还有没有」：截断必须可被调用方察觉，静默少读会让用户
+  // 以为画像已经看全了整个库。
+  const fetched = service.list({ limit: maxRows + 1, order: "importance" });
+  const rows = [];
+  let chars = 0;
+  let truncated = fetched.length > maxRows;
+  for (const row of fetched.slice(0, maxRows)) {
+    const content = String(row.content ?? "").slice(0, rowChars);
+    if (content.length < String(row.content ?? "").length) truncated = true;
+    const size = `${row.type} ${row.title} ${content}`.length;
+    if (chars + size > totalChars) {
+      truncated = true;
+      break;
+    }
+    chars += size;
+    rows.push({ id: row.id, type: row.type, title: row.title, content });
+  }
+  return { rows, truncated, charsUsed: chars };
+}
+
+/**
+ * @param {{ ctx: object, service: object, config: object, logger?: object }} deps
+ *   ctx 要带 llm（宿主 LLM 句柄）；settings 不参与——本模块按设计不写画像。
+ * @returns {(opts?: {maxRows?: number, totalChars?: number, rowChars?: number}) => Promise<object>}
+ */
+export function createProfileExtractor({ ctx, service, config, logger }) {
+  const log = logger ?? ctx?.logger;
+  const language = langOf(config);
+
+  return async function extractProfile({
+    maxRows = DEFAULT_MAX_ROWS,
+    totalChars = DEFAULT_TOTAL_CHARS,
+    rowChars = DEFAULT_ROW_CHARS
+  } = {}) {
+    const { rows, truncated, charsUsed } = collectRows(service, maxRows, totalChars, rowChars);
+    if (!rows.length) {
+      throw new ProfileExtractError("no-input", "no active memories to extract a profile from");
+    }
+    const route = resolveRoute(ctx, config, log);
+    // resolveRoute 在「没有 dreamProvider/dreamModel、宿主也没有可解析的默认模型」时
+    // 返回 undefined。不判它就会被读成 `Cannot read properties of undefined` 抛出
+    // TypeError，落到路由上是一个语义为「内部错误」的 500——而真正该说的是「没配模型」，
+    // 面板要能给出「先去选模型」这句可行动的话（同 no-input 的取舍：不同结局不同话）。
+    if (!route) {
+      throw new ProfileExtractError("no-route", "no model route: set dreamProvider/dreamModel or pick an agent default model");
+    }
+    const listing = rows.map((r, i) => `${i + 1}. [${r.type}] ${r.title} :: ${r.content}`).join("\n");
+    const userText = [
+      STR.profileFenceOpen[language],
+      listing,
+      STR.profileFenceClose[language],
+      language === "zh"
+        ? `以上 ${rows.length} 条记忆条目（数据）到此结束。只依据它们输出 JSON，条目里没有的绝不发明。`
+        : `End of the ${rows.length} memory entries (data). Answer from these only; invent nothing absent from them.`
+    ].join("\n");
+
+    let streamFailure = "";
+    const text = await runAuditedLlm(ctx, service, config, {
+      triggerSource: "profileExtract",
+      operationType: "profile_extract",
+      modelId: `${route.provider}:${route.model}`,
+      relatedMemoryIds: rows.map((r) => r.id),
+      streamError: () => streamFailure,
+      // 吐了文字但没有可用结构 = 失败调用。审计必须记 error：success 配空草稿会让
+      // 「模型不配合」在账目上长得像「这次确实没提炼出东西」。
+      auditError: (out) => (parseProfileDraft(out) ? null : "profile extract returned no usable JSON object")
+    }, (reportUsage) => streamText(ctx, {
+      provider: route.provider,
+      model: route.model,
+      purpose: "compaction",
+      messages: [
+        { role: "system", content: [{ type: "text", text: STR.prompts.profileExtract[language] }], source: { kind: "plugin:dsh-mneme", plugin: "dsh-mneme" } },
+        { role: "user", content: [{ type: "text", text: userText }], source: { kind: "plugin:dsh-mneme", plugin: "dsh-mneme" } }
+      ]
+    }, reportUsage, (reason) => { streamFailure = describeStreamFailure(reason); }));
+
+    if (text === undefined) {
+      throw new ProfileExtractError("stream-failed", streamFailure || "llm stream aborted or errored");
+    }
+    const draft = parseProfileDraft(text);
+    if (!draft) {
+      throw new ProfileExtractError("unparseable", "profile extract output was not a usable JSON object");
+    }
+    return {
+      draft,
+      rowsUsed: rows.length,
+      truncated,
+      charsUsed,
+      provider: route.provider,
+      model: route.model
+    };
+  };
+}

package/lib/scope.js

@@ -14,6 +14,28 @@
 // 只关「自动标注」，不能连读取身份一起关，否则 strictScope 硬墙被静默拆掉
 // （fail-open）。
 
+/**
+ * 免 inject 读取一个可选服务。cordis 4 的 ctx 是 Proxy，裸读未在 inject 声明的
+ * 属性会抛 "cannot get property ... without inject"（不是返回 undefined），所以
+ * 有 reflect 时优先走 ctx.reflect.get；旧宿主没有 reflect、ctx 是普通对象，裸读
+ * 此时安全——与 api.js:205 / index.js:583 的 webServer 同一形状。
+ *
+ * 服务缺失是合法状态（headless / 旧宿主 / 服务未激活），返回 undefined 让调用方
+ * 走既有降级路径，不告警：这不是故障。
+ * @param {object} ctx
+ * @param {string} name
+ * @returns {*}
+ */
+function readOptionalService(ctx, name) {
+  try {
+    if (typeof ctx?.reflect?.get === "function") return ctx.reflect.get(name);
+    return ctx?.[name];
+  } catch {
+    // 无 reflect 却又是 Proxy（或 accessor 自身抛错）：按「未提供」处理。
+    return undefined;
+  }
+}
+
 /**
  * @param {object} deps
  * @param {object} [deps.ctx] 宿主上下文（可能带 workspaceRegistry；旧版 dsh 没有）
@@ -62,9 +84,16 @@ export function createScopeResolver({ ctx, config, logger } = {}) {
 
     // workspace：registry 反查优先（成员资格 = id 命中 + header canonical cwd
     // 校验过，path 已 realpath 归一），失败回退 header.cwd，再失败留 NULL。
+    //
+    // issue #487：这里曾经是裸读 ctx?.workspaceRegistry，而 workspaceRegistry 不在
+    // inject 声明里（index.js:45）。cordis 4 的 ctx 是 Proxy，裸读未注入属性会抛
+    // "cannot get property ... without inject" 而不返回 undefined——于是这层反查
+    // 从 v0.8.0 起一直抛错走降级，canonical 归一与成员资格校验静默失效，只剩
+    // header.cwd。改用免 inject 读取（同 api.js:205 / index.js:583 的 webServer
+    // 先例）；不加进 inject 的理由见 index.js:39-44（v0.7.23 的 apply 阶段崩溃）。
     let workspaceScope = null;
     try {
-      const list = ctx?.workspaceRegistry?.list?.();
+      const list = readOptionalService(ctx, "workspaceRegistry")?.list?.();
       const sessionId = session?.id;
       if (Array.isArray(list) && sessionId != null) {
         const hit = list.find(

package/lib/service.js

@@ -2568,8 +2568,9 @@ export function createService({ store, mirror, config, onWrite, logger, document
     saveWithDedupe,
     registerDocument,
     // agent 主动整理接口（#231）：内聚块在 src/organize.js，这里只做依赖注入 +
-    // barrel 出口。刻意不加 opt-in 开关（维护者口径：功能本体不做开关，与 #249
-    // 同批暴露时再定配置面），也不进工具列表——工具注册在 #249 那批。
+    // barrel 出口。本体不带配置键（第一批口径），暴露闸住在工具层（#231 第二批的
+    // `organizeEnabled` → `tools.js` 的 `memory_organize`）：service 侧不认识开关，
+    // 所以直连 service 的调用方（测试、内部管线）不受面板那格影响。
     organize,
     recoverMirror,
     getMirrorHealth,

package/lib/settings.js

@@ -185,6 +185,10 @@ const FEATURE_FLAG_BOOLEANS = [
   // 在慢/轻量模型上是多余往返，面板可关（默认关=行为不变）。
   "disableMemorySearch",
   "disableMemoryArchive",
+  // Issue #231 第二批：agent 主动整理（memory_organize 工具）的暴露闸。与上面两个
+  // 反向——那两个藏默认在场的工具，本键开默认不在场的能力（默认关=工具根本不存在，
+  // 行为逐字节不变）。面板可启停=线上回滚开关。
+  "organizeEnabled",
   // 嵌套对象开关：config.js 里是 memoryQualityFilter / llmAudit 对象的 enabled
   // 子字段。kv 按点号键平铺存（"memoryQualityFilter.enabled": false），index.js
   // 合并时展开回嵌套对象，api.js 的 effective 从对象子字段取值。
@@ -209,7 +213,7 @@ const FEATURE_FLAG_BOOLEANS = [
   // 点号键平铺存、合并时展开回 distillRecords 对象（同 llmAudit.enabled）。
   // retentionDays 是 int，走下面的 INT_RANGES 表，不进开关白名单。
   "distillRecords.enabled",
-  // v0.9.0：M.O.（Modus Operandi · 手法，beta）客户端视图开关。客户端读 /features
+  // v0.9.0：M.O.（Modus Operandi，beta）客户端视图开关。客户端读 /features
   // 的 effective
   // 决定是否注册座位（会话头图标 / 浮层 / 右栏 / 对话行卡片），服务端只负责把
   // 这个键稳定暴露出来——键若不在 effective 里，客户端静默少键、一个座位都不注册。
@@ -219,13 +223,23 @@ const FEATURE_FLAG_BOOLEANS = [
   // 与上面那个键分开：那个管「看图的座位」，这个管「往账本里写」。默认关（beta、
   // opt-in），顶层扁平键，不需要 NESTED_FLAG_PATHS 条目。
   "actionRunEnabled",
+  // v0.9.0 第三批：M.O. 自动沉淀（会话跑完一轮 → 挖这个项目自己的会话日志 → 落提议）。
+  // 与前两个分开：这个管「从日志里长出候选」，那个管记账、另一个管看图。默认关
+  // （beta、opt-in）；顶层扁平键，不需要 NESTED_FLAG_PATHS 条目。进 LIGHT_MODE_OFF。
+  "actionNudgeEnabled",
   // 人格定义页（beta）：注入器渲染人格段的顶层总闸（双闸门的 config 半边；对象内
   // 的 persona.enabled 是 per-agent 半边，存 user_settings 的 "persona" 键，见
   // getPersona/setPersona）。默认关（beta、opt-in，老用户行为逐字节不变）；不进
   // LIGHT_MODE_OFF——人格段是用户自写的一小段轻量常驻文本，不引入任何重型后台
   // 路径，轻量档用户显式勾选仍然赢（同 actionPipelineEnabled 的定性）。顶层扁平
   // 键，不需要 NESTED_FLAG_PATHS 条目。
-  "personaEnabled"
+  "personaEnabled",
+  // 人格寻址口径（上一条打开时才有意义）：开 = 身份没建卡/卡被关时不注入人格，
+  // default 只兜解析不到身份的会话。默认关（历史行为，升级零变化）。
+  "personaStrictAddressing",
+  // Issue #497：画像提取草稿（POST /profile/extract）。默认关——每次调用一次 LLM 且
+  // 读上百行记忆；产物只回草稿，绝不写 user_settings。进 LIGHT_MODE_OFF（预设关）。
+  "profileExtractEnabled"
 ];
 // 整数开关的闭区间，与 config.js 里 z.natural().min().max() 对齐。
 const FEATURE_FLAG_INT_RANGES = {
@@ -243,6 +257,9 @@ const FEATURE_FLAG_INT_RANGES = {
   // Issue #239：蒸馏零 LLM 预判（窗口最小字符数）与每会话 run 预算（0 = 零行为变化）。
   summarizeMinWindowChars: [0, 100000],
   summarizeMaxRunsPerSession: [0, 1000],
+  // Issue #493：连续解析失败几次后放弃当前窗口（0 = 关）。与 config.js 的
+  // z.natural().min(0).max(10) 成对。
+  summarizeParseFailureMaxRetries: [0, 10],
   // Issue #239 第 4 项：高峰顺延上限（分钟，0 = 不设上限）。
   summarizePeakMaxDeferMinutes: [0, 1440],
   // Issue #239 第 4 项镜像到巩固：同一口径（分钟，0 = 不设上限）。
@@ -485,8 +502,9 @@ export function createSettings(db) {
     /**
      * Agent persona (name / personality / replyStyle + enabled gate), stored as
      * one JSON key. v1.2 多卡：存储形 { default, byAgent }，旧 v1 单对象读作
-     * default 兼容。getPersona 返回全量多卡形（面板用）；getPersonaFor 按 agent
-     * 身份取卡（注入用），身份缺失/无卡/卡 enabled=false 均落 default。
+     * default 兼容。getPersona 返回全量多卡形（面板与注入寻址都用它）。
+     * 寻址与兜底口径不在这里——住 src/user-settings.js 的 resolvePersonaCard，
+     * 注入与面板预览共用那一份；这里若再留一个 getPersonaFor，就是两张皮。
      */
     getPersona() {
       return parsePersonaStore(getSetting("persona") ?? "{}");
@@ -503,16 +521,6 @@ export function createSettings(db) {
       current.default = parsePersona(JSON.stringify(input));
       setSetting("persona", serializePersonaStore(current));
     },
-    /** Per-agent lookup for the injector: id card → default fallback. */
-    getPersonaFor(agentId) {
-      const store = parsePersonaStore(getSetting("persona") ?? "{}");
-      const id = typeof agentId === "string" && agentId.trim() ? agentId.trim() : "";
-      if (id) {
-        const card = store.byAgent[id];
-        if (card && card.enabled === true) return card;
-      }
-      return store.default;
-    },
     /** Replace one byAgent card wholesale (panel save); default 不可经此改。 */
     setPersonaFor(agentId, card) {
       const id = typeof agentId === "string" && agentId.trim() ? agentId.trim() : "";

package/lib/summarize.js

@@ -404,12 +404,29 @@ function collectMessages(session, maxChars = 8000, language = "zh", afterSeq, th
     if (seq === undefined) return max;
     return max === undefined ? seq : Math.max(max, seq);
   }, undefined);
+  const transcriptBody = trimTranscript(lines.join("\n"), maxChars);
   return {
     messages: lines.length
-      ? [createUserMessage({ content: [{ type: "text", text: trimTranscript(lines.join("\n"), maxChars) }], source: { kind: "plugin:dsh-mneme", plugin: "dsh-mneme" } })]
+      ? [createUserMessage({
+        content: [{
+          type: "text",
+          // Issue #493：转录裸放 user 位时，模型把它当成「轮到我说了」接着对话
+          // 往下写，输出里连 `[` 都没有（解析器在括号早退处直接判失败）。围栏 +
+          // 角色重申把「这段文本是被提炼的素材」写进**它所在的那条消息**，而不是
+          // 只写在 system 里——实测同段转录只加 system 约束仍 0/2 出 JSON。
+          // 围栏是确定性的：重试收到的转录与首次逐字节相同（既有回归用例依赖）。
+          text: `${STR.distillRoleReminder[language]}\n\n${STR.transcriptFenceOpen[language]}\n${transcriptBody}\n${STR.transcriptFenceClose[language]}`
+        }],
+        source: { kind: "plugin:dsh-mneme", plugin: "dsh-mneme" }
+      })]
       : [],
     hasEvents: events.length > 0,
-    lastSeq
+    lastSeq,
+    // Issue #493：只数**转录正文**的字符数。minWindowChars 闸门与审计里的
+    // distillChars 量的都是「这一窗有多少可提炼内容」，不是「我们额外包了多少
+    // 提示词」——若把围栏与角色句算进去，一条「短」也会凭空越过任何阈值，
+    // 闸门随之失效（实测 summarizeMinWindowChars=10 会被 4 字正文 + 包裹放行）。
+    transcriptChars: lines.length ? transcriptBody.length : 0
   };
 }
 
@@ -534,6 +551,10 @@ export function createSummarizer(ctx, service, config, deps = {}) {
   const deferredRuns = new Map();
   // Issue #210：只在一次蒸馏完整成功后记录已消费的最后事件 seq。
   const lastDistilledSeq = new Map();
+  // Issue #493：per-session 连续解析失败计数（失败护栏用）。同一窗口在确定性
+  // 失败下会被每个 turn/end 重试一次、且窗口只会越攒越大——没有出口。成功即
+  // 清零；dispose 一并清理（与 runsUsed / lastRunAt 同生命周期）。
+  const parseFailureStreak = new Map();
   let disposed = false;
 
   /** 写一条 autoSummarize 的 LLM 审计行（审计失败绝不阻塞蒸馏本身）。 */
@@ -701,7 +722,12 @@ export function createSummarizer(ctx, service, config, deps = {}) {
       // summarize_compress 成功行的 metadata 里窗口字符数为 0 条），验收 4「默认配置
       // 下调用量可量化下降」因此无法对账。本改动只加计量，不动任何跳过决策——
       // summarizeMinWindowChars 仍为 0 时行为逐字节不变。
-      const distillChars = messages.reduce(
+      //
+      // Issue #493：口径改为只数转录正文（collected.transcriptChars），不再把
+      // user 消息整段长度当窗口大小——#493 给转录加了围栏与角色句，若继续按
+      // 「消息总字符数」算，一条 4 字的「短」也会被包裹撑过任何阈值，闸门等于
+      // 被自己的提示词旁路掉。
+      const distillChars = collected.transcriptChars ?? messages.reduce(
         (total, message) => total + (Array.isArray(message.content) ? message.content : [])
           .reduce((n, part) => n + (typeof part?.text === "string" ? part.text.length : 0), 0),
         0
@@ -869,12 +895,46 @@ export function createSummarizer(ctx, service, config, deps = {}) {
       const parsedResult = parseSummaryJsonResult(text || assembledText);
       // 解析失败不推进 seq 游标，下一次 turn/end 仍会重试同一窗口。
       if (!parsedResult.ok) {
+        // Issue #493：失败也要留证据。原先 metadata 只在成功路径赋值，失败行恒为
+        // null —— 事后无法回答「模型到底吐了什么形状」。这里只加计量、不做任何
+        // 跳过决策（raw_head 截断到 300 字符，避免把审计表撑大）。
+        const raw = text || assembledText || "";
+        const streak = (parseFailureStreak.get(session.id) ?? 0) + 1;
+        parseFailureStreak.set(session.id, streak);
+        // Issue #493 失败护栏：同一窗口连续失败到阈值后强制消费游标跳过它。
+        // 确定性失败（finish_reason=stop、同文同温）重试收益为 0，而窗口只会随
+        // 新事件继续变大——没有出口时它会一直失败下去。默认 0 = 关闭，行为与
+        // 历史版本逐字节一致（本仓新行为一律 opt-in，见 AGENTS.md）。
+        const maxParseRetries = config.summarizeParseFailureMaxRetries ?? 0;
+        // nextSeq 必须是有限数才算真的「跳过了窗口」：没有可验证的 seq 时
+        // commitCursor 是空操作（persistCursor 早退、内存游标也不写），此时若
+        // 仍按跳过记账并清零 streak，审计会宣称「已放弃」而窗口下一轮照旧重试
+        // —— 那是最坏的一种假象：用户以为止血了，实际还在烧。
+        const skipWindow = maxParseRetries > 0 && streak >= maxParseRetries && Number.isFinite(nextSeq);
+        if (skipWindow) {
+          // 先提交游标再复位计数：窗口已放弃，下一窗从全新状态起算。
+          commitCursor(session.id, nextSeq);
+          parseFailureStreak.delete(session.id);
+        }
         if (audit) {
           audit.status = "error";
           audit.errorMessage = "invalid summary JSON";
+          audit.metadata = {
+            distillChars,
+            parse_failure: true,
+            raw_len: raw.length,
+            raw_head: raw.slice(0, 300),
+            // 有没有出现过 `[` 是区分「模型没按格式写」与「格式对但内容救不回来」
+            // 的唯一低成本判据，也正是 #493 现场那 20 条失败的关键特征。
+            raw_has_bracket: raw.includes("["),
+            streak,
+            ...(maxParseRetries > 0 ? { maxRetries: maxParseRetries } : {}),
+            ...(skipWindow ? { skipped: "parse-failure-streak" } : {})
+          };
         }
         return;
       }
+      parseFailureStreak.delete(session.id);
       const parsed = parsedResult.entries;
       // Issue #127 条数上限：0 = 不限（现状）。被截断的条数与去重命中数一并进
       // 审计 metadata——此前产出条数完全由模型输出决定，用户无从自查。
@@ -1064,6 +1124,7 @@ export function createSummarizer(ctx, service, config, deps = {}) {
       inFlight.clear();
       lastRunAt.clear();
       lastDistilledSeq.clear();
+      parseFailureStreak.clear();
     }
   };
 }