@a9i5k4/dsh-auto-memory 2.5.3 → 3.0.1

package/lib/config-io.js

@@ -0,0 +1,156 @@
+/**
+ * config-io.js —— 配置文件的**原子写**与**损坏隔离**（上游 issue #82 修复）。
+ *
+ * ## 背景（#82；已在 pre 线实跑核验：两条路径在优化后的版本里**仍然存在**）
+ *
+ * ① **写侧非原子**：配置落盘是裸 `writeFileSync`（同步路径）/ 裸 `writeFile`（异步路径）。
+ *    进程写到一半被杀、或磁盘写满，会留下**半截 JSON**；下次启动 `JSON.parse` 抛错，
+ *    于是直接回落出厂默认 ⇒ **用户此前的设置静默丢失**。
+ *    同类裸写还出现在 `embedding-config.json`（语义引擎配置）。
+ *
+ * ② **读侧静默**：两个 load 函数的 catch 一律 `return _mergeConfigPre(null)`（出厂默认），
+ *    错误只塞进 `this._readError` —— **用户看不到「我的配置坏了、已被重置」**。
+ *    本仓铁律：fail-soft 必须返回**可观察**信号；静默回落等于「数据丢了但没人知道」。
+ *
+ * ## 本模块只做两件事，且**不改变既有语义**
+ *
+ * 1. `writeTextAtomicPreSync` / `writeTextAtomicPre`：写 tmp → `renameSync` 覆盖目标。
+ *    同目录 rename 在同一文件系统上是**原子**的 ⇒ 读方永远只见「旧的完整版」或
+ *    「新的完整版」，**永远不会看到半截文件**。
+ * 2. `readJsonQuarantinePreSync`：解析失败时**先把坏文件改名留存**
+ *    （`<name>.corrupt-<ts>`）再返回结构化失败。这样 ①用户数据没被覆盖
+ *    ②诊断面能看见「曾经坏过、坏在哪」。
+ *
+ * ## 纪律
+ *   - 零运行时依赖：只用 `node:fs` / `node:fs/promises` / `node:path`。
+ *   - **fail-soft 但必须留痕**：任何一步失败都不抛，返回结构化结果让调用方处理。
+ *   - CRLF、无 BOM。
+ */
+import { existsSync, mkdirSync, readFileSync, renameSync, rmSync, statSync, writeFileSync } from 'node:fs'
+import { writeFile } from 'node:fs/promises'
+import path from 'node:path'
+
+/** 临时文件后缀。与既有 hub 落盘的 `.tmp` 同族，便于排查时一眼认出。 */
+export const ATOMIC_TMP_SUFFIX_V1 = '.tmp'
+
+/** 损坏留存的默认后缀前缀。 */
+export const CORRUPT_QUARANTINE_PREFIX_V1 = '.corrupt-'
+
+/** 时间戳串（用于损坏留存命名）。绝不影响主流程。 */
+function tsPre(now) {
+  try {
+    const d = typeof now === 'number' ? new Date(now) : new Date()
+    const p = (n) => String(n).padStart(2, '0')
+    return String(d.getFullYear()) + p(d.getMonth() + 1) + p(d.getDate())
+      + '-' + p(d.getHours()) + p(d.getMinutes()) + p(d.getSeconds())
+  } catch (_) {
+    return '0'
+  }
+}
+
+/**
+ * 把目标文件挪到同目录的旁路名（**不删除** —— 留证据）。
+ * @returns {string} 旁路路径；失败返回空串（fail-soft，绝不抛）。
+ */
+export function quarantineFilePreSync(file, opts = {}) {
+  try {
+    const suffix = (opts && opts.suffix) || (CORRUPT_QUARANTINE_PREFIX_V1 + tsPre(opts && opts.now))
+    const dest = file + suffix
+    // 同一秒内坏两次 ⇒ 再加一段随机后缀，避免覆盖上一份证据
+    const finalPath = existsSync(dest) ? dest + '.' + Math.random().toString(36).slice(2, 6) : dest
+    renameSync(file, finalPath)
+    return finalPath
+  } catch (_) {
+    return ''
+  }
+}
+
+/**
+ * **同步原子写**：tmp → rename。
+ * @returns {{ok: boolean, path?: string, error?: string}} 结构化结果（fail-soft，不抛）。
+ */
+export function writeTextAtomicPreSync(file, text) {
+  const tmp = file + ATOMIC_TMP_SUFFIX_V1
+  try {
+    mkdirSync(path.dirname(file), { recursive: true })
+    writeFileSync(tmp, String(text), 'utf8')
+    renameSync(tmp, file)
+    return { ok: true, path: file }
+  } catch (e) {
+    // 失败时清掉临时文件，避免在目标目录留垃圾（清理失败也不抛）
+    try { rmSync(tmp, { force: true }) } catch (_) {}
+    return { ok: false, error: String((e && e.message) || e) }
+  }
+}
+
+/**
+ * **异步原子写**：tmp → rename。语义与同步版一致。
+ *
+ * 只把**可能较大**的正文写入交给异步 IO；rename 本身极快，保持同步调用。
+ * 这样与既有 `persistConfigPre` 的异步口径对齐，不引入额外的 await 链。
+ */
+export async function writeTextAtomicPre(file, text) {
+  const tmp = file + ATOMIC_TMP_SUFFIX_V1
+  try {
+    mkdirSync(path.dirname(file), { recursive: true })
+    await writeFile(tmp, String(text), 'utf8')
+    renameSync(tmp, file)
+    return { ok: true, path: file }
+  } catch (e) {
+    try { rmSync(tmp, { force: true }) } catch (_) {}
+    return { ok: false, error: String((e && e.message) || e) }
+  }
+}
+
+/**
+ * **读 JSON + 损坏隔离**（同步）。
+ *
+ * 行为矩阵：
+ *   - 文件不存在   ⇒ `{ ok:false, missing:true, reason:'ENOENT' }`（不算损坏，不留存）
+ *   - 解析/读取失败 ⇒ **先留存**坏文件，再 `{ ok:false, corrupted:true, quarantined, reason }`
+ *   - 正常         ⇒ `{ ok:true, value }`
+ *
+ * ⚠️ 与旧行为唯一的差别：**解析失败时多了一次 rename**（把原文件挪走）。
+ *    之所以必须挪走而非原地不动，是因为调用方随后会回落出厂默认并**覆盖写回** ——
+ *    不挪走的话坏文件当场被新配置盖掉，用户数据无从取证。
+ */
+export function readJsonQuarantinePreSync(file, opts = {}) {
+  let raw
+  try {
+    raw = readFileSync(file, 'utf8')
+  } catch (e) {
+    if (e && e.code === 'ENOENT') return { ok: false, missing: true, reason: 'ENOENT' }
+    return { ok: false, corrupted: false, reason: String((e && e.message) || e) }
+  }
+  try {
+    return { ok: true, value: JSON.parse(raw) }
+  } catch (e) {
+    const reason = String((e && e.message) || e)
+    const quarantined = quarantineFilePreSync(file, opts)
+    return { ok: false, corrupted: true, quarantined, reason }
+  }
+}
+
+/**
+ * 纯函数判据：一段文本是否**看起来像被截断的 JSON**。
+ *
+ * 用途：调用方先自行 readFileSync 再 parse、拿不到本模块的返回对象时，
+ * 可用它给出更准确的诊断文案（「疑似写入被中断」而不是笼统的 parse 失败）。
+ */
+export function looksTruncatedJsonPre(text) {
+  const s = String(text == null ? '' : text).trim()
+  if (!s) return false
+  if (s[0] !== '{' && s[0] !== '[') return false
+  try { JSON.parse(s); return false } catch (_) { return true }
+}
+
+/** 是否是一个**非空**普通文件（区分「损坏但非空」与「空文件」用）。 */
+export function isNonEmptyFilePreSync(file) {
+  try {
+    const st = statSync(file)
+    return st.isFile() && st.size > 0
+  } catch (_) {
+    return false
+  }
+}
+

package/lib/context-bridge.js

@@ -157,7 +157,7 @@ export function validateAccessEvidencePre(ev) {
 
 /** §4 canonical identity:observationId 由 sessionId+contextVersion+trigger digest+policy 决定。 */
 export function buildObservationId(sessionId, contextVersion, triggerDigest, policyVersion = CONTEXT_BRIDGE_POLICY_VERSION) {
-  const parts = ['context-push-pre-v1', String(sessionId || ''), Number(contextVersion) || 0, String(triggerDigest || ''), policyVersion]
+  const parts = ['context-push-v1', String(sessionId || ''), Number(contextVersion) || 0, String(triggerDigest || ''), policyVersion]
   return OBSERVATION_PREFIX + first32(sha256Str(JSON.stringify(parts)))
 }
 
@@ -388,7 +388,7 @@ export function createFakeContextSinkPre(opts = {}) {
       frames.push(JSON.parse(JSON.stringify(frame)))
       if (frames.length > capacity) frames.shift()
       stats.accepted++
-      return { observationId: id, accepted: true, workerEpoch: 'fake-epoch-pre-v1', reason: 'ok' }
+      return { observationId: id, accepted: true, workerEpoch: 'fake-epoch-v1', reason: 'ok' }
     },
     async closeSession() { stats.closedSessions++ },
     async dispose() { frames.length = 0 },
@@ -519,6 +519,9 @@ export class BoundedIdSet {
   constructor(capacity) { this.capacity = Math.max(1, Number(capacity) || 256); this._set = new Set() }
   has(id) { return this._set.has(id) }
   add(id) { this._set.add(id); if (this._set.size > this.capacity) { const first = this._set.values().next().value; this._set.delete(first) } }
+  /** issue#56(2026-09-19):显式撤销登记。用于「先登记后写盘」的幂等缓存——
+   *  写盘失败时必须释放 id,否则该 id 被永久判为重复 ⇒ 瞬时失败后重试恒被拒(证据静默丢失)。 */
+  delete(id) { return this._set.delete(id) }
   get size() { return this._set.size }
   clear() { this._set.clear() }
 }

package/lib/context-host.js

@@ -15,6 +15,7 @@
 import { appendFileSync, existsSync, readFileSync, writeFileSync } from 'node:fs'
 import { createHash } from 'node:crypto'
 import path from 'node:path'
+import { resolveDshHomeForEnginePre, resolveDshHomePre } from './dsh-home.js'
 import {
   buildContextPushEnvelopePre, buildAuthorizedMemoryRefFromRecord, createAccessEvidencePre,
   createCiteEvidencesFromText, createCorrectionEvidencesFromText, computeReadCoverage,
@@ -37,11 +38,14 @@ const dropLoggedSkip = new Map()
 /** M7.5 诊断:ctx-host drop/skip 直写 harness diagnose 日志(此前 try{diag()} 静默吞 ReferenceError)。 */
 function diagCtx(msg) {
   try {
-    const env = process.env.DSH_HOME
-    const base = env && env.trim() ? env.trim()
-      : (process.env.USERPROFILE || process.env.HOME || '')
+    // ★#86-3：统一口径。原实现把 `USERPROFILE || HOME` **直接**当 DSH_HOME（不拼 .dsh）
+    //   ⇒ 在 Windows 上得到 `C:\Users\X` 而非 `C:\Users\X\.dsh`，与其余 6 处**指向不同目录**。
+    // ★同时修掉一个**潜伏 bug**：原代码在 `DSH_HOME` 已设置时仍 `path.join(base, '.dsh', ...)`，
+    //   即落成 `$DSH_HOME/.dsh/dsh-auto-memory-diagnose.log`（**多拼一层 .dsh**）；
+    //   未设置时才恰好正确。resolveDshHomePre() 返回的**已经是 dsh home 本身**，故不再拼 .dsh。
+    const base = resolveDshHomePre()
     if (!base) return
-    appendFileSync(path.join(base, '.dsh', 'dsh-auto-memory-diagnose.log'),
+    appendFileSync(path.join(base, 'dsh-auto-memory-diagnose.log'),
       new Date().toISOString() + ' [ctx-host] ' + String(msg).slice(0, 300) + '\n', 'utf8')
   } catch (e) {}
 }
@@ -104,6 +108,12 @@ export function createContextHost(opts = {}) {
   let lastFrameIdentity = null // 最小投影:observationId 全值(本身是哈希)+计数,无任何文本
   let lastSegmentRuntimeKey = null
   let lastSegmentSessionRef = null
+  // C5/I7:最近一次"索引未就绪"降级(可读、可观测;含原因与时间,不含任何语料文本)
+  // ★多工作区适配(2026-09-17):改为**按会话分片**。旧实现是单变量,任何会话的 index-not-ready
+  // 都写进去,而读取方(`index.js` 的 buildTierLayerInjection)只判 10 分钟时间窗、**不判会话**
+  // ⇒ B 会话的"未就绪"会把 A 会话污染十分钟,表现为**跨会话假降级**(A 明明正常却被标注降级)。
+  const indexDegradeBySession = new Map()
+  let lastIndexDegrade = null // 兼容投影:最近一次(供 debugView 等旧读取方)
   let lastSinkMode = null
   let bridge = null
   let store = null
@@ -111,10 +121,8 @@ export function createContextHost(opts = {}) {
   const registry = new CorpusRegistry({ sidecarDir: path.join(dshHome(), 'memory', 'index', 'files') })
 
   function dshHome() {
-    const env = process.env.DSH_HOME
-    if (env && env.trim()) return env.trim()
-    const base = engine.__homedirFn ? engine.__homedirFn() : (process.env.USERPROFILE || process.env.HOME || '')
-    return base ? path.join(base, '.dsh') : '.'
+    // ★#86-3：统一口径（含 __homedirFn 注入点保留）
+    return resolveDshHomeForEnginePre(engine)
   }
   function effectiveEnabled() {
     return engine.config.associativeMemoryEnabled === true && engine.config.contextBridgeEnabled === true
@@ -347,14 +355,33 @@ export function createContextHost(opts = {}) {
         ? Promise.resolve().then(() => engine._jsSemanticRank(corpusSnap, buildObserveWindowText(runtime, seg))).catch(() => null)
         : Promise.resolve(null)
       void Promise.all([readyPromise, c2RankPromise]).then(([readyRes, rank]) => {
+        // C5/I7(2026-09-14):索引未就绪**不再静默丢弃注入**。旧行为是 pushDrop('index-not-ready:…')
+        // 后直接 return —— 语义索引一卡死,注入面就整段消失且无人知(07:43–08:35 的违规现场)。
+        // 新行为 = 显式降级 + fail-open:记一条可读降级(reason 进注入层 `[降级]` 行),本轮按**词法命中**
+        // 继续组装并推送 envelope(Tier-0 目录层照常常驻),稠密臂本轮不参与融合(不装懂)。
+        let indexNotReady = ''
         if (!(readyRes && readyRes.ready)) {
-          stats.pushesRejected++
-          pushDrop('index-not-ready:' + ((readyRes && readyRes.reason) || 'unknown'), runtime.contextVersion, runtime.key)
-          return
+          indexNotReady = String((readyRes && readyRes.reason) || 'unknown')
+          stats.indexDegraded = (stats.indexDegraded || 0) + 1
+          const sidDeg = String(runtime.sessionId || '')
+          const degradeRec = { reason: indexNotReady, at: Date.now(), sessionId: sidDeg }
+          // 多工作区适配(2026-09-17):按会话分片写入,读取方按会话取 ⇒ 不再跨会话污染。
+          // ★2026-09-20 移植（issue #94⑤ / PR #100）：先 delete 再 set 刷新插入序。
+          indexDegradeBySession.delete(sidDeg)
+          indexDegradeBySession.set(sidDeg, degradeRec)
+          if (indexDegradeBySession.size > 32) {
+            const oldest = indexDegradeBySession.keys().next().value
+            indexDegradeBySession.delete(oldest)
+          }
+          lastIndexDegrade = degradeRec // 兼容投影(最近一次)
+          try { engine._lastIndexDegrade = degradeRec } catch (_) {}
+          try { engine._indexDegradeBySession = indexDegradeBySession } catch (_) {}
+          pushDrop('index-not-ready:degraded:' + indexNotReady, runtime.contextVersion, runtime.key)
+          diagCtx('ctx-host degrade: index-not-ready(' + indexNotReady + ') → 词法命中 + 常驻目录层继续注入')
         }
         if (st.disposed || runtime.disposed) return
         let keptList = ls.kept
-        if (rank && rank.scores && rank.scores.size) {
+        if (!indexNotReady && rank && rank.scores && rank.scores.size) {
           // D6 融合候选池=词法 kept ∪ 稠密 top-K(语料中找回记录对象;语义强命中但词法零分者由此入选)
           const poolMap = new Map()
           for (const k of ls.kept) if (k && k.memoryId) poolMap.set(k.memoryId, k)
@@ -419,7 +446,10 @@ export function createContextHost(opts = {}) {
             // 2026-08-27 判定观测:按段类型计数(真实数据验证 CoT 触发)
             stats.jsDecideRuns++
             stats.jsDecideByKind[seg.kind] = (stats.jsDecideByKind[seg.kind] || 0) + 1
-            const cd = Math.max(0, Number(engine.config.jsDecideCooldownRounds) || 5)
+            // ★2026-09-20 移植（issue #94④ / PR #100）：`|| 5` 把用户显式配置的 0（不冷却）反转成 5。
+            //   仅缺失/非有限数才回落默认值。
+            const cdRaw = Number(engine.config.jsDecideCooldownRounds)
+            const cd = Number.isFinite(cdRaw) && cdRaw >= 0 ? cdRaw : 5
             const stNow = stateFor(runtime)
             if (cd > 0 && stNow._jsDecideNextAt && Date.now() < stNow._jsDecideNextAt) return
             var jsDecideQueryText = buildObserveWindowText(runtime, seg)
@@ -463,14 +493,21 @@ export function createContextHost(opts = {}) {
                 const session = built.frame.session || {}
                 const cursor = built.frame.cursor || {}
                 const obs = built.frame.observationId || ''
+                // 2026-09-14 P1-⑮:注入侧 reason 串补 0-1 分值(intent/dense/margin)。
+                // 数值段置于 reasonCodes **之前**,160 字符截断只砍代码列表、不砍分值。
+                const num2 = (x) => (Number.isFinite(Number(x)) ? Number(x).toFixed(2) : '0.00')
+                const jsReason = ('js-decide lane=' + dec.lane + ' ' + (dec.decision || 'emit') +
+                  ' intent=' + num2(dec.features && dec.features.intentProb) +
+                  ' dense=' + num2(dec._denseTop) + ' margin=' + num2(dec._margin) +
+                  ' ' + (dec.reasonCodes || []).join(',')).slice(0, 160)
                 const act = {
                   schemaVersion: 1, namespace: 'dsh-auto-memory', kind: 'activation_request',
                   activationId: 'act_' + (obs.startsWith('obs_') ? obs.slice(8, 40) : 'jsdecide'),
-                  observationId: obs, workerEpoch: 'js-decide-pre-v1',
+                  observationId: obs, workerEpoch: 'js-decide-v1',
                   sessionId: session.sessionId || '', agentId: session.agentId || '',
                   workspaceKey: session.workspaceKey || '', scope: session.scope || 'Workspace',
                   contextVersion: cursor.contextVersion || 0, memoryIndexVersion: built.frame.index ? built.frame.index.memoryIndexVersion : '',
-                  threshold: { policyVersion: dec.features ? 'activation_policy_v2' : 'activation_policy_v2', score: (dec.features && dec.features.intentProb) || 0, threshold: 0.45, reason: ('js-decide lane=' + dec.lane + ' ' + (dec.reasonCodes || []).join(',')) },
+                  threshold: { policyVersion: dec.features ? 'activation_policy_v2' : 'activation_policy_v2', score: (dec.features && dec.features.intentProb) || 0, threshold: 0.45, reason: jsReason },
                   level: 'excerpt',
                   candidates: (function () {
                     // 2026-08-27 优化③:候选方案档位(balanced=3×40 / dense=6×20 / custom=自定义)
@@ -532,7 +569,39 @@ export function createContextHost(opts = {}) {
                     }
                   }
                 } catch (_) {}
+                // C5 闸门:记下本轮 query(激活请求本身不带 query 文本),供注入层判"是问为什么还是只要索引"
+                try {
+                  const qSid = String((act && act.sessionId) || '')
+                  const qRec = {
+                    at: Date.now(),
+                    sessionId: qSid,
+                    text: String(jsDecideQueryText || '').slice(0, 1200),
+                  }
+                  // 多工作区适配(2026-09-17):按会话分片。旧实现单槽无条件覆盖 ⇒ A 的 query 被 B 顶掉,
+                  // 读取侧因会话不匹配而退回 triggerText(语义降级)。分片后各会话各记一份。
+                  if (!engine._lastTierQueryBySession || typeof engine._lastTierQueryBySession.set !== 'function') {
+                    engine._lastTierQueryBySession = new Map()
+                  }
+                  engine._lastTierQueryBySession.set(qSid, qRec)
+                  if (engine._lastTierQueryBySession.size > 32) {
+                    const oldest = engine._lastTierQueryBySession.keys().next().value
+                    engine._lastTierQueryBySession.delete(oldest)
+                  }
+                  engine._lastTierQuery = qRec // 兼容投影(最近一次)
+                } catch (_) {}
                 engine._activationHost.offerExternalActivation(act)
+                // 命中投影补上 query(记录发生在 offer 内部;此处补字段,顺序确定)
+                // 多工作区适配(2026-09-17):分片条目与兼容投影**都要补**,否则按会话取到的投影缺 question。
+                try {
+                  const actSid = String((act && act.sessionId) || '')
+                  const qText = String(jsDecideQueryText || '').slice(0, 1200)
+                  const rec = engine._tierGateHitsBySession && typeof engine._tierGateHitsBySession.get === 'function'
+                    ? engine._tierGateHitsBySession.get(actSid) : null
+                  if (rec && String(rec.sessionId) === actSid) rec.question = qText
+                  if (engine._tierGateHits && String(engine._tierGateHits.sessionId) === actSid) {
+                    engine._tierGateHits.question = qText
+                  }
+                } catch (_) {}
               }).catch(() => {})
           } catch (_) {}
         }
@@ -723,6 +792,8 @@ export function createContextHost(opts = {}) {
       durableEventsOnDisk: evidenceRootExists() ? storeFor().loadEvents().events.length : 0,
       stats: { ...stats, bridge: { ...b.stats } },
       storeStats: store ? { ...store.stats } : null,
+      // C5/I7:索引未就绪降级(latest) —— 供面板/注入层解释"为什么这轮只有词法命中"
+      indexDegrade: lastIndexDegrade,
       recentDrops: volatileDrops.slice(-4),
     }
   }