@furongjun1999/dsh-memory 0.4.8 → 0.4.10

package/src/lib/datapath.ts

@@ -2,21 +2,33 @@
  * datapath.ts · 灵枢数据根解析（记忆写入路径可配置）
  *
  * 与 Python 侧 `md_cg/datapath.py` **同口径**——两侧读同一份
- * `<插件仓>/data/paths.json`，避免大脑与脚本对「记忆真源在哪」各持一说。
+ * `<用户级状态根>/paths.json`（新位置；旧版 `<插件仓>/data/paths.json`
+ * 仍兼容读），避免大脑与脚本对「记忆真源在哪」各持一说。
+ *
+ * 为什么默认不再取「插件仓自身 data/」（issue #18 相邻问题，数据丢失级）：
+ *   DSH 插件按 hoisted 布局装在 `<profile>/node_modules/<pkg>`，`pnpm` 更新该包
+ *   会**整个替换包目录**——运行时数据落在包内（`<pkg>/data`）时，每次更新成功
+ *   即连目录一起删掉（贡献者实机实证：`data/` 54 文件 → 0，46 条记忆节点只能
+ *   靠人工备份回填）；`paths.json` 同址，用户配置一并丢失。故默认数据根与配置
+ *   文件一律落**用户级状态根**（见 `stateRoot()`），与包目录彻底解耦。
  *
  * 优先级（高 → 低）：
  *   1. 环境变量 `MDCG_DATA_ROOT`（数据根）／ `MDCG_ROOT`（认知图根）
- *   2. 用户可编辑配置 `<插件仓>/data/paths.json` 的 `data_root` / `root`
+ *   2. 用户可编辑配置 `paths.json` 的 `data_root` / `root`
+ *      （位置：`<用户级状态根>/paths.json`；旧 `<插件仓>/data/paths.json` 兼容读）
  *   3. 插件配置项 `mdcg.root`（可为空=未指定）
- *   4. 默认 `<插件仓>/data/mdcg`（**自身仓库**，与进程 cwd 解耦）
+ *   4. 默认 `<用户级状态根>/data/mdcg`
  *
- * 为什么默认不再取「相对 cwd 的 data/mdcg」：
+ * 为什么默认不取「相对 cwd 的 data/mdcg」：
  *   node 侧插件与 python 侧脚本的 cwd 不同，相对路径会漂移成
  *   `<cwd>/data/mdcg`。历史事故：宿主 cwd 落在 AEIS 时，记忆真源
  *   分裂到 `AEIS/data/mdcg`，与插件仓 `data/` 变成互不可见的两处。
- *   锚定 `package.json` 所在目录后，默认值稳定且可预期。
+ *
+ * 旧数据接手：`migrateLegacyData()` 在默认数据根生效且旧包内位置仍有内容时
+ * 一次性**复制**（不删除、不覆盖）到用户级位置——见该函数注释。
  */
-import { existsSync, readFileSync } from 'node:fs'
+import { cpSync, existsSync, mkdirSync, readdirSync, readFileSync } from 'node:fs'
+import { homedir, tmpdir } from 'node:os'
 import { delimiter, dirname, isAbsolute, join, resolve } from 'node:path'
 import { fileURLToPath } from 'node:url'
 
@@ -43,9 +55,56 @@ export function repoRoot(): string {
   return cachedRepoRoot
 }
 
-/** 用户可编辑的路径配置文件（固定在插件仓 data/，不受 dataRoot 取值影响）。 */
+export const ENV_STATE_ROOT = 'MDCG_STATE_ROOT'
+
+let cachedStateRoot: string | null = null
+
+/**
+ * 用户级状态根（**插件包目录之外**）：路径配置与默认数据根的落点。
+ * 优先级：`MDCG_STATE_ROOT` → `$DSH_HOME/.dsh-memory` → `~/.dsh/.dsh-memory`。
+ * `DSH_HOME` **未必**由宿主注入（本仓 `dsh/dsh-web-start.bat` 自行 set），
+ * 故家目录兜底；`~/.dsh` 是本插件既有约定（`bridge.ts` 调试日志同址）。
+ */
+export function stateRoot(): string {
+  if (cachedStateRoot) return cachedStateRoot
+  const env = process.env[ENV_STATE_ROOT]
+  if (env) {
+    cachedStateRoot = resolve(env)
+    return cachedStateRoot
+  }
+  const dshHome = process.env['DSH_HOME']
+  cachedStateRoot = dshHome
+    ? join(resolve(dshHome), '.dsh-memory')
+    : join(homedir(), '.dsh', '.dsh-memory')
+  return cachedStateRoot
+}
+
+/** 旧版落点（插件包内 `data/`）——更新时会被整个替换，只作兼容读与迁移源。 */
+export function legacyDataRoot(): string {
+  return join(repoRoot(), 'data')
+}
+
+function samePath(a: string, b: string): boolean {
+  return process.platform === 'win32' ? a.toLowerCase() === b.toLowerCase() : a === b
+}
+
+/**
+ * 用户可编辑的路径配置文件：
+ *   `<用户级状态根>/paths.json` → 不存在则回落**旧** `<插件仓>/data/paths.json`
+ *   （兼容读）→ 都不存在返回新位置（首次写入时创建）。
+ * 不做自动复制：配置文件是「谁说了算」的唯一真源，悄悄复制会让旧件的后续编辑
+ * 静默失效——迁移只搬数据面，配置显式交给用户搬（或用 `set_user_root`）。
+ */
 export function pathsFile(): string {
-  return join(repoRoot(), 'data', 'paths.json')
+  const current = join(stateRoot(), 'paths.json')
+  if (existsSync(current)) return current
+  const legacy = join(legacyDataRoot(), 'paths.json')
+  return existsSync(legacy) ? legacy : current
+}
+
+/** 生效中的 paths.json 位置来源：`user`=用户级 / `legacy`=旧包内（兼容读）。 */
+export function pathsFileSource(): 'user' | 'legacy' {
+  return samePath(dirname(pathsFile()), stateRoot()) ? 'user' : 'legacy'
 }
 
 function readUserPaths(): Record<string, unknown> {
@@ -63,8 +122,141 @@ function anchor(p: string): string {
   return isAbsolute(p) ? p : resolve(repoRoot(), p)
 }
 
+/** 默认数据根 = 用户级状态根下 `data/`（**插件包目录之外**，更新不触碰）。 */
 export function defaultDataRoot(): string {
-  return join(repoRoot(), 'data')
+  return join(stateRoot(), 'data')
+}
+
+export interface LegacyMigration {
+  /** 是否真的搬了（false 时 `reason` 说明为何没搬）。 */
+  ran: boolean
+  reason: string
+  from: string
+  to: string
+  /** 复制成功的顶层条目数。 */
+  copied: number
+  /** 复制失败的顶层条目（权限/占用等，逐项吞掉不抛）。 */
+  failed: string[]
+}
+
+/** dst 为「空目录」时 true（不存在/非目录/有内容均为 false）。 */
+function isEmptyDir(p: string): boolean {
+  try {
+    return readdirSync(p).length === 0
+  } catch {
+    return false
+  }
+}
+
+/**
+ * 一次性迁移：把旧版留在**插件包内** `data/` 的数据面复制到用户级默认数据根。
+ *
+ * 触发条件（三条同时满足，缺一不动）：
+ *   ① 数据根未被显式配置（env `MDCG_DATA_ROOT` / paths.json 的 `data_root` 都未设，
+ *      即 `dataRoot()` 恰为默认值）——显式配置是用户的决定，越权搬运等于改他的真源；
+ *   ② 旧位置存在；
+ *   ③ 目标顶层条目不存在或为空目录（**不覆盖、不合并**已有数据）。
+ *
+ * 只复制不删除（旧目录随后由 pnpm 更新自然移除）；`paths.json` 不复制
+ * （配置走 `pathsFile()` 兼容读，复制会制造「哪个文件说了算」的两说）。
+ * 任何异常逐项吞掉并记入 `failed`——迁移是增益，不该成为启动失败源。
+ *
+ * 边界（如实）：pnpm 更新是**先替换包目录再启动新代码**，故旧数据在升级瞬间
+ * 即已消失，本函数只能接手「旧位置那时仍在」的情形（手工安装、就地覆盖、
+ * 或包目录未被清理）；已在升级中丢掉的数据无法由此恢复——发布说明须提示
+ * 0.4.8 及更早用户升级前备份 `<profile>/node_modules/<pkg>/data/`。
+ */
+export function migrateLegacyData(): LegacyMigration {
+  const from = legacyDataRoot()
+  const to = defaultDataRoot()
+  const out: LegacyMigration = { ran: false, reason: '', from, to, copied: 0, failed: [] }
+  if (!samePath(dataRoot(), to)) {
+    out.reason = '数据根为显式配置（env/paths.json），不迁移'
+    return out
+  }
+  if (!existsSync(from)) {
+    out.reason = '旧位置不存在（多为更新时已随包目录被替换）'
+    return out
+  }
+  let entries: string[]
+  try {
+    entries = readdirSync(from)
+  } catch {
+    out.reason = '旧位置不可读'
+    return out
+  }
+  const names = entries.filter((n) => n !== 'paths.json')
+  if (!names.length) {
+    out.reason = '旧位置无数据'
+    return out
+  }
+  for (const name of names) {
+    const src = join(from, name)
+    const dst = join(to, name)
+    // 新位置已有实质内容 → 跳过（宁可少搬，不可覆盖）
+    if (existsSync(dst) && !isEmptyDir(dst)) continue
+    try {
+      mkdirSync(to, { recursive: true })
+      cpSync(src, dst, { recursive: true, force: false, errorOnExist: false })
+      out.copied += 1
+    } catch {
+      out.failed.push(name)
+    }
+  }
+  out.ran = out.copied > 0
+  if (!out.ran) out.reason = out.failed.length ? '目标不可写' : '新位置已有数据，未覆盖'
+  return out
+}
+
+export const ENV_CHILD_CWD = 'MDCG_CHILD_CWD'
+
+let cachedRunRoot: string | null = null
+
+/**
+ * 子进程的工作目录（**必须落在插件包目录之外**）。
+ *
+ * 为什么不能沿用 `repoRoot()`：Windows 不允许删除／改名「正被某进程当作 CWD」
+ * 的目录。DSH 的插件按 hoisted 布局安装在 `<profile>/node_modules/<pkg>`，
+ * 而 `pnpm` 每次更新该包都要先 `rmdir` 包目录 → 子进程一旦把包目录当 CWD，
+ * 更新必然 `ERR_PNPM_EBUSY: resource busy or locked`（含升级回滚一起失败，
+ * 应用内永远升不动这个插件）。注意落点也**不能**是 `<包>/data`——它仍在包内，
+ * 实测同样 `err=32`。
+ *
+ * 落点要求「稳定存在」：进程 cwd 指向已消失的目录会引出新的怪问题，故按稳定度
+ * 排候选目录，取**第一个能建成**的：
+ *   1. `MDCG_CHILD_CWD`（显式覆盖）
+ *   2. `$DSH_HOME/.dsh-memory/run`
+ *   3. `~/.dsh/.dsh-memory/run` —— 家目录兜底：`DSH_HOME` **未必**由宿主注入
+ *      （本仓 `dsh/dsh-web-start.bat` 是自行 `set DSH_HOME=%USERPROFILE%\.dsh`），
+ *      而 `~/.dsh` 是本插件既有约定（`bridge.ts` 调试日志、`token_store` 密钥环同址）
+ *   4. 系统临时目录（可能被清理，故排最后）
+ * 全部建不成时不抛错，交给 spawn 报错——cwd 落点只是防呆，不该成为启动失败源。
+ *
+ * 安全性：`python -m` 的模块解析由 `pythonPathValue()` 的 PYTHONPATH 独立保证，
+ * 不依赖 cwd；已实测 cwd=包目录 与 cwd=包外 时，MCP initialize 握手与
+ * tools/list 工具面（33 个工具）完全一致。
+ */
+export function runRoot(): string {
+  if (cachedRunRoot) return cachedRunRoot
+  const candidates: string[] = []
+  const override = process.env[ENV_CHILD_CWD]
+  if (override) candidates.push(resolve(override))
+  const dshHome = process.env['DSH_HOME']
+  if (dshHome) candidates.push(join(resolve(dshHome), '.dsh-memory', 'run'))
+  candidates.push(join(homedir(), '.dsh', '.dsh-memory', 'run'))
+  candidates.push(join(tmpdir(), 'dsh-memory-run'))
+  for (const dir of candidates) {
+    try {
+      mkdirSync(dir, { recursive: true })
+      cachedRunRoot = dir
+      return dir
+    } catch {
+      /* 该候选不可用（父目录只读等）→ 试下一个 */
+    }
+  }
+  const last = candidates[candidates.length - 1] ?? tmpdir()
+  cachedRunRoot = last
+  return last
 }
 
 /** 数据根（记忆/账本/运行态的父目录）。 */
@@ -110,18 +302,24 @@ export function describeDataPaths(configured?: string): Record<string, string |
   const dr = dataRoot()
   const mr = mdcgRoot(configured)
   const paths = readUserPaths()
-  let source = 'default(插件仓自身 data/)'
+  const pfSource = pathsFileSource()
+  let source = 'default(用户级状态根 data/)'
   if (process.env[ENV_DATA_ROOT]) source = `env:${ENV_DATA_ROOT}`
   else if (process.env[ENV_MDCG_ROOT]) source = `env:${ENV_MDCG_ROOT}`
-  else if (typeof paths['data_root'] === 'string' || typeof paths['root'] === 'string') source = 'paths.json'
-  else if (configured && configured.trim()) source = 'config.mdcg.root'
+  else if (typeof paths['data_root'] === 'string' || typeof paths['root'] === 'string') {
+    source = pfSource === 'user' ? 'paths.json(用户级)' : 'paths.json(兼容读旧包内位置)'
+  } else if (configured && configured.trim()) source = 'config.mdcg.root'
   return {
     repoRoot: repoRoot(),
+    stateRoot: stateRoot(),
     dataRoot: dr,
     mdcgRoot: mr,
     source,
     pathsFile: pathsFile(),
-    isDefault: dr === defaultDataRoot(),
+    pathsFileSource: pfSource,
+    isDefault: samePath(dr, defaultDataRoot()),
+    legacyDataRoot: legacyDataRoot(),
+    legacyDataExists: existsSync(legacyDataRoot()),
     dataRootExists: existsSync(dr),
     mdcgRootExists: existsSync(mr),
   }

package/src/lib/mdcg_client.ts

@@ -37,7 +37,7 @@
 
 import { delimiter } from 'node:path'
 import { LingshuBridge, type McpCallResult } from '../bridge.js'
-import { pythonPathValue, repoRoot } from './datapath.js'
+import { pythonPathValue, runRoot } from './datapath.js'
 
 /** md_cg 子进程与根目录配置。 */
 export interface MdcgOptions {
@@ -47,9 +47,12 @@ export interface MdcgOptions {
   args?: string[]
   /** 认知图根目录（MDCG_ROOT）。 */
   root: string
-  /** Python 子进程工作目录，默认**插件仓根**（issue #12：Python 只把 cwd
-   *  注入 sys.path，宿主在插件仓外启动时 `python -m md_cg.mcp_server`
-   *  找不到随包 md_cg → 必然 ModuleNotFoundError → 静默降级只读 guest）。 */
+  /** Python 子进程工作目录，默认 `runRoot()`——**插件包目录之外**的稳定目录
+   *  （issue #18：Windows 不允许删除/改名「正被某进程当作 cwd」的目录，
+   *  cwd 落在包内会让 pnpm 更新本包必然 `ERR_PNPM_EBUSY` 且永不自愈）。
+   *  模块解析**不依赖 cwd**：`python -m` 靠 `PYTHONPATH`
+   *  （见 `pythonPathValue()`）解析随包 md_cg，issue #12 口径不变。
+   *  显式传入本项时完全尊重原值。 */
   cwd?: string
   /** 调用主体标识（MDCG_ACTOR）。私有内容按 (tenant, actor) 派生 DEK，
    *  故与迁移脚本 --actor 必须一致，否则读不到已迁移节点。 */
@@ -75,6 +78,56 @@ export interface MdcgOptions {
 
 const DEFAULT_ARGS = ['-m', 'md_cg.mcp_server']
 
+/** 子进程环境构造参数（`MdcgOptions` 中与环境相关的那半）。 */
+export interface MdcgChildEnvOptions {
+  root: string
+  surface?: 'kernel' | 'full'
+  tenant?: string
+  clearance?: string
+  actor?: string
+  identity?: string
+  env?: Record<string, string>
+}
+
+/**
+ * MCP 子进程环境：**唯一构造点**（导出即为了让机械守卫能断言它——
+ * 见 `test/python-utf8-mode.test.ts`）。勿在别处另拼 env。
+ *
+ * ⚠️ 两条编码注入是**硬约束**，不是可选项：
+ *
+ * ① `PYTHONIOENCODING=utf-8`（子进程**自身** stdio）：Windows 下 piped 子进程默认
+ *    gbk + surrogateescape，Node 写出的 UTF-8 中文会被解成孤立代理字符（\udcXX），
+ *    md_cg 在落盘 / 回写 stdout 时抛 UnicodeEncodeError——中文记忆（主场景）全失败。
+ *
+ * ② `PYTHONUTF8=1`（子进程**后代**的默认 text 编码，PEP 540）：`PYTHONIOENCODING`
+ *    会被后代继承（后代于是往管道写 UTF-8），但**文本解码口径不被继承**——后代读
+ *    `subprocess.run(..., text=True)` 时取的是 locale（本机 cp936），于是
+ *    「子进程写 UTF-8、父进程按 gbk 读」→ 读线程崩死、诊断静默丢失。
+ *    2026-09-20 实证现场（`npm test` 周期复现，来源为子进程的后代代码单元）：
+ *      Exception in thread Thread-N (_readerthread):
+ *      UnicodeDecodeError: 'gbk' codec can't decode byte 0x82 in position 181
+ *    UTF-8 模式把默认 text 编码改为 UTF-8，读写两侧同口径（且解码结果正确，
+ *    而非 `errors="replace"` 那种替换字符）。
+ *
+ * 确定性对照实验（P1 复现 / P3 消除）见 `test/python-utf8-mode.test.ts`。
+ * `opts.env` 最后展开——显式覆盖优先。
+ */
+export function mdcgChildEnv(opts: MdcgChildEnvOptions): Record<string, string> {
+  return {
+    PYTHONIOENCODING: 'utf-8',
+    PYTHONUTF8: '1',
+    MDCG_ROOT: opts.root,
+    // 工具面必须是 full：写入通道 mdcg_remember 属细粒度工具（见 MdcgOptions.surface）。
+    MDCG_MCP_SURFACE: opts.surface ?? 'full',
+    MDCG_TENANT: opts.tenant ?? 'default',
+    MDCG_CLEARANCE: opts.clearance ?? 'private',
+    PYTHONPATH: pythonPathValue(),
+    ...(opts.actor ? { MDCG_ACTOR: opts.actor } : {}),
+    ...(opts.identity ? { MDCG_IDENTITY: opts.identity } : {}),
+    ...(opts.env ?? {}),
+  }
+}
+
 /** 认知图依据强度：这些 basis 视为「强依据」，可支撑 pass。
  *  取值须在 md_cg.mdcg.VERIFICATION_BASIS 允许集内：
  *  compiler | test | measurement | formal_proof | data | other（other 不算强依据）。 */
@@ -122,27 +175,13 @@ export class MdcgClient {
   readonly bridge: LingshuBridge
 
   constructor(opts: MdcgOptions) {
-    // issue #12：cwd 与 PYTHONPATH 双保险锚定插件仓根——cwd 是 `python -m`
-    // 解析随包包的主通道，PYTHONPATH 覆盖显式自定义 args 的场景。opts.env
-    // 显式提供 PYTHONPATH 时完全接管（其展开在最后：显式配置原样尊重）。
-    const cwd = opts.cwd ?? repoRoot()
-    const env: Record<string, string> = {
-      // ⚠️ 必须显式 utf-8：Windows 下 piped 子进程默认 gbk + surrogateescape，
-      // Node 写出的 UTF-8 中文会被解成孤立代理字符（\udcXX），md_cg 在落盘 /
-      // 回写 stdout 时抛 UnicodeEncodeError —— 中文记忆（本插件的主场景）全部失败。
-      // md_cg 自带测试（test_p2_mcp.py）与 test/bridge.test.ts 均以
-      // PYTHONIOENCODING=utf-8 启动子进程，此处对齐该约定；opts.env 可覆盖。
-      PYTHONIOENCODING: 'utf-8',
-      MDCG_ROOT: opts.root,
-      // 工具面必须是 full：写入通道 mdcg_remember 属细粒度工具（见 MdcgOptions.surface）。
-      MDCG_MCP_SURFACE: opts.surface ?? 'full',
-      MDCG_TENANT: opts.tenant ?? 'default',
-      MDCG_CLEARANCE: opts.clearance ?? 'private',
-      PYTHONPATH: pythonPathValue(),
-      ...(opts.actor ? { MDCG_ACTOR: opts.actor } : {}),
-      ...(opts.identity ? { MDCG_IDENTITY: opts.identity } : {}),
-      ...(opts.env ?? {}),
-    }
+    // 子进程 cwd 必须落在插件包目录之外，否则 pnpm 更新本插件时
+    // rmdir 包目录会撞上 Windows 的「目录被当作 CWD」共享冲突 → ERR_PNPM_EBUSY。
+    // 模块解析不依赖 cwd：PYTHONPATH（pythonPathValue()）已锚定随包 md_cg；
+    // opts.env 显式提供 PYTHONPATH 时完全接管（其展开在最后）。详见 datapath.runRoot()。
+    const cwd = opts.cwd ?? runRoot()
+    // 编码与模块解析口径见 mdcgChildEnv() 头注（含 2026-09-20 读线程崩溃现场）。
+    const env = mdcgChildEnv(opts)
     this.bridge = new LingshuBridge({
       python: opts.python,
       args: opts.args ?? DEFAULT_ARGS,