@furongjun1999/dsh-memory 0.5.0 → 0.6.0

package/lib/lib/token_store.d.ts

@@ -25,7 +25,13 @@ export interface ResolveTokenOptions {
     /** 密钥环路径覆盖（默认 ~/.mdcg/token）。 */
     keyringPath?: string;
 }
-/** 默认密钥环路径：与 md_cg 的 `~/.mdcg/` 约定同目录（`_tokens.json` 亦在此）。 */
+/** 辅助存储根（密钥/令牌/信任/理论/心跳）：与 md_cg 的 `datapath.aux_root()` 同口径。
+ *
+ *  默认 `~/.mdcg`（历史值，**逐字保留**——改默认会让存量密钥/令牌失联）；
+ *  `MDCG_AUX_ROOT` 可把它们整体搬走（沙箱/多用户/与记忆真源同处的场景）。
+ *  与 `config.mdcg.root`（记忆真源）有意分离：身份与信任不随认知图迁移。 */
+export declare function auxRoot(): string;
+/** 默认密钥环路径：与 md_cg 的 `_tokens.json` 同目录（aux 根下，见 auxRoot()）。 */
 export declare function defaultKeyringPath(): string;
 /**
  * 解析写入凭据：显式配置 → 进程 env → 密钥环 → 首启自动签发。

package/lib/lib/token_store.js

@@ -29,11 +29,20 @@
 import { spawnSync } from 'node:child_process';
 import { chmodSync, mkdirSync, readFileSync, writeFileSync } from 'node:fs';
 import { homedir } from 'node:os';
-import { dirname, join } from 'node:path';
+import { dirname, join, resolve } from 'node:path';
 import { pythonPathValue, runRoot } from './datapath.js';
-/** 默认密钥环路径：与 md_cg 的 `~/.mdcg/` 约定同目录（`_tokens.json` 亦在此）。 */
+/** 辅助存储根（密钥/令牌/信任/理论/心跳）：与 md_cg 的 `datapath.aux_root()` 同口径。
+ *
+ *  默认 `~/.mdcg`（历史值，**逐字保留**——改默认会让存量密钥/令牌失联）；
+ *  `MDCG_AUX_ROOT` 可把它们整体搬走（沙箱/多用户/与记忆真源同处的场景）。
+ *  与 `config.mdcg.root`（记忆真源）有意分离：身份与信任不随认知图迁移。 */
+export function auxRoot() {
+    const env = (process.env.MDCG_AUX_ROOT ?? '').trim();
+    return env ? resolve(env) : join(homedir(), '.mdcg');
+}
+/** 默认密钥环路径：与 md_cg 的 `_tokens.json` 同目录（aux 根下，见 auxRoot()）。 */
 export function defaultKeyringPath() {
-    return join(homedir(), '.mdcg', 'token');
+    return join(auxRoot(), 'token');
 }
 /** 读取密钥环；不存在 / 不可读 / 空文件一律返回 undefined（不抛异常）。 */
 function readKeyring(path) {

package/md_cg/audit.py

@@ -168,7 +168,9 @@ def _verify_code(payload, ctx):
         return _verdict(REJECT, "code", f"语法错误 L{exc.lineno}: {exc.msg}")
     n_def = sum(isinstance(x, (ast.FunctionDef, ast.AsyncFunctionDef, ast.ClassDef))
                 for x in ast.walk(tree))
-    cmd = payload.get("test_cmd") or os.environ.get("MDCG_CODE_TEST_CMD")
+    # P2-18（批次 30，外部审查报告）：test_cmd 只允许服务端 env 配置——
+    # payload 是模型可控输入面，一旦接到工具参数顶层即为 RCE 注入点。
+    cmd = os.environ.get("MDCG_CODE_TEST_CMD")
     if not cmd:
         return _verdict(ACCEPT, "code",
                         f"AST 解析通过（{n_def} 个定义）；未配置 test_cmd，仅静态验证")
@@ -323,7 +325,15 @@ def load_external_verifiers(modules=None, strict=False):
     if spec is None:
         spec = os.environ.get(VERIFIER_MODULES_ENV) or ""
     names = [x.strip() for x in str(spec).split(",") if x.strip()]
+    # P2-19（批次 30）：模块名格式白名单——拒绝空串外的异常形态（路径分隔/
+    # 通配/扩展名等非 import 路径输入），加载动作本身写 stderr（可见性）。
+    import re as _re
+    _bad = [n for n in names if not _re.match(r"^[A-Za-z_][A-Za-z0-9_.]*$", n)]
     rep = {"loaded": [], "failed": [], "verifiers": {}}
+    for n in _bad:
+        names.remove(n)
+        rep["failed"].append({"module": n,
+                              "error": "模块名不符合 import 路径格式（P2-19 白名单）"})
     if not names:
         return rep
     this = _sys.modules[__name__]
@@ -336,6 +346,7 @@ def load_external_verifiers(modules=None, strict=False):
             if strict:
                 raise
             continue
+        _sys.stderr.write("[mdcg-audit] 已加载外部验证器模块: %s\n" % name)
         fn = getattr(mod, "register", None)
         if callable(fn):
             try:

package/md_cg/backfill.py

@@ -51,6 +51,7 @@ from . import crypto, nodefile, tokens
 from .consolidate import _has_ccg_line, _upsert_ccg_line
 from .fsutil import append_jsonl, read_jsonl
 from .mdcos import MdCGOS, _ccg_field
+from .readcache import direct_read
 
 # ---- 常量 ----------------------------------------------------------------
 
@@ -293,7 +294,7 @@ def _readable_guard(cg, e) -> bool:
 # 生效条件：仅当 cg 对 e 读出的 fm 非 None、content 未被 crypto.is_encrypted、e['layer'] 不在 SKIP_LAYERS 且 fm.get('tags') 无命中 SKIP_TAGS、ccg_completeness(content)['complete'] 为假时才继续——derive_fields（受 basis_text 影响）过滤掉 content 已有 CCG 行的可写字段为空时按 placeholder_out 是否非空返回 ('placeholder'/'unfillable', None)，非空时返回 ('', item)（item 的 id 取 nid、class 依 undeducible 是否为空取 'backfillable' 或 'partial'）；上述四个前置不满足时依次返回 ('unreadable'/'locked'/'derived'/'present', None)。
 def _classify(cg, e, nid, basis_text=None):
     """→ (skip_reason, item)；skip_reason 非空表示不参与回填。"""
-    fm, content = cg._read(e)
+    fm, content = direct_read(cg, e)
     if fm is None:
         return "unreadable", None
     if crypto.is_encrypted(content):
@@ -421,7 +422,7 @@ def apply(x, ids=None, entry_ids=None, layer=None, limit=None,
         if not e:
             rep["skipped_drift"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             rep["skipped_locked"] += 1
             continue
@@ -474,7 +475,7 @@ def apply(x, ids=None, entry_ids=None, layer=None, limit=None,
     return rep
 
 
-# 生效条件：x 经 _as_cg 定位后读留痕日志，仅对 action=='backfill' 且（batch 为假值则不过滤 batch，否则 rec['batch']==batch）、（entry_ids 为假值则不过滤，否则 rec['entry_id'] 属于该集合）、write_id 未出现在已完成 rollback 集合中、节点命中 cg.index['nodes'] 且 cg._read(e) 的 fm 可读、字段当前 _ccg_field(content, f) 等于留痕 after 的记录执行撤销写回（before 为 None 则删该 comment 键，否则还原原值），无字段可撤销只计 conflict 不写盘，reverted 非空时 rebuild_index，结果汇总进返回的 rep。
+# 生效条件：x 经 _as_cg 定位后读留痕日志，仅对 action=='backfill' 且（batch 为假值则不过滤 batch，否则 rec['batch']==batch）、（entry_ids 为假值则不过滤，否则 rec['entry_id'] 属于该集合）、write_id 未出现在已完成 rollback 集合中、节点命中 cg.index['nodes'] 且 direct_read(cg, e) 的 fm 可读、字段当前 _ccg_field(content, f) 等于留痕 after 的记录执行撤销写回（before 为 None 则删该 comment 键，否则还原原值），无字段可撤销只计 conflict 不写盘，reverted 非空时 rebuild_index，结果汇总进返回的 rep。
 def rollback(x, batch=None, entry_ids=None, actor=None) -> dict:
     """按留痕反向应用：撤销本批次回填（当前值 ≠ 写入值时跳过，防覆盖）。"""
     cg = _as_cg(x)
@@ -500,7 +501,7 @@ def rollback(x, batch=None, entry_ids=None, actor=None) -> dict:
         if not e:
             rep["missing"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None:
             rep["missing"] += 1
             continue
@@ -627,7 +628,7 @@ def cap_plan(x, layer=None, limit=None, ids=None, min_conf=0.5) -> dict:
         if not _readable_guard(cg, e):
             rep["skipped_denied"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             rep["skipped_locked"] += 1
             continue
@@ -671,7 +672,7 @@ def cap_apply(x, ids=None, entry_ids=None, layer=None, limit=None,
         if not e:
             rep["skipped_drift"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             rep["skipped_locked"] += 1
             continue
@@ -725,7 +726,7 @@ def cap_rollback(x, batch=None, entry_ids=None, actor=None) -> dict:
         if not e:
             rep["missing"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None:
             rep["missing"] += 1
             continue
@@ -798,7 +799,7 @@ def exempt_plan(x, layer=None, limit=None, ids=None, require_ready=True,
         if not _readable_guard(cg, e):
             rep["skipped_denied"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             rep["skipped_locked"] += 1
             continue
@@ -859,7 +860,7 @@ def exempt_apply(x, ids=None, entry_ids=None, layer=None, limit=None,
         if not e:
             rep["skipped_drift"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             rep["skipped_locked"] += 1
             continue
@@ -917,7 +918,7 @@ def exempt_rollback(x, batch=None, entry_ids=None, actor=None) -> dict:
         if not e:
             rep["missing"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None:
             rep["missing"] += 1
             continue
@@ -973,7 +974,7 @@ def conditions_pending(x, prefix=None, layer=None, limit=None) -> dict:
         if not _readable_guard(cg, e):
             rep["skipped_denied"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             rep["skipped_locked"] += 1
             continue
@@ -1059,7 +1060,7 @@ def fix_conditions_plan(x, prefix=None, limit=None) -> dict:
         if not _readable_guard(cg, e):
             rep["skipped_denied"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             rep["skipped_locked"] += 1
             continue
@@ -1116,7 +1117,7 @@ def fix_conditions_apply(x, ids=None, entry_ids=None, prefix=None, limit=None,
         if not e:
             rep["skipped_drift"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             rep["skipped_locked"] += 1
             continue
@@ -1206,7 +1207,7 @@ def fix_conditions_rollback(x, batch=None, entry_ids=None, actor=None) -> dict:
         if not e:
             rep["missing"] += 1
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None:
             rep["missing"] += 1
             continue
@@ -1260,7 +1261,7 @@ def verify_conditions(x, prefix=None, limit=None) -> dict:
             continue
         if e.get("layer") in INTERNAL_LAYERS:
             continue
-        fm, content = cg._read(e)
+        fm, content = direct_read(cg, e)
         if fm is None or crypto.is_encrypted(content):
             continue
         rep["nodes_scanned"] += 1

package/md_cg/backfill_bucket_zh.py

@@ -0,0 +1,35 @@
+# -*- coding: utf-8 -*-
+"""bucket_zh 中文别名回填（issue #33：S1b 跨语言收敛；幂等、支持 --dry-run）。
+
+用法：
+  python -X utf8 -m md_cg.backfill_bucket_zh --root <库根> [--dry-run] [--limit N]
+
+为何需要：别名是**写入侧**新增元数据（英文桶键节点落 `fm.bucket_zh`），存量
+节点没有——不回填则 S1b 对存量英文桶键仍走 cross_lang_no_match 审计兜底。
+回填后中文 query 可收敛到英文桶（别名参与 domain_similarity，零翻译依赖）。
+"""
+import argparse
+import json
+import sys
+
+from .mdcg import MdCG
+
+
+# 生效条件：无条件解析参数（root 必填，dry_run/limit 可选）、以 MdCG(root) 打开库、调用 backfill_bucket_zh 并把统计 dict 以 JSON 打印，返回 0。
+def main(argv=None):
+    ap = argparse.ArgumentParser()
+    ap.add_argument("--root", required=True, help="库根目录")
+    ap.add_argument("--dry-run", action="store_true", dest="dry_run",
+                    help="只统计不改盘")
+    ap.add_argument("--limit", type=int, default=None, help="最多补写多少个节点")
+    a = ap.parse_args(argv)
+    cg = MdCG(a.root)
+    st = cg.backfill_bucket_zh(dry_run=a.dry_run, limit=a.limit)
+    print(json.dumps(st, ensure_ascii=False))
+    return 0
+
+
+if __name__ == "__main__":
+    if hasattr(sys.stdout, "reconfigure"):
+        sys.stdout.reconfigure(encoding="utf-8")
+    sys.exit(main())