@furongjun1999/dsh-memory 0.9.9 → 0.9.12

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (38) hide show
  1. package/README.md +181 -150
  2. package/lib/hooks.d.ts +16 -1
  3. package/lib/hooks.js +53 -2
  4. package/lib/index.d.ts +3 -0
  5. package/lib/index.js +9 -1
  6. package/lib/tools.d.ts +8 -0
  7. package/lib/tools.js +32 -5
  8. package/md_cg/config_registry_bulk.py +488 -483
  9. package/md_cg/config_validate.py +5 -0
  10. package/md_cg/mcp_server.py +5446 -5324
  11. package/md_cg/mdcg.py +62 -4
  12. package/md_cg/mdcos.py +7259 -7159
  13. package/md_cg/refindex.py +11 -4
  14. package/md_cg/test_c3_transient_read_negative.py +797 -797
  15. package/md_cg/test_c8_search_rrf_gates.py +511 -502
  16. package/md_cg/test_domain_granularity.py +68 -0
  17. package/md_cg/test_exact_text_cache.py +194 -194
  18. package/md_cg/test_hotcache_tool.py +121 -121
  19. package/md_cg/test_index_snapshot_fastpath.py +72 -0
  20. package/md_cg/test_issue274_read_node_id_none.py +364 -364
  21. package/md_cg/test_issue623_fullwidth_symmetry.py +66 -0
  22. package/md_cg/test_p28_refcheck.py +7 -7
  23. package/md_cg/test_p3_legacy_closure.py +441 -441
  24. package/md_cg/test_retr_gates_prodpath.py +11 -1
  25. package/md_cg/test_search_async.py +84 -0
  26. package/md_cg/test_search_bm25_default.py +60 -60
  27. package/md_cg/test_search_prefilter.py +85 -0
  28. package/md_cg/test_untrusted_audit.py +55 -55
  29. package/md_cg/test_untrusted_classifier.py +42 -42
  30. package/md_cg/test_untrusted_enforcement.py +66 -66
  31. package/md_cg/tokens.py +5 -1
  32. package/md_cg/untrusted.py +45 -45
  33. package/md_cg/untrusted_audit.py +87 -87
  34. package/package.json +113 -113
  35. package/scripts/workspace_index.py +2 -0
  36. package/src/hooks.ts +1043 -986
  37. package/src/index.ts +12 -1
  38. package/src/tools.ts +37 -6
package/md_cg/mdcg.py CHANGED
@@ -602,7 +602,11 @@ def normalize_en(text: str) -> str:
602
602
  - 时态/复数归零(walked→walk, pets→pet)
603
603
  """
604
604
  # 清标点(保留中文字符和空格和数字)
605
- cleaned = re.sub(r'[^\u4e00-\u9fff a-zA-Z0-9]', ' ', text or "")
605
+ # issue #623(2026-10-22):本函数原先直接对**原文**做字符类清理,而 [^\u4e00-\u9fff a-zA-Z0-9] 会把全角
606
+ # 拉丁/数字(ABC123,U+FF01–FF5E)整段清成空格 ⇒ 查询词直接消失,全角与半角双向不可命中。
607
+ # 故先过 routing.nfkc_text(本仓 NFKC 唯一单点),再做字符类清理——一处改动同时覆盖
608
+ # _like 召回 / _score 打分 / reach 前筛三条腿(它们都由本函数产出 bigram)。
609
+ cleaned = re.sub(r'[^\u4e00-\u9fff a-zA-Z0-9]', ' ', routing.nfkc_text(text) or "")
606
610
  # 生效条件:m.group(0) 小写后交模块级 _norm_word_mem 查词级 memo(纯函数精确键控:命中返回缓存值,未命中按 EN_STOPWORDS 剔除/strip_tense_en 同口径计算并回填)——命中值≡逐词现算值,返回串接进归一结果;
607
611
  def _norm_word(m):
608
612
  return _norm_word_mem(m.group(0).lower())
@@ -1972,7 +1976,37 @@ class MdCG:
1972
1976
  # 「.md 计数相等」,两套判据对同一个问题(「这份快照可信吗」)各答
1973
1977
  # 各的,且 compact 还会把当前指纹盖到陈旧快照上把指纹判据一起抹掉。
1974
1978
  if not self._snapshot_trusted(idx):
1975
- idx = None
1979
+ # 2026-10-21 治本(写/读超时根因):目录 mtime 指纹会在任意合作写入后
1980
+ # 失效(新文件落进目录即改 mtime),失效后原实现一律回退全库扫描——
1981
+ # 真实库 31,688 节点实测 13.4 秒/次冷启动,这才是 MCP 读写超时来源
1982
+ # (写入逻辑本身只要 47~53ms)。
1983
+ # 指纹只回答「目录树是否动过」,不判内容;合作写入都走分片日志。
1984
+ # 故先重放日志,再用 _covers_disk(walk 目录、只比路径集合,0.08 秒)
1985
+ # 验证「索引路径集合 == 盘面 .md 集合」:成立则采纳;不成立(改名/换目录/
1986
+ # 外部删加)仍回退全库扫描,正确性不降级。
1987
+ _probe = {"schema": SCHEMA, "nodes": dict(idx.get("nodes") or {}), "buckets": {}}
1988
+ try:
1989
+ self._apply_log(_probe["nodes"])
1990
+ # 只认「**纯新增**」这一种变化:合作写入(add)在日志里留下**新 path**,
1991
+ # 而改名/对调/换目录是**盘面行为**、日志里没有对应新 path——它们会把
1992
+ # 目录 mtime 改掉却让路径集合保持不变(_covers_disk 必假阳)。
1993
+ # 判据:发生变化的目录,必须全都在「日志新增 path 的所在目录」里。
1994
+ _log_dirs = set()
1995
+ for _rec in ShardedLog.read_all(self.index_log_dir):
1996
+ _e = _rec.get("e") if isinstance(_rec, dict) else None
1997
+ _path = _e.get("path") if isinstance(_e, dict) else None
1998
+ if _path:
1999
+ _log_dirs.add(os.path.dirname(str(_path).replace("\\", "/")))
2000
+ _cur_fp = self._dir_fingerprint()
2001
+ _old_fp = idx.get("_fingerprint") or {}
2002
+ _changed = {d for d, m in _cur_fp.items() if _old_fp.get(d) != m}
2003
+ _changed |= {d for d in _old_fp if d not in _cur_fp}
2004
+ if self._covers_disk(_probe["nodes"]) and _changed <= _log_dirs:
2005
+ idx = _probe
2006
+ else:
2007
+ idx = None
2008
+ except Exception:
2009
+ idx = None
1976
2010
  if idx is None:
1977
2011
  idx = {"schema": SCHEMA, "nodes": self._scan_nodes(), "buckets": {}}
1978
2012
  self._apply_log(idx["nodes"])
@@ -2149,6 +2183,23 @@ class MdCG:
2149
2183
  `self._dirty_replay_superseded` 留下条数读数。见证拿不到的条目照旧重放
2150
2184
  ——「本实例未落盘写入不因重载从检索侧消失」这条不变量一并保留。
2151
2185
  """
2186
+ # 2026-10-21:这是**应急闸**,默认关闭(默认 0)。
2187
+ # 背景:本方法每次读面入口都会探测签名,而他进程每次 flush 都改变签名 ⇒
2188
+ # 长期写方在跑的库里,读侧几乎每次查询都判「代际变化」并整库重载
2189
+ # (真实库 31k 节点实测 7.0 秒/次)。真正的修法是让重载变便宜
2190
+ # (_load_index 的快照+日志+目录判据),时间窗只是兜底手段。
2191
+ # 注意:窗口放在签名探测**之前**,窗内连探测都不做——它会同时挡住
2192
+ # 「重载」,故默认必须为 0,否则跨进程写入可见性被延迟(N195/N212 等守卫会红)。
2193
+ try:
2194
+ _min_iv = float(os.environ.get("MDCG_RELOAD_MIN_INTERVAL", "0"))
2195
+ except ValueError:
2196
+ _min_iv = 0.0
2197
+ if _min_iv > 0:
2198
+ _last = getattr(self, "_sig_probe_ts", 0.0)
2199
+ _now = time.time()
2200
+ if _now - _last < _min_iv:
2201
+ return False
2202
+ self._sig_probe_ts = _now
2152
2203
  sig = self._index_signature()
2153
2204
  if sig == self._index_sig:
2154
2205
  return False
@@ -4246,8 +4297,13 @@ class MdCG:
4246
4297
  return nodefile.positive_body(content)
4247
4298
 
4248
4299
  def _like_body_lower(self, entry, content):
4249
- """Lowercase positive body; readcache reuses this pure projection."""
4250
- return self._positive_body(entry, content).lower()
4300
+ """Lowercase positive body; readcache reuses this pure projection.
4301
+
4302
+ issue #623(2026-10-22):这里也要过 routing.nfkc_text——_like 拿
4303
+ normalize_en 产出的词去 body 里找,而 body 若保留全角(ABC123),
4304
+ 半角查询就永远找不到它。NFKC 单点同样只用 routing 那一份。
4305
+ """
4306
+ return routing.nfkc_text(self._positive_body(entry, content)).lower()
4251
4307
 
4252
4308
  def _doc_exact_text(self, entry, content):
4253
4309
  """Whitespace-free full content for the existing exact-hit tie break.
@@ -5464,6 +5520,8 @@ class MdCG:
5464
5520
  # 分阶段审计仅在门控真的产生信息时落键(默认关闭 → meta 与改动前逐字节一致;契约 §5.3)
5465
5521
  if stat.get("gates"):
5466
5522
  meta["gates"] = stat["gates"]
5523
+ if stat.get("prefilter"):
5524
+ meta["prefilter"] = stat["prefilter"]
5467
5525
  # P2-2(§5.2):拒绝域命中的**独立读数**(与资格 REJECT 分开计数)——
5468
5526
  # 只在确有边界命中时落键(无边界命中的路径 meta 键集合与改动前一致)。
5469
5527
  if stat.get("boundary"):