@furongjun1999/dsh-memory 0.6.1 → 0.7.1

package/md_cg/semantic/unify.py

@@ -1,45 +1,96 @@
 #!/usr/bin/env python3
 # -*- coding: utf-8 -*-
-"""灵枢 · 检索 query 统一归一层（批次 15，2026-09-23 使用者口径定案）
-
-口径：**统一翻译为中文 → 归一化到标准中文集（atoms.json）→ 检索**。
-任何语言的 query 先归一为标准原子序列（空格 join）再进检索各路：
-  - 英文：en_normalizer（时态还原→停用词剔除→en→zh 语素映射）→
-    segment 展开为标准原子（「牛肉」→「牛 肉」，与 doc 侧 fm.semantic
-    原子形态同构）；
-  - 中文：segment 贪心最长匹配归一到 atoms.json 标准概念；
-  - 纯中文 query **原样返回**——segment+join+bigrams(去空白) 后与原文
-    等价，归一只对跨语 query 有信息增益（beef 与「牛肉」零共享字符，
-    形态归一救不了跨语），纯中文零变更纪律；
+"""灵枢 · 检索 query 统一归一层（批次 15 立；2026-09-30 使用者裁定收窄作用域）
+
+口径：**只对英文内容做翻译归一，中文内容原样不动**。
+query 先按「中文段 / 非中文段」切开，只有**非中文段里的英文**进归一链路：
+  - 非中文段（含 ASCII 字母）：en_normalizer（时态还原→停用词剔除→en→zh 语素
+    映射）→ segment 展开为标准原子（「牛肉」→「牛 肉」，与 doc 侧
+    fm.semantic 原子形态同构）；
+  - 中文段（CJK 统一表意文字基本区 U+4E00–U+9FFF，判据单点 =
+    `canonical.is_zh_char`）：**逐字保留、绝不切分、绝不送 segment**；
+  - 非英文段（数字/标点等，段内无 ASCII 字母）：原样保留（不是英文即不翻译）；
+  - 两段按原顺序以单空格 join，空白（段内/段间）一律折叠为单空格；
   - 专名/未登录词原样保留（词表边界 unknown_keep，非错误）。
 
-开关：MDCG_UNIFY_QUERY 默认 "1"（2026-09-23 使用者拍板口径转正）；
-"=0" 显式关回退。两侧同步：rust/mcdg-eval 读同一 env + 同一份
-atoms.json（scripts/rank_parity.py --dataset 对拍在两侧同开关态进行，
-A/B 差异归档为转正证据）。
+为什么收窄（2026-09-30 定因，实测于 locomo-zh-500 公开题池 500 题 / 567 池、
+eval_common jaccard + GLOBAL_CAP 解除、k=5）：旧口径「query 含任一 ASCII 字母
+即整条归一」会把**中夹英** query 的中文部分逐字切开（「自我接纳」→
+「自 我 接 纳」、「慈善跑」→「慈 善 跑」）；500 题里含 ASCII 字母的 145 条
+**全部**也含中文（无纯英文 query）。单点实测：整条归一 lexical hit@1 = 94.4% /
+lexical,fuzzy = 87.2%；只译英文片段 lexical = 95.8% / lexical,fuzzy = 96.6%；
+归一层全关 lexical = 96.4% / lexical,fuzzy = 97.2%。
+
+开关：MDCG_UNIFY_QUERY **默认关**（2026-09-30 使用者裁定，缺省由 "1" 翻为 "0"）。
+定因：本层本职是让**英文** query 命中中文节点，对中文检索池是**纯开销**——
+locomo-zh-500 公开题池（池 567 / 题 500）缺省关态 lexical hit@1 96.4% /
+lexical+fuzzy 97.2%，开态 95.8% / 96.6%（各跑两遍逐位相同）。
+
+三态判据（两侧同语义，唯一开态 = 显式 "1"）：
+
+    MDCG_UNIFY_QUERY      Python unify_on()   Rust Atoms::from_env()
+    未设                   False               None（不载入）
+    "0"                    False               None（不载入）
+    "1"                    True                Some(Atoms)（载入）
+
+显式 "1" 仍能开回（英文对照路要用）；两侧同源 en_zh_map.json
+（scripts/rank_parity.py --dataset 对拍在两侧同开关态进行）。
 
 归一失败（semantic 模块缺失等）静默原样返回——与 en_zh_terms 同降级
 风格，不阻断检索主链路。
+
+两侧同构：rust/src/atoms.rs::Atoms::unify 同语义、同中文判据；逐位对拍 fixture
+= `md_cg/semantic/unify_fixture.json`（本侧守卫 md_cg/test_unify_scope.py 与
+Rust 单测 unify_mixed_fixture_matches_python 钉同一份期望值）。
 """
 import os
 import re
 
-# 生效条件：无 required 形参，锚定环境变量名 MDCG_UNIFY_QUERY；当 os.environ.get("MDCG_UNIFY_QUERY", "1") == "1" 时返回 True，否则返回 False。
+from .canonical import is_zh_char
+
+# 生效条件：无 required 形参，锚定环境变量名 MDCG_UNIFY_QUERY；**未设**时取缺省 "0"（2026-09-30 使用者裁定：缺省关），当 os.environ.get("MDCG_UNIFY_QUERY", "0") == "1" 时返回 True，其余（未设 / "0" / 任何非 "1" 取值）返回 False。
 def unify_on() -> bool:
-    """统一归一层开关（默认开=口径定案转正；=0 显式关回退）。"""
-    return os.environ.get("MDCG_UNIFY_QUERY", "1") == "1"
+    """统一归一层开关（**默认关**；显式 =1 才开，=0/未设一律关）。"""
+    return os.environ.get("MDCG_UNIFY_QUERY", "0") == "1"
+
+
+# 生效条件：单参 text 为任意字符串（空串返回空列表），按 canonical.is_zh_char 逐字符判中文段，相邻同判据字符归并为一个连续段，返回 [(是否中文段, 段文本), ...] 的保序列表。
+def _runs(text):
+    """按中文判据切连续段：[(True, "中文段"), (False, "非中文段"), ...]。"""
+    out = []
+    cur = None
+    buf = []
+    for ch in text:
+        k = is_zh_char(ch)
+        if buf and k != cur:
+            out.append((cur, "".join(buf)))
+            buf = []
+        cur = k
+        buf.append(ch)
+    if buf:
+        out.append((cur, "".join(buf)))
+    return out
 
 
-# 生效条件：text 为 None/空串或开关关闭或不含 [A-Za-z] 时原样返回；否则经 canonical.query_atoms 归一为标准原子序列并以单空格 join 返回（归一产物为空或抛异常时原样返回）。
+# 生效条件：text 为 None/空串、或开关 MDCG_UNIFY_QUERY 取值不为 "1"（含**未设**——缺省 "0"，2026-09-30 起关）、或 strip 后不含 [A-Za-z] 时，原样返回 text（未 strip 的入参）；否则按中文段（canonical.is_zh_char）切分——中文段与不含 ASCII 字母的非中文段逐字保留、含 ASCII 字母的非中文段经 canonical.query_atoms 归一——各段折空白后按原顺序单空格 join；归一产物为空（trim 后）或抛异常时原样返回 text。
 def unify_query(text):
-    """检索入口统一归一：任意语言 query → 标准原子序列。"""
+    """检索入口统一归一：只译英文内容，中文段逐字原样。"""
     t = (text or "").strip()
     if not t or not unify_on() or not re.search(r"[A-Za-z]", t):
         return text
     try:
         from .canonical import query_atoms
-        atoms = query_atoms(t)
+        parts = []
+        for is_zh, run in _runs(t):
+            if is_zh or not re.search(r"[A-Za-z]", run):
+                seg = run                       # 中文段 / 非英文段：逐字保留
+            else:
+                atoms = query_atoms(run)        # 非中文段里的英文：既有链路
+                seg = " ".join(a for a in atoms if a)
+            seg = " ".join(seg.split())         # 段内空白折叠为单空格
+            if seg:
+                parts.append(seg)
     except Exception:
         return text
-    u = " ".join(a for a in atoms if a).strip()
+    u = " ".join(parts)
     return u if u else text

package/md_cg/semantic/unify_fixture.json

@@ -0,0 +1,25 @@
+{
+  "_note": "统一归一层（unify_query / Atoms::unify）作用域收窄（2026-09-30 使用者裁定：只对英文内容做翻译归一，中文内容原样不动）的逐位对拍 fixture。两侧同源钉死：Python 守卫 md_cg/test_unify_scope.py 与 Rust 单测 rust/src/atoms.rs::tests::unify_mixed_fixture_matches_python 都读本文件（Rust 侧 include_str! 编译期嵌入）。任一侧实现漂移即红。含「空产物回退」例（入参含首尾空白且归一产物为空 → 两侧逐位回退**原入参本身**，2026-09-30 清理批次乙1 钉住；Python 侧语义为 unify_query 尾行 `return text`）。",
+  "_caveat": "非中文段一律用「两侧处理同构」的形态：全小写英文词（或命中 en_zh_map 的形）。两侧**既有非对称**共三条（非 2026-09-30 收窄引入，亦非本清理批次引入——HEAD 对照实测同分歧），故不入本 fixture：①未登录大写英文词——Python 保留原 case（`领养 LGBTQ 群体`→原样、`AI 记忆 系统`→原样），Rust 经 normalize_en 一律 lower（→`领养 lgbtq 群体`/`ai 记忆 系统`）；②命中词表的专名——Python 双原子保留原词+译词（`Paris 报告`→`Paris 巴 黎 报告`），Rust 只出译词（→`巴 黎 报告`）；③字母与数字同段——Python 丢数字（`beef 2024 报告`→`牛肉 报告`），Rust 保数字（→`牛肉 2024 报告`）。**真源 = `docs/hive/检索算法口径对照_v0.1.md` 正文「两侧既有非对称」表**（含两侧原始读数、fixture 为何避开、以及「统一到哪一侧」的待裁定项）；本文件只钉两侧同构形态。",
+  "cases": [
+    {"name": "纯英·跨语归一冒烟", "in": "I eat beef yesterday", "out": "我 吃 牛肉 昨天"},
+    {"name": "纯英·单动词时态还原", "in": "wrote", "out": "写"},
+    {"name": "纯英·多词", "in": "compiler tests", "out": "编 辑 家 测 试"},
+    {"name": "纯中·复合词不切", "in": "自我接纳", "out": "自我接纳"},
+    {"name": "纯中·旧口径会切开的两字三字词", "in": "慈善跑", "out": "慈善跑"},
+    {"name": "纯中·带空格", "in": "蜂群调度 依赖门禁", "out": "蜂群调度 依赖门禁"},
+    {"name": "中夹英·英文在首", "in": "beef 报告", "out": "牛肉 报告"},
+    {"name": "中夹英·未登录英文片段+中文段逐字保留", "in": "领养 xyzzy 群体", "out": "领养 xyzzy 群体"},
+    {"name": "英夹中·英文译中文段原样", "in": "beef 牛肉", "out": "牛肉 牛肉"},
+    {"name": "前后空白·折叠", "in": "  beef 报告  ", "out": "牛肉 报告"},
+    {"name": "空产物回退·原样返回原入参（不 trim）", "in": "  the is  ", "out": "  the is  "},
+    {"name": "多空格·折叠为单空格", "in": "beef   报告", "out": "牛肉 报告"},
+    {"name": "数字·非英文段原样", "in": "2024 报告", "out": "2024 报告"},
+    {"name": "数字+中文+英文混合", "in": "2024 年 beef 报告", "out": "2024 年 牛肉 报告"},
+    {"name": "半角标点·非英文段原样", "in": "beef 阅读,写作", "out": "牛肉 阅读 , 写作"},
+    {"name": "全角标点·非英文段原样", "in": "报告。很好 beef", "out": "报告 。 很好 牛肉"},
+    {"name": "未登录词·unknown_keep", "in": "xyzzy 报告", "out": "xyzzy 报告"},
+    {"name": "单字母词 I", "in": "I 支持", "out": "我 支持"},
+    {"name": "英中粘连·无空格混合", "in": "beef报告", "out": "牛肉 报告"}
+  ]
+}