@furongjun1999/dsh-memory 0.4.6 → 0.4.8

package/docs/eval//345/256/236/351/252/214/346/226/271/346/241/210_/345/255/246/344/271/240/351/227/255/347/216/257AB/344/270/216/346/250/252/350/257/204_v1.0.md

@@ -0,0 +1,174 @@
+# 实验方案 · 学习闭环 A/B 与外部横评 v1.0
+
+> 目的：回应 GPT 的两条核心批评——
+> ①「Knowledge Evolution ≠ Learning」（缺「记忆→提升」的**因果**证据）；
+> ②「自定义指标多、缺外部 baseline」（缺**横评**）。
+>
+> 本文件是**方案设计**，不含实验结论。执行前需先确认算力/标注资源与数据集授权。
+> 例外：§E 是**先行冒烟实测记录**（环境可行性小样），不构成 §B 的对外横评数字。
+> 日期：2026-09-12
+
+---
+
+## A. 学习闭环 A/B（证明 Memory → Learning → Improvement）
+
+### A.1 设计（因果要求）
+
+```text
+同一初始状态
+   ├── 实验组 A：记忆系统开启（mdcg 正常写读）
+   └── 对照组 B：记忆系统关闭（等价于纯上下文 / 无长期记忆）
+        │
+   同任务集：训练批（进记忆） + 测试批（不进记忆，只评估）
+   分批推进：10 批 × 100 任务 = 1000 任务
+        │
+   每批后评估：测试批上的能力是否提升？
+```
+
+**关键纪律（防自欺）**：
+- **测试批严禁写入记忆**——否则是「记住答案」而非「泛化能力提升」；
+- A/B 用**同一模型、同一 token budget、同一采样参数**，仅记忆开关不同；
+- 任务与指标需**预先注册**，不允许事后挑指标。
+
+### A.2 指标与判据
+
+| 能力 | 指标 | 基线（批 0） | 判据（1000 任务后） |
+|---|---|---|---|
+| 检索 | hit@1 | 记录 | 提升，且 A 组显著高于 B 组 |
+| 推理 | 正确率 | 记录 | ↑ |
+| 冲突处理 | 矛盾识别率 | 记录 | ↑ |
+| **自我校准** | **ECE** | 记录 | **↓ 至 ≤ 0.15**（对齐 README §Gate） |
+| 新任务泛化 | 测试批正确率 | 记录 | ↑（**核心判据**） |
+| 记忆污染 | 错误知识留存率 | 记录 | ↓ |
+
+**核心判据**：新任务泛化的 **A 组提升量显著 > B 组**（如配对检验 p < 0.05）。
+若 A 组仅在「已见任务」上提升、测试批无提升 → 说明只是记忆回放，**Learning 不成立**（诚实结论）。
+
+### A.3 最小可行版本（低成本先跑）
+
+若 1000 任务成本过高，可先跑 **10 批 × 20 任务 = 200 任务** 的最小版本，
+仅测「新任务泛化」与「ECE」两项，用于**证伪**（若连方向都没有，则不必做大）。
+
+---
+
+## B. 外部横评（vs 其它记忆系统）
+
+### B.1 Baseline 清单
+
+```text
+Mem0          Letta(Zep)     GraphRAG
+普通 Vector RAG    纯 Context Window（无记忆）
+```
+
+### B.2 控制变量
+
+同一数据集 + 同一底层模型 + 同一 token budget + 同一上下文预算 + 同一任务集。
+
+数据集（复用现有）：
+- `LoCoMo-zh-500`
+- `memory-bench-1000`
+
+### B.3 指标矩阵
+
+| 维度 | 指标 |
+|---|---|
+| 检索 | Recall / Precision / MRR |
+| 答案 | Answer Accuracy |
+| 鲁棒 | Contradiction Handling / Temporal Reasoning |
+| 长期 | Memory Pollution / Long-term Drift |
+| 成本 | Cost / Latency |
+
+**诚实声明（沿用 README 立场）**：本仓现有自评指标**不构成横评声明**；
+只有上述同条件对照产出的数字，才可作为对外比较依据。
+
+---
+
+## C. 复用现有 bench（避免重复造轮子）
+
+| 脚本 | 用途 |
+|---|---|
+| `md_cg/bench_locomo_zh*.py` | LoCoMo-zh 检索命中 |
+| `md_cg/bench_membench.py` | memory-bench |
+| `md_cg/bench_longmem.py` | 长期漂移 |
+| `md_cg/bench_task_ab*.py` | 任务级 A/B（**优先扩展此脚本承载 §A**） |
+
+---
+
+## D. 执行顺序建议（按性价比）
+
+1. **A.3 最小闭环**（200 任务）——先证伪，成本最低，直接回应批评 ①；
+2. **ECE 长样本验证**——把 `T-TRUST` 从 Lv2 推向 Lv3（缺口 6）；
+3. **B 横评**——说服力最高、成本最高，放最后；
+4. 概念精简（缺口 4）——收益难量化，暂缓。
+
+---
+
+## E. 先行冒烟实测记录（2026-09-12）
+
+> 性质说明：本节是**环境可行性冒烟**——用 1 组中文对话语料（3 条事实）跑通「写入 → 检索」。
+> **样本量不足以支撑任何对外横评数字**（§B 的指标矩阵仍需 LoCoMo-zh-500 等数据集）。
+> 它解决的是另一件事：**前提确认**——四家能否在同一 embedding / LLM 条件下真实跑起来，
+> 以及各自的「默认配置」里有哪些会直接毁掉中文记忆的坑。
+>
+> 脚本：`_eval/smoke_{mem0,graphiti,graphrag,letta}.py`（`_eval` 位于 `_competitor/`）。
+
+### E.1 环境与口径
+
+| 项 | 取值 |
+|---|---|
+| LLM | `deepseek-chat`（DeepSeek 官方端点；Letta 需绕行，见 E.4 ④） |
+| Embedding | LM Studio 本地 `text-embedding-bge-m3`（1024 维，`http://127.0.0.1:1234/v1`） |
+| 语料 | `_eval/corpus.py` 的 `DIALOG`（6 轮）/ `QUERIES`（fact / preference / relation 各 1 条） |
+| 命中口径 | 返回文本**字面**含期望中文关键词（`corpus.judge`）；另人工复核**语义**正确性 |
+| 版本 | mem0 2.0.20 / Graphiti 0.30.2 / GraphRAG（monorepo, uv workspace）/ Letta 0.16.8 |
+| 基础设施 | Neo4j 5（Graphiti）、PostgreSQL 16 + pgvector（Letta） |
+
+### E.2 结果
+
+| 系统 | 写入 | 抽取产物 | 字面命中 | 语义正确 | 检索耗时 |
+|---|---|---|---|---|---|
+| mem0（默认） | 2.71s | 3 条，**全英文改写** | **1/3** | 3/3 | 0.03s |
+| mem0（+中文锁定） | 2.51s | 3 条，全中文 | **3/3** | 3/3 | 0.03s |
+| Graphiti | 4.09 / 4.52s | 4 实体，**2～3 条事实边** | **2/3 ~ 3/3** | 3/3 | 0.03–0.07s |
+| GraphRAG · local | 索引 17.4s | 4 实体 / 3 关系 / 1 社区报告 | **3/3** | 3/3 | 1.16–2.16s |
+| GraphRAG · global | — | 同上（仅用社区报告） | **2/3** | 2/3 | 1.11–2.83s |
+| Letta | 3 轮对话 | human 块 3 条事实 | **3/3** | 3/3 | 0.06–0.11s |
+
+### E.3 四条与选型直接相关的失败模式（本节主要产出）
+
+1. **mem0 默认把中文事实翻译成英文** → 抽取产物为 `Zhang Wei` / `seafood` / `Xinggui`，
+   中文关键词检索全部失效（字面 1/3）。语义仍正确，故**不是检索坏了，是保真坏了**；
+   注入 `custom_instructions` 锁定中文后 3/3。→ 横评若不做语言控制，mem0 会被系统性低估。
+2. **Graphiti 对「偏好 / 过敏」类事实的抽取不稳定，且会失真**。两次复跑：
+   第一次「海鲜」只作为**实体**存在、无事实边（2/3）；第二次抽出边，但 fact 为
+   「星轨项目与海鲜无直接关联，但用户提及对海鲜过敏」——**命中却语义扭曲**。
+   → 比 miss 更危险；横评必须跑多次取分布，并人工审 fact 而非只看命中率。
+3. **GraphRAG global 丢偏好**：社区报告只覆盖项目 / 会议类信息，`global` 因此答不出过敏问题；
+   `local` 靠原始 text_unit 兜住。→ 两档检索能力不等价，横评需分档报告。
+4. **Letta 的记忆落在 core memory block**，archival（passages）为空；core 读取极快（0.06s）
+   但有容量上限。→ 与「向量库检索」不是同一机制，不宜只按延迟同台比较。
+
+### E.4 复现所需条件（踩坑结论，均为反证确认）
+
+1. **GraphRAG 社区报告**：DeepSeek 拒绝 `response_format.type=json_schema`（400
+   `This response_format type is unavailable now`），而 `community_reports_extractor.py`
+   原用 pydantic 模型 → 索引在 `create_community_reports` 崩溃（下游显现为 `KeyError: 'community'`）。
+   已改为 `response_format_json_object=True` + 本地结构化解析。
+2. **Letta 服务端硬依赖 Postgres + pgvector**：`letta/server/db.py` 模块级 engine 取
+   `settings.letta_pg_uri`（**带默认值**），故 `database_engine=SQLITE` 也不能启动 REST 服务端；
+   需 `alembic upgrade head` 先建表，且容器内要有 `vector` 扩展（缺 `pg8000` 同步驱动也会失败）。
+3. **Letta agent 必须显式挂载 `memory_blocks`**：0.16.8 不再默认附带 persona / human，
+   缺省时 `memory_insert` 报 `Block field human does not exist (available sections = )`，
+   agent 沦为「无记忆体」（`blocks_agents` 与 `archival_passages` 均为 0）。
+4. **Letta LLM 需显式 `llm_config`**：DeepSeek `/v1/models` 现仅返回 `deepseek-flash` /
+   `deepseek-v4-pro`，句柄式 `deepseek/deepseek-chat` 解析失败（`available_handles=[]`）；
+   显式 `llm_config` 可绕过 `provider_models` 句柄表直连。
+5. **mem0 两组不可并发**：`~/.mem0/migrations_qdrant` 是固定路径的本地 qdrant，
+   并发即加锁冲突（`Storage folder ... already accessed by another instance`）→ 双组须串行。
+
+### E.5 与 §B 的衔接
+
+本节把 §B「控制变量」清单补成可执行版：除模型 / 预算 / 任务集外，还须**控制并报告**
+（a）记忆写入语言是否被改写；（b）抽取运行次数（取分布而非单次）；
+（c）GraphRAG 的 local / global 分档；（d）各系统「记忆」的载体类型
+（core block / 图谱边 / 向量库）——否则数字不可比较。

package/docs/eval//346/250/252/350/257/204_/345/205/255/345/256/266100/351/242/230/344/270/255/350/213/261/345/217/214/346/237/245_v1.0.md

@@ -0,0 +1,223 @@
+# 六家记忆系统横评 · 100 题中英双查（bench6 v1.0）
+
+> **题集（已公开）**：`data/benchmarks/bench6-100-zh-en/`（`manifest.json` / `pool.jsonl` / `questions.jsonl`，CC BY-NC 4.0）
+> **六家结果（机器可读）**：`data/benchmarks/bench6-100-zh-en/results_v1.0.json`
+> 评分器：`md_cg/eval_common.py`（`unlock_global_cap()` + `use_jaccard()`），六家**同一套** hit@1 / hit@5 / MRR。
+
+## 一句话结论
+
+在这份**零干扰、全为 gold 证据**的题池上：**中文查询**由灵枢词法（99.0%）与 Letta 归档直插（96.0%）领跑，**英文查询**则由 Letta 归档直插（73.0%）与纯向量 RAG（71.0%）领跑；灵枢四路融合在本池中**反而低于其单词法基线**（81.0% < 99.0%），条件桶/实体路在饱和池上稀释了词法命中。**Letta 的 agent 自主入库在本次口径下命中率为 0，根因不是检索失效，而是入库时把 `[turn_id]` 标记改写成自然语言、导致结果无法回溯**。
+
+---
+
+## 1 口径与复现
+
+| 项 | 取值 |
+|---|---|
+| 题源 | `data/benchmarks/locomo-zh-500/questions500.jsonl`（500 题，公开）+ 上游 LoCoMo 英文原问句（`mteb/LoCoMo`，revision `02e2c3dea15d9fdfd1cd7a0f65f5f8ae2ed4c1ac`） |
+| 语料 | `data/benchmarks/locomo-zh-500/corpus567.jsonl`（567 turn） |
+| 抽样 | qtype 分层 · 最大余额法 · `seed=7007` · n=100；配额 `single_hop 43 / adversarial 23 / temporal 16 / multi_hop 14 / open_domain 4` → 实际一致 |
+| 池 | 抽中 100 题的 gold 引用 turn 去重 = **137 条**；悬空引用 **0 条**（`dangling=[]`，已逐条记录规则） |
+| 写入文本（六家逐字同源） | `[<turn_id>] <英文原始陈述> [<会话时间>]` |
+| 中英双查 | 同 qid 两套词面：`question_zh`=中文关键词串、`question_en`=英文自然问句；`evidence_turns` 已断言逐字一致 |
+| 评分 | `first_evidence_rank`（1-based，未命中 0）→ `hit@1 / hit@5 / MRR`；统一前置开关 `unlock_global_cap()`（解除 LIKE 预筛 500 条截断）+ `use_jaccard()`（长 turn 不挤掉证据） |
+
+**验证（纪律 5，回放/断言全绿）**：题数=100、池=137、池内 id 唯一、每题中英问句均非空、中英 `evidence_turns` 逐字一致、竞品 `unmapped_rate=0`（除 Letta agent）、各臂 `errors=0`。
+
+---
+
+## 2 主表：六家 × 中英 × 三指标
+
+| 系统 | zh hit@1 | zh hit@5 | zh MRR | en hit@1 | en hit@5 | en MRR | 未回收率(zh/en) |
+|---|---|---|---|---|---|---|---|
+| 灵枢·单词法 | **99.0%** | 100.0% | 0.9950 | 47.0% | 69.0% | 0.5637 | n/a |
+| 灵枢·四路(真开bucket) | 81.0% | 100.0% | 0.8983 | 37.0% | 67.0% | 0.4893 | n/a |
+| 灵枢·四路(名义) | 68.0% | 100.0% | 0.8093 | 29.0% | 61.0% | 0.4212 | n/a |
+| 灵枢·词法+meta | **99.0%** | 100.0% | 0.9950 | 54.0% | 72.0% | 0.5993 | n/a |
+| 灵枢·四路(无meta) | **99.0%** | 100.0% | 0.9950 | 47.0% | 69.0% | 0.5637 | n/a |
+| 纯向量 RAG | 97.0% | 100.0% | 0.9817 | 71.0% | 91.0% | 0.7937 | n/a |
+| mem0 | 89.0% | 95.0% | 0.9125 | 68.0% | 93.0% | 0.7850 | 0.0% / 0.0% |
+| Graphiti | 58.0% | 63.0% | 0.6008 | 46.0% | 62.0% | 0.5303 | 0.0% / 0.0% |
+| GraphRAG | 31.0% | 35.0% | 0.3223 | 18.0% | 25.0% | 0.2057 | 0.0% / 0.0% |
+| Letta·归档直插 | 96.0% | 100.0% | 0.9767 | **73.0%** | 93.0% | 0.8063 | 0.0% / 0.0% |
+| Letta·agent自主 | 0.0% | 0.0% | 0.0000 | 0.0% | 0.0% | 0.0000 | **100% / 100%** |
+
+> 「灵枢」多行是**同一支系统在不同检索口径**下的对照，非多套系统；`灵枢·单词法 / 词法+meta / 四路(无meta)` 三者在中文侧同分（99.0%），差异只在英文侧（meta 使 en 47%→54%）。
+
+---
+
+## 3 分题型附表（中文查询 hit@1，括号为题数）
+
+| 系统 | adversarial(23) | multi_hop(14) | open_domain(4) | single_hop(43) | temporal(16) |
+|---|---|---|---|---|---|
+| 灵枢·单词法 | 96% | 100% | 100% | 100% | 100% |
+| 灵枢·四路(真开bucket) | 83% | 86% | 100% | 77% | 81% |
+| 灵枢·四路(名义) | 70% | 79% | 75% | 65% | 62% |
+| 灵枢·词法+meta | 96% | 100% | 100% | 100% | 100% |
+| 灵枢·四路(无meta) | 96% | 100% | 100% | 100% | 100% |
+| 纯向量 RAG | 100% | 100% | 100% | 95% | 94% |
+| mem0 | 96% | 100% | 75% | 84% | 88% |
+| Graphiti | 48% | 79% | 50% | 56% | 62% |
+| GraphRAG | 52% | 29% | 25% | 26% | 19% |
+| Letta·归档直插 | 100% | 93% | 100% | 95% | 94% |
+| Letta·agent自主 | 0% | 0% | 0% | 0% | 0% |
+
+**读法**：灵枢系在 `multi_hop / open_domain / single_hop / temporal` 四项均为 100%，其唯一短板是 `adversarial`（96%，低 4pp）；纯向量 RAG 与 Letta 归档直插则在 `adversarial` 与 `multi_hop` 上互补（前者 adversarial 100/后者 multi_hop 93）。GraphRAG 全题型垫底，`temporal_reasoning` 仅 19%（时间类问题依赖实体图上的时间边，而本臂以 `local_search` 的 sources 行序为准，未见时间维排序）。
+
+---
+
+## 4 逐家入库形态与语言取证（本次最有价值的观测）
+
+各家写入后**回读一条真实存储内容**，作为中英双查差异的解释变量：
+
+| 系统 | 存储形态（回读取证） | id 回收通道 | 取证 |
+|---|---|---|---|
+| 灵枢 | 中文四槽（身份/时间/摘要/条件）+ 英文原文，补 `tags`（裸词 identity+terms）与 `condition_space` | 图节点 id（进程内） | 库为自有 `MdCGOS`，`tags` 必须裸词（`ent:` 前缀在自然语言查询下永不命中） |
+| mem0 | 保留 `[turn_id] 英文原文`，另存 `metadata.turn_id` | `item["metadata"]["turn_id"]`（精确） | zh/en `unmapped=0` |
+| Graphiti | 一 turn 一 episode，抽取为实体/关系边 | `edge.episodes → EpisodicNode.name`（精确） | 137 episode 全部可回溯 |
+| GraphRAG | 文档级一次性索引，137 个 `text_unit`（原文切片） | `context_data["sources"].text` 正则（行序） | `index_rc=0`、`n_text_units=137`；**英文侧 7 题空 sources** |
+| Letta·归档直插 | `passages.create` 直插，**逐字保留** `[scene_0_session_11_turn_14] Caroline: …` | `passages.search().results[].content` 正则 | `search_field_path=['results']`；zh 96% / en 73% |
+| Letta·agent自主 | `messages.create`，agent 把内容**改写成自然语言摘要**（如 "Caroline is going through a transition…"），**不含 `[turn_id]` 标记** | 同上，但标记已丢 → 无可回收 | `search_field_path=['<empty>']`、`n_empty=100/100` |
+
+**结论**：Letta agent 模式的 0 分**不是检索能力问题**——`errors=0`、检索调用正常，而是**入库形态丢失了来源标记**，使任何以 id 回溯的评测口径都无法命中。评测「自主记忆」必须把「标记可追溯性」单列，否则会把可追溯性差异误读成检索能力差异。
+
+---
+
+## 5 条件路由净效应（灵枢内部对照，中文查询）
+
+| 口径 | zh hit@1 | 相对单词法 |
+|---|---|---|
+| 单词法 | 99.0% | — |
+| 四路·真开 bucket（`context` 非空） | 81.0% | **−18.0pp** |
+| 四路·名义（`context=None`，bucket 路空转） | 68.0% | −31.0pp |
+
+**净效应为负**：真开 bucket 比名义口径**高 13.0pp**（说明条件桶路本身确实在工作、不是空转），但在本池中两者都低于单词法。归因见 §7 判定单 1——**零干扰池 + 短证据句**使词法已近饱和（99%），RRF 融合引入的并列项会挤占 Top-1。该结论**仅在本条件空间成立**，不可外推为「四路无用」。
+
+---
+
+## 6 跨语言对照（中 → 英 的落差）
+
+| 系统 | 入库语言 | zh→en hit@1 变化 |
+|---|---|---|
+| 灵枢·单词法 | 中文层为主 + 英文原文 | 99.0% → 47.0%（−52.0pp） |
+| 纯向量 RAG | 英文原文直嵌入 | 97.0% → 71.0%（−26.0pp） |
+| mem0 | 英文原文 | 89.0% → 68.0%（−21.0pp） |
+| Letta·归档直插 | 英文原文 | 96.0% → 73.0%（−23.0pp） |
+| Graphiti | 英文原文 | 58.0% → 46.0%（−12.0pp） |
+| GraphRAG | 英文原文 | 31.0% → 18.0%（−13.0pp） |
+
+**读法**：入库语料与查询语料的**同源程度**决定跨语言落差。入库含中文层者（灵枢）中文查询登顶、英文查询垫底；入库为英文原文者（向量 RAG / mem0 / Letta）英文查询显著更稳。**没有一家在两种查询语言上同时最优**——这正是「中英双查」矩阵要暴露的事实。
+
+**横向结论（不可忽略的第二层读法）**：把主表 11 臂逐行对比——**除全零壳臂 `letta_agent` 外，全部 10 臂的中文查询 hit@1 均高于英文查询，提升 +12 ~ +52pp**（灵枢·单词法 +52pp、词法+meta +45pp、纯向量 RAG +26pp、Letta·直插 +23pp、mem0 +21pp、GraphRAG +13pp、Graphiti +12pp）。也就是说，「英文查询更稳」只指**相对自身**的落差保持率（英文库 → 英文查询衰减更小）；**绝对命中上，没有任何一家在英文词面下超过自己的中文词面**——查询词面敏感性（+12~+52pp）大于多数家间绝对差距。该结论可由公开脚本一键复现：
+
+```bash
+python data/benchmarks/bench6-100-zh-en/run_bench.py
+```
+
+脚本自带口径自证（用 `results_v1.0.json` 存档逐题 ranks 重算 summary 逐位比对）与 Adapter 接入协议（第三方记忆系统实现 `ingest`/`search` 即可同口径入评）。归因边界照旧：`question_zh` 为关键词串（保留英文专名/日期词）、`question_en` 为自然问句，中文提升混合语言与查询形态双因素；内置词面基线在纯英文库上呈反向 en>zh（`--demo`），恰证「查询语言优势取决于系统如何处理语料」。
+
+---
+
+## 7 偏差归因（设计者视角判定单）
+
+### 判定单 1 · 灵枢四路真开 bucket 反低于单词法
+
+```
+条件空间：观测位置=全局观测层（评测编排）｜观测工具=eval_common 证据命中（unlock_global_cap+use_jaccard）｜时间窗口=bench6 单次全量(seed=7007)｜存在约束=池内每题 gold 仅 1–2 条、证据为高度可分词短句
+白箱三问：依据=同池同题同口径下 四路 81% < 单词法 99%（且名义 68% < 真开 81%）｜条件=仅当「池内零干扰 + 证据短句高度可分词」时成立（词法已饱和，条件桶/实体路引入的并列项挤占 Top-1）｜错后=若池含干扰或证据变长，四路应回优
+裁决：REJECT（「四路必然优于单词法」为假）
+依据：同池下 hit@1 单调 单词法 99% > 真开 81% > 名义 68%；真开比名义高 13pp 证明 bucket 路在工作，非空转
+缺失维度：条件边界（池干扰度）
+验证路径：在 567 全池（含干扰）上复跑两口径，若四路反超则归因成立
+关注信号：条件路由的价值应在「语义/条件类查询 + 有干扰池」中体现
+```
+
+### 判定单 2 · Letta agent 自主入库 0%
+
+```
+条件空间：观测位置=全局（入库形态取证）｜观测工具=passages.list 回读 + search field path 取证｜时间窗口=全量 137 写入后｜存在约束=agent 写入经 LLM 改写、core block 存自然语言摘要
+白箱三问：依据=ingest_probe 内容为 "Caroline is going through a transition…"，不含 [scene_*_turn_*] 标记｜条件=凡入库经 LLM 重写且不保留原始标记者，id 口径必无法回溯｜错后=该结论支持「自主入库丢失可追溯性」，写入 negative
+裁决：REJECT（不是检索失败，而是入库形态丢失标记导致不可回收）
+依据：errors=0、检索调用正常、field=['<empty>']、n_empty=100/100；对照 archival 直插（保留标记）96%/73% 正常 → 差异锁定在入库语义
+缺失维度：存在约束（stored-form 是否保留 source id）
+验证路径：对比 archival 直插（保留标记）96%/73% 正常 → 差异锁定在入库语义，不在检索
+关注信号：评测「结构化/自主记忆」须区分「标记可追溯性」
+```
+
+### 判定单 3 · 灵枢词法 0.99 ≠ 公开参考 0.936
+
+```
+条件空间：观测位置=全局｜观测工具=同一 eval_common 词法｜时间窗口=不同池规模两次评测｜存在约束=bench6 池=137（仅抽中题 gold，零干扰），公开池=567（全语料含干扰）
+白箱三问：依据=manifest pool.n=137 vs 公开 n_pool=567；同算法随池缩小命中单调上升｜条件=池内零干扰时指标为上界｜错后=如池扩回 567 应回落至 ≈0.936 附近
+裁决：DEFER（非矛盾，是「不同条件空间不可直接等同」）
+依据：算法（first_evidence_rank + 同口径）未变，唯一改变的条件是池规模
+缺失维度：条件边界（池干扰度/池规模）
+验证路径：以 bench6 池跑公开配置、或以 567 池跑 bench6 配置做交叉验证
+```
+
+### 判定单 4 · 灵枢英文查询远低于中文
+
+```
+条件空间：观测位置=全局｜观测工具=hit@1｜时间窗口=同库双查｜存在约束=灵枢库存中文层+英文原文，查询为中文关键词串 vs 英文自然问句
+白箱三问：依据=灵枢 zh 99% / en 47%；纯向量 RAG zh 97% / en 71%｜条件=词法路命中依赖查询词面与入库词面同语言｜错后=若英文查询也能命中中文层（双语词项映射），en 应上升
+裁决：ACCEPT（条件证据充分：入库语料与查询语料同源程度差异）
+依据：跨语言矩阵——凡入库英文原文者英文查询均不低于灵枢；中文查询则灵枢居首
+缺失维度：无
+验证路径：给灵枢补「英文查询→中文层」跨语言词项映射后再测
+```
+
+---
+
+## 8 观测：写入 / 查询成本（137 条池）
+
+| 系统 | 写入耗时 | 中文查询 100 题 | 英文查询 100 题 |
+|---|---|---|---|
+| mem0 | 177.7s | 6.4s | 6.7s |
+| Graphiti | 416.4s | 6.8s | 7.3s |
+| GraphRAG | 建索引 616s（一次性） | 346.2s | 182.1s |
+| Letta·归档直插 | 59.0s | 38.0s | 38.3s |
+| Letta·agent自主 | 418.7s | 58.3s | 58.8s |
+| 灵枢（**rust 引擎**）·单词法 | 进程内，未单列¹ | **0.008s** | **0.019s** |
+| 灵枢（**rust 引擎**）·四路 | 同上¹ | 0.012s | 0.023s |
+| 灵枢（**rust 引擎**）·词法+meta | 同上¹ | 0.009s | 0.021s |
+| 纯向量 RAG | 进程内，未单列 | — | — |
+
+> ¹ 灵枢写入走 python 进程内（`mdcg-eval` 为**只读检索核心**，无写入路径），未单列计时。
+> **rust 三行为 rust 检索核心实测**（非 python）：`mdcg-eval --serve` 引擎，预热 10 请求后逐请求 `perf_counter` 计时，口径 = 客户端端到端 JSON 行 IPC 调用 100 题的总墙钟时间（单题均值 0.07–0.24 ms，p95 ≤ 0.34 ms；复跑波动 <15%）。计时同批 hits 复算 hit@1/hit@5/MRR 与 py 基线逐项一致——测的即主表对齐口径。脚本与数据：`docs/experiments/bench6-rust-rerun/bench_latency.py` / `rust_latency.json`。竞品行含各自 SDK/HTTP 客户端开销，同为端到端口径，量级差距（10²–10⁴ 倍）远超客户端差异。
+
+---
+
+## 9 诚实边界（报告须原样引用）
+
+1. **池全为 gold 证据 → 池内零干扰，指标是上界**，不是端到端记忆能力；真实场景存在大量干扰 turn，各家差距可能与本表不同。
+2. **`question_zh` 是中文关键词串而非自然语言问句 → 评检索命中，非 QA**；无答案文本，无法评答案质量。
+3. **n=100 时题级命中率 CV≈8.3%**（n=500 时 3.7%，容量减半按 √5 放大）→ **家间差距小于约 16% 不可下结论**。据此，主表中「灵枢词法 99% vs 纯向量 97%」等差距**不可判为显著**；而「99% vs 0%（Letta agent）」「99% vs 31%（GraphRAG）」等大落差可下结论。
+4. 竞品行序为各家**自身返回顺序**（mem0/Graphiti 按相似度或图序，GraphRAG 为 sources 行序），非统一重排——差异部分来自各家排序口径本身。
+5. Letta 分「归档直插 / agent 自主」两模式分别报告；**不得**以 archival 的分数代表 Letta 整体，也不得以 agent 的 0 分否定 Letta 检索能力。
+
+---
+
+## 10 复现命令
+
+```bash
+# 1) 固化口径层（首次；幂等）——题集已在 data/benchmarks/bench6-100-zh-en/
+python -m md_cg.bench6_common --force
+
+# 2) 主进程臂（灵枢 5 口径 + 纯向量 RAG）
+python -m md_cg.bench6_arms
+
+# 3) 六家统一评分（主表 + 分题型 + 落盘）
+python -m md_cg.bench6_competitors --k 5
+```
+
+**外部依赖（仅竞品臂需要）**：四家 LLM 竞品（mem0 / Graphiti / GraphRAG / Letta）的适配脚本运行在评测工作区，各以独立虚拟环境隔离，分别需要自身的图数据库服务、本地嵌入服务、记忆服务与 LLM API（其为各家服务的本地对接代码，涉各家凭据）。**公开评测入口不依赖任何竞品栈**——`data/benchmarks/bench6-100-zh-en/run_bench.py`（零依赖）提供口径层复现（默认运行即做口径自证）与 Adapter 协议（实现 `ingest` / `search` 两个方法即可接入任意系统跑同一题集），**接入任意 LLM 与向量方法进行测试都可复现**。本仓库公开的是**口径层 + 题集 + 评测入口 + 六家结果**，竞品数字可由 `data/benchmarks/bench6-100-zh-en/results_v1.0.json` 逐题核对。全流程按 AGENTS 第 15 条走 argv 列表 + `PYTHONUTF8=1`。
+
+---
+
+## 11 数据来源与署名
+
+- 中文派生题库/语料：`locomo-zh-500`（本项目派生并公开，源自 LoCoMo，**CC BY-NC 4.0**）。
+- 本报告题集：`data/benchmarks/bench6-100-zh-en/`（100 题 / 137 池，**CC BY-NC 4.0**，沿用上游许可）。
+- 英文原始问句/陈述：上游 LoCoMo（经 `mteb/LoCoMo` 获取，revision `02e2c3dea15d9fdfd1cd7a0f65f5f8ae2ed4c1ac`）。
+- 竞品版本：mem0 / Graphiti / GraphRAG 3.1.2 / Letta（`letta_client` 1.12.1）。
+- 评分器：本项目 `md_cg/eval_common.py`（六家同口径，未改动既有指标实现）。

package/docs/eval//347/254/254/344/270/211/346/226/271/351/252/214/350/257/201/346/212/245/345/221/212_LoCoMo_/347/201/265/346/236/242_.md

@@ -0,0 +1,127 @@
+# LoCoMo 第三方独立验证报告 · 灵枢标准归一化检索能力
+
+**验证人**：第三方独立评审（非灵枢系统本身）
+**日期**：2026-09-15 · **被测仓库**：`/root/lingshu-test/repo` @ `51d3426`（工作树干净）
+**数据集**：`data/benchmarks/locomo-zh-500/`（LoCoMo 500 题 / 567 条 gold 语料，上游 `mteb/LoCoMo@02e2c3de`）
+**方法**：全流程由本报告作者独立实现 —— 数据装载、查询循环、rank/hit@k/MRR 计算、随机基线、显著性检验均为本人手写，**不调用灵枢任何 `bench_*` 评测脚本**；被测对象仅为灵枢自身组件（`md_cg.mdcg.MdCG`、`md_cg.semantic.en_normalizer`、`lexicon/char_atoms_clean.json`）。唯一例外是 Jaccard 排序函数（3 行通用公开算法），由本人实现以复现灵枢主路线口径——它属于评测脚手架而非被测能力。
+
+---
+
+## 一、结论速览
+
+| # | 结论 | 判定 |
+|---|------|------|
+| 1 | 灵枢自报中文检索 96.4/99.8（lexical），本人独立复现 **96.8/99.6**（MdCG 引擎） | ✅ 属实（±0.5pp 内） |
+| 2 | 灵枢自报英文主路线 96.8/99.8/99.8（臂②），本人独立复现 **96.8/99.8/99.8** | ✅ **逐位复现** |
+| 3 | 但该 99.8% 的能力来源是**中文 AI 摘要层**，不是英文归一化：去掉全部英文处理（J2_zh）反而 **97.4/99.6/100.0** | ⚠️ 归因错位 |
+| 4 | 灵枢标准归一化（`en_normalizer`）本身的真实水平：MdCG 引擎 **60.0/74.4/81.0**；主路线链路 **19.2/32.0/39.0** | ⚠️ 有效但远低于宣称口径 |
+| 5 | 归一化确实显著优于不归一：24.2% → 39.0%（+14.8pp，Jaccard 链路）；23.0% → 81.0%（**+58.0pp**，MdCG 链路） | ✅ 归一化价值成立 |
+| 6 | 71 个归一化检索失败题中，归一化后关键词"全覆盖"的题数 = **0** —— 失败 100% 归因于归一化词汇丢失/错译，而非排序机制 | 🔍 干净的因果链 |
+| 7 | OOV 如实透出（`unknown_keep`，4.0%）属实；但更危险的是 **静默错译**（`scavenger hunt`→食腐动物/猎取，`shelter`→庇护） | ⚠️ 词典对了、语境错了 |
+| 8 | 数据集非平凡性（对灵枢有利）：query 对 gold 覆盖 0.875 vs 非 gold 最佳 0.469，区分度 0.407；仅 0.2% 的题非 gold 也能满覆盖 | ✅ 不是纯字符串赠品 |
+
+---
+
+## 二、主结果（本人独立运行，n=500）
+
+### 口径一：灵枢 MdCG 检索引擎（`mdcg.py` char-bigram + 四路 RRF，k=20）
+
+| 臂 | doc 侧 | hit@1 | hit@5 | hit@10 | MRR |
+|----|--------|-------|-------|--------|-----|
+| A_zh5 | 中文五槽层（AI 摘要） | **96.8%** | 99.6% | 99.6% | 0.9805 |
+| B_en_raw | 英文原文（零加工） | 15.8% | 21.6% | 23.0% | 0.1850 |
+| **C_en_norm** | **英文原文经灵枢标准归一化** | **60.0%** | 74.4% | **81.0%** | 0.6683 |
+| D_bi | 中文层 ∪ 英文归一化 | 96.6% | 99.2% | 99.2% | 0.9778 |
+| F_sem | 英文原文 + `semantic=` 归一原子（MDCG_SEMANTIC=1） | 40.0% | 63.0% | 70.2% | 0.5000 |
+| R_random | 随机排序 | 0.4% | 1.2% | 1.8% | 0.0099 |
+
+**与灵枢自报对照**（`复现结果_locomo-zh-500.json`，lexical 口径 96.4/99.8/MRR 0.9785）：本人复现 96.8/99.6/0.9805，偏差 +0.4pp / −0.2pp / +0.002，量级一致，**自报数字可信**。分题型互有 ±3pp 起伏（我 doc 侧用扁平 `zh` 串，灵枢可能用结构化 `zh_fields` + fuzzy），不改变结论。
+
+### 口径二：灵枢英文主路线同链路（字级原子映射 + 全池 Jaccard，即臂②口径）
+
+| 臂 | doc 侧原子集 | hit@1 | hit@5 | hit@10 | MRR |
+|----|--------------|-------|-------|--------|-----|
+| J2_full | 中文五槽字级映射 ∪ 英文归一词 | **96.8%** | **99.8%** | **99.8%** | 0.9807 |
+| J2_zh | 仅中文五槽字级映射 | **97.4%** | 99.6% | **100.0%** | 0.9842 |
+| J2_body | 仅英文正文归一词 | 19.2% | 32.0% | 39.0% | 0.2598 |
+| J0_raw | 英文正文原词（零归一） | 6.8% | 18.0% | 24.2% | 0.1303 |
+
+J2_full 与灵枢 `bench_en_atoms_public.py` 自报的臂② **96.8/99.8/99.8 逐位一致** —— 灵枢没有虚报数字。
+
+---
+
+## 三、关键发现
+
+### 发现 1：99.8% 逐位复现 —— 可复现性满分 ✅
+
+本人独立装载、独立计算，得到与灵枢完全一致的 96.8/99.8/99.8。在以往六轮评审中"自报数字不可复现"是常见病，此处**没有任何水分**。中文口径 96.4 vs 96.8 同样在噪声内。
+
+### 发现 2：但 99.8% 归因于"英文检索能力"是错位的 ⚠️
+
+拆解链（唯一变量 = doc 侧构成，query 恒为中文关键词→字级英文原子）：
+
+- 只用中文摘要层（J2_zh）：**hit@10 = 100.0%** —— 去掉全部英文处理，比完整版还高 0.2pp；
+- 完整版（J2_full）：99.8%。**加入英文归一化层的净贡献 = −0.2pp（1 题）**；
+- MdCG 口径同构验证：A_zh5 99.6% vs D_bi 99.2%，加入英文归一化层同样无增益（McNemar 配对 b=0, c=1，p≈1.0，噪声级）。
+
+**结论：灵枢宣称的"英文（中文语义归一化桥接）96.8/99.8/99.8"本质上是"中文 AI 摘要层检索成绩"，英文归一化组件在此数字中是乘客，不是引擎。** 灵枢自己在 REPRODUCE.md 中标注了"检索侧上界口径——AI 归一环节质量未纳入该评测"，这个诚实标注是准确的，且比我们预想的更关键：不仅 AI 归一环节未纳入，**连被测的机械归一环节都对该数字无贡献**。
+
+### 发现 3：标准归一化本身的真实水平 ⚠️/✅
+
+用户点名要测的"灵枢标准归一化"（`en_normalizer.normalize_en_query`，按标准词表把英文归一翻译为中文语义原子）：
+
+- **它确实有效**：MdCG 引擎上，英文原文直接检索 23.0% → 归一化后 **81.0%（hit@10）**，+58.0pp；Jaccard 链路上 24.2% → 39.0%，+14.8pp。没有归一化，跨语言检索基本不可用。
+- **但它远够不到 99.8%**：机械归一化端到端的天花板在 81.0%（MdCG 口径）/ 39.0%（字级映射跨语言口径）。这与灵枢自己"已排除方案 9"（机械词级归一→纯中文库 33.6%）以及臂④（57.2%）的内部结论**方向一致**：灵枢文档知道机械归一不行，但 README 的显著位置仍以 96.8/99.8/99.8 作为"英文检索"的头条数字。
+- **语义摘要路（写入侧归一者正统形态，F_sem）反而更差**：40.0/63.0/70.2，且建库+检索耗时 341s（其他臂 25s 的 13 倍）。`semantic` 衍生层 + 组合窗口共现打分在本数据集上未兑现收益。
+- **根因 = 归一化语义保真率**：query 关键词被"归一化后的 gold 文档"覆盖的比例，均值 **0.460**（全覆盖题占比仅 0.2%）；同一指标对中文摘要层是 **0.873**（全覆盖 42.8%）。0.46 的保真率决定了 ~81% 的检索上限。
+
+### 发现 4：失败 100% 归因于归一化，而非检索排序 🔍
+
+C_en_norm 的 71 个未命中题中，归一化后 gold 原子对 query 关键词**全覆盖 = 0 题**、部分覆盖 65 题、零覆盖 6 题。也就是说：只要归一化把关键词保住了，MdCG 就能把它检回来；检不回来，全是因为词在归一化时就丢了/译错了。**排序机制零责任。**
+
+典型错译样本（CEDICT 词表第一义项直接套用，语境失配）：
+
+| 英文原文 | 灵枢归一化输出 | 应为 |
+|---|---|---|
+| scavenger hunt | **食腐动物 猎取** | 寻宝游戏 |
+| Three times a week | 三 **时间** 周 | 每周三次 |
+| scared | **创痕** | 害怕 |
+| shelter | **庇护** | 收容所 |
+| tough | **厉害** | 坚强 |
+| fundraiser / charades / soempowering | 原样透出（OOV） | — |
+
+### 发现 5：诚实性两面 ⚠️
+
+- **好的一面**：OOV 如实标注 `unknown_keep`（4.0%，738/18523 token）并原样透出，兑现了"词表外概念如实透出 OOV 清单"的承诺；REPRODUCE.md 主动标注"检索侧上界口径""机械归一是归一主体必须为 AI 的直接证据"，且把机械归一列为已排除方案 —— **文档层的诚实度依然很高**。
+- **坏的一面**：静默错译（`mapped` 但词义错误）无任何自检信号 —— `scavenger→食腐动物` 在 detail 里标为 `action: "mapped"`，系统认为自己译对了。52.8% 的 token 走 mapped 路径，其质量没有任何运行时护栏。README 用头条数字（99.8）树立英文检索能力预期，而支撑该数字的实为中文摘要层 —— 这属于**结构性误导**（非数据造假）。
+
+### 发现 6：数据集对灵枢有利的证伪检查 ✅
+
+我们主动检查了"零干扰池是否让 99.8% 变成字符串匹配赠品"：query 关键词对 gold 文档平均覆盖 0.875，但池内最佳非 gold 仅 0.469，平均区分度 0.407；只有 0.2% 的题存在非 gold 干扰条目满覆盖。**这个 benchmark 在 567 选 1 的粒度上仍有真实区分度**，灵枢的高分不是纯赠品——但前提是 query 关键词能被文档表示覆盖（发现 3 的保真率），而这正是中文 AI 摘要层强、机械归一化弱的地方。
+
+---
+
+## 四、局限（如实声明）
+
+1. **英文原题不可得**：臂③（英文原题 81.2）/③a（78.2）/④（57.2）/⑤⑥⑦ 依赖 `data/external` 的英文原问句，该文件"自备、不入库"，本沙箱上游网络不可达（HuggingFace/GitHub TLS 全断）。**这四个对照臂第三方无法复现** —— 本报告以自建 J2_body/J0_raw 替代其对照功能。这也意味着：灵枢公开仓库当前**只能**第三方复现"上界口径"数字，其所有"下界/对照"数字均需自备数据。
+2. **AI 归一环节不可模拟**：主路线的定义就是"归一主体=AI"。本人刻意**不**用 LLM 替灵枢做归一（那会把"AI 的翻译能力"算进"灵枢的能力"）。因此本报告测的是机械归一化端到端 —— 这恰好是"系统自身组件"能兑现的真实下界。
+3. 中文口径与灵枢自报存在 ±0.4~3pp 的分题型起伏，源于 `zh` 扁平串 vs 结构化字段/fuzzy 的口径差，不影响结论方向。
+
+---
+
+## 五、最终裁定
+
+> **灵枢的自报数字全部真实可复现（含 99.8% 逐位复现），且数据集本身非平凡；但其"英文检索 96.8/99.8/99.8"的能力归因是错位的 —— 该数字由中文 AI 摘要层挣得，英文标准归一化组件的真实端到端水平是 81.0%（MdCG）/ 39.0%（字级映射跨语言），离头条数字差 19~61pp。归一化模块本身"有效但有静默错译风险"：+58pp 的真实增益、4% 的诚实 OOV、以及无护栏的 52.8% mapped 词典直译。**
+
+一句话：**灵枢没有吹牛，但它把中文摘要层的功劳记在了英文归一化的账上。** 建议上游把 README 头条数字改标为"双语写入加工面检索成绩"，并为 `mapped` 路径增加语境消歧或低置信标记 —— 前者是一行文案，后者是它自己的 OOV 哲学（如实透出）尚未覆盖的最后一块。
+
+---
+
+## 附录：产物清单
+
+| 文件 | 说明 |
+|---|---|
+| `灵枢_LoCoMo_第三方验证.png` | 四联图：引擎口径 / 归因拆解 / 保真率 / 分题型 |
+| `/tmp/locomo_independent_eval.py` | MdCG 引擎口径独立评测（A/B/C/D/F + 随机基线，含 `--semantic`） |
+| `/tmp/locomo_jaccard_probe.py` | 主路线 Jaccard 口径独立复现与拆解（J2_full/J2_zh/J2_body/J0_raw） |
+| `/tmp/locomo_res_*.json`、`/tmp/locomo_jaccard_res.json` | 全量逐题结果（含 miss 明细与分题型统计） |