dsh-memory-huixiang 0.1.5 → 0.1.6

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (2) hide show
  1. package/README.md +28 -0
  2. package/package.json +1 -1
package/README.md CHANGED
@@ -58,6 +58,34 @@ DSH 里你可以开很多窗口、叫很多分身干活。普通对话的上下
58
58
  **装起来不折腾。**
59
59
  一条 `dsh plugin add`,零第三方依赖,不需要 API key、不需要 Docker、不需要向量数据库。装完就能用,断网也能跑。
60
60
 
61
+ ## 它跑过分(自己量的,口径也写在这儿)
62
+
63
+ 先说结论:公开榜上那些 90% 以上的数字我们不报——题目、口径、判分方式都不一样,放在一起比没有意义。能确定说的是这件事:**在一个公开可复现的题库上,回响「找得到」基本不是问题,瓶颈在「模型拿到多段材料之后自己拼不起来」。**
64
+
65
+ | 评测 | 规模 | 结果 |
66
+ |---|---|---|
67
+ | LongMemEval(oracle 版) | 全量 500 题 | **81.6%**(408/500) |
68
+ | 同样 500 题,把每段材料全文直接塞给模型、完全不检索 | 全量 500 题 | 83.8%(419/500)=上限 |
69
+ | LoCoMo | 6 段对话 / 86 题 | 59.3%(51/86) |
70
+ | 中文自建题库 | 71 题 | 71/71(**这个不算数**:题出自我们自己的库) |
71
+
72
+ 第二行是重点:**把全部原文都给它,也只能到 83.8%。** 回响 81.6%,只差 2.2 个点——剩下那点不是召回丢的,是答题模型对多段证据的推理能力。换更强的模型会跟着涨,改插件补不回来。
73
+
74
+ 按「一道题要跨几段对话」拆开,短板就露出来了:
75
+
76
+ | 要跨几段 | 答对率 |
77
+ |---|---|
78
+ | 1 段 | 87.5% |
79
+ | 2 段 | 84.4% |
80
+ | 3 段 | 70.7% |
81
+ | 4 段 | 36.8% |
82
+
83
+ 所以「上礼拜说的那事,和三个月前那件对一下」这种问法,是它现在最弱的地方。反过来最强的是单段回忆(LongMemEval 单会话用户题 67/70 = 95.7%)和宁可说不知道(LoCoMo 抗诱导题 17/17;LongMemEval 里说「不知道」的 61 次当中,被判对的 26 次,参考答案本身就是「信息不足」)。
84
+
85
+ **怎么跑的**(想复现看这里):把题库里每段对话存成一张卡 → 用问题走召回 → 召回到的卡全文交给 `deepseek-chat` 作答 → 同一个模型当裁判判对错。LongMemEval 那套已经整理成能直接跑的脚本,在 [eval/bench](https://github.com/JqandCl/dsh-memory-huixiang/tree/main/eval/bench)(含题库下载地址、三阶段命令、口径说明);LoCoMo 与中文题库的那两个还没整理成通用版。
86
+
87
+ **三条必须一起说的口径**:① 用的是 LongMemEval 的 oracle 版,每题只带 2~6 段候选材料,比完整版容易得多,这个分数不能拿去和榜上的完整版比;② 答题和判分是同一个模型,也没有取多次多数;③ 题库是英文的,中文只跑过我们自己的题(上表第四行)。
88
+
61
89
  ## 它是怎么做到的(想深究的看这节)
62
90
 
63
91
  - 一条记忆 = 磁盘上一个纯文本 `.md`,带 frontmatter(来源、标签、重量、边界、有效期)。
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "dsh-memory-huixiang",
3
- "version": "0.1.5",
3
+ "version": "0.1.6",
4
4
  "description": "回响 HuiXiang:给 AI 一个记得住人的本地记忆库。纯文本外文库 + 记忆重量 + 因果链 + 触发词召回,零依赖、不上云。",
5
5
  "license": "MIT",
6
6
  "repository": {