@modusensus/dsh-mneme 0.8.11 → 0.8.13

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (54) hide show
  1. package/README.md +5 -5
  2. package/assets/icon.svg +3 -3
  3. package/lib/api.js +2 -0
  4. package/lib/client.js +12 -1
  5. package/lib/config.js +66 -1
  6. package/lib/dream/decisions.js +16 -0
  7. package/lib/dream/sleep.js +3 -0
  8. package/lib/dream.js +57 -9
  9. package/lib/entities/extractor.js +4 -1
  10. package/lib/graph/anchoring.js +180 -0
  11. package/lib/guide.js +13 -1
  12. package/lib/index.js +18 -5
  13. package/lib/inject.js +15 -3
  14. package/lib/lang.js +10 -0
  15. package/lib/sensitive-scan.js +209 -0
  16. package/lib/service.js +203 -35
  17. package/lib/settings.js +29 -3
  18. package/lib/store.js +155 -11
  19. package/lib/summarize.js +104 -7
  20. package/locale/en.json +6 -6
  21. package/locale/zh.json +6 -6
  22. package/package.json +114 -113
  23. package/scripts/sync-test-badge.mjs +9 -7
  24. package/scripts/test-count-sync.mjs +44 -0
  25. package/src/api.js +2 -0
  26. package/src/config.js +66 -1
  27. package/src/dream/decisions.js +16 -0
  28. package/src/dream/sleep.js +3 -0
  29. package/src/dream.js +57 -9
  30. package/src/entities/extractor.js +4 -1
  31. package/src/graph/anchoring.js +180 -0
  32. package/src/guide.js +13 -1
  33. package/src/index.js +18 -5
  34. package/src/inject.js +15 -3
  35. package/src/lang.js +10 -0
  36. package/src/sensitive-scan.js +209 -0
  37. package/src/service.js +203 -35
  38. package/src/settings.js +29 -3
  39. package/src/store.js +155 -11
  40. package/src/summarize.js +104 -7
  41. package/test/api.test.js +15 -2
  42. package/test/baseline-persist.test.js +248 -0
  43. package/test/dream.test.js +75 -0
  44. package/test/graph-anchoring.test.js +185 -0
  45. package/test/graph-inject-budget.test.js +104 -0
  46. package/test/graph-passive-confirm.test.js +92 -0
  47. package/test/graph-weight-evolution.test.js +105 -0
  48. package/test/inject-pools.test.js +19 -0
  49. package/test/scope-inject-soft.test.js +106 -0
  50. package/test/scope-strict.test.js +112 -0
  51. package/test/sensitive-scan.test.js +207 -0
  52. package/test/summarize.test.js +177 -0
  53. package/test/test-count-sync.test.js +60 -0
  54. package/test/write-admission.test.js +115 -0
package/lib/inject.js CHANGED
@@ -274,9 +274,14 @@ export function createInjector(ctx, service, settings, config) {
274
274
  // 日志抢同一份预算后被降级」正是本议题要修的结构缺陷。单条仍有硬顶
275
275
  // (PINNED_CONTENT_MAX),超出照旧带截断提示,不静默。
276
276
  const pinnedCount = Math.max(0, Math.min(candidates.length, pinnedStats?.shown ?? 0));
277
+ // #24 块3:图召回线索行(graphHint)——引导语插在第一个线索行之前(保持块头
278
+ // 语义:先声明「这些不是事实」)。线索行自身按 graphHintLine 渲染(线索/ 前缀
279
+ // 区别于普通记忆行)。
280
+ let graphSeen = 0;
277
281
  for (let i = 0; i < candidates.length; i++) {
278
282
  const m = candidates[i];
279
283
  const pinned = i < pinnedCount;
284
+ if (m.graphHint === true) graphSeen++;
280
285
  // Epistemic trust (v0.4.5): when enabled, measured observations are
281
286
  // flagged so the agent can weigh them above guesses/opinions.
282
287
  const verified = config.trustEpistemicWeighting === true && m.epistemic_status === "observation"
@@ -284,7 +289,13 @@ export function createInjector(ctx, service, settings, config) {
284
289
  : "";
285
290
  const title = STR.entryTitle[language](m.title, m.importance);
286
291
  const content = injectMemory(m, pinned ? PINNED_CONTENT_MAX : maxContent);
287
- const full = STR.entryLine[language](m.type, verified, title, content);
292
+ const full = m.graphHint === true
293
+ ? STR.graphHintLine[language](m.type, title, content)
294
+ : STR.entryLine[language](m.type, verified, title, content);
295
+ // 线索行引导语插在第一个线索行之前(保持块头语义:先声明「这些不是事实」)。
296
+ if (m.graphHint === true && graphSeen === 1) {
297
+ lines.push(STR.graphHintHeader[language]);
298
+ }
288
299
  if (pinned) {
289
300
  // pin 不扣块预算(上面那条设计注释的落地):pin 一条就够击穿 MAX_BLOCK
290
301
  // (PINNED_CONTENT_MAX 2000 > MAX_BLOCK 1500),照扣会把 budget 压成负数,
@@ -363,8 +374,9 @@ export function createInjector(ctx, service, settings, config) {
363
374
  const query = lastUserQuery(ctx);
364
375
  if (query) prefetchQueryVector(query);
365
376
  const queryVector = queryVectorCache.get(query);
366
- // v0.8.0 A3:scope 随请求解析(strict 开启时 injectCandidates 内硬过滤;
367
- // flag 关闭时解析器返回 null,注入行为不变)。
377
+ // v0.8.0 A3:scope 随请求解析(解析器恒返回对象,身份取不到时两维为
378
+ // null);硬过滤与软加权的门控都在 injectCandidates 内——strict 看
379
+ // strictScope,软加权看 scopeEnabled 且至少一维可解析(issue #339)。
368
380
  const scope = resolveSessionScope(ctx);
369
381
  // Issue #205:跨轮轮换——最近 N 个查询轮次注入过的 id 本轮不再优先。
370
382
  const sessionId = ctx?.agent?.session?.id ?? "_";
package/lib/lang.js CHANGED
@@ -81,6 +81,16 @@ export const STR = {
81
81
  zh: (n) => `〔约束/偏好类另有 ${n} 条未展示〕`,
82
82
  en: (n) => `[${n} more constraint/preference entries not shown]`
83
83
  },
84
+ // Issue #24 块3:图召回线索行的引导语——正向声明「链路信息非事实断言」,
85
+ // 防 LLM 单次消费把桥接召回当有依据的事实回头扩散(幻觉诱导)。
86
+ graphHintHeader: {
87
+ zh: "[检索线索] 以下为实体图搜索的链路信息,仅供定位参考,非事实断言:",
88
+ en: "[Retrieval hints] Entity-graph link trails below are navigation aids, not factual assertions:"
89
+ },
90
+ graphHintLine: {
91
+ zh: (type, title, content) => `- [线索/${type}] ${title}:${content}`,
92
+ en: (type, title, content) => `- [hint/${type}] ${title}: ${content}`
93
+ },
84
94
  userSettingsHeader: {
85
95
  zh: "[用户设置] 来自 dsh-mneme 的用户画像与规则:",
86
96
  en: "[User settings] Profile and rules from dsh-mneme:"
@@ -0,0 +1,209 @@
1
+ // #164 A2:写入边界的密钥 / PII 判据。判据来源是 #164 A2(维护者 09-28 把认领转给
2
+ // 本侧),消费方是 #254 的写入准入——`write-admission.js` 从 #332 起就留了
3
+ // `sensitiveScan` 注入点,本模块是那个占位的实现。
4
+ //
5
+ // 为什么判据独立成文件、不写进 write-admission.js:判据的归属是 #164 A2,闸门的归属
6
+ // 是 #254。闸门只消费 `{kind, label}`(deny 面已在 #332 定死),判据自己既不认识
7
+ // 「会话预算」也不认识 `llm_audit_logs`——换一个判据(比如将来接更重的 PII 分类器)
8
+ // 只换注入的那一行。写入边界的另外两个出口(autoSummarize / dream 输出)要复用同一份
9
+ // 判据时也直接 import 本模块的 `scanSensitive`,不必各写一套形状。
10
+ //
11
+ // 三条判据口径(前两条是 #254 已定的硬约束,第三条是本模块自己的):
12
+ //
13
+ // 1. 零 LLM、纯确定性。写入路径在最上游,这里多花的时间会乘上每一次写入;EdgeMem
14
+ // (2609.05553)那句「能不用模型判定就不用」说的就是这一层。
15
+ //
16
+ // 2. 假阳率由负样本定。`test/helpers/write-admission-samples.js` 的 12 条负样本是
17
+ // #332 就配好的验收面,维护者把话说死了:「同一套负样本原样跑,抓错任何一条就不
18
+ // 算落地」。所以本模块的形状是**先认形状再认关键词**——纯关键词匹配在那组负样本
19
+ // 上全军覆没(「把 API key 放进环境变量」这类讨论句里一个凭据值都没有)。
20
+ //
21
+ // 3. 报最严重的那一类(`kind` 落审计)。同一个字符串可能同时像两类(`sk_live_` 前缀
22
+ // 既是 Stripe 的形状、也能被通用的 `sk-` 规则吃下),所以规则表按「越具体越靠前」
23
+ // 排,命中即返回。密钥在前、PII 在后:两者误杀面差一个量级(密钥串出现在正常项目
24
+ // 记忆里就是事故,邮箱 / 手机号完全可能是正当内容),同时命中时报更严重的那一类。
25
+ // `kind` 是稳定判据键(不是展示文案),enforce 打开前先按它看分布,将来要按类放行
26
+ // 也只改策略、不动判据。
27
+ //
28
+ // 已知边界(都是「宁漏不误杀」的取舍,不是遗漏):
29
+ // - 只扫文本(title / content / tags)。不扫路径、id、时间戳这类元数据字段——它们
30
+ // 由系统生成,不是用户写进来的内容,扫它们只会引入假阳。
31
+ // - 中文关键词(密码 / 令牌)不认。补进去会让「密码必须脱敏后再入库」这类讨论句
32
+ // 命中,而那正是负样本 group 的形状。要覆盖中文赋值得先设计「关键词语种 × 值形状」
33
+ // 的两维判据,不在本批。
34
+ // - 手机号只认大陆移动号段(1[3-9] + 9 位),固定电话与带国家码的写法不认。宽一位
35
+ // 就会把长度相近的订单号 / 内部编号吃进来,而 PII 这一档的误杀面已经比密钥大一档。
36
+ // - 银行卡号加 Luhn 校验:`0000000000000000`、`4111111111111112` 这类形状对但校验
37
+ // 不过的串不报。少了这道校验,任何 16 位数字串(订单号、时间戳拼接)都会命中。
38
+ // - 身份证同样加校验位(GB 11643 / ISO 7064 MOD 11-2):位数对但校验不过的 18 位
39
+ // 数字串不报。原先只有银行卡有校验、身份证没有,结果是 18 位纯数字先被身份证规则
40
+ // 命中,反倒绕过银行卡那条的 Luhn。
41
+ //
42
+ // 归一化:这里**不**用 content-hash.js 的 normalizeForHash。那套口径(NFKC → 小写 →
43
+ // 去标点)是为「只差格式的两条写入是否同一件事」定的,判据要的是原串的形状——大小写
44
+ // 是密钥 alphabet 的一部分(`AKIA` 与 `akia` 不是同一个值),去掉 `-` / `_` 会把 JWT
45
+ // 与 Slack token 的分段结构一起折没。两个口径别互换。
46
+
47
+ /** 判据命中的返回形状(与 `createWriteAdmission` 的 sensitiveScan 契约一致)。 */
48
+ // kind 是稳定键、label 是给人看的一行说明;两者都落 llm_audit_logs 的
49
+ // metadata.deny,所以别在其中塞运行时的值(命中的凭据本身绝不落盘 / 不回显)。
50
+ const SECRET_RULES = [
51
+ { kind: "aws_access_key", label: "AWS access key id", re: /\b(?:AKIA|ASIA)[0-9A-Z]{16}\b/ },
52
+ // AWS 的 secret access key 没有前缀,只能靠赋值键认:`AWS_SECRET_ACCESS_KEY` /
53
+ // `aws_secret_access_key` 这个键名是它的形状。最早的一批 `secret` 关键词规则被
54
+ // 「必须在赋值号前」的位置要求挡在外面(多词键里 `secret` 后面跟的是 `_`,不是
55
+ // `:`/`=`),所以它得单独一条。40 位下限取 AWS 官方密钥的固定长度。
56
+ {
57
+ kind: "aws_secret_key",
58
+ label: "AWS secret access key",
59
+ // 键名不分大小写,所以挂 `/i` 而不是行内修饰符组 `(?i:...)`:后者是 ES2025 语法,
60
+ // CI 矩阵里的 Node 22 直接抛 SyntaxError(本文件其余规则也没有用它的)。
61
+ // 值那一半本来就是 `[A-Za-z0-9/+=]`,带上 `/i` 不改变大小写敏感度。
62
+ re: /(?:aws[_-]?secret[_-]?access[_-]?key)\s*[:=]\s*["']?([A-Za-z0-9/+=]{40})(?![A-Za-z0-9/+=])/i
63
+ },
64
+ { kind: "github_token", label: "GitHub token", re: /\b(?:ghp|gho|ghu|ghs|ghr)_[A-Za-z0-9]{36}\b/ },
65
+ { kind: "slack_token", label: "Slack token", re: /\bxox[abprs]-[A-Za-z0-9-]{10,}\b/ },
66
+ // PEM 头是明文私钥的确定标志,带不带正文都一样判——`BEGIN` 与 `PRIVATE KEY` 之间
67
+ // 可能有 `RSA` / `EC` / `OPENSSH`,所以中间那段是 [A-Z ]*。
68
+ { kind: "private_key", label: "PEM private key", re: /-----BEGIN [A-Z ]*PRIVATE KEY-----/ },
69
+ { kind: "jwt", label: "JSON Web Token", re: /\beyJ[A-Za-z0-9_-]{8,}\.[A-Za-z0-9_-]{8,}\.[A-Za-z0-9_-]{8,}/ },
70
+ // scheme 与 userinfo 两段都加上界。scheme 那段的 `*` 作用在含 `.` 的字符类上,
71
+ // 一条长点分串(包名 / 路径 / 版本链)里每个起点都要一路回溯到结尾才发现没有
72
+ // `://` → 与 email 同源的 O(n²)(实测 120KB 对抗串里这条占 4.1 秒)。
73
+ // URL scheme 名本就短、`user:password` 也不会长到 64,上界只钉住回溯面,
74
+ // 真实连接串一条不少。
75
+ { kind: "connection_string", label: "credentials in URL", re: /\b[a-z][a-z0-9+.-]{0,31}:\/\/[^\s/:@]{1,64}:[^\s/:@]{6,}@/ },
76
+ // Stripe 排在通用 `sk-` 之前:`sk_live_…` 两条规则都吃,先到的那条决定 kind。
77
+ // 只认 sk_live_(生产密钥):sk_test_ 是公开测试密钥,报它是纯误杀。
78
+ { kind: "stripe_key", label: "Stripe secret key", re: /\bsk_live_[A-Za-z0-9]{16,}\b/ },
79
+ { kind: "npm_token", label: "npm auth token", re: /_authToken\s*=\s*[A-Za-z0-9_-]{20,}/ },
80
+ // 下限 24 而不是 20:这是一条纯收紧、不动语料读数的加固——OpenAI 的 key 没有校验
81
+ // 位,前缀 + 长度是唯一形状,20 位会把更长的假阳性面留在表里。`sk-` 后面跟短串的
82
+ // 赋值句仍会被赋值型那条认下(那是**对的**:值长了 8 位以上就该报)。
83
+ { kind: "openai_key", label: "OpenAI API key", re: /\bsk-(?:proj-)?[A-Za-z0-9_-]{24,}\b/ },
84
+ {
85
+ // 赋值型:最常见的一类,也是负样本组(占位符 / 环境变量 / 模板变量 / 只提关键词)
86
+ // 的主要靶子。判据是「关键词 + 赋值号 + 右边真的是个值的形状」,值本身不校验
87
+ // alphabet——凭据值没有通用形状,能通用的只有「它不像占位符」。
88
+ kind: "assigned_secret",
89
+ label: "assigned credential literal",
90
+ // 左边界不能把 `_` 排除在外:环境变量名正是拿 `_` 当分隔符,排除它会让
91
+ // `DB_PASSWORD=` / `MY_API_KEY=` / `MYSQL_PASSWORD=` 整类漏放(只有恰好落在
92
+ // 行首的 `API_KEY=` 能中)。放宽后 #332 那套 26 条语料(含 12 条负样本)全绿,
93
+ // 说明原写法不是语料换来的取舍。挡误杀的是下面那道占位符守卫,不是这个边界。
94
+ re: /(?:^|[^A-Za-z0-9])(?:password|passwd|pwd|secret|api[_-]?key|token)\b\s*[:=]\s*["']?([^\s"']{8,})/i,
95
+ // 占位符守卫:右边是尖括号占位、shell / 模板变量、环境变量读取、或一串 x / * / …
96
+ // 时不算命中。少这道守卫,`password: <redacted>` 与 `token: ${TOKEN}` 都会被报,
97
+ // 而它们正是「配置里该怎么写」的示例文本。
98
+ guard: (value) => !/^(?:<[^>]*>|\$\{|\$[A-Z_]+$|process\.env|redacted|xx+|\*+|\u2026)/i.test(value)
99
+ }
100
+ ];
101
+
102
+ const PII_RULES = [
103
+ {
104
+ kind: "email",
105
+ label: "email address",
106
+ // 先看 TLD 再看 `@`:反过来的 `(?:[A-Za-z]{2,}\.)+[A-Za-z]{2,}` 对
107
+ // `a@b.c.d.e` 这类可以回溯出指数条路径。
108
+ // local part 的 `+` 必须加上界。该字符类含 `.`,所以一条长点分串(包名 / 路径 /
109
+ // 版本链)后跟一个 `@` 时,每个起点都要重扫到那个 `@` 才失败 → 整体 O(n²)。
110
+ // 实测 120KB 对抗串 23.5 秒里这条占 18.6 秒,34KB 点分链要 0.6 秒;本判据在写入
111
+ // 路径上同步跑,等于把写入阻塞住。64 是 RFC 5321 给 local part 的上限,加上界
112
+ // 不缩检测面——放弃的只是长于 64 的非法形状。
113
+ re: /\b[A-Za-z0-9._%+-]{1,64}@(?:[A-Za-z0-9-]+\.)+[A-Za-z]{2,}\b/
114
+ },
115
+ { kind: "cn_mobile", label: "mainland mobile number", re: /(?<!\d)1[3-9]\d{9}(?!\d)/ },
116
+ { kind: "cn_id_card", label: "mainland ID number", re: /(?<![0-9A-Za-z])\d{17}[\dXx](?![0-9A-Za-z])/, cnId: true },
117
+ { kind: "bank_card", label: "payment card number", re: /(?<!\d)(?:\d{13,19})(?!\d)/, luhn: true }
118
+ ];
119
+
120
+ /**
121
+ * Luhn(模 10)校验。银行卡号这一档只靠位数与首字符形状会把所有 13–19 位数字串
122
+ * 都吃进来,而项目记忆里长度差不多的数字串(订单号、拼接的时间戳)很常见;校验位
123
+ * 是卡号自带的、零成本的第二道形状。负样本里没有卡号形状的串,这道校验是防未列举
124
+ * 的那一类(同时它也不影响正样本:4111111111111111 是 Luhn 通过的公开测试卡号)。
125
+ * @param {string} value 归一后的数字串(可能含分隔符)
126
+ */
127
+ function passesLuhn(value) {
128
+ const digits = value.replace(/\D/g, "");
129
+ if (digits.length < 13 || digits.length > 19) return false;
130
+ let sum = 0;
131
+ let double = false;
132
+ for (let i = digits.length - 1; i >= 0; i--) {
133
+ let d = digits.charCodeAt(i) - 48;
134
+ if (double) {
135
+ d *= 2;
136
+ if (d > 9) d -= 9;
137
+ }
138
+ sum += d;
139
+ double = !double;
140
+ }
141
+ return sum % 10 === 0;
142
+ }
143
+
144
+ // 大陆身份证校验位(GB 11643 / ISO 7064 MOD 11-2)。与银行卡的 Luhn 同理:18 位
145
+ // 数字串在项目记忆里很常见(订单号、内部编号、拼接时间戳),位数这个形状拦不住它们,
146
+ // 而校验位是身份证自带的、零成本的第二道形状。权重序列与余数映射都是标准值,别改。
147
+ const CN_ID_WEIGHTS = [7, 9, 10, 5, 8, 4, 2, 1, 6, 3, 7, 9, 10, 5, 8, 4, 2];
148
+ const CN_ID_CODES = "10X98765432";
149
+ /** @param {string} value 命中串(17 位数字 + 校验位,校验位可为 X) */
150
+ function passesCnId(value) {
151
+ if (!/^\d{17}[\dXx]$/.test(value)) return false;
152
+ let sum = 0;
153
+ for (let i = 0; i < 17; i++) sum += Number(value[i]) * CN_ID_WEIGHTS[i];
154
+ return CN_ID_CODES[sum % 11] === value[17].toUpperCase();
155
+ }
156
+
157
+ /**
158
+ * 扫一段文本里的密钥 / PII。命中返回 `{kind, label}`、未命中返回 null,不抛。
159
+ *
160
+ * 只认第一处命中(按规则表顺序 = 严重度顺序)。一次写入里出现第二条凭据时不再报——
161
+ * deny 面只记判据类别,报多条只是把同一件事写几遍。
162
+ * @param {unknown} value
163
+ * @returns {{kind: string, label: string}|null}
164
+ */
165
+ export function scanSensitive(value) {
166
+ const text = typeof value === "string" ? value : String(value ?? "");
167
+ if (!text) return null;
168
+ for (const rule of [...SECRET_RULES, ...PII_RULES]) {
169
+ const match = text.match(rule.re);
170
+ if (!match) continue;
171
+ // 守卫只看捕获组:没有捕获组的规则天然没有守卫。
172
+ if (rule.guard && !rule.guard(match[1] ?? "")) continue;
173
+ if (rule.luhn && !passesLuhn(match[0])) continue;
174
+ if (rule.cnId && !passesCnId(match[0])) continue;
175
+ return { kind: rule.kind, label: rule.label };
176
+ }
177
+ return null;
178
+ }
179
+
180
+ /**
181
+ * 判据的两种调用面,共用同一份规则表:
182
+ * `scanSensitive(text)` — 任意文本,给写入边界之外的消费方(autoSummarize /
183
+ * dream 输出)直接调;它们手里是文本,不是记忆行。
184
+ * `createSensitiveScan({config})` — `write-admission.js` 的 `sensitiveScan` 契约,
185
+ * 入参是记忆对象、返回 `{kind, label}` 或 null。
186
+ *
187
+ * 开关在工厂里判一次:`sensitiveScanEnabled` 关时返回 null,闸门侧连函数都拿不到,
188
+ * 于是「第 1 级只跑空白 / 噪声」这条路与 #332 合并时**逐字段一致**(那一版根本没有
189
+ * 这个函数)。反过来,本键开着也不会自己去扫:唯一的调用点是闸门的 firstLevelHit,
190
+ * 而闸门要 `writeAdmission.enabled` 打开才走第 1 级判据。所以两个键是「闸门」与
191
+ * 「闸门内这一批判据」的关系,不是互为子开关——任一个关着,A2 都不产生任何判定。
192
+ * 分成两个键是为了能单独观察 A2 的命中分布(空白 / 噪声与密钥 / PII 的误杀面差一个
193
+ * 量级),不是为了让它能脱离闸门独立生效。
194
+ *
195
+ * @param {{config?: object}} [deps]
196
+ * @returns {((memory: object) => ({kind: string, label: string}|null))|null}
197
+ */
198
+ export function createSensitiveScan({ config } = {}) {
199
+ if (config?.sensitiveScanEnabled !== true) return null;
200
+ const scan = (memory) => {
201
+ const text = [memory?.title, memory?.content, ...(Array.isArray(memory?.tags) ? memory.tags : [])]
202
+ .filter((s) => typeof s === "string")
203
+ .join("\n");
204
+ return scanSensitive(text);
205
+ };
206
+ // 工厂只认「开 / 关」;enforce 由 write-admission 决定(命中即 deny 还是仅告警),
207
+ // 判据自己不碰决策——那一步在闸门里。两层分开就能先开检测看分布、再开拦截。
208
+ return scan;
209
+ }
package/lib/service.js CHANGED
@@ -11,6 +11,7 @@ import { createDocumentRegistrar } from "./document.js";
11
11
  import { createOrganizer } from "./organize.js";
12
12
  import { createBM25Index } from "./search/bm25.js";
13
13
  import { adaptiveThreshold } from "./search/adaptive.js";
14
+ import { anchorSeeds, normalizePath, cascadeDepths, HOP_QUOTA } from "./graph/anchoring.js";
14
15
 
15
16
  const INJECT_TYPES = new Set(["preference", "project", "decision", "summary", "rejected_solution", "pitfall", "constraint"]);
16
17
 
@@ -358,6 +359,22 @@ export function createService({ store, mirror, config, onWrite, logger, document
358
359
  }
359
360
  }
360
361
 
362
+ /**
363
+ * v0.8.0 A3(issue #17)strictScope 硬过滤的**唯一实现**。三处共用:融合池、
364
+ * `entity:` 与 `attr:` 两条前缀路。
365
+ *
366
+ * 抽成单一实现是为了让「过滤点写在哪」不再漂移——那两条前缀路在 searchMemories
367
+ * 的入口就 return(见那里的路由块),早于融合池那道过滤,曾经整条绕过硬墙;三处
368
+ * 各写一份判断,只会让下一个新增通路再漏一次(同 #349 把阈值口径收进
369
+ * activeStoreSize 的理由:两处各写一份过滤条件,漂移只在某条路径上显形)。
370
+ *
371
+ * strictScope 关(默认)或 scope 解析不到时原样返回:行为与改动前逐字节一致。
372
+ */
373
+ function gateByScope(rows, scope) {
374
+ if (config?.strictScope !== true || !scope) return rows;
375
+ return rows.filter((m) => isVisibleInScope(m, scope));
376
+ }
377
+
361
378
  /**
362
379
  * Search for memories attached to a named entity (v0.3.0 Phase 3).
363
380
  * 合并优先级:entity_attrs.memory_id 精确关联 = 1.0 > 关键词提及 = 0.7;
@@ -365,23 +382,34 @@ export function createService({ store, mirror, config, onWrite, logger, document
365
382
  * @param {string} entityName
366
383
  * @param {object} [options]
367
384
  * @param {number} [options.topK=20]
385
+ * @param {object|null} [options.scope] 当前会话 scope,供 strictScope 闸门使用
368
386
  * @returns {any[]}
369
387
  */
370
- function searchByEntity(entityName, { topK = 20 } = {}) {
388
+ function searchByEntity(entityName, { topK = 20, scope = null } = {}) {
371
389
  const entity = store.findEntityByName(entityName);
372
390
  if (!entity) return [];
373
391
  const attrs = store.getCurrentAttrs(entity.id);
374
392
  const memoryIds = [...new Set(attrs.map((a) => a.memory_id).filter(Boolean))];
375
393
  const attrHits = memoryIds.map((id) => store.getById(id)).filter(Boolean);
376
- const keywordHits = store.search(entityName, { limit: topK });
394
+ // 关键词这一路的窗口取两倍:闸门在截断之前生效,出局的候选会让位,窗口按最终条数
395
+ // 取就会不够(与融合路给向量检索取 lim * 2 同一个理由)。没有候选被闸掉时结果与
396
+ // 取 topK 逐字节一致——多出来的是排在后面的低分候选,进不了 topK。
397
+ const keywordHits = store.search(entityName, { limit: topK * 2 });
377
398
  const merged = new Map();
378
399
  for (const mem of attrHits) merged.set(mem.id, { ...mem, _source: "entity_attr", _score: 1.0 });
379
400
  for (const mem of keywordHits) {
380
401
  if (!merged.has(mem.id)) merged.set(mem.id, { ...mem, _source: "keyword", _score: 0.7 });
381
402
  }
382
- const hits = Array.from(merged.values()).sort((a, b) => b._score - a._score).slice(0, topK);
383
- touchRecalled(hits);
384
- return hits;
403
+ // 先过闸、再截 topK:反过来做的话,出局的候选会占掉名额、可见的补不进来——topK=1
404
+ // 而首位出局时直接返回空数组。排序本身不动,只是把闸门插在截断之前,与融合池那条
405
+ // 路同序(那边也是先 filter 后 slice)。
406
+ const ranked = Array.from(merged.values()).sort((a, b) => b._score - a._score);
407
+ const visible = gateByScope(ranked, scope).slice(0, topK);
408
+ // 闸门还必须在 touchRecalled **之前**:放在后面的话,一次越权检索照样会给出局的
409
+ // 行刷回温时钟,并在被动确认开启时 bump 它们的关联边——命中反馈落到了调用方
410
+ // 本不该看见的行上。
411
+ touchRecalled(visible);
412
+ return visible;
385
413
  }
386
414
 
387
415
  /**
@@ -391,17 +419,19 @@ export function createService({ store, mirror, config, onWrite, logger, document
391
419
  * @param {string | undefined} value
392
420
  * @param {object} [options]
393
421
  * @param {number} [options.topK=20]
422
+ * @param {object|null} [options.scope] 当前会话 scope,供 strictScope 闸门使用
394
423
  * @returns {any[]}
395
424
  */
396
- function searchByAttr(key, value, { topK = 20 } = {}) {
425
+ function searchByAttr(key, value, { topK = 20, scope = null } = {}) {
397
426
  if (!key) return [];
398
427
  // value 可能为 undefined(attr:key 无 = 值):归一为空串后交给
399
428
  // store.findMemoriesByAttr —— 空 value 契约 = 返回该 attr_key 的全部
400
429
  // 当前有效记忆(v0.3.0,store.js 已实现)。
401
430
  const rows = store.findMemoriesByAttr(key, value ?? "");
402
- const hits = rows.slice(0, topK);
403
- touchRecalled(hits);
404
- return hits;
431
+ // 同 searchByEntity:先过闸再截 topK,且闸门在 touchRecalled 之前。
432
+ const visible = gateByScope(rows, scope).slice(0, topK);
433
+ touchRecalled(visible);
434
+ return visible;
405
435
  }
406
436
 
407
437
  /**
@@ -448,30 +478,92 @@ export function createService({ store, mirror, config, onWrite, logger, document
448
478
  }
449
479
 
450
480
  /**
451
- * Graph fourth recall path (issue #219). When the query text mentions a
452
- * known entity name, memories linked to that entity (attrs + relations)
453
- * join the fusion pool as a confirm/backfill signal — same standing as
454
- * BM25, never dominating the semantic ranking. Tier scores: attr-linked
455
- * 1.0 (direct evidence, same source searchByEntity trusts) > relation
456
- * edge 0.9. Archived/forgotten rows never participate. Failures degrade
457
- * to [] — a recall booster, never a correctness gate (same contract as
458
- * bm25Recall).
481
+ * Graph fourth recall path (issue #219 → #24 块1 锚定层). When the query text
482
+ * mentions a known entity name, memories linked to that entity (attrs +
483
+ * relations) join the fusion pool as a confirm/backfill signal — same standing
484
+ * as BM25, never dominating the semantic ranking. Tier scores: attr-linked
485
+ * 1.0 (direct evidence, same source searchByEntity trusts) > relation edge
486
+ * 0.9. Archived/forgotten rows never participate. Failures degrade to [] —
487
+ * a recall booster, never a correctness gate (same contract as bm25Recall).
488
+ *
489
+ * #24 升级(graphAnchoringEnabled):命中实体作为锚定种子,沿 entity_relations
490
+ * 级联扩散邻居(默认深度 2),邻居挂联的记忆以 hop 配额权重参与——把「关系是
491
+ * 用出来的」延伸成检索信号:查询命中的不只有直接挂联,还有跳跃可达的活跃子图。
492
+ * 邻居权重 = HOP_QUOTA[hop] × linked tier(attr 1.0 / relation 0.9),仍低于
493
+ * 直达种子的满权,绝不喧宾夺主。
459
494
  */
460
495
  function entityRecall(q, limit) {
461
496
  if (config?.entityRecallEnabled !== true) return [];
462
497
  try {
463
498
  const entities = store.findEntitiesMentionedIn(q);
464
499
  if (!entities.length) return [];
465
- const linked = store.getLinkedMemoryIds(entities.map((e) => e.id));
466
- if (!linked.size) return [];
467
- const hits = [];
468
- for (const [id, tier] of linked) {
469
- const row = store.getById(id);
470
- if (!row || row.archived || row.forgotten) continue;
471
- hits.push({ ...row, score: tier === "attr" ? 1.0 : 0.9, source: "entity" });
472
- if (hits.length >= limit * 2) break;
500
+ // 关闭锚定级联=逐字节复用 #219 单跳轴:种子裁剪/重排/截断全是 #24 新增的
501
+ // 行为,默认关时一条都不许漏进旧路径(graphSeedCap 也只在开启后生效——
502
+ // 无论 cap 调多小,关档时命中实体仍全量挂联)。
503
+ if (config?.graphAnchoringEnabled !== true) {
504
+ const linked = store.getLinkedMemoryIds(entities.map((e) => e.id));
505
+ if (!linked.size) return [];
506
+ const hits = [];
507
+ for (const [id, tier] of linked) {
508
+ const row = store.getById(id);
509
+ if (!row || row.archived || row.forgotten) continue;
510
+ hits.push({ ...row, score: tier === "attr" ? 1.0 : 0.9, source: "entity" });
511
+ if (hits.length >= limit * 2) break;
512
+ }
513
+ return hits;
473
514
  }
474
- return hits;
515
+ // 锚定种子(精确名布尔通路——命名实体逻辑上是离散匹配,不参与 min-max)。
516
+ const exact = normalizePath(entities.map((e) => e.id), { path: "exact" });
517
+ const seeds = anchorSeeds({ paths: [exact], cap: config?.graphSeedCap ?? 12 });
518
+ if (!seeds.length) return [];
519
+ // 0-hop 直达:挂联记忆按 tier 定分(attr 1.0 / relation 0.9)——与 #219
520
+ // 单跳轴同分。MAX 语义:同一条记忆被多实体挂联时保留最高分。
521
+ const scored = new Map();
522
+ const push = (memId, score) => {
523
+ if (scored.has(memId) && scored.get(memId) >= score) return;
524
+ const row = store.getById(memId);
525
+ if (!row || row.archived || row.forgotten) return;
526
+ scored.set(memId, score);
527
+ };
528
+ const seedLinked = store.getLinkedMemoryIds(seeds.map((s) => s.id));
529
+ for (const [memId, tier] of seedLinked) {
530
+ push(memId, tier === "attr" ? 1.0 : 0.9);
531
+ }
532
+ // 级联:沿 entity_relations 走 BFS,邻居挂联的记忆以 hop 配额权重补位——
533
+ // 不覆盖种子直达分(MAX 语义保证),只填「种子里没有但邻居可达」的槽。
534
+ const seedIds = seeds.map((s) => s.id);
535
+ const adjacency = store.getEntityNeighbors(seedIds);
536
+ const depths = cascadeDepths({
537
+ seeds,
538
+ // 逐节点懒取邻居:初次查询只带种子那一层的邻接,BFS 走到 1-hop 节点时
539
+ // 必须按需再拉一层,否则 >1 跳永远拿到空邻居、graphCascadeDepth≥2 形同
540
+ // 虚设。节点数随图度数增长,热路径上以 graphCascadeDepth≤3 为天然上界,
541
+ // 真遇到大图再考虑查询配额。
542
+ adjacencyOf: (id) => {
543
+ if (!adjacency.has(id)) adjacency.set(id, store.getEntityNeighbors([id]).get(id) ?? []);
544
+ return adjacency.get(id);
545
+ },
546
+ maxDepth: config?.graphCascadeDepth ?? 2
547
+ });
548
+ let neighborsSeen = 0;
549
+ const neighborCap = (config?.graphSeedCap ?? 12) * HOP_QUOTA[1]; // 1-hop 配额即为邻居总量上界
550
+ for (const [nid, hop] of depths) {
551
+ if (hop < 1) continue;
552
+ if (neighborsSeen >= Math.max(1, Math.floor(neighborCap))) break;
553
+ neighborsSeen++;
554
+ const neighborLinked = store.getLinkedMemoryIds([nid]);
555
+ for (const [memId, tier] of neighborLinked) {
556
+ const tierW = tier === "attr" ? 1.0 : 0.9;
557
+ push(memId, HOP_QUOTA[Math.min(hop, 3)] * tierW);
558
+ }
559
+ }
560
+ const hits = [...scored.entries()]
561
+ .map(([id, score]) => {
562
+ const row = store.getById(id);
563
+ return { ...row, score, source: "entity" };
564
+ })
565
+ .sort((a, b) => b.score - a.score || (a.id < b.id ? -1 : a.id > b.id ? 1 : 0));
566
+ return hits.slice(0, limit * 2);
475
567
  } catch {
476
568
  return [];
477
569
  }
@@ -530,11 +622,28 @@ export function createService({ store, mirror, config, onWrite, logger, document
530
622
  * on the hot recall path). A touch failure must never break search/inject.
531
623
  */
532
624
  function touchRecalled(memories) {
533
- if (config?.heatEnabled === false || !Array.isArray(memories) || memories.length === 0) return;
625
+ if (!Array.isArray(memories) || memories.length === 0) return;
626
+ // heatEnabled=false 只关 touchLastAccess 的热度消费(既有语义),但 #24
627
+ // 块4 被动确认独立于 heat——graphPassiveConfirm 开时照常 bump 关联边。
628
+ // graphWeightEnabled 是块2 立的演化总闸:它关着时任何触达都不该改边权,被动
629
+ // 确认只是它底下的一个通道(后续块还会接别的确认通道),两键同开才 bump,
630
+ // 否则单开通道键就等于绕过「演化默认关」的承诺。
631
+ // 两条路径都 best-effort,失败绝不阻断检索/注入。
632
+ const heatOn = config?.heatEnabled !== false;
633
+ const passive = config?.graphPassiveConfirm === true && config?.graphWeightEnabled === true;
634
+ const delta = config?.graphWeightDelta ?? 0.1;
534
635
  for (const m of memories) {
535
636
  if (!m?.id) continue;
536
637
  try {
537
- store.touchLastAccess(m.id);
638
+ if (heatOn) store.touchLastAccess(m.id);
639
+ if (passive) {
640
+ // 正常触达=对该记忆挂联关系边的被动确认;bump 只加不减封顶 1.0,
641
+ // 自激回路由封顶天然遏制。「仅异常路径暴露给用户复核」的确认记录
642
+ // 侧在此落地,复核 UI 留后续块。
643
+ for (const rel of store.getRelationsByMemory(m.id)) {
644
+ store.bumpRelationWeight(rel.id, delta);
645
+ }
646
+ }
538
647
  } catch { /* touch is best effort */ }
539
648
  }
540
649
  }
@@ -816,9 +925,7 @@ export function createService({ store, mirror, config, onWrite, logger, document
816
925
  // (区别于 A2 的降权保留可见);未标注行与命中行保留。strict 与 A2 加权
817
926
  // 叠加:过滤后剩下的命中行仍吃加成。scope 未传(flag 关)或完全解析不到
818
927
  // 时跳过——identity 为空的对象({null,null})按 fail-closed 过滤。
819
- if (config.strictScope === true && scope) {
820
- merged = merged.filter((m) => isVisibleInScope(m, scope));
821
- }
928
+ merged = gateByScope(merged, scope);
822
929
  // v0.8.0 A2:occurred_at 时间过滤——在融合池上先滤再 dedup/slice,rerank
823
930
  // 只看窗内候选,topK 槽位不被窗外行占用。
824
931
  const occurredBounds = updatedAtBounds(occurredFrom, occurredTo);
@@ -1427,6 +1534,14 @@ export function createService({ store, mirror, config, onWrite, logger, document
1427
1534
  ? new Map(filtered.map((m) => [m.id, computeHeat(m, Date.now(), config)]))
1428
1535
  : null;
1429
1536
  const heatOf = (m) => (heatMap ? heatMap.get(m.id) ?? 1 : 1);
1537
+ // v0.8.x(issue #339 / E7 实测):A2 软加权补齐到注入通道。此前 ×0.5/×1.25
1538
+ // 只作用于 searchMemories——E7 考卷里「explicit 标注 + 软档」的注入集与无标注
1539
+ // 逐条相同(80/80),主泄露面上软档形同虚设。门控与检索侧同款:scopeEnabled
1540
+ // 且当前会话至少一维可解析;strictScope 硬过滤在下方先行,硬墙开启时被滤行
1541
+ // 不会到这里被二次降权。未激活时乘 1,排序与改动前逐字节一致。
1542
+ const softScopeActive = config?.scopeEnabled === true && scope != null &&
1543
+ Boolean(scope.agent_scope || scope.workspace_scope);
1544
+ const scopeMultOf = (m) => (softScopeActive ? scopeMultiplier(m, scope) : 1);
1430
1545
  const items = filtered.sort((a, b) => {
1431
1546
  // 编码记忆在编码任务时优先于普通 decision(与 preference 同级),
1432
1547
  // importance 乘 codingBoostFactor 加权(封顶 5,保持 importance 语义)。
@@ -1447,8 +1562,11 @@ export function createService({ store, mirror, config, onWrite, logger, document
1447
1562
  : m.importance;
1448
1563
  const pa = priority(a);
1449
1564
  const pb = priority(b);
1565
+ // 软加权乘在层内数值积上(priority 档位不动):foreign ×0.5 后压不过
1566
+ // 同档自己行——E7 的同 importance 档设计正是这个场景。
1450
1567
  return pa - pb ||
1451
- (effImportance(b) * qualityWeight(b) * heatOf(b)) - (effImportance(a) * qualityWeight(a) * heatOf(a));
1568
+ (effImportance(b) * qualityWeight(b) * heatOf(b) * scopeMultOf(b)) -
1569
+ (effImportance(a) * qualityWeight(a) * heatOf(a) * scopeMultOf(a));
1452
1570
  });
1453
1571
  let candidates = items;
1454
1572
  if (config.hybridInject !== false && q) {
@@ -1493,6 +1611,13 @@ export function createService({ store, mirror, config, onWrite, logger, document
1493
1611
  semanticItems.push(hit);
1494
1612
  }
1495
1613
  }
1614
+ // issue #339(CodeRabbit review on #350):首轮 BM25 兜底领跑合并池,
1615
+ // 而 selectiveInject 相似度重排要等查询向量就绪才执行——软加权必须
1616
+ // 在这里就位,否则 foreign 命中绕过降权直接占注入位。
1617
+ if (softScopeActive) {
1618
+ semanticItems.sort((a, b) =>
1619
+ (b.score ?? 0) * scopeMultOf(b) - (a.score ?? 0) * scopeMultOf(a));
1620
+ }
1496
1621
  }
1497
1622
  if (semanticItems.length) {
1498
1623
  const seen = new Set();
@@ -1523,7 +1648,13 @@ export function createService({ store, mirror, config, onWrite, logger, document
1523
1648
  const hits = vectorIndex.search(queryVector, { limit: 200, threshold: 0 });
1524
1649
  const sim = new Map(hits.map((m) => [m.id, m.score ?? 0]));
1525
1650
  if (sim.size) {
1526
- candidates = [...candidates].sort((a, b) => (sim.get(b.id) ?? -1) - (sim.get(a.id) ?? -1));
1651
+ // 软加权作用在真实 sim 上;未命中的规则候选保持 -1 沉底(缺失项
1652
+ // 乘乘数会让 foreign 缺失项反而排到自己的缺失项之上,故不乘)。
1653
+ const scopedSim = (m) => {
1654
+ const s = sim.get(m.id);
1655
+ return s === undefined ? -1 : s * scopeMultOf(m);
1656
+ };
1657
+ candidates = [...candidates].sort((a, b) => scopedSim(b) - scopedSim(a));
1527
1658
  }
1528
1659
  } catch { /* topic re-rank unavailable: keep rule-based order */ }
1529
1660
  }
@@ -1532,6 +1663,26 @@ export function createService({ store, mirror, config, onWrite, logger, document
1532
1663
  if (config?.strictScope === true && scope) {
1533
1664
  candidates = candidates.filter((m) => isVisibleInScope(m, scope));
1534
1665
  }
1666
+ // #24 块3:图召回候选打标。entityRecall 只在 entityRecallEnabled 开启时
1667
+ // 有产出,这里为命中者贴 graphHint 标签——注入侧据此(a)graphInjectHint
1668
+ // 开=标成 [检索线索] 前缀的线索行(独立预算),(b)关=线索行只参与排序
1669
+ // 不改变注入块(保守档)。与检索侧共用同一图闸:块1 #341 把 entityRecall
1670
+ // 升级成级联后,注入侧自动吃到同样的扩散信号,无需再改。只在语义/规则候选
1671
+ // 为空时兜底检索,避免注入路径双倍候选成本。
1672
+ if (config?.entityRecallEnabled === true && q) {
1673
+ try {
1674
+ const graphHits = entityRecall(q, maxItems * 2);
1675
+ if (graphHits.length) {
1676
+ const graphIds = new Set(graphHits.map((m) => m.id));
1677
+ candidates = [
1678
+ ...candidates.map((m) => graphIds.has(m.id) ? { ...m, graphHint: true } : m),
1679
+ ...graphHits
1680
+ .filter((m) => !candidates.some((c) => c.id === m.id))
1681
+ .map((m) => ({ ...m, graphHint: true }))
1682
+ ];
1683
+ }
1684
+ } catch { /* graph hint is best-effort */ }
1685
+ }
1535
1686
  // #249 第一批:B1 pin 池。取在相关性排序之后、轮换之前——取谁按此刻的候选
1536
1687
  // 次序(即相关性次序),取到后从候选中摘除,于是下面的轮换重排碰不到它们
1537
1688
  // (验收:pin 不参与跨轮轮换)。独立预算的两层意义:pin 既不占 maxItems
@@ -1539,7 +1690,10 @@ export function createService({ store, mirror, config, onWrite, logger, document
1539
1690
  // 超预算的条数回报给调用方,在块内如实标注(绝不静默省略)。
1540
1691
  const pinnedBudget = Math.max(0, Math.min(5, Math.floor(config?.pinnedInjectBudget ?? 0)));
1541
1692
  // eligible 留到块外:未展示条数要等 general 槽选完才算得准(见 selected 之后)。
1542
- const eligible = pinnedBudget > 0 ? candidates.filter((m) => PINNED_MEMORY_TYPES.has(m.type)) : [];
1693
+ // graphHint 行不进 pin 池:pin 是「每轮必进的约束/偏好」,而线索行按定义是
1694
+ // 「链路信息、非事实断言」,且 pin 长在候选池遍历之前——不排除的话,保守档
1695
+ // (graphInjectHint 关)也能从 pin 侧把它放回注入块,线索开关就被绕过去了。
1696
+ const eligible = pinnedBudget > 0 ? candidates.filter((m) => PINNED_MEMORY_TYPES.has(m.type) && m.graphHint !== true) : [];
1543
1697
  let pinned = [];
1544
1698
  if (pinnedBudget > 0 && eligible.length > 0) {
1545
1699
  pinned = eligible.slice(0, pinnedBudget);
@@ -1560,9 +1714,23 @@ export function createService({ store, mirror, config, onWrite, logger, document
1560
1714
  // 注入块变成文档目录(#164 失败判据:批量把历史塞进上下文)。
1561
1715
  const documentBudget = config?.documentInjectBudget ?? 2;
1562
1716
  let documentSeen = 0;
1717
+ // #24 块3:图线索行(graphHint)按独立预算 graphInjectBudget 进块;所谓
1718
+ // 独立=既不受 document 预算约束、也不挤占 maxItems 槽位。graphInjectHint
1719
+ // 关(默认保守档)时线索行**不进注入块**——它们只参与候选池排序(对融合无
1720
+ // 影响,因为候选池生成的唯一用途就是注入),桥接信号不污染常驻文本;开时
1721
+ // 才作为 [检索线索] 前缀行进入。与 document/pin 同构:预算只约束注入。
1722
+ const hintOpen = config?.graphInjectHint === true;
1723
+ let graphSeen = 0;
1724
+ const graphBudget = hintOpen ? Math.max(0, Math.floor(config?.graphInjectBudget ?? 1)) : 0;
1563
1725
  const general = [];
1564
1726
  for (const m of candidates) {
1565
- if (general.length >= maxItems) break;
1727
+ if (m.graphHint === true) {
1728
+ if (!hintOpen) continue; // 保守档:线索只排序不进块
1729
+ if (graphSeen >= graphBudget) continue; // 独立预算内放行
1730
+ graphSeen++;
1731
+ } else if (general.length >= maxItems) {
1732
+ break; // 普通候选受 maxItems 槽位上界
1733
+ }
1566
1734
  if (m.type === "document") {
1567
1735
  if (documentSeen >= documentBudget) continue;
1568
1736
  documentSeen++;