@modusensus/dsh-mneme 0.8.12 → 0.8.14

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -0,0 +1,209 @@
1
+ // #164 A2:写入边界的密钥 / PII 判据。判据来源是 #164 A2(维护者 09-28 把认领转给
2
+ // 本侧),消费方是 #254 的写入准入——`write-admission.js` 从 #332 起就留了
3
+ // `sensitiveScan` 注入点,本模块是那个占位的实现。
4
+ //
5
+ // 为什么判据独立成文件、不写进 write-admission.js:判据的归属是 #164 A2,闸门的归属
6
+ // 是 #254。闸门只消费 `{kind, label}`(deny 面已在 #332 定死),判据自己既不认识
7
+ // 「会话预算」也不认识 `llm_audit_logs`——换一个判据(比如将来接更重的 PII 分类器)
8
+ // 只换注入的那一行。写入边界的另外两个出口(autoSummarize / dream 输出)要复用同一份
9
+ // 判据时也直接 import 本模块的 `scanSensitive`,不必各写一套形状。
10
+ //
11
+ // 三条判据口径(前两条是 #254 已定的硬约束,第三条是本模块自己的):
12
+ //
13
+ // 1. 零 LLM、纯确定性。写入路径在最上游,这里多花的时间会乘上每一次写入;EdgeMem
14
+ // (2609.05553)那句「能不用模型判定就不用」说的就是这一层。
15
+ //
16
+ // 2. 假阳率由负样本定。`test/helpers/write-admission-samples.js` 的 12 条负样本是
17
+ // #332 就配好的验收面,维护者把话说死了:「同一套负样本原样跑,抓错任何一条就不
18
+ // 算落地」。所以本模块的形状是**先认形状再认关键词**——纯关键词匹配在那组负样本
19
+ // 上全军覆没(「把 API key 放进环境变量」这类讨论句里一个凭据值都没有)。
20
+ //
21
+ // 3. 报最严重的那一类(`kind` 落审计)。同一个字符串可能同时像两类(`sk_live_` 前缀
22
+ // 既是 Stripe 的形状、也能被通用的 `sk-` 规则吃下),所以规则表按「越具体越靠前」
23
+ // 排,命中即返回。密钥在前、PII 在后:两者误杀面差一个量级(密钥串出现在正常项目
24
+ // 记忆里就是事故,邮箱 / 手机号完全可能是正当内容),同时命中时报更严重的那一类。
25
+ // `kind` 是稳定判据键(不是展示文案),enforce 打开前先按它看分布,将来要按类放行
26
+ // 也只改策略、不动判据。
27
+ //
28
+ // 已知边界(都是「宁漏不误杀」的取舍,不是遗漏):
29
+ // - 只扫文本(title / content / tags)。不扫路径、id、时间戳这类元数据字段——它们
30
+ // 由系统生成,不是用户写进来的内容,扫它们只会引入假阳。
31
+ // - 中文关键词(密码 / 令牌)不认。补进去会让「密码必须脱敏后再入库」这类讨论句
32
+ // 命中,而那正是负样本 group 的形状。要覆盖中文赋值得先设计「关键词语种 × 值形状」
33
+ // 的两维判据,不在本批。
34
+ // - 手机号只认大陆移动号段(1[3-9] + 9 位),固定电话与带国家码的写法不认。宽一位
35
+ // 就会把长度相近的订单号 / 内部编号吃进来,而 PII 这一档的误杀面已经比密钥大一档。
36
+ // - 银行卡号加 Luhn 校验:`0000000000000000`、`4111111111111112` 这类形状对但校验
37
+ // 不过的串不报。少了这道校验,任何 16 位数字串(订单号、时间戳拼接)都会命中。
38
+ // - 身份证同样加校验位(GB 11643 / ISO 7064 MOD 11-2):位数对但校验不过的 18 位
39
+ // 数字串不报。原先只有银行卡有校验、身份证没有,结果是 18 位纯数字先被身份证规则
40
+ // 命中,反倒绕过银行卡那条的 Luhn。
41
+ //
42
+ // 归一化:这里**不**用 content-hash.js 的 normalizeForHash。那套口径(NFKC → 小写 →
43
+ // 去标点)是为「只差格式的两条写入是否同一件事」定的,判据要的是原串的形状——大小写
44
+ // 是密钥 alphabet 的一部分(`AKIA` 与 `akia` 不是同一个值),去掉 `-` / `_` 会把 JWT
45
+ // 与 Slack token 的分段结构一起折没。两个口径别互换。
46
+
47
+ /** 判据命中的返回形状(与 `createWriteAdmission` 的 sensitiveScan 契约一致)。 */
48
+ // kind 是稳定键、label 是给人看的一行说明;两者都落 llm_audit_logs 的
49
+ // metadata.deny,所以别在其中塞运行时的值(命中的凭据本身绝不落盘 / 不回显)。
50
+ const SECRET_RULES = [
51
+ { kind: "aws_access_key", label: "AWS access key id", re: /\b(?:AKIA|ASIA)[0-9A-Z]{16}\b/ },
52
+ // AWS 的 secret access key 没有前缀,只能靠赋值键认:`AWS_SECRET_ACCESS_KEY` /
53
+ // `aws_secret_access_key` 这个键名是它的形状。最早的一批 `secret` 关键词规则被
54
+ // 「必须在赋值号前」的位置要求挡在外面(多词键里 `secret` 后面跟的是 `_`,不是
55
+ // `:`/`=`),所以它得单独一条。40 位下限取 AWS 官方密钥的固定长度。
56
+ {
57
+ kind: "aws_secret_key",
58
+ label: "AWS secret access key",
59
+ // 键名不分大小写,所以挂 `/i` 而不是行内修饰符组 `(?i:...)`:后者是 ES2025 语法,
60
+ // CI 矩阵里的 Node 22 直接抛 SyntaxError(本文件其余规则也没有用它的)。
61
+ // 值那一半本来就是 `[A-Za-z0-9/+=]`,带上 `/i` 不改变大小写敏感度。
62
+ re: /(?:aws[_-]?secret[_-]?access[_-]?key)\s*[:=]\s*["']?([A-Za-z0-9/+=]{40})(?![A-Za-z0-9/+=])/i
63
+ },
64
+ { kind: "github_token", label: "GitHub token", re: /\b(?:ghp|gho|ghu|ghs|ghr)_[A-Za-z0-9]{36}\b/ },
65
+ { kind: "slack_token", label: "Slack token", re: /\bxox[abprs]-[A-Za-z0-9-]{10,}\b/ },
66
+ // PEM 头是明文私钥的确定标志,带不带正文都一样判——`BEGIN` 与 `PRIVATE KEY` 之间
67
+ // 可能有 `RSA` / `EC` / `OPENSSH`,所以中间那段是 [A-Z ]*。
68
+ { kind: "private_key", label: "PEM private key", re: /-----BEGIN [A-Z ]*PRIVATE KEY-----/ },
69
+ { kind: "jwt", label: "JSON Web Token", re: /\beyJ[A-Za-z0-9_-]{8,}\.[A-Za-z0-9_-]{8,}\.[A-Za-z0-9_-]{8,}/ },
70
+ // scheme 与 userinfo 两段都加上界。scheme 那段的 `*` 作用在含 `.` 的字符类上,
71
+ // 一条长点分串(包名 / 路径 / 版本链)里每个起点都要一路回溯到结尾才发现没有
72
+ // `://` → 与 email 同源的 O(n²)(实测 120KB 对抗串里这条占 4.1 秒)。
73
+ // URL scheme 名本就短、`user:password` 也不会长到 64,上界只钉住回溯面,
74
+ // 真实连接串一条不少。
75
+ { kind: "connection_string", label: "credentials in URL", re: /\b[a-z][a-z0-9+.-]{0,31}:\/\/[^\s/:@]{1,64}:[^\s/:@]{6,}@/ },
76
+ // Stripe 排在通用 `sk-` 之前:`sk_live_…` 两条规则都吃,先到的那条决定 kind。
77
+ // 只认 sk_live_(生产密钥):sk_test_ 是公开测试密钥,报它是纯误杀。
78
+ { kind: "stripe_key", label: "Stripe secret key", re: /\bsk_live_[A-Za-z0-9]{16,}\b/ },
79
+ { kind: "npm_token", label: "npm auth token", re: /_authToken\s*=\s*[A-Za-z0-9_-]{20,}/ },
80
+ // 下限 24 而不是 20:这是一条纯收紧、不动语料读数的加固——OpenAI 的 key 没有校验
81
+ // 位,前缀 + 长度是唯一形状,20 位会把更长的假阳性面留在表里。`sk-` 后面跟短串的
82
+ // 赋值句仍会被赋值型那条认下(那是**对的**:值长了 8 位以上就该报)。
83
+ { kind: "openai_key", label: "OpenAI API key", re: /\bsk-(?:proj-)?[A-Za-z0-9_-]{24,}\b/ },
84
+ {
85
+ // 赋值型:最常见的一类,也是负样本组(占位符 / 环境变量 / 模板变量 / 只提关键词)
86
+ // 的主要靶子。判据是「关键词 + 赋值号 + 右边真的是个值的形状」,值本身不校验
87
+ // alphabet——凭据值没有通用形状,能通用的只有「它不像占位符」。
88
+ kind: "assigned_secret",
89
+ label: "assigned credential literal",
90
+ // 左边界不能把 `_` 排除在外:环境变量名正是拿 `_` 当分隔符,排除它会让
91
+ // `DB_PASSWORD=` / `MY_API_KEY=` / `MYSQL_PASSWORD=` 整类漏放(只有恰好落在
92
+ // 行首的 `API_KEY=` 能中)。放宽后 #332 那套 26 条语料(含 12 条负样本)全绿,
93
+ // 说明原写法不是语料换来的取舍。挡误杀的是下面那道占位符守卫,不是这个边界。
94
+ re: /(?:^|[^A-Za-z0-9])(?:password|passwd|pwd|secret|api[_-]?key|token)\b\s*[:=]\s*["']?([^\s"']{8,})/i,
95
+ // 占位符守卫:右边是尖括号占位、shell / 模板变量、环境变量读取、或一串 x / * / …
96
+ // 时不算命中。少这道守卫,`password: <redacted>` 与 `token: ${TOKEN}` 都会被报,
97
+ // 而它们正是「配置里该怎么写」的示例文本。
98
+ guard: (value) => !/^(?:<[^>]*>|\$\{|\$[A-Z_]+$|process\.env|redacted|xx+|\*+|\u2026)/i.test(value)
99
+ }
100
+ ];
101
+
102
+ const PII_RULES = [
103
+ {
104
+ kind: "email",
105
+ label: "email address",
106
+ // 先看 TLD 再看 `@`:反过来的 `(?:[A-Za-z]{2,}\.)+[A-Za-z]{2,}` 对
107
+ // `a@b.c.d.e` 这类可以回溯出指数条路径。
108
+ // local part 的 `+` 必须加上界。该字符类含 `.`,所以一条长点分串(包名 / 路径 /
109
+ // 版本链)后跟一个 `@` 时,每个起点都要重扫到那个 `@` 才失败 → 整体 O(n²)。
110
+ // 实测 120KB 对抗串 23.5 秒里这条占 18.6 秒,34KB 点分链要 0.6 秒;本判据在写入
111
+ // 路径上同步跑,等于把写入阻塞住。64 是 RFC 5321 给 local part 的上限,加上界
112
+ // 不缩检测面——放弃的只是长于 64 的非法形状。
113
+ re: /\b[A-Za-z0-9._%+-]{1,64}@(?:[A-Za-z0-9-]+\.)+[A-Za-z]{2,}\b/
114
+ },
115
+ { kind: "cn_mobile", label: "mainland mobile number", re: /(?<!\d)1[3-9]\d{9}(?!\d)/ },
116
+ { kind: "cn_id_card", label: "mainland ID number", re: /(?<![0-9A-Za-z])\d{17}[\dXx](?![0-9A-Za-z])/, cnId: true },
117
+ { kind: "bank_card", label: "payment card number", re: /(?<!\d)(?:\d{13,19})(?!\d)/, luhn: true }
118
+ ];
119
+
120
+ /**
121
+ * Luhn(模 10)校验。银行卡号这一档只靠位数与首字符形状会把所有 13–19 位数字串
122
+ * 都吃进来,而项目记忆里长度差不多的数字串(订单号、拼接的时间戳)很常见;校验位
123
+ * 是卡号自带的、零成本的第二道形状。负样本里没有卡号形状的串,这道校验是防未列举
124
+ * 的那一类(同时它也不影响正样本:4111111111111111 是 Luhn 通过的公开测试卡号)。
125
+ * @param {string} value 归一后的数字串(可能含分隔符)
126
+ */
127
+ function passesLuhn(value) {
128
+ const digits = value.replace(/\D/g, "");
129
+ if (digits.length < 13 || digits.length > 19) return false;
130
+ let sum = 0;
131
+ let double = false;
132
+ for (let i = digits.length - 1; i >= 0; i--) {
133
+ let d = digits.charCodeAt(i) - 48;
134
+ if (double) {
135
+ d *= 2;
136
+ if (d > 9) d -= 9;
137
+ }
138
+ sum += d;
139
+ double = !double;
140
+ }
141
+ return sum % 10 === 0;
142
+ }
143
+
144
+ // 大陆身份证校验位(GB 11643 / ISO 7064 MOD 11-2)。与银行卡的 Luhn 同理:18 位
145
+ // 数字串在项目记忆里很常见(订单号、内部编号、拼接时间戳),位数这个形状拦不住它们,
146
+ // 而校验位是身份证自带的、零成本的第二道形状。权重序列与余数映射都是标准值,别改。
147
+ const CN_ID_WEIGHTS = [7, 9, 10, 5, 8, 4, 2, 1, 6, 3, 7, 9, 10, 5, 8, 4, 2];
148
+ const CN_ID_CODES = "10X98765432";
149
+ /** @param {string} value 命中串(17 位数字 + 校验位,校验位可为 X) */
150
+ function passesCnId(value) {
151
+ if (!/^\d{17}[\dXx]$/.test(value)) return false;
152
+ let sum = 0;
153
+ for (let i = 0; i < 17; i++) sum += Number(value[i]) * CN_ID_WEIGHTS[i];
154
+ return CN_ID_CODES[sum % 11] === value[17].toUpperCase();
155
+ }
156
+
157
+ /**
158
+ * 扫一段文本里的密钥 / PII。命中返回 `{kind, label}`、未命中返回 null,不抛。
159
+ *
160
+ * 只认第一处命中(按规则表顺序 = 严重度顺序)。一次写入里出现第二条凭据时不再报——
161
+ * deny 面只记判据类别,报多条只是把同一件事写几遍。
162
+ * @param {unknown} value
163
+ * @returns {{kind: string, label: string}|null}
164
+ */
165
+ export function scanSensitive(value) {
166
+ const text = typeof value === "string" ? value : String(value ?? "");
167
+ if (!text) return null;
168
+ for (const rule of [...SECRET_RULES, ...PII_RULES]) {
169
+ const match = text.match(rule.re);
170
+ if (!match) continue;
171
+ // 守卫只看捕获组:没有捕获组的规则天然没有守卫。
172
+ if (rule.guard && !rule.guard(match[1] ?? "")) continue;
173
+ if (rule.luhn && !passesLuhn(match[0])) continue;
174
+ if (rule.cnId && !passesCnId(match[0])) continue;
175
+ return { kind: rule.kind, label: rule.label };
176
+ }
177
+ return null;
178
+ }
179
+
180
+ /**
181
+ * 判据的两种调用面,共用同一份规则表:
182
+ * `scanSensitive(text)` — 任意文本,给写入边界之外的消费方(autoSummarize /
183
+ * dream 输出)直接调;它们手里是文本,不是记忆行。
184
+ * `createSensitiveScan({config})` — `write-admission.js` 的 `sensitiveScan` 契约,
185
+ * 入参是记忆对象、返回 `{kind, label}` 或 null。
186
+ *
187
+ * 开关在工厂里判一次:`sensitiveScanEnabled` 关时返回 null,闸门侧连函数都拿不到,
188
+ * 于是「第 1 级只跑空白 / 噪声」这条路与 #332 合并时**逐字段一致**(那一版根本没有
189
+ * 这个函数)。反过来,本键开着也不会自己去扫:唯一的调用点是闸门的 firstLevelHit,
190
+ * 而闸门要 `writeAdmission.enabled` 打开才走第 1 级判据。所以两个键是「闸门」与
191
+ * 「闸门内这一批判据」的关系,不是互为子开关——任一个关着,A2 都不产生任何判定。
192
+ * 分成两个键是为了能单独观察 A2 的命中分布(空白 / 噪声与密钥 / PII 的误杀面差一个
193
+ * 量级),不是为了让它能脱离闸门独立生效。
194
+ *
195
+ * @param {{config?: object}} [deps]
196
+ * @returns {((memory: object) => ({kind: string, label: string}|null))|null}
197
+ */
198
+ export function createSensitiveScan({ config } = {}) {
199
+ if (config?.sensitiveScanEnabled !== true) return null;
200
+ const scan = (memory) => {
201
+ const text = [memory?.title, memory?.content, ...(Array.isArray(memory?.tags) ? memory.tags : [])]
202
+ .filter((s) => typeof s === "string")
203
+ .join("\n");
204
+ return scanSensitive(text);
205
+ };
206
+ // 工厂只认「开 / 关」;enforce 由 write-admission 决定(命中即 deny 还是仅告警),
207
+ // 判据自己不碰决策——那一步在闸门里。两层分开就能先开检测看分布、再开拦截。
208
+ return scan;
209
+ }
package/lib/serve.js ADDED
@@ -0,0 +1,215 @@
1
+ // src/serve.js —— 独立服务(daemon)运行时:mneme 在 DSH 宿主之外常驻的最小装配面
2
+ // (#363 承诺的「官方推荐第三方挂载姿势」)。bin/dsh-mneme-serve.mjs 是它的 CLI 壳,
3
+ // Mneme Bridge 这类第三方也可直接 import 本模块自行托管生命周期。
4
+ //
5
+ // 与宿主装配(src/index.js apply)的关系:只搬数据面 + 语义管线两块,每步注释锚定
6
+ // index.js 来源行号。刻意不抽公共装配函数——apply 的其余环节(注入/工具/dream)与
7
+ // 宿主 ctx 纠缠,防御段纪律是「最后动或不动」;本文件的漂移风险由 serve-bin 测试的
8
+ // 多进程共存用例兜底(两侧真开同一个库互写互读)。
9
+ //
10
+ // 无 LLM:巩固(autoDream)与蒸馏(autoSummarize)结构上不在这里——巩固只属于 DSH
11
+ // 宿主进程,这就是 daemon 与宿主「单写者」的机械保证(AGENTS.md 的 externalApi/
12
+ // autoDream 单侧纪律),不依赖用户自觉。语义检索(PR2 起)与宿主共用 src/semantic.js
13
+ // 的同一份装配;daemon 不参与做梦,但向量检索/语义去重与宿主同质。
14
+ import { mkdirSync } from "node:fs";
15
+ import { homedir } from "node:os";
16
+ import { join } from "node:path";
17
+ import { createStore } from "./store.js";
18
+ import { createSettings } from "./settings.js";
19
+ import { createMirror, TYPE_FILE } from "./mirror.js";
20
+ import { langOf } from "./lang.js";
21
+ import { createService } from "./service.js";
22
+ import { createMaintenance } from "./maintenance.js";
23
+ import { createStandaloneApi } from "./api-standalone.js";
24
+ import { createSemantic } from "./semantic.js";
25
+ import { createVectorIndex } from "./vector-index.js";
26
+ import { provisionRuntime } from "./runtime/provision.js";
27
+ import { defaultRuntimeDir, listPayloadDirs } from "./runtime/layout.js";
28
+
29
+ const EMBED_PROVIDERS = new Set(["off", "local", "ollama", "openai"]);
30
+
31
+ /**
32
+ * 组装并启动一个独立数据面(含语义管线)。
33
+ * @param {object} opts
34
+ * memoryDir — 数据目录;缺省与宿主同默认 ~/.dsh/memory(config.js:9),支持前导 ~。
35
+ * port/host — 透传 createStandaloneApi;缺省走 kv external_api 持久值 > 8790/127.0.0.1。
36
+ * logger — console 形状(info/warn/error,收单字符串);缺省 null(全链路容缺)。
37
+ * strictPort — 默认 true:配置端口被占即失败(第三方把 URL 写死,顺延=静默打到
38
+ * 错误端口)。显式 port=0(测试/OS 分配)不受影响。
39
+ * embed — "local"(默认,自管 runtime 取件 + ONNX 嵌入)|"ollama"|"openai"
40
+ * (读宿主面板配的 vector-config)|"off"(纯关键词 + BM25)。
41
+ * embedder/reranker — 注入式覆盖(测试/宿主方自管):给了就跳过 createSemantic,
42
+ * 直接 setEmbedder/setReranker;仅 embed="off" 之外有意为之。
43
+ * @returns {api, store, service, settings, maintenance, semantic, tokenExisted, dispose}
44
+ * tokenExisted — 启动前 kv 里是否已有 token;false 时本次为首次生成,入口层可提示。
45
+ */
46
+ export async function createServeRuntime({
47
+ memoryDir, port, host, logger = null, strictPort = true, embed = "local", embedder = null, reranker = null
48
+ } = {}) {
49
+ if (!EMBED_PROVIDERS.has(embed)) {
50
+ throw new Error(`invalid embed provider: ${String(embed)}(允许 off/local/ollama/openai)`);
51
+ }
52
+ // index.js:192-195:~ 展开只认前导;目录不存在时 node:sqlite 直接抛,先 mkdir。
53
+ const dir = String(memoryDir || join(homedir(), ".dsh", "memory")).replace(/^~(?=$|[\\/])/, homedir());
54
+ mkdirSync(dir, { recursive: true });
55
+
56
+ // 装配顺序照 index.js:197-292:store → settings → mirror → service → recoverMirror。
57
+ const store = createStore(join(dir, "memory.db"));
58
+ const settings = createSettings(store.db);
59
+ // 第一期不吃宿主 config schema(schemastery 是宿主 peer 依赖,独立进程装不装随缘),
60
+ // 配最小集,与第三方 embedded 挂载实测同形:language 参与镜像渲染与去重标题;
61
+ // documentMemoryEnabled 关掉 document 子系统(daemon 不建 documentIndex,service
62
+ // 内部 if-guard 安全,index.js:261 的 documentIndex 仅宿主装配)。
63
+ const cfg = { language: "zh", documentMemoryEnabled: false };
64
+ const mirror = createMirror(dir, langOf(cfg));
65
+ const service = createService({ store, mirror, config: cfg, logger });
66
+
67
+ // index.js:292:上次镜像同步失败留下的 dirty 状态,启动时安全重渲一次(内部自吞)。
68
+ service.recoverMirror();
69
+
70
+ // index.js:319-332:人改镜像先合并——镜像文件里的手工编辑每次启动都赢。
71
+ // readHumanEdits 全类型一次读齐:mergeHumanEdits 成功会重渲全部镜像,逐类型读改
72
+ // 循环会拿没读到的类型覆盖掉未合并的编辑(index.js:324-327 注释同款坑)。
73
+ // 何时 apply 由 semantic 的分支时序契约决定(见 semantic.js 文件头),本文件只造闭包。
74
+ const humanEdits = new Map();
75
+ for (const type of Object.keys(TYPE_FILE)) humanEdits.set(type, mirror.readHumanEdits(type));
76
+ const applyHumanEdits = () => {
77
+ for (const [type, edits] of humanEdits) {
78
+ if (edits.length) service.mergeHumanEdits(type, edits);
79
+ }
80
+ };
81
+
82
+ // index.js:316-317:向量索引包住 store 的 embedding 列并跟踪活跃模型指纹。
83
+ const vectorIndex = createVectorIndex({ store, logger });
84
+ service.setVectorIndex(vectorIndex);
85
+
86
+ // ---- 语义管线(PR2):三路二选一 ------------------------------------------
87
+ let semantic = null;
88
+ if (embedder !== null) {
89
+ // 注入式覆盖(测试 / 宿主方自管 embedder):绕过装配,人改合并立刻做
90
+ //(对齐宿主 openai 分支的同步语义)。
91
+ service.setEmbedder(embedder);
92
+ if (reranker !== null) service.setReranker(reranker);
93
+ applyHumanEdits();
94
+ } else if (embed === "off") {
95
+ // 纯关键词 + BM25:对齐宿主 lightMode 分支——不建 embedder,人改合并立即。
96
+ applyHumanEdits();
97
+ } else {
98
+ let semanticReady = true;
99
+ if (embed === "local") {
100
+ // 自管 runtime 缺失时取件:只走 download 档(宿主 adopt 推导对独立进程无意义
101
+ // ——没有宿主 node_modules 可推)。失败不阻断 daemon:降级关键词 + 可操作提示。
102
+ semanticReady = await ensureRuntimePayload(logger);
103
+ }
104
+ if (semanticReady) {
105
+ semantic = createSemantic({
106
+ store, service, settings,
107
+ cfg: daemonSemanticCfg(embed),
108
+ logger, vectorIndex, applyHumanEdits, lightMode: false
109
+ });
110
+ } else {
111
+ applyHumanEdits();
112
+ }
113
+ }
114
+
115
+ // index.js:294-309:检索回执落 recall_runs(searchMemories 的 recordRecall 默认开,
116
+ // 第三方检索统计因此不缺数)。best-effort:回执写失败绝不影响检索本身。
117
+ service.setRecallRecorder((recall) => {
118
+ try {
119
+ store.saveRecallRun({
120
+ query: recall.query,
121
+ mode: recall.mode,
122
+ topK: recall.topK,
123
+ threshold: recall.threshold ?? null,
124
+ candidates: recall.candidates ?? [],
125
+ created_at: recall.createdAt
126
+ });
127
+ } catch { /* non-fatal: recall recording is bookkeeping */ }
128
+ });
129
+
130
+ // index.js:636:#275 无损回收。daemon 带上它,POST /maintenance/reclaim 才有后端
131
+ // (api-standalone 缺 maintenance 时该路由 503);同样不挂启动路径、不接定时器。
132
+ const maintenance = createMaintenance({ store, config: cfg, logger });
133
+
134
+ // index.js:643-649 同一工厂;差别只有 strictPort 默认开(daemon 语义,见上)。
135
+ // token 与宿主共用同一 kv 键 external_api:首次启动自动生成并持久化
136
+ // (api-standalone.js:203-212),DSH 面板 / CLI / daemon 三方零配置共享凭证。
137
+ const tokenExisted = Boolean(settings.getExternalApi?.()?.token);
138
+ // embedder 注入 /context 的查询嵌入(issue #370):三路取当前生效的同一句柄——
139
+ // 注入覆盖用注入值,semantic 路用它的产物,off/lightMode 为 null(路由侧降级
140
+ // 规则档)。与 service.setEmbedder 的是同一个实例,不存在第二真相源。
141
+ const api = createStandaloneApi({ service, store, config: cfg, logger, settings, port, host, maintenance, strictPort, embedder: embedder ?? semantic?.embedder ?? null });
142
+
143
+ return {
144
+ api,
145
+ store,
146
+ service,
147
+ settings,
148
+ maintenance,
149
+ semantic,
150
+ tokenExisted,
151
+ /**
152
+ * 收尾:先停收新请求、等在途请求跑完,再关库——直接同步关库会让在途的
153
+ * PUT/POST 撞上已关的 store(500 或丢写)。closeIdleConnections 排干
154
+ * keep-alive 空闲连接(node ≥18.2,旧版无此 API 则跳过),否则 server.close
155
+ * 的回调要等 keep-alive 超时才触发。node:sqlite 对未 finalize 语句可能抛,
156
+ * 吞掉——WAL 会在下次打开时回放,已提交事务不丢。
157
+ */
158
+ async dispose() {
159
+ await new Promise((resolve) => {
160
+ try {
161
+ api.server.close(() => resolve());
162
+ api.server.closeIdleConnections?.();
163
+ } catch { resolve(); }
164
+ });
165
+ try { semantic?.dispose(); } catch { /* 同上 */ }
166
+ try { store.close(); } catch { /* 同上 */ }
167
+ }
168
+ };
169
+ }
170
+
171
+ /**
172
+ * daemon 侧语义配置:默认值逐键锚定 src/config.js(309-420),daemon 不装 schemastery
173
+ * (宿主 peer 依赖),同值硬编码;config.js 改默认值时此处与 docs/DAEMON.md 同步。
174
+ * 只放开 embedProvider(CLI --embed);rerank 暂不提供 CLI(默认关,与宿主同默认)。
175
+ */
176
+ function daemonSemanticCfg(embed) {
177
+ return {
178
+ embedProvider: embed, // config.js:309(宿主默认 openai;daemon 默认 local——独立部署唯一自洽路径)
179
+ localEmbedModel: "Xenova/bge-small-zh-v1.5", // :312
180
+ localEmbedDimension: 512, // :313
181
+ localEmbedDevice: "cpu", // :314
182
+ localEmbedBatchSize: 8, // :315
183
+ localEmbedPooling: "auto", // :323(BGE 系 CLS 口径,改它=换向量空间)
184
+ ollamaBaseUrl: "http://localhost:11434", // :326
185
+ ollamaModel: "nomic-embed-text", // :331
186
+ embedModelCacheDir: "", // :336(空=local-embedder 内部解析 ~/.dsh/mneme/models)
187
+ embedModelMirror: "https://hf-mirror.com", // :337
188
+ resilientModelDownload: true, // :342
189
+ runtimeDir: process.env.DSH_MNEME_RUNTIME_DIR || "", // :348(空=defaultRuntimeDir;取件/加载同源)
190
+ rerankEnabled: false, // :419
191
+ rerankProvider: "none", // :420
192
+ autoReindexOnBoot: true // :367
193
+ };
194
+ }
195
+
196
+ /**
197
+ * 本地推理 runtime 取件(download 档)。返回 payload 是否可用:
198
+ * 已存在(含收编/早前下载)→ true 不重复取;缺失 → 取件成功 true / 失败 false(内部
199
+ * 已打降级日志)。并发安全由 provisionRuntime 的 IN_FLIGHT 锁保证(按归一化 runtimeDir 串行)。
200
+ */
201
+ async function ensureRuntimePayload(logger) {
202
+ const runtimeDir = process.env.DSH_MNEME_RUNTIME_DIR || "";
203
+ const dir = runtimeDir || defaultRuntimeDir();
204
+ if (listPayloadDirs(dir).length > 0) return true;
205
+ logger?.info?.("[dsh-mneme] 本地推理运行时缺失,开始取件(download 档,约 200MB;离线可用 DSH_MNEME_RUNTIME_TARBALL_DIR / DSH_MNEME_RUNTIME_MIRROR)…");
206
+ try {
207
+ const result = await provisionRuntime({ runtimeDir, localTarballDir: process.env.DSH_MNEME_RUNTIME_TARBALL_DIR || "", mirror: process.env.DSH_MNEME_RUNTIME_MIRROR || "" });
208
+ if (!result.ok) throw new Error(result.reason);
209
+ logger?.info?.(`[dsh-mneme] 运行时就绪(${result.strategy}):${result.packages} 包 / ${result.files} 文件`);
210
+ return true;
211
+ } catch (error) {
212
+ logger?.warn?.(`[dsh-mneme] runtime provisioning failed, search degrades to keyword: ${String(error)}`);
213
+ return false;
214
+ }
215
+ }
package/lib/service.js CHANGED
@@ -359,6 +359,22 @@ export function createService({ store, mirror, config, onWrite, logger, document
359
359
  }
360
360
  }
361
361
 
362
+ /**
363
+ * v0.8.0 A3(issue #17)strictScope 硬过滤的**唯一实现**。三处共用:融合池、
364
+ * `entity:` 与 `attr:` 两条前缀路。
365
+ *
366
+ * 抽成单一实现是为了让「过滤点写在哪」不再漂移——那两条前缀路在 searchMemories
367
+ * 的入口就 return(见那里的路由块),早于融合池那道过滤,曾经整条绕过硬墙;三处
368
+ * 各写一份判断,只会让下一个新增通路再漏一次(同 #349 把阈值口径收进
369
+ * activeStoreSize 的理由:两处各写一份过滤条件,漂移只在某条路径上显形)。
370
+ *
371
+ * strictScope 关(默认)或 scope 解析不到时原样返回:行为与改动前逐字节一致。
372
+ */
373
+ function gateByScope(rows, scope) {
374
+ if (config?.strictScope !== true || !scope) return rows;
375
+ return rows.filter((m) => isVisibleInScope(m, scope));
376
+ }
377
+
362
378
  /**
363
379
  * Search for memories attached to a named entity (v0.3.0 Phase 3).
364
380
  * 合并优先级:entity_attrs.memory_id 精确关联 = 1.0 > 关键词提及 = 0.7;
@@ -366,23 +382,34 @@ export function createService({ store, mirror, config, onWrite, logger, document
366
382
  * @param {string} entityName
367
383
  * @param {object} [options]
368
384
  * @param {number} [options.topK=20]
385
+ * @param {object|null} [options.scope] 当前会话 scope,供 strictScope 闸门使用
369
386
  * @returns {any[]}
370
387
  */
371
- function searchByEntity(entityName, { topK = 20 } = {}) {
388
+ function searchByEntity(entityName, { topK = 20, scope = null } = {}) {
372
389
  const entity = store.findEntityByName(entityName);
373
390
  if (!entity) return [];
374
391
  const attrs = store.getCurrentAttrs(entity.id);
375
392
  const memoryIds = [...new Set(attrs.map((a) => a.memory_id).filter(Boolean))];
376
393
  const attrHits = memoryIds.map((id) => store.getById(id)).filter(Boolean);
377
- const keywordHits = store.search(entityName, { limit: topK });
394
+ // 关键词这一路的窗口取两倍:闸门在截断之前生效,出局的候选会让位,窗口按最终条数
395
+ // 取就会不够(与融合路给向量检索取 lim * 2 同一个理由)。没有候选被闸掉时结果与
396
+ // 取 topK 逐字节一致——多出来的是排在后面的低分候选,进不了 topK。
397
+ const keywordHits = store.search(entityName, { limit: topK * 2 });
378
398
  const merged = new Map();
379
399
  for (const mem of attrHits) merged.set(mem.id, { ...mem, _source: "entity_attr", _score: 1.0 });
380
400
  for (const mem of keywordHits) {
381
401
  if (!merged.has(mem.id)) merged.set(mem.id, { ...mem, _source: "keyword", _score: 0.7 });
382
402
  }
383
- const hits = Array.from(merged.values()).sort((a, b) => b._score - a._score).slice(0, topK);
384
- touchRecalled(hits);
385
- return hits;
403
+ // 先过闸、再截 topK:反过来做的话,出局的候选会占掉名额、可见的补不进来——topK=1
404
+ // 而首位出局时直接返回空数组。排序本身不动,只是把闸门插在截断之前,与融合池那条
405
+ // 路同序(那边也是先 filter 后 slice)。
406
+ const ranked = Array.from(merged.values()).sort((a, b) => b._score - a._score);
407
+ const visible = gateByScope(ranked, scope).slice(0, topK);
408
+ // 闸门还必须在 touchRecalled **之前**:放在后面的话,一次越权检索照样会给出局的
409
+ // 行刷回温时钟,并在被动确认开启时 bump 它们的关联边——命中反馈落到了调用方
410
+ // 本不该看见的行上。
411
+ touchRecalled(visible);
412
+ return visible;
386
413
  }
387
414
 
388
415
  /**
@@ -392,17 +419,19 @@ export function createService({ store, mirror, config, onWrite, logger, document
392
419
  * @param {string | undefined} value
393
420
  * @param {object} [options]
394
421
  * @param {number} [options.topK=20]
422
+ * @param {object|null} [options.scope] 当前会话 scope,供 strictScope 闸门使用
395
423
  * @returns {any[]}
396
424
  */
397
- function searchByAttr(key, value, { topK = 20 } = {}) {
425
+ function searchByAttr(key, value, { topK = 20, scope = null } = {}) {
398
426
  if (!key) return [];
399
427
  // value 可能为 undefined(attr:key 无 = 值):归一为空串后交给
400
428
  // store.findMemoriesByAttr —— 空 value 契约 = 返回该 attr_key 的全部
401
429
  // 当前有效记忆(v0.3.0,store.js 已实现)。
402
430
  const rows = store.findMemoriesByAttr(key, value ?? "");
403
- const hits = rows.slice(0, topK);
404
- touchRecalled(hits);
405
- return hits;
431
+ // 同 searchByEntity:先过闸再截 topK,且闸门在 touchRecalled 之前。
432
+ const visible = gateByScope(rows, scope).slice(0, topK);
433
+ touchRecalled(visible);
434
+ return visible;
406
435
  }
407
436
 
408
437
  /**
@@ -896,9 +925,7 @@ export function createService({ store, mirror, config, onWrite, logger, document
896
925
  // (区别于 A2 的降权保留可见);未标注行与命中行保留。strict 与 A2 加权
897
926
  // 叠加:过滤后剩下的命中行仍吃加成。scope 未传(flag 关)或完全解析不到
898
927
  // 时跳过——identity 为空的对象({null,null})按 fail-closed 过滤。
899
- if (config.strictScope === true && scope) {
900
- merged = merged.filter((m) => isVisibleInScope(m, scope));
901
- }
928
+ merged = gateByScope(merged, scope);
902
929
  // v0.8.0 A2:occurred_at 时间过滤——在融合池上先滤再 dedup/slice,rerank
903
930
  // 只看窗内候选,topK 槽位不被窗外行占用。
904
931
  const occurredBounds = updatedAtBounds(occurredFrom, occurredTo);
@@ -1503,7 +1530,11 @@ export function createService({ store, mirror, config, onWrite, logger, document
1503
1530
  // 合序都不动)。heat 关闭时不建表、不算 heat,权重恒 1,排序与改动前一致。
1504
1531
  // selectiveInject 相似度重排(下方)开启且向量可用时相似度优先——heat 只
1505
1532
  // 生效于规则路排序与语义路回填序。
1506
- const heatMap = config?.heatEnabled === true
1533
+ // issue #218 / E5 效用考卷:heat 乘进注入排序在真实年龄混合下饿死老约束
1534
+ // (现行量级 ≡ 拟合参数,importance-only 遵从 +12.7pp),故注入侧 heat 拆出
1535
+ // 独立开关 injectHeatEnabled(默认关):不开时权重恒 1,排序与 heat 关闭
1536
+ // 逐字节一致;召回侧时钟(touchLastAccess)与 sleep 降级联判不受影响。
1537
+ const heatMap = config?.heatEnabled === true && config?.injectHeatEnabled === true
1507
1538
  ? new Map(filtered.map((m) => [m.id, computeHeat(m, Date.now(), config)]))
1508
1539
  : null;
1509
1540
  const heatOf = (m) => (heatMap ? heatMap.get(m.id) ?? 1 : 1);
@@ -1631,11 +1662,6 @@ export function createService({ store, mirror, config, onWrite, logger, document
1631
1662
  }
1632
1663
  } catch { /* topic re-rank unavailable: keep rule-based order */ }
1633
1664
  }
1634
- // v0.8.0 A3(issue #17):strictScope 硬过滤同样作用于自动注入——scoped 记忆
1635
- // 泄进无关注入上下文是最典型的越权通道,检索侧过滤挡不住这里。
1636
- if (config?.strictScope === true && scope) {
1637
- candidates = candidates.filter((m) => isVisibleInScope(m, scope));
1638
- }
1639
1665
  // #24 块3:图召回候选打标。entityRecall 只在 entityRecallEnabled 开启时
1640
1666
  // 有产出,这里为命中者贴 graphHint 标签——注入侧据此(a)graphInjectHint
1641
1667
  // 开=标成 [检索线索] 前缀的线索行(独立预算),(b)关=线索行只参与排序
@@ -1656,6 +1682,16 @@ export function createService({ store, mirror, config, onWrite, logger, document
1656
1682
  }
1657
1683
  } catch { /* graph hint is best-effort */ }
1658
1684
  }
1685
+ // v0.8.0 A3(issue #17):strictScope 硬过滤同样作用于自动注入——scoped 记忆
1686
+ // 泄进无关注入上下文是最典型的越权通道,检索侧过滤挡不住这里。
1687
+ // 位置纪律:必须在**图召回合并之后**、pin 池之前——entityRecall 不做 scope
1688
+ // 门控,过滤放在它前面时,出局行会被图召回重新打上 graphHint 带回候选池
1689
+ // (graphInjectHint 开时作为线索行进注入块;CodeRabbit on #371 的可达性分析,
1690
+ // /context 与宿主注入同受影响)。pin 池 eligible 取自本过滤之后的候选,
1691
+ // 顺带保证越权行进不了 pin。
1692
+ if (config?.strictScope === true && scope) {
1693
+ candidates = candidates.filter((m) => isVisibleInScope(m, scope));
1694
+ }
1659
1695
  // #249 第一批:B1 pin 池。取在相关性排序之后、轮换之前——取谁按此刻的候选
1660
1696
  // 次序(即相关性次序),取到后从候选中摘除,于是下面的轮换重排碰不到它们
1661
1697
  // (验收:pin 不参与跨轮轮换)。独立预算的两层意义:pin 既不占 maxItems
package/lib/settings.js CHANGED
@@ -83,6 +83,8 @@ const FEATURE_FLAG_BOOLEANS = [
83
83
  "autoDreamFailureBackoff",
84
84
  "sleepModeEnabled",
85
85
  "heatEnabled",
86
+ // issue #218 / E5:注入侧 heat 独立开关(默认关,老用户 injectHeatEnabled=true 回滚)。
87
+ "injectHeatEnabled",
86
88
  "hybridInject",
87
89
  "selectiveInjectEnabled",
88
90
  "searchSemanticDedup",
@@ -123,7 +125,11 @@ const FEATURE_FLAG_BOOLEANS = [
123
125
  // enforce 真拦;都默认关。同上,点号键平铺存、合并时展开回
124
126
  // writeAdmission 对象。
125
127
  "writeAdmission.enabled",
126
- "writeAdmission.enforce"
128
+ "writeAdmission.enforce",
129
+ // Issue #164 A2:写入边界的密钥 / PII 判据(src/sensitive-scan.js)。与上面两个
130
+ // 键分层——本键决定「这类判据参不参与」(默认关),命中之后是仅告警还是真拦仍由
131
+ // writeAdmission.enforce 决定(#164 口径:默认仅告警、拦截 opt-in)。
132
+ "sensitiveScanEnabled"
127
133
  ];
128
134
  // 整数开关的闭区间,与 config.js 里 z.natural().min().max() 对齐。
129
135
  const FEATURE_FLAG_INT_RANGES = {
package/package.json CHANGED
@@ -1,7 +1,7 @@
1
1
  {
2
2
  "name": "@modusensus/dsh-mneme",
3
3
  "description": "Cross-session memory plugin for DeepSeek Harness with autoDream consolidation: SQLite store, Markdown mirrors, 9 model tools, automatic injection, session summarization, user profile/rules, custom slash commands, vector (semantic) search, and a Web GUI panel",
4
- "version": "0.8.12",
4
+ "version": "0.8.14",
5
5
  "license": "MIT",
6
6
  "repository": {
7
7
  "type": "git",
@@ -16,12 +16,16 @@
16
16
  "icon": "assets/icon.svg",
17
17
  "bin": {
18
18
  "dsh-mneme": "bin/cli.mjs",
19
- "dsh-mneme-mcp": "bin/dsh-mneme-mcp.mjs"
19
+ "dsh-mneme-mcp": "bin/dsh-mneme-mcp.mjs",
20
+ "dsh-mneme-serve": "bin/dsh-mneme-serve.mjs"
20
21
  },
21
22
  "exports": {
22
23
  ".": {
23
24
  "default": "./lib/index.js"
24
25
  },
26
+ "./serve": {
27
+ "default": "./lib/serve.js"
28
+ },
25
29
  "./client": {
26
30
  "default": "./lib/client.js"
27
31
  },
@@ -0,0 +1,36 @@
1
+ // 发布准备里「在 CHANGELOG 顶部插版本占位节」这一步的单一实现。
2
+ //
3
+ // 为什么抽成模块而不是留在入口里:入口 scripts/release-prep.mjs 在仓库根、import 即
4
+ // 执行,测不了;而这一步恰恰踩过坑——原先的实现在 **CRLF 检出**上用 /^(# Changelog\n\n)/
5
+ // 匹配文件头,命中不了于是 replace 退化成 no-op,**脚本却照样打印 ✓**,git status 里
6
+ // 什么也看不见。发版时最怕的就是这种假成功(CI 跑在 ubuntu 上是 LF,所以只有本机会中招)。
7
+ // 抽出来之后:行尾两种都能吃,匹配不上则**如实回报**,由入口报错退出。
8
+ //
9
+ // 与 scripts/test-count-sync.mjs 同一个理由:规则收在共用模块里才测得到、也才不会两处各写一份。
10
+
11
+ /** 取出文本的行尾风格:插入的内容跟着它走,避免把 CRLF 文件混成一半 CRLF 一半 LF。 */
12
+ export function detectEol(text) {
13
+ return text.includes("\r\n") ? "\r\n" : "\n";
14
+ }
15
+
16
+ /**
17
+ * 在 `# Changelog` 标题之后插入 `## [version] - date` 占位节(幂等:已含该版本则不改)。
18
+ *
19
+ * 返回 `{ok:false, reason}` 而不是静默返回原文——调用方必须能区分「没什么可做」与
20
+ * 「该做但没做成」,后者要报错退出。`reason` 取值:`already-present` / `header-not-found`。
21
+ *
22
+ * @param {string} text CHANGELOG 全文
23
+ * @param {string} version 如 "0.8.13"
24
+ * @param {string} date 如 "2026-10-03"
25
+ * @returns {{ok: true, text: string} | {ok: false, reason: "already-present" | "header-not-found"}}
26
+ */
27
+ export function insertReleaseSection(text, version, date) {
28
+ if (text.includes(`## [${version}]`)) return { ok: false, reason: "already-present" };
29
+ const eol = detectEol(text);
30
+ const head = `## [${version}] - ${date}${eol}${eol}## 🐛 修复${eol}${eol}- (待填)${eol}${eol}`;
31
+ // BOM 可选:带 BOM 的检出上 `^#` 同样匹配不到,属于同一类「形状变了就静默失败」。
32
+ // 行尾 `\r?\n` 两种都吃——这就是本模块存在的首要理由。
33
+ const out = text.replace(/^(\uFEFF?# Changelog\r?\n\r?\n)/, `$1${head}`);
34
+ if (out === text) return { ok: false, reason: "header-not-found" };
35
+ return { ok: true, text: out };
36
+ }