@restregular/dsh-memory 0.4.0 → 0.4.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (2) hide show
  1. package/README.md +193 -34
  2. package/package.json +1 -1
package/README.md CHANGED
@@ -1,29 +1,95 @@
1
- # @restregular/dsh-memory
1
+ # dsh-memory
2
2
 
3
- DeepSeek Harness 的本地长期记忆插件 —— **单包单入口**:JSONL 存储 + 本地向量检索(BGE-M3)+ 四个模型工具 + 自动召回注入 + 设置页管理面板。
3
+ DeepSeek Harness 的本地长期记忆插件 —— **一个包、一条 Loader entry、四个半边**:JSONL 存储 + 本地向量检索(llama-server,OpenAI 兼容)+ 四个模型工具 + 自动召回注入 + 设置页管理面板。
4
4
 
5
- ## 安装
5
+ [![npm version](https://img.shields.io/npm/v/@restregular/dsh-memory.svg)](https://www.npmjs.com/package/@restregular/dsh-memory)
6
+ [![license](https://img.shields.io/npm/l/@restregular/dsh-memory.svg)](./LICENSE)
6
7
 
7
- 装进任意 DSH profile(桌面端 `~/.dsh/profiles/desktop`,Web 端 `~/.dsh/profiles/web`):
8
+ English: Local, durable memory for DeepSeek Harness — one npm package, one loader entry: a JSONL store, local vector recall through llama-server, four model-facing tools, automatic recall injection, and a management panel in the settings page.
9
+
10
+ ## 它给你什么
11
+
12
+ | 能力 | 说明 |
13
+ | --- | --- |
14
+ | **落盘存储** | 每条记忆一行 JSONL,按 scope 分文件(global / project),同 scope 内按内容去重;写入前过凭据扫描 |
15
+ | **双通道检索** | 词法(IDF + CJK bigram)**+** 向量(llama-server 的 `/v1/embeddings`)。向量缺席时自动降级为纯词法,**不报错、不阻塞** |
16
+ | **自动召回** | `agent/pre-step` 注入相关记忆(可关、有 token 预算、按 topK 截断) |
17
+ | **四个工具** | `memory_save` / `memory_search` / `memory_list` / `memory_forget` |
18
+ | **管理面板** | 设置页「记忆」:浏览 / 搜索 / 编辑 / 删除、向量服务启停、模型与硬件、维护(卸载 / 清空) |
19
+ | **向量后端一键装** | 面板里选模型 → 下 llama.cpp 运行时 + 模型 → 托管 `llama-server` 进程;内置 8 个模型 + 硬件推荐 + 自定义 GGUF |
20
+
21
+ ## 安装 / Install
8
22
 
9
23
  ```bash
10
24
  pnpm add @restregular/dsh-memory
25
+ # 或 npm i @restregular/dsh-memory
26
+ ```
27
+
28
+ 装进任意 DSH profile(桌面端 `~/.dsh/profiles/desktop`,Web 端 `~/.dsh/profiles/web`)。包自带 `cordis.patch.yml`,装好后自动注册**唯一一条** entry:
29
+
30
+ ```yaml
31
+ - insert:
32
+ - id: dsh-memory
33
+ name: '@restregular/dsh-memory'
11
34
  ```
12
35
 
13
- 本包只有**一条 Loader entry**,装好后自动生效(bundle patch 随包分发),面板与记忆工具同属这一条:
36
+ **不写任何配置就能用**:检索退化为词法,一个网络请求都不发。
14
37
 
15
- | 部分 | 作用 |
38
+ ### 为什么是一个包
39
+
40
+ 宿主的 `dsh-client-modules` 只在「某条**活的** Loader entry 能解析到包名」时才为该包提供 client bundle,并且 `reconcilePackage` 要求**一个包名只有一个解析源**(否则抛 `resolves from multiple active Loader sources` → 客户端图组合失败 → 桌面端 fail-loud 起不来)。所以「一个包 + 一个面板」的稳定形态只有一个:**一个包名、一条 entry、两侧都在**(与 `dshmarket` 同形)。
41
+
42
+ 早期把 provider / 工具 / 注入 / 面板拆成两个包、四条 entry;现在合并为一条 entry,由 `lib/index.js` 组合四个半边,每个半边各自 try/catch —— **任何一半失败都只记一行日志,绝不让 DSH 启动失败**。
43
+
44
+ | 半边 | 作用 |
16
45
  | --- | --- |
17
- | provider | 提供 `memory` 服务:JSONL 存储、双通道检索、向量回填、向量后端生命周期 |
18
- | tools | 注册 `memory_save` / `memory_search` / `memory_list` / `memory_forget` |
19
- | inject | 在 `agent/pre-step` 注入召回块(可在配置里关) |
20
- | panel | 设置页「记忆」区块 + `/memory/api` 管理接口 |
46
+ | `lib/provider` | 提供 `memory` 服务:JSONL 存储、双通道检索、向量回填、向量后端生命周期与一键安装 |
47
+ | `lib/tools` | 注册 `memory_save` / `memory_search` / `memory_list` / `memory_forget` |
48
+ | `lib/inject` | 在 `agent/pre-step` 注入召回块(可关) |
49
+ | `lib/panel` | `/memory/api` 管理接口(含同源 / 登录围栏) |
50
+ | `lib/client.js` | 设置页「记忆」区块(注册 id == 包名) |
51
+
52
+ ## 快速开始
53
+
54
+ **1. 存一条记忆**(模型自己会调,你也可以在对话里要求):
55
+
56
+ ```jsonc
57
+ memory_save({
58
+ "content": "本仓库用 pnpm 11 安装依赖,PATH 上的 pnpm 10 会踩 ERR_PNPM_UNEXPECTED_STORE", // 必填,自洽的一句话
59
+ "scope": "project", // global(所有项目) / project(当前工作区)
60
+ "kind": "fact", // fact / decision / preference / procedure / note
61
+ "tags": ["pnpm", "toolchain"],
62
+ "importance": 0.8 // 0~1
63
+ })
64
+ ```
21
65
 
22
- > 为什么合并成一个包:宿主的 `dsh-client-modules` 只在「某条活 Loader entry 能解析到包名」时为该包提供 client bundle,而且要求**一个包名只有一个解析源**。把 provider/工具/注入/面板拆成多条 entry,会让同一个包名被多个来源命中 → 客户端图组合失败(桌面端 fail-loud)。一个包一条 entry 是它唯一稳定的形态。
66
+ **2. 检索**:`memory_search({ query: "pnpm 装依赖", scope: "project", topK: 5 })`
67
+ **3. 列出 / 忘记**:`memory_list({ scope: "global", limit: 20 })`、`memory_forget({ id })` 或 `memory_forget({ query, scope })`。
23
68
 
24
- ## 配置
69
+ **4. 打开面板**:设置页 →「记忆」。面板里能做的事:
25
70
 
26
- 给 `dsh-memory` 传配置即可(默认值通常够用)。provider 的配置在顶层,工具/注入/面板各占一个小节:
71
+ - 顶部统计(记忆数 / 作用域数 / 待嵌入向量数)与记录列表(搜索、按作用域筛选、展开编辑、删除)
72
+ - 「向量服务」:状态、地址、启停开关、**模型与硬件**(见下)、维护(卸载向量服务 / 清空记忆数据,两步确认)
73
+
74
+ 面板后端在 `/memory/api`,全部路由:`GET /status`、`GET /records`、`POST /update`、`POST /delete`、`GET /embed/status`、`POST /embed/start|stop`、`GET /embed/model`、`POST /embed/model/refresh|install|install/cancel|uninstall`、`POST /data/wipe`。
75
+
76
+ ## 数据与文件布局
77
+
78
+ | 路径 | 内容 |
79
+ | --- | --- |
80
+ | `<storeDir>/<scope>.jsonl` | 记忆本体,一行一条。<br>`storeDir` 默认 `.dsh-memory`(相对启动目录),**建议显式配一个绝对路径** |
81
+ | `<storeDir>/<scope>.vec` | 向量边车。首行是身份头 `#<model>\t<dims>`,后面每行 `id\t<base64 向量>` |
82
+ | `<installRoot>/llamacpp/` | llama-server 运行时(exe + 依赖 dll + `llama-server.log`) |
83
+ | `<installRoot>/models/` | 下载的 GGUF 模型 |
84
+ | `<installRoot>/selected-model.json` | 面板里选过哪一档(比配置优先级低) |
85
+
86
+ `installRoot` 默认 `~/.dsh/memory-vector`;显式配了 `storeDir` 时取**它的父目录**(所以手写的 `<root>/llamacpp` + `<root>/models` 布局会被直接认出来)。
87
+
88
+ > **换模型 = 向量作废重建**。`.vec` 的身份头记录 `model` 与 `dims`,对不上就整份丢弃并重新嵌入;重建期间检索暂时只用词法。面板会在换之前告诉你涉及多少条记忆。
89
+
90
+ ## 配置 / Configuration
91
+
92
+ provider 的配置在顶层,工具 / 注入 / 面板各占一个小节(合并前它们各是独立 entry 的 `config`):
27
93
 
28
94
  ```yaml
29
95
  - id: dsh-memory
@@ -39,44 +105,137 @@ pnpm add @restregular/dsh-memory
39
105
  endpoint: 'http://127.0.0.1:8078/v1/embeddings'
40
106
  model: bge-m3
41
107
  dims: 1024
42
- timeoutMs: 300 # 交互检索预算(要紧)
108
+ timeoutMs: 300 # 交互检索(短查询)预算,要紧
43
109
  writeTimeoutMs: 10000 # 保存时嵌整条记录
44
110
  backfillTimeoutMs: 30000 # 批量回填
111
+ backfillMaxChars: 8000
112
+ spawn: # 让插件托管 llama-server 进程(opt-in)
113
+ enabled: true
114
+ exe: '/path/to/llama-server.exe'
115
+ model: '/path/to/bge-m3-Q4_K_M.gguf'
116
+ cwd: '/path/to/llamacpp' # 该目录须含 llama-server-impl.dll
117
+ logFile: '/path/to/llama-server.log'
45
118
  llm: { enabled: false } # LLM 重排(可选)
46
119
  limits: { maxRecordsPerScope: 2000, maxRecordChars: 4000 }
47
120
  secrets: { enabled: true, mode: refuse }
48
- tools: { defaultScope: project } # 或 global;projectScope 默认 project:<cwd>
121
+ tools: { defaultScope: project } # 或 global;projectScope 默认 project:<cwd>
49
122
  inject: { enabled: true, tokenBudget: 500, topK: 5 }
50
123
  panel: { route: '/memory/api' }
51
124
  ```
52
125
 
53
- > 原来靠「多条 entry 各自一个 config 块」表达的独立开关,现在是小节里的字段:不想要自动召回就 `inject.enabled: false`,不需要模型工具就 `tools.enabled: false`。
126
+ 向量检索是**按配置启用**的:写了 `endpoint`、配了 `spawn`、或面板里装了本地后端才会碰网络,否则一个请求都不发,检索自动降级为纯词法(IDF + CJK bigram)。不需要自动召回就 `inject.enabled: false`。
127
+
128
+ `spawn.enabled: true` 时:应用启动后台拉起向量服务、退出时自动关闭;带 PID 文件的遗留实例会被接管,没有 PID 文件的外部实例不接管。
129
+
130
+ ### 模型与硬件
131
+
132
+ 面板「记忆 → 向量服务」里有两行状态气泡 + 一块折叠区:
133
+
134
+ ```
135
+ 本机配置:[12 核][14GB 内存][显卡 …][磁盘剩余 9GB] [重新检测硬件]
136
+ 当前模型:[Qwen3-Embedding-0.6B][Q8_0][1024 维][last][cpu] [下载并安装]
137
+ ▸ 模型与硬件
138
+ ```
139
+
140
+ - **本机配置 / 当前模型**两行是**标签气泡**,超宽横向滚动(不换行、不显示滚动条);本机配置在**面板一出现**就取一次(服务端对硬件探测有 10 分钟缓存,通常只是读缓存)。
141
+ - **内置清单 8 个模型**,下载源与体积都实测过:BGE-M3(Q4_K_M / Q8_0)、Qwen3-Embedding 0.6B / 4B / 8B、Nomic Embed v1.5、BGE 中文 small / base / large。每个模型自带 `dims` 与 `pooling`,**选它就自动配对** —— 维度写错会让检索静默退化成词法,这是最容易踩的坑。
142
+ - **按本机推荐**:探测 CPU 核数 / 内存 / 磁盘剩余 / 显卡与显存,推荐那一档在列表里带「推荐」气泡并默认选中。规则:质量优先;能整块放进显存就用 GPU;CPU 上重罚 4B/8B;中文环境优先中文 / 多语言;显存 < 4GB 的核显不算可用显卡(实测:共享显存的核显并不比多核 CPU 快)。
143
+ - **运行时风味** `cpu` / `vulkan` / `cuda` / `metal` / `auto`:Vulkan 自包含(驱动自带即可);**CUDA 会把 cudart 伴随包一起下**(llama.cpp 把 cuBLAS 拆在另一个资产里,不配对就起不来);所选风味找不到时退回 CPU 并在面板里说明。
144
+ - **自定义 GGUF**:填 URL + 维度即可装清单之外的模型(`pooling` 默认交给 GGUF 元数据决定);需要前缀的模型(Nomic 的 `search_query:` / `search_document:`)会自动带上。
145
+ - **一次只保留一份**:已经装了运行时与某个模型时**不能再装第二个** —— 按钮变成「需先卸载」并置灰,换模型要先去「维护」里卸载向量服务(否则 `<root>` 下会堆好几份模型,而配置只能指向一份,"现在跑的是哪个"就说不清了)。按钮四态:下载并安装 / 下载中… / 已安装 / 需先卸载。
146
+ - **选择会被记住**:写在 `<installRoot>/selected-model.json`,重启后仍生效;配置里写了 `preset` / `customModel` 时**配置优先**。
147
+
148
+ ```yaml
149
+ retrieval:
150
+ vector:
151
+ preset: 'qwen3-embedding-0.6b' # 清单 id(配合 variant 选量化档)
152
+ variant: 'q8_0'
153
+ flavor: 'auto' # auto = 按探测到的硬件选;也可写死 cpu/vulkan/cuda/metal
154
+ # customModel: { url: 'https://…/model.gguf', dims: 1024, pooling: 'auto' }
155
+ # 覆盖项:dims / pooling / gpuLayers
156
+ ```
157
+
158
+ ## 安全 / Security
159
+
160
+ - `/memory/api` 的**每条**路由都先过 `refuseRequest`:宿主 `connection.requestRejection`(Host/Origin 围栏 + 浏览器登录)可用时以它为准,围栏自己抛错一律 403(失败关闭);旧宿主没有该服务时退化为「只认 loopback 权威 + 同源」。原因:注册在裸 `webServer` 上的路由**不在**宿主 `/api` 围栏与浏览器登录之后,而这里的接口能读、改、删、清空全部记忆。
161
+ - 记忆内容写入前过凭据扫描(`secrets.mode: refuse | redact`),默认拒绝。
162
+ - 清空记忆是两步确认 + 接口要求显式 `confirm: "delete"`。
163
+
164
+ ## 卸载 / Uninstall
165
+
166
+ ```bash
167
+ pnpm remove @restregular/dsh-memory # 再从 profile 的 patch 里删掉那条 entry
168
+ ```
169
+
170
+ **卸载插件不会移除已配置的向量服务与记忆文件** —— 它们不在 node_modules 里,而是在 `<storeDir>` 与 `<installRoot>`。要清掉,先打开面板「记忆 → 维护」:
171
+
172
+ - **卸载向量服务**:删掉运行时与模型(两步确认,显示将释放多少空间);记忆数据保留。
173
+ - **清空记忆数据**:删掉全部 JSONL 与向量边车(两步确认,不可恢复)。
174
+
175
+ 插件被卸掉后面板就打不开了,所以这件事只能在卸载**之前**做。想手动清理,直接删上面那两个目录即可。
176
+
177
+ ## 构建与测试 / Build & test
178
+
179
+ ```bash
180
+ npm test # node --experimental-strip-types --test source/*/test/*.test.ts
181
+ npm run build # source/ → packages/dsh-memory(顺带跑产物契约检查)
182
+ npm run verify # 构建到 .verify/,不落 packages/(CI 或改动后自检)
183
+ ```
184
+
185
+ 构建用 Node 内置的类型剥离(`stripTypeScriptTypes`,无额外工具链),相对 `.ts` 说明符改写为 `.js`,跨半边相对 import 重映射,每个产出文件 `node --check`。
186
+
187
+ 产物契约检查(错了会**静默失败**的几处,所以做成会失败的检查):
188
+
189
+ 1. patch **恰好一行** insert,且 `name` 就是包名;
190
+ 2. `package.json` 同时声明 `dsh.bundle.patch` 与 `dsh.client.platform: web`,并导出 `./client`;
191
+ 3. `lib/client.js` 的 `__ModuleLoader__.load({ id })` 等于包名;
192
+ 4. 入口里四条半边的相对 import 都在(改写没生效时,只有装到用户机器上才会 `Cannot find module`)。
193
+
194
+ 可选的真实加载验证(证明产物在没有 TS 支持的普通 node 里能跑):
195
+
196
+ ```bash
197
+ node tools/build-single-package.mjs --scope @restregular --version 0.4.0 \
198
+ --host-modules <一个 @deepseek-ai 目录> # 或设 DSH_HOST_MODULES
199
+ ```
200
+
201
+ ## 仓库结构 / Layout
202
+
203
+ ```
204
+ source/memory-plugin/ 单入口:组合四个半边(唯一一条 entry 的实现)
205
+ source/memory-local/ provider:存储 / 检索 / 向量后端 / 一键安装 / 模型清单与硬件推荐
206
+ source/tool-memory/ 四个模型工具
207
+ source/memory-inject/ 召回注入
208
+ source/memory-panel/ 面板:lib/index.js(服务端)+ lib/client.js(客户端 bundle)
209
+ packages/dsh-memory/ 构建产物 → 发布为 @restregular/dsh-memory(与 npm 上的包逐字节一致)
210
+ tools/build-single-package.mjs 构建(产物契约检查 + 可选加载验证)
211
+ ```
212
+
213
+ ## 测试 / Tests
54
214
 
55
- ### 向量检索(可选,默认不启用)
215
+ `npm test` 覆盖存储 / 检索打分 / 边车身份 / 回填重试 / 安装器(含真实发行包解压)/ 卸载边界 / 模型清单与推荐规则 / 硬件解析 / 面板渲染冒烟 / 围栏判定 / 产物契约。测试用宿主的 DSH 包作为解析依赖(`@deepseek-ai/cordis`、`@deepseek-ai/dsh-tools`、`@deepseek-ai/dsh-llm`),它们不随本仓库分发。
56
216
 
57
- **不配任何东西也能用**:检索自动降级为纯词法匹配(IDF + CJK bigram)。向量检索是**按配置启用**的——写了 `endpoint`、配了 `spawn`、或面板里装了本地后端,才会去碰网络。
217
+ ## 常见问题
58
218
 
59
- 三条启用路径,任选一条:
219
+ **向量服务起不来**
220
+ 看 `<installRoot>/llamacpp/llama-server.log`。三个常见原因:端口被占(换 `spawn` 的端口或停掉占用者)、`cwd` 里缺 `llama-server-impl.dll`(llama.cpp 的 Windows 包需要同目录的依赖)、模型与运行时风味不匹配(比如 GPU 风味但没驱动)。
60
221
 
61
- 1. **面板一键装**:设置页「记忆」→「向量服务」→ **下载并配置**(llama.cpp CPU 运行时 + bge-m3 量化模型,约 440MB,装在 `retrieval.vector.autoInstall.dir`,默认 `~/.dsh/memory-vector`)。
62
- 2. **云端 / 自建 OpenAI 兼容服务**:写 `endpoint` + `model` + `dims` 即可(只调用,不启停)。
63
- 3. **自己管进程**:配 `retrieval.vector.spawn`(exe / model / cwd / logFile),由插件托管启动与关闭。
222
+ **检索结果很差 / 全是词法命中**
223
+ 先看面板「当前模型」那行的**维度**是否与模型一致,再看 `.vec` 身份头。维度或 pooling 写错不会报错,只会让向量通道悄悄失效。另外 `minScore` 默认 0.5 是按 BGE 的 CLS 噪声底定的,**换模型后可能需要微调**(太少就调低,太杂就调高)。
64
224
 
65
- ## 安全
225
+ **下载中断 / 装到一半**
226
+ 安装器先写 `.part` 再 rename,所以磁盘上不会留半成品;面板会显示「重试下载」。
66
227
 
67
- - `/memory/api` 的**每个**路由都先过一道围栏(`refuseRequest`):宿主 `connection.requestRejection`(Host/Origin 检查 + 浏览器登录)可用时以它为准,围栏抛错一律 403(失败关闭);旧宿主没有该服务时退化为"只认 loopback 权威 + 同源"。原因:注册在裸 webServer 上的路由不在宿主 `/api` 围栏与浏览器登录之后,而这里的接口能读、改、删、清空全部记忆。
68
- - 记忆内容在写入前过凭据扫描(`secrets.mode: refuse | redact`),默认拒绝写入疑似密钥。
69
- - 清空记忆需要两步确认,且接口要求显式 `confirm: "delete"`。
228
+ **想换模型**
229
+ 0.4.0 起必须先「维护 → 卸载向量服务」再装(理由见「模型与硬件」)。换完现有记忆会重新嵌入。
70
230
 
71
- ## 维护与卸载
231
+ **面板里看不到「记忆」**
232
+ 包名与 Loader entry 必须一一对应(见「为什么是一个包」)。检查 profile 的 patch 里是否只有一条 `@restregular/dsh-memory`,以及 profile 是否真的装上了这个依赖(`ls node_modules/@restregular/dsh-memory`)。
72
233
 
73
- 面板「维护」区(两步确认):**卸载向量服务**(删运行时 + 模型 + 日志,绝不碰记忆数据)、**清空记忆数据**(走 store,JSONL 与 `.vec` 边车保持一致)。
234
+ ## 版本
74
235
 
75
- DSH 卸载插件只是 `pnpm remove` + 去掉 bundles 条目,不会自动删除向量服务文件或记忆数据 —— 要清就在卸载前到面板处理。
236
+ - **0.4.0** —— 单包合并里程碑:面板并入主包(一条 entry)、模型清单与硬件推荐、自定义 GGUF、运行时风味、"一次只保留一份"。
237
+ - **0.3.x 及更早** —— 拆分结构(provider / tools / inject / panel 各自独立 entry)。从 0.3.x 升级请按上面的单行 entry 重新挂载,并把旧的多条 entry 删掉。
76
238
 
77
- ## 说明
239
+ ## License
78
240
 
79
- - 存储:每作用域一个 JSONL + `.vec` 向量边车(含模型/维度身份头,不匹配自动重建)。
80
- - 作用域:`global` 与 `project:<cwd>`。
81
- - 任何异常都被吞掉并记日志,绝不让 DSH 启动失败。
82
- - License: MIT
241
+ MIT
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "@restregular/dsh-memory",
3
- "version": "0.4.0",
3
+ "version": "0.4.1",
4
4
  "description": "DeepSeek Harness 本地长期记忆(单包单入口):JSONL 存储 + 本地向量检索(BGE-M3)+ 四个模型工具 + 自动召回注入 + 管理面板。",
5
5
  "icon": "./icon.svg",
6
6
  "type": "module",