dsh-layered-memory 0.7.1 → 0.8.0

package/dist/util/tokenizer.js

@@ -0,0 +1,53 @@
+/**
+ * 分词器装配：jieba 词级分词（@node-rs/jieba，Rust napi 预编译二进制）优先，
+ * 加载失败（平台无预编译二进制等）永久回退 CJK 二元组。
+ *
+ * - 惰性单例：首次调用即定死本进程的分词模式，不会运行中漂移——
+ *   FTS 读写两侧共用同一实例（util/text.ts 的 tokenize），索引/查询天然对齐；
+ * - require 走 createRequire（与 sqlite-vec 同款）：失败只降级不抛出，
+ *   由 MemoryDb.init() 在启动时主动 ensure 并记录模式日志。
+ */
+import { createRequire } from 'node:module';
+const require = createRequire(import.meta.url);
+let mode;
+let cutFn;
+/** 惰性初始化（永不抛出）。词典约 5MB，首次加载 ~100ms。 */
+function ensure() {
+    if (mode !== undefined)
+        return mode;
+    try {
+        const { Jieba } = require('@node-rs/jieba');
+        const { dict } = require('@node-rs/jieba/dict');
+        const jieba = Jieba.withDict(dict);
+        cutFn = (text) => jieba.cut(text, true);
+        mode = 'jieba';
+    }
+    catch {
+        cutFn = undefined;
+        mode = 'bigram';
+    }
+    return mode;
+}
+/** 启动期主动初始化并返回模式（MemoryDb.init 记日志用）。 */
+export function ensureTokenizer() {
+    return ensure();
+}
+/**
+ * FTS 分词器版本戳（存 embedding_meta 表，键 fts_tokenizer）。
+ * 戳 ≠ 当前生效分词器 → FTS 表 drop 后从源表全量回灌（与 family 列迁移同款语义）。
+ * 回退模式下戳为 bigram-v1：若历史索引是 jieba 分词建的，同样触发重建，
+ * 保证戳永远如实反映"构建当前 FTS 内容的分词器"。
+ */
+export function tokenizerStamp() {
+    return ensure() === 'jieba' ? 'jieba-v1' : 'bigram-v1';
+}
+/** 模式描述（日志用）。 */
+export function describeTokenizer() {
+    return ensure() === 'jieba'
+        ? 'jieba 词级分词（@node-rs/jieba）+ CJK 二元组并集'
+        : 'jieba 加载失败，回退 CJK 二元组分词（子词召回降级）';
+}
+/** jieba 切词（回退模式下返回 undefined，调用方走二元组路径）。 */
+export function jiebaCut(text) {
+    return ensure() === 'jieba' ? cutFn(text) : undefined;
+}

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-layered-memory",
-  "version": "0.7.1",
+  "version": "0.8.0",
   "description": "L0~L3 分层蒸馏记忆插件 for DeepSeek Harness：自动捕获对话（L0）、抽取原子记忆（L1）、整合场景块（L2）、蒸馏核心画像/团队方法论（L3），并在模型步骤前自动召回注入。移植自 MemoryCore (TencentDB Agent Memory) 的管线设计。",
   "type": "module",
   "main": "dist/index.js",
@@ -51,6 +51,7 @@
   "license": "MIT",
   "dependencies": {
     "@deepseek-ai/schemastery": "3.18.1",
+    "@node-rs/jieba": "^2.0.2",
     "sqlite-vec": "^0.1.7-alpha.2"
   },
   "peerDependencies": {