lume-dsh-plugin 0.4.1

package/lib/core/retrieval.js

@@ -0,0 +1,100 @@
+/**
+ * Token 优化算法（纯函数层）：
+ * ① 少样本衰减 —— 会话前几轮给足示例，之后靠历史自我维持；
+ * ② 相关性检索 —— 本地分词 + 重叠打分（BM25 式的零成本近似），
+ *    记忆/风格规则只注入与当前消息相关的 top-k，核心条目恒注入。
+ */
+/** 分词：拉丁/数字词 + CJK 二元组（够 BM25 式打分用，零依赖）。 */
+export function tokenize(text) {
+    const tokens = [];
+    const lowered = text.toLowerCase();
+    for (const match of lowered.matchAll(/[a-z0-9]+/g)) {
+        tokens.push(match[0]);
+    }
+    const cjk = lowered.match(/[\u4e00-\u9fff\u3400-\u4dbf]+/g) ?? [];
+    for (const run of cjk) {
+        if (run.length === 1) {
+            tokens.push(run);
+            continue;
+        }
+        for (let i = 0; i < run.length - 1; i++) {
+            tokens.push(run.slice(i, i + 2));
+        }
+    }
+    return tokens;
+}
+/** Jaccard 相似度（用于去重门与相似判断）。 */
+export function jaccard(a, b) {
+    const setA = new Set(tokenize(a));
+    const setB = new Set(tokenize(b));
+    if (setA.size === 0 || setB.size === 0)
+        return 0;
+    let intersection = 0;
+    for (const token of setA) {
+        if (setB.has(token))
+            intersection++;
+    }
+    return intersection / (setA.size + setB.size - intersection);
+}
+/**
+ * 相关分：查询词与文档词的交集占比（查询归一）。
+ * 0 = 无关；越高越相关。查询为空时恒 0。
+ */
+export function relevanceScore(query, doc) {
+    const queryTokens = new Set(tokenize(query));
+    if (queryTokens.size === 0)
+        return 0;
+    const docTokens = new Set(tokenize(doc));
+    let hits = 0;
+    for (const token of queryTokens) {
+        if (docTokens.has(token))
+            hits++;
+    }
+    return hits / (queryTokens.size + 1);
+}
+/**
+ * 检索注入：按与查询的相关分取 top-k；无关（score = 0）条目被过滤。
+ * 打分带迷你 IDF：查询词若出现在全部候选里（如「用户」），视为停用词不计分——
+ * 否则人人含「用户」的记忆会全部误命中。查询为空（会话首条前）返回前 k 条。
+ */
+export function topKByRelevance(items, textOf, query, k) {
+    if (k <= 0 || items.length === 0)
+        return [];
+    if (!query)
+        return items.slice(0, k);
+    const queryTokens = [...new Set(tokenize(query))];
+    if (queryTokens.length === 0)
+        return items.slice(0, k);
+    const docTokens = items.map((item) => new Set(tokenize(textOf(item))));
+    const total = items.length;
+    const effective = [];
+    for (const token of queryTokens) {
+        const df = docTokens.filter((tokens) => tokens.has(token)).length;
+        if (df < total)
+            effective.push(token); // 全集合出现的词是停用词
+    }
+    if (effective.length === 0)
+        return items.slice(0, k);
+    const scored = [];
+    for (let i = 0; i < items.length; i++) {
+        let hits = 0;
+        for (const token of effective) {
+            if (docTokens[i].has(token))
+                hits++;
+        }
+        const score = hits / (effective.length + 1);
+        if (score > 0)
+            scored.push({ item: items[i], score });
+    }
+    scored.sort((a, b) => b.score - a.score);
+    return scored.slice(0, k).map((s) => s.item);
+}
+/**
+ * 少样本衰减：`max(min, base - turnIndex)`。
+ * 会话前几轮示例给足建立语气，之后模型历史里全是自己的发言，
+ * 语气自我维持，示例可以退到保底值。
+ */
+export function decaySampleCount(base, turnIndex, min = 2) {
+    const floored = Math.max(min, base - Math.max(0, turnIndex));
+    return Math.min(floored, base);
+}

package/lib/core/sampling.js

@@ -0,0 +1,46 @@
+/**
+ * 确定性采样原语：让「同一会话 + 同一人设」永远得到同一组语料示例。
+ *
+ * 取代 v0.1.0 的 Math.random() 采样——那次采样让每次 prompt 构建
+ * 的示例都不同，会话内人设风格不稳定。这里改为以
+ * fnv1a32(`${sessionId}:${personaName}`) 为种子的确定性洗牌：
+ * 零缓存状态、跨重启稳定、纯函数可测。
+ */
+/** FNV-1a 32 位字符串哈希。 */
+export function fnv1a32(input) {
+    let hash = 0x811c9dc5;
+    for (let i = 0; i < input.length; i++) {
+        hash ^= input.charCodeAt(i);
+        hash = Math.imul(hash, 0x01000193);
+    }
+    return hash >>> 0;
+}
+/** mulberry32 PRNG：极小、确定性、足够洗牌用。 */
+export function mulberry32(seed) {
+    let a = seed >>> 0;
+    return () => {
+        a = (a + 0x6d2b79f5) | 0;
+        let t = Math.imul(a ^ (a >>> 15), 1 | a);
+        t = (t + Math.imul(t ^ (t >>> 7), 61 | t)) ^ t;
+        return ((t ^ (t >>> 14)) >>> 0) / 4294967296;
+    };
+}
+/** 确定性 Fisher-Yates 抽样：相同 (entries, n, seed) 永远得到相同子集与顺序。 */
+export function sampleBySeed(entries, n, seed) {
+    if (n >= entries.length)
+        return [...entries];
+    const count = Math.max(0, n);
+    if (count === 0)
+        return [];
+    const rand = mulberry32(seed);
+    const pool = [...entries];
+    for (let i = pool.length - 1; i > 0; i--) {
+        const j = Math.floor(rand() * (i + 1));
+        [pool[i], pool[j]] = [pool[j], pool[i]];
+    }
+    return pool.slice(0, count);
+}
+/** 会话级稳定采样：种子键为 `${sessionId}:${personaName}`。 */
+export function sampleForSession(entries, n, sessionId, personaName) {
+    return sampleBySeed(entries, n, fnv1a32(`${sessionId}:${personaName}`));
+}

package/lib/core/text.js

@@ -0,0 +1,17 @@
+/**
+ * 消息文本提取（纯函数）：从 Cordis 消息对象中提取纯文本。
+ *
+ * user/message 的 data 即消息内容；assistant/message 的 data.message 即消息内容。
+ */
+export function messageText(message) {
+    const content = message?.content;
+    if (!Array.isArray(content))
+        return "";
+    const parts = [];
+    for (const block of content) {
+        const text = block?.text;
+        if (typeof text === "string")
+            parts.push(text);
+    }
+    return parts.join(" ").trim();
+}

package/lib/host/boundary.js

@@ -0,0 +1,32 @@
+function labelOf(registry, personaName) {
+    if (!personaName)
+        return "默认风格";
+    const persona = registry.resolve(personaName);
+    return registry.profileNameOf(personaName) ?? persona?.displayName ?? personaName;
+}
+/**
+ * 组装切换播报文本。
+ *
+ * 结构：
+ * - divider：接班分隔行，用户可见的硬性切换标记
+ * - takeover：接手招呼（仅 greeting 时）
+ * - correction：升级纠偏（leakEscalated 时）
+ * - identity / coherence：身份与连贯性规则
+ */
+export function composeBoundary(input) {
+    const { registry, previous, current, greeting, escalated } = input;
+    // 接班分隔行：对话流里的硬性切换标记，用户可见，同时是新人设的就位仪式。
+    // 放在播报第一句、用强制措辞——实测放在长句尾部会被模型忽略。
+    const divider = current
+        ? `第一件事：本条回复的第一行，一字不改地单独输出这一行：\n── 「${labelOf(registry, current)}」接手 ──\n这一行是给用户的切换提示，不算出戏；从第二行起再进入正文。`
+        : "";
+    const takeover = greeting
+        ? `${divider}正文第一句用简短的接手招呼，让用户明确听到换人了。`
+        : divider;
+    const correction = escalated
+        ? "特别纠偏：上一条回复仍在沿用旧人设的语气，这是偏差。本条回复必须完全按当前人设的契约说话——称呼、自称、口头禅、句式全部切换，不残留任何旧痕迹。"
+        : "";
+    const identity = "从本条回复起，你就是当前人设本人：任何场景下（包括被问「你是谁」）都按当前人设的身份自我介绍，此前关于「AI 助手」的自我认知一律让位。";
+    const coherence = "语气与风格的连贯性以「人设任期为界」：当前人设的任期内保持连贯；前任任期内的旧语气不构成任何连贯性义务，对话历史中旧人设的表达一律视为前任的，而不是你的。";
+    return `【人设切换】此前对话由「${labelOf(registry, previous)}」负责，现在由「${labelOf(registry, current)}」接手。${coherence}此前对话中助手的语气属于旧人设，一律不再延续、不要模仿；从本条回复起，严格按当前人设的风格契约说话。${identity}${correction}${takeover}`;
+}