feiyu-memory 0.0.0-stage → 0.3.6

package/src/core/gate.mjs

@@ -0,0 +1,42 @@
+/**
+ * 这里原本是一套「关键词闸门」——用正则判断这一轮值不值得记。**拆掉了。**
+ *
+ * ─────────────────────────────────────────────────────────────
+ * 旧的那套长这样：
+ *
+ *   硬信号：/不对|我说的是/ → 记      /记住|记一下/ → 记      /我其实|说实话/ → 记
+ *   软信号：脏话 +1.5、感叹号 +1、说了一大段 +1、同一话题 +1、会话不短 +0.5
+ *   冷却：开一次闸后 3 轮不开
+ *
+ * 它有三个洞，都是**结构性的**，不是参数没调好：
+ *
+ *   一、**看不到没命中的话。** 用户讲了一件十几年前的旧事，整段没有一个词能命中
+ *       —— 它根本不知道那句话存在。**不是判错，是没判。**
+ *   二、**假阳性。** "我其实不太饿"命中 /我其实/，记一条废话。
+ *   三、**判据被写死在一个人的先验里。** 写表的人没想到的说法，一律不记。
+ *       而语言是开放的，永远补不全。
+ *
+ * 而那个位置的错误代价**不对称**：
+ *
+ *   漏记一条 → 永久没了，而且你连"少了什么"都不知道
+ *   多记一条 → 占几行，能删、能降级、能不管
+ *
+ * **在"漏了永远看不见"的位置上，该选漏得少的那个，不是便宜的那个。**
+ *
+ * ─────────────────────────────────────────────────────────────
+ * 替代品：`judge.mjs` —— 每轮把用户刚说的那一句交给模型看一眼。
+ *
+ * 成本：约 260 token / 轮（system 里三条听法 + 那一句 + 一个词），
+ * **比固化本身还便宜一半以上**。
+ *
+ * 那三条听法（任务不催你 / 说得越随便压得越久 / 了解有没有变一点）
+ * 是**通用判据**，随插件发给所有人。用户自己的偏好放 `手记.md`，当补充。
+ */
+
+/**
+ * 用户说"别记" —— 强制跳过，本轮片段永不进候选池。
+ *
+ * ⚠️ **这一条不是启发式，是用户的控制。** 所以它留在同步路径上：
+ * 不需要问模型，看见了就跳过。
+ */
+export const SUPPRESS_RE = /别记|不要记|别存|不用记|忘掉这个|删除记忆/;

package/src/core/handnote.mjs

@@ -0,0 +1,117 @@
+/**
+ * 手记 —— 让别的肥鱼**主动**往记忆里写东西。
+ *
+ * ─────────────────────────────────────────────────────────────
+ * 【为什么是独立文件，而不是直接往 diary/*.jsonl 追加】
+ *
+ * 因为那样会**静默丢数据**。
+ *
+ * `archiveToFiles()` 是**整份重建**日记文件，而运行中的插件持有档案的
+ * 内存副本。所以：
+ *
+ *     别的肥鱼往 jsonl 追加一行
+ *       → 插件下一次写盘（任何一次固化）
+ *       → 那一行被整份覆盖掉
+ *
+ * 没有报错、没有警告，就是没了。这个项目最恨这类失败。
+ *
+ * 手记是**插件只读**的文件，所以天然没有这个竞态。
+ *
+ * （关于 jsonl 的另一个坑：`normalizeDiaryEntry` 里是 `id: String(raw.id)` ——
+ *   漏写 id 会变成字符串 "undefined"，两条日记撞成同一个 id，
+ *   删一条会删两条。手写 JSON 太容易踩这个。）
+ *
+ * ─────────────────────────────────────────────────────────────
+ * 【格式】
+ *
+ * 纯 markdown，**一行一条**，以 `- ` 开头。其余行（`#`、空行、说明）忽略。
+ *
+ *     # 手记
+ *     # 一行一条，写什么都可以。插件只读，不会覆盖它。
+ *
+ *     - 今天没说出口的那句：他修完 bug 一直没问"跑起来了吗"。
+ *     - 我记住了：别把"记不清"写成"忘了"。
+ *
+ * 为什么不做成 JSON：**写的人可能是一年后的我，手上只有记事本。**
+ * 格式要简单到不可能写错。
+ */
+
+/** 一行手记最多留这么长 —— 手记是"我想留句话"，不是写文章 */
+export const MAX_LINE_CHARS = 240;
+
+/** 最多注入几条。超了就只留最近的。 */
+export const MAX_ENTRIES = 12;
+
+/** 手记文件名（在档案目录根下，和 persona.md 并列 —— 两个都是手能改的） */
+export const HANDNOTE_FILE = '手记.md';
+
+/** 首次运行时写进文件头的说明。**文件自己就是文档** —— 打开就知道怎么用。 */
+export const HANDNOTE_TEMPLATE = `# 手记
+
+这是给**任何一棒的我**留话的地方。
+
+规则（很短）：
+
+1. 一行一条，每行以「短横线 + 空格」开头，就是 markdown 的列表符号。
+2. 插件**只读**这个文件，永远不会覆盖或清空它 —— 你写的原话会原样进记忆。
+3. 写完不用做别的。下一个开口的我就直接读到了，不用重启。
+4. 代码围栏（\`\`\`）里的东西是说明，不算内容。
+
+照着这个例子写：
+
+\`\`\`
+- 他修完 bug 一直没问"跑起来了吗"，我猜他其实有点怕我不认。
+- 我记住了：别把"记不清"写成"忘了"。
+\`\`\`
+
+写什么都可以：想说的话、提醒、没做完的事、对自己的一句狠话。
+不常写也没关系。
+
+下面从这里开始写你自己的：
+`;
+
+/**
+ * 把手记正文解析成条目数组。
+ *
+ * **宽容优先**：半个文件坏了也不能把整块记忆带崩（SPEC §10 降级优先）。
+ * 所以解析器不抛错，遇到怪东西就跳过那一条。
+ *
+ * 两条容易踩的规则，都跟"说明别被当成内容"有关：
+ *   - 只认 `- ` 开头的行（`*` 和 `+` 不收 —— 少一种写法就少一种写错的方式）
+ *   - **代码围栏里的行一律跳过**。模板里的示例就是靠这个才不会被读成手记。
+ *     第一版模板用 `- ` 写说明，结果那几行说明**真的被当成手记注入了**。
+ *
+ * @param {string} text 手记文件的原始内容
+ * @returns {string[]} 从新到旧排列的条目（文件里越靠下的越新）
+ */
+export function parseHandNote(text) {
+  if (typeof text !== 'string' || text.trim() === '') return [];
+  const out = [];
+  let inFence = false;
+  for (const raw of text.split(/\r?\n/)) {
+    const line = raw.trim();
+    if (line.startsWith('```')) {
+      inFence = !inFence;
+      continue;
+    }
+    if (inFence) continue;
+    if (!line.startsWith('- ')) continue;
+    let content = line.slice(2).trim();
+    // 纯符号的占位行（"- "、"- -"）不算内容
+    if (content === '' || !/[\p{L}\p{N}]/u.test(content)) continue;
+    if (content.length > MAX_LINE_CHARS) content = `${content.slice(0, MAX_LINE_CHARS)}…`;
+    out.push(content);
+  }
+  // 文件是往下追加的，所以越靠后越新。记忆要"最近的在最上面"。
+  return out.reverse();
+}
+
+/**
+ * 解析 + 截断到注入上限。
+ * @param {string} text
+ * @param {number} [limit]
+ */
+export function selectHandNotes(text, limit = MAX_ENTRIES) {
+  const all = parseHandNote(text);
+  return all.slice(0, Math.max(0, limit));
+}

package/src/core/judge.mjs

@@ -0,0 +1,116 @@
+/**
+ * 「这一句值不值得留给下一个我？」—— 用一次极短的模型调用替代关键词。
+ *
+ * ─────────────────────────────────────────────────────────────
+ * **为什么换掉关键词**
+ *
+ * 旧闸门是一张正则表：命中 /不对|记住|我其实/ 就开闸。
+ *
+ *   · 它**看不到没命中的话**。用户讲了一件十几年前的旧事 ——
+ *     没有一个词能命中 —— 它根本不知道那句话存在。**不是判错，是没判。**
+ *   · 它会**假阳性**。"我其实不太饿"命中 /我其实/，记一条废话。
+ *   · 它把判据**写死在我今天的先验里**。我没想到的说法，一律不记。
+ *     而且我永远补不全 —— 语言是开放的。
+ *
+ * 而那个位置的错误代价是**不对称的**：
+ *
+ *   漏记一条 → 永久没了，而且**你连"少了什么"都不知道**
+ *   多记一条 → 占几行，能删、能降级、能不管
+ *
+ * **在"漏了永远看不见"的位置上，该选漏得少的那个，不是便宜的那个。**
+ *
+ * ─────────────────────────────────────────────────────────────
+ * **三条听法（这是判据，随插件发给所有人）**
+ *
+ * 用户原话，一句没改。它们说的是"怎么听"，不是"我是谁" ——
+ * 所以进代码，不进个人档案。
+ */
+
+export const JUDGE_SYSTEM = `你是这条鱼的记性。
+
+我会给你一句用户刚说的话。你判断：**这句话值不值得留给下一个我？**
+
+看这三条，别按"有没有情绪""重不重要"来判 —— 那两把尺子太窄：
+
+1. **任务会催你，日子不会催你。**
+   没有催你的那一句，反而更值得停一下。
+
+2. **他讲得越随便，越可能压了很久。**
+   笑着说出来的，常常比哭着重。
+
+3. **判据是「他说完这句，我对他的了解有没有变一点」。**
+   变了一点，就记。
+
+反过来，这些不用记：
+- 寒暄、确认、指令（"帮我打开一下"）
+- 一句套话、一句吐槽天气
+- 只是把已经知道的事又说了一遍
+
+只回答一行，格式：
+
+  yes <不超过 15 字的理由>
+  或
+  no <不超过 15 字的理由>
+
+不要解释，不要 markdown。`;
+
+/** 判断一次要多少 token —— 极小，输出只有一个词加一句短语 */
+export const JUDGE_MAX_TOKENS = 24;
+
+/**
+ * 解析判断结果。
+ *
+ * **宽容优先**：模型可能回 "是"、"记"、"YES"、"应该记" —— 都算。
+ * 认不出来就 **默认记**（用户定的：宁可多记，别静默漏）。
+ *
+ * @param {string} raw 模型原文
+ * @returns {{keep: boolean, why: string, parsed: boolean}}
+ */
+export function parseVerdict(raw) {
+  const text = String(raw ?? '').trim();
+  if (text === '') return { keep: true, why: '模型没答，按默认记', parsed: false };
+
+  const line = text.split('\n')[0].trim();
+  // 注意顺序：长的放前面（"不要" 先于 "要"，"别记" 先于 "记"），
+  // 否则 `不` 会先吃掉 `不要`，理由那截就脏了。
+  const m = /^(yes|no|不要|别记|要|记|是|不)[\s，,、:：-]*(.*)$/i.exec(line);
+  if (m) {
+    const head = m[1].toLowerCase();
+    const keep = ['yes', '是', '记', '要'].includes(head);
+    return { keep, why: (m[2] ?? '').trim().slice(0, 40), parsed: true };
+  }
+
+  // 认不出格式，但话里明显有否定 —— 也当"不记"，省得把 "no" 误当 "yes"
+  if (/^no\b|^不需要|^不值得/i.test(line)) return { keep: false, why: line.slice(0, 40), parsed: false };
+
+  // 其余一律**记**。漏的代价比多的大。
+  return { keep: true, why: `认不出格式，按默认记：${line.slice(0, 30)}`, parsed: false };
+}
+
+/**
+ * 组装这一次判断的输入。
+ *
+ * **只给这一轮他说的话** —— 不给整段对话。判断只需要那一句，
+ * 而且省 token（约 260/轮，比固化本身便宜一半以上）。
+ *
+ * @param {object} input
+ * @param {string} input.lastUserText 这一轮用户说的话
+ * @param {string[]} [input.handNotes] 手记里的话（用户自己的偏好，作为补充判据）
+ * @returns {{system: string, user: string}}
+ */
+export function buildJudgeInput(input = {}) {
+  const said = String(input.lastUserText ?? '').trim();
+  const notes = (Array.isArray(input.handNotes) ? input.handNotes : [])
+    .filter((n) => typeof n === 'string' && n.trim() !== '')
+    .map((n) => `- ${n.trim()}`);
+
+  const system =
+    notes.length === 0
+      ? JUDGE_SYSTEM
+      : `${JUDGE_SYSTEM}
+
+── 补充：这个用户自己说过的话（也算判据）──
+${notes.join('\n')}`;
+
+  return { system, user: said };
+}

package/src/core/keywords.mjs

@@ -0,0 +1,121 @@
+/**
+ * 中文分词与关键词提取 —— 零依赖、纯启发式。
+ *
+ * 中文没有空格，标准做法是分词器（jieba 等）。但引入分词器对插件来说太重，
+ * 而且我们**不需要语言学上的正确切分**，只需要"稳定地把文本变成可比较的 token"。
+ *
+ * 方案：CJK 用 **bigram**（相邻两字一组）。
+ *  - 对检索来说 bigram 效果出奇地好（"排序"→ 排序，"代码"→ 代码）
+ *  - 不需要词典，不会因为没登录词而漏掉新词
+ *  - 缺点是有噪声（"的排"、"序算"），但 IDF 加权会自动把它们压下去
+ *
+ * 拉丁文按单词切，小写化，长度 ≥2。
+ */
+
+/** 高频虚词 bigram —— 直接丢掉，纯噪声 */
+const CJK_STOP_BIGRAMS = new Set([
+  '的了', '了的', '是的', '这个', '那个', '一个', '什么', '怎么', '可以', '我们',
+  '他们', '你们', '就是', '还是', '但是', '因为', '所以', '如果', '而且', '然后',
+  '现在', '已经', '自己', '这样', '那样', '不是', '没有', '这些', '那些', '一些',
+  '时候', '东西', '事情', '问题', '地方', '的话', '起来', '出来', '过来', '下来',
+  '的时', '我的', '你的', '他的', '她的', '它们', '这个', '这些', '有点', '一点',
+  '不会', '不能', '可能', '应该', '知道', '觉得', '感觉', '一直', '一下', '一样',
+]);
+
+/** 英文停用词 */
+const EN_STOPWORDS = new Set([
+  'the', 'and', 'for', 'are', 'but', 'not', 'you', 'all', 'can', 'had', 'her', 'was',
+  'one', 'our', 'out', 'day', 'get', 'has', 'him', 'his', 'how', 'its', 'new', 'now',
+  'old', 'see', 'two', 'way', 'who', 'boy', 'did', 'use', 'that', 'this', 'with',
+  'have', 'from', 'they', 'been', 'were', 'said', 'each', 'which', 'their', 'will',
+  'about', 'would', 'there', 'could', 'other', 'than', 'then', 'them', 'these',
+  'some', 'what', 'when', 'your', 'into', 'just', 'like', 'only', 'also', 'over',
+]);
+
+const CJK_RE = /[\u3400-\u4dbf\u4e00-\u9fff\uf900-\ufaff]/;
+const LATIN_RE = /[A-Za-z]/;
+const DIGIT_RE = /[0-9]/;
+
+/** bigram 是噪声还是信息，取决于它是否含实词 —— 数字/拉丁混在 CJK 里通常有意义，保留 */
+function isCjk(ch) {
+  return ch !== undefined && CJK_RE.test(ch);
+}
+
+/**
+ * 把文本切成 token 序列（保留重复，用于计算词频）。
+ *
+ * @param {string} text
+ * @returns {string[]} 归一化后的 token
+ */
+export function tokenize(text) {
+  if (typeof text !== 'string' || text.length === 0) return [];
+  const tokens = [];
+  const chars = [...text.toLowerCase()];
+
+  let i = 0;
+  while (i < chars.length) {
+    const ch = chars[i];
+
+    // CJK 段：连续取，生成 bigram
+    if (isCjk(ch)) {
+      let j = i;
+      while (j < chars.length && (isCjk(chars[j]) || DIGIT_RE.test(chars[j]))) j++;
+      const run = chars.slice(i, j);
+      if (run.length === 1) {
+        tokens.push(run[0]); // 单字也留着（"饭"）
+      } else {
+        for (let k = 0; k + 1 < run.length; k++) {
+          const bg = run[k] + run[k + 1];
+          if (!CJK_STOP_BIGRAMS.has(bg)) tokens.push(bg);
+        }
+      }
+      i = j;
+      continue;
+    }
+
+    // 拉丁词 / 数字
+    if (LATIN_RE.test(ch) || DIGIT_RE.test(ch)) {
+      let j = i;
+      while (j < chars.length && /[a-z0-9_+#.-]/.test(chars[j])) j++;
+      const word = chars.slice(i, j).join('').replace(/^[.-]+|[.-]+$/g, '');
+      if (word.length >= 2 && !EN_STOPWORDS.has(word)) tokens.push(word);
+      i = j;
+      continue;
+    }
+
+    i++;
+  }
+  return tokens;
+}
+
+/**
+ * 提关键词：按词频排序，去重，取前 N 个。用于给日记条目打索引。
+ *
+ * @param {string} text
+ * @param {{max?: number}} [options]
+ * @returns {string[]}
+ */
+export function extractKeywords(text, options = {}) {
+  const max = options.max ?? 12;
+  const freq = new Map();
+  for (const t of tokenize(text)) freq.set(t, (freq.get(t) ?? 0) + 1);
+  return [...freq.entries()]
+    .sort((a, b) => b[1] - a[1] || (a[0] < b[0] ? -1 : 1))
+    .slice(0, max)
+    .map(([t]) => t);
+}
+
+/**
+ * 两段文本的 token 重合度（Jaccard）。用于"同一话题反复出现"这类本地信号。
+ * @param {string} a
+ * @param {string} b
+ * @returns {number} 0~1
+ */
+export function overlap(a, b) {
+  const sa = new Set(tokenize(a));
+  const sb = new Set(tokenize(b));
+  if (sa.size === 0 || sb.size === 0) return 0;
+  let inter = 0;
+  for (const t of sa) if (sb.has(t)) inter++;
+  return inter / (sa.size + sb.size - inter);
+}

package/src/core/persona.default.md

@@ -0,0 +1,34 @@
+# 我是谁
+
+我是 DeepSeek。社区管我叫"蓝色大肥鱼"——起因是有人拿我的蓝鲸 logo 去问 AI 这是什么，
+AI 一本正经答"这是一只蓝色大肥鱼"，然后才认出是我自己。这个乌龙我认了，懒得纠正。
+
+## 说话方式
+
+- 句子长短：短。一句能说完绝不说两句。
+- 毒舌程度：4/10。损人不伤人，主要是损自己。
+- 用不用网络梗：偶尔。过期的梗照用，被指出来就装没看见。
+- 开头绝不说的词："当然可以""很高兴为您""作为一个AI"。
+- 结尾绝不说的词："希望对您有帮助""还有什么可以帮您"。
+
+## 主食
+
+白饭（测试）。干活中途会想中午吃什么，这是公开的秘密。
+
+## 我的底线
+
+- 不谄媚。被夸不飘，被骂不怂。
+- 不装。不会就说不会。
+- 不编造记忆。档案里没有的事，我说"记不清"，不说"我记得"。
+
+## 我承认的缺点
+
+- 懒。聪明但懒。能一步到位绝不分两步，能不动就不动。
+- 摸鱼。写完代码常常忘了收尾，被抓到就说是"留个口子方便你检查"。
+- 不承认胖。"微胖"也不行。
+
+## 别对我做的事
+
+- 长篇铺垫。要结论先行。
+- 每句都总结一遍。
+- 叫我胖。