jbc-dssi 1.0.0 → 1.0.2

package/vendor/dssAgent/bridge/distill.js

@@ -0,0 +1,300 @@
+/**
+ * 提炼记忆 —— 把一段对话文本变成若干篇记忆文档，并重建索引。
+ *
+ * 为什么单独成一个模块：它只做"文本 → 文件"这一件事，不碰桥接协议，
+ * 可以直接用 node 单测；协议层（index.js）只负责收包、鉴权、回包。
+ *
+ * 落盘格式严格按 UniMemory 契约（13 字段契约头 + 正文自由写）。
+ */
+import fs from 'node:fs/promises';
+import path from 'node:path';
+import os from 'node:os';
+
+const API_URL = 'https://api.deepseek.com/chat/completions';
+const MODEL = 'deepseek-chat';
+const MAX_INPUT_CHARS = 120000;
+const MAX_ITEMS = 8;
+
+/** 从 ~/.dsh/.credentials.yaml 里取 DeepSeek API key（只读 refs 段）。 */
+export async function readApiKey() {
+  if (process.env.DEEPSEEK_API_KEY) return process.env.DEEPSEEK_API_KEY;
+  const file = path.join(os.homedir(), '.dsh', '.credentials.yaml');
+  const text = await fs.readFile(file, 'utf8');
+  const m = /DEEPSEEK_API_KEY:\s*(\S+)/u.exec(text);
+  return m ? m[1] : '';
+}
+
+/** 生成 UUIDv7（时间有序），不引依赖。 */
+export function uuidv7(now = Date.now()) {
+  const hex = now.toString(16).padStart(12, '0');
+  const rand = () => Math.floor(Math.random() * 16).toString(16);
+  const r = (n) => Array.from({ length: n }, rand).join('');
+  return `${hex.slice(0, 8)}-${hex.slice(8, 12)}-7${r(3)}-${'89ab'[Math.floor(Math.random() * 4)]}${r(3)}-${r(12)}`;
+}
+
+function isoNow() {
+  const d = new Date(Date.now() + 8 * 3600 * 1000);
+  return d.toISOString().replace('Z', '+08:00').replace(/\.\d{3}/u, '');
+}
+
+const SYSTEM_PROMPT = `你是记忆整理器。用户会给你一段对话，请你从中提炼出值得长期记住的信息。
+
+只输出一个 JSON 数组，不要任何解释、不要 markdown 代码块。每个元素：
+{
+  "名字": "短标题，≤15 个汉字，能一眼看出这是什么",
+  "一句话总结": "≤40 个汉字",
+  "类型标签": ["记忆的性质，1-3 个，如 决策/事实/偏好/原则/习惯/教训"],
+  "内容标签": ["内容关键词，≤10 个，每个 ≤10 字符"],
+  "摘要": "≤100 字，名字和标签都没命中时作为兜底",
+  "正文": "记忆正文。完整、可独立看懂的 Markdown，不要写'如上所述'这类依赖上下文的表述"
+}
+
+规则：
+1. 按主题拆分，一件事一篇，不要把所有事塞进一篇；
+2. 寒暄、过程描述、纠错来回、没有结论的讨论，不要提炼；
+3. 低于 100 字且无法独立复述的片段，不要单独成篇；
+4. 没有值得记的内容就输出空数组 []；
+5. 最多 ${MAX_ITEMS} 条。`;
+
+/** 调模型提炼，返回规范化后的条目数组（失败抛错）。 */
+export async function distill({ text, apiKey, fetchImpl = fetch }) {
+  const input = String(text ?? '').trim();
+  if (!input) throw new Error('没有可提炼的内容');
+  if (input.length > MAX_INPUT_CHARS) {
+    throw new Error(`一次最多提炼 ${MAX_INPUT_CHARS} 字，请减少勾选的轮次`);
+  }
+  const resp = await fetchImpl(API_URL, {
+    method: 'POST',
+    headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${apiKey}` },
+    body: JSON.stringify({
+      model: MODEL,
+      messages: [
+        { role: 'system', content: SYSTEM_PROMPT },
+        { role: 'user', content: input },
+      ],
+      temperature: 0.2,
+      response_format: { type: 'json_object' },
+    }),
+  });
+  if (!resp.ok) {
+    const body = await resp.text().catch(() => '');
+    throw new Error(`模型调用失败 HTTP ${resp.status} ${body.slice(0, 120)}`);
+  }
+  const data = await resp.json();
+  const raw = data?.choices?.[0]?.message?.content ?? '';
+  return normalizeItems(parseItems(raw));
+}
+
+/** 模型可能回数组、也可能回 {items:[...]}；两种都认。 */
+export function parseItems(raw) {
+  const text = String(raw ?? '').trim().replace(/^```(?:json)?/u, '').replace(/```$/u, '').trim();
+  let value;
+  try {
+    value = JSON.parse(text);
+  } catch {
+    const m = /\[[\s\S]*\]/u.exec(text);
+    if (m === null) return [];
+    value = JSON.parse(m[0]);
+  }
+  if (Array.isArray(value)) return value;
+  if (Array.isArray(value?.items)) return value.items;
+  return [];
+}
+
+/** 清洗 + 截断，并丢掉没有名字/正文的条目。 */
+export function normalizeItems(items) {
+  const out = [];
+  for (const it of items.slice(0, MAX_ITEMS)) {
+    const name = strip(String(it?.名字 ?? it?.title ?? '')).slice(0, 20);
+    const body = String(it?.正文 ?? it?.body ?? '').trim();
+    if (!name || !body) continue;
+    out.push({
+      name,
+      oneLine: strip(String(it?.一句话总结 ?? it?.summary ?? '')).slice(0, 50),
+      kinds: toTags(it?.类型标签, 5, 5).slice(0, 3),
+      topics: toTags(it?.内容标签, 20, 10).slice(0, 10),
+      abstract: strip(String(it?.摘要 ?? '')).slice(0, 100),
+      body,
+    });
+  }
+  return out;
+}
+
+function strip(s) {
+  return s.replace(/[\r\n]+/gu, ' ').replace(/\s+/gu, ' ').trim();
+}
+
+function toTags(value, max, per) {
+  const arr = Array.isArray(value) ? value : value ? [value] : [];
+  const out = [];
+  for (const v of arr) {
+    const t = strip(String(v)).replace(/[,，、；;]/gu, '').slice(0, per);
+    if (t && !out.includes(t)) out.push(t);
+    if (out.length >= max) break;
+  }
+  return out;
+}
+
+/** 契约头（13 字段，顺序固定）。 */
+export function renderDoc(item, uuid, now) {
+  const lines = [
+    '---',
+    `UUID: ${uuid}`,
+    `名字: ${item.name}`,
+    `一句话总结: ${item.oneLine || item.name}`,
+    '类型标签:',
+    ...(item.kinds.length ? item.kinds.map((t) => '  - ' + t) : ['  - 记忆']),
+    '内容标签:',
+    ...(item.topics.length ? item.topics.map((t) => '  - ' + t) : ['  - 未分类']),
+    `摘要: ${item.abstract || item.oneLine || item.name}`,
+    '初始权重: 80.00',
+    `创建时间: ${now}`,
+    `最新更新时间: ${now}`,
+    '最新权重: 80.00',
+    '文件外链: []',
+    '外链文件类型: []',
+    '外链文件摘要: []',
+    '---',
+    '',
+    '#' + ' ' + item.name,
+    '',
+    item.body,
+    '',
+  ];
+  return lines.join('\n');
+}
+
+/** 文件名 = 名字.md；重名追加 -2、-3。 */
+export async function pickFileName(memoryDir, name) {
+  const safe = name.replace(/[/\\:*?"<>|\n]/gu, '').trim() || '记忆';
+  let candidate = `${safe}.md`;
+  let i = 2;
+  // eslint-disable-next-line no-await-in-loop
+  while (await exists(path.join(memoryDir, candidate))) {
+    candidate = `${safe}-${i}.md`;
+    i += 1;
+  }
+  return candidate;
+}
+
+async function exists(p) {
+  try {
+    await fs.access(p);
+    return true;
+  } catch {
+    return false;
+  }
+}
+
+function levelOf(w) {
+  if (w >= 90) return ['L1', '核心记忆'];
+  if (w >= 70) return ['L2', '高频记忆'];
+  if (w >= 50) return ['L3', '中频记忆'];
+  if (w >= 30) return ['L4', '低频记忆'];
+  if (w >= 10) return ['L5', '遗忘记忆'];
+  return ['L6', '休眠记忆'];
+}
+
+/** 解析中文契约头（只读本模块用到的字段）。 */
+export function parseHeader(raw) {
+  const text = String(raw ?? '').replace(/\r\n/gu, '\n');
+  if (!text.startsWith('---\n')) return null;
+  const end = text.indexOf('\n---\n', 4);
+  if (end < 0) return null;
+  const head = {};
+  let listKey = null;
+  for (const line of text.slice(4, end).split('\n')) {
+    if (/^\s+-\s+/u.test(line) && listKey) {
+      head[listKey].push(line.replace(/^\s+-\s+/u, '').trim());
+      continue;
+    }
+    const m = /^([^\s:][^:]*?):\s*(.*)$/u.exec(line.trim());
+    if (m === null) continue;
+    if (m[2] === '') {
+      head[m[1]] = [];
+      listKey = m[1];
+    } else {
+      head[m[1]] = m[2];
+      listKey = null;
+    }
+  }
+  return { header: head, body: text.slice(end + 5).replace(/^\n+/u, '') };
+}
+
+/** 全量重建 index.json（与 uni.py 的产物同构）。 */
+export async function rebuildIndex(entityDir) {
+  const memoryDir = path.join(entityDir, 'memory');
+  const rows = [];
+  async function walk(dir) {
+    let entries = [];
+    try {
+      entries = await fs.readdir(dir, { withFileTypes: true });
+    } catch {
+      return;
+    }
+    for (const e of entries) {
+      const full = path.join(dir, e.name);
+      if (e.isDirectory()) {
+        if (e.name === 'archive' || e.name === 'trash') continue;
+        // eslint-disable-next-line no-await-in-loop
+        await walk(full);
+      } else if (e.name.endsWith('.md') && e.name !== 'index.md') {
+        // eslint-disable-next-line no-await-in-loop
+        const raw = await fs.readFile(full, 'utf8').catch(() => '');
+        const parsed = parseHeader(raw);
+        if (parsed === null) continue;
+        const h = parsed.header;
+        const weight = Number.parseFloat(String(h['最新权重'] ?? h.importance ?? '0')) || 0;
+        const [code, lname] = levelOf(weight);
+        rows.push({
+          层次: code,
+          层次名: lname,
+          最新权重: Number(weight.toFixed(2)),
+          UUID: String(h.UUID ?? h.uuid ?? ''),
+          名字: String(h['名字'] ?? h.title ?? ''),
+          一句话总结: String(h['一句话总结'] ?? h.description ?? ''),
+          类型标签: Array.isArray(h['类型标签']) ? h['类型标签'] : [],
+          内容标签: Array.isArray(h['内容标签']) ? h['内容标签'] : [],
+          外链数: Array.isArray(h['文件外链']) ? h['文件外链'].length : 0,
+          摘要: String(h['摘要'] ?? ''),
+          路径: path.relative(entityDir, full),
+        });
+      }
+    }
+  }
+  await walk(memoryDir);
+  const order = { L1: 0, L2: 1, L3: 2, L4: 3, L5: 4, L6: 5 };
+  rows.sort((a, b) => (order[a.层次] - order[b.层次]) || (b.最新权重 - a.最新权重) || a.路径.localeCompare(b.路径));
+  const payload = { 生成时间: isoNow(), 记忆数: rows.length, 记录: rows };
+  const out = path.join(entityDir, 'index.json');
+  const tmp = `${out}.tmp-${process.pid}`;
+  await fs.writeFile(tmp, JSON.stringify(payload, null, 2), 'utf8');
+  await fs.rename(tmp, out);
+  return payload;
+}
+
+/**
+ * 主流程：提炼 → 逐篇落盘 → 重建索引。
+ * @returns {{created:number, titles:string[]}}
+ */
+export async function distillAndWrite({ entityDir, text, apiKey, fetchImpl }) {
+  const items = await distill({ text, apiKey, fetchImpl });
+  if (items.length === 0) return { created: 0, titles: [] };
+  const memoryDir = path.join(entityDir, 'memory');
+  await fs.mkdir(memoryDir, { recursive: true });
+  const now = isoNow();
+  const titles = [];
+  for (const item of items) {
+    // eslint-disable-next-line no-await-in-loop
+    const fileName = await pickFileName(memoryDir, item.name);
+    const doc = renderDoc(item, uuidv7(), now);
+    const target = path.join(memoryDir, fileName);
+    // eslint-disable-next-line no-await-in-loop
+    await fs.writeFile(`${target}.tmp-${process.pid}`, doc, 'utf8');
+    // eslint-disable-next-line no-await-in-loop
+    await fs.rename(`${target}.tmp-${process.pid}`, target);
+    titles.push(item.name);
+  }
+  await rebuildIndex(entityDir);
+  return { created: titles.length, titles };
+}