metame-cli 1.6.2 → 1.6.3

package/scripts/memory-extract.js

@@ -15,6 +15,7 @@
 const fs = require('fs');
 const path = require('path');
 const os = require('os');
+const crypto = require('crypto');
 const { callHaiku, buildDistillEnv } = require('./providers');
 
 const HOME = os.homedir();
@@ -115,6 +116,63 @@ const VAGUE_PATTERNS = [
 ];
 const ALLOWED_FLAT = new Set(['王总', 'system', 'user']);
 
+function hashFile(filePath) {
+  if (!filePath) return null;
+  try {
+    const hash = crypto.createHash('sha256');
+    const fd = fs.openSync(filePath, 'r');
+    try {
+      const buf = Buffer.alloc(64 * 1024);
+      let bytesRead = 0;
+      do {
+        bytesRead = fs.readSync(fd, buf, 0, buf.length, null);
+        if (bytesRead > 0) hash.update(buf.subarray(0, bytesRead));
+      } while (bytesRead > 0);
+    } finally {
+      fs.closeSync(fd);
+    }
+    return hash.digest('hex');
+  } catch {
+    return null;
+  }
+}
+
+function statSize(filePath) {
+  try {
+    return filePath ? fs.statSync(filePath).size : 0;
+  } catch {
+    return 0;
+  }
+}
+
+function saveSessionSource(memory, engine, sourcePath, skeleton, status = 'indexed', errorMessage = null) {
+  if (!memory || typeof memory.saveSessionSource !== 'function' || !skeleton) return null;
+  const sourceHash = hashFile(sourcePath);
+  if (!sourceHash) return null;
+  try {
+    return memory.saveSessionSource({
+      engine,
+      sessionId: skeleton.session_id,
+      project: skeleton.project || 'unknown',
+      scope: skeleton.project_id || null,
+      cwd: skeleton.project_path || null,
+      sourcePath,
+      sourceHash,
+      sourceSize: statSize(sourcePath),
+      firstTs: skeleton.first_ts || null,
+      lastTs: skeleton.last_ts || null,
+      messageCount: skeleton.message_count || 0,
+      toolCallCount: skeleton.total_tool_calls || 0,
+      toolErrorCount: skeleton.tool_error_count || 0,
+      status,
+      errorMessage,
+    });
+  } catch (e) {
+    console.log(`[memory-extract] session source save failed: ${e.message}`);
+    return null;
+  }
+}
+
 /**
  * Extract atomic facts from session skeleton + evidence via Haiku.
  * Returns filtered fact array (may be empty).
@@ -212,8 +270,6 @@ async function run() {
     const sessions = sessionAnalytics.findAllUnextractedSessions(3);
     if (sessions.length === 0) {
       console.log('[memory-extract] No unanalyzed sessions found.');
-      memory.close();
-      return { sessionsProcessed: 0, factsSaved: 0, factsSkipped: 0 };
     }
 
     let totalSaved = 0;
@@ -223,9 +279,11 @@ async function run() {
     for (const session of sessions) {
       try {
         const skeleton = sessionAnalytics.extractSkeleton(session.path);
+        const sourceRow = saveSessionSource(memory, 'claude', session.path, skeleton);
 
         // Skip trivial sessions
         if (skeleton.message_count < 2 && skeleton.duration_min < 1) {
+          if (sourceRow) saveSessionSource(memory, 'claude', session.path, skeleton, 'archived');
           sessionAnalytics.markFactsExtracted(skeleton.session_id);
           continue;
         }
@@ -237,6 +295,7 @@ async function run() {
 
         const { ok, facts, session_name } = await extractFacts(skeleton, evidence, distillEnv);
         if (!ok) {
+          if (sourceRow) saveSessionSource(memory, 'claude', session.path, skeleton, 'error', 'fact extraction failed');
           console.log(`[memory-extract] Session ${skeleton.session_id.slice(0, 8)}: extraction failed, will retry later`);
           continue;
         }
@@ -249,7 +308,7 @@ async function run() {
             skeleton.session_id,
             skeleton.project || 'unknown',
             facts,
-            { scope: skeleton.project_id || fallbackScope }
+            { scope: skeleton.project_id || fallbackScope, source_id: sourceRow ? sourceRow.id : skeleton.session_id }
           );
           totalSaved += saved;
           totalSkipped += skipped;
@@ -276,6 +335,7 @@ async function run() {
 
         // P2-A: persist session name + tags to session_tags.json
         saveSessionTag(skeleton.session_id, session_name, facts);
+        if (sourceRow) saveSessionSource(memory, 'claude', session.path, skeleton, 'extracted');
 
         processed++;
       } catch (e) {
@@ -294,15 +354,18 @@ async function run() {
       for (const cs of codexSessions) {
         try {
           const { skeleton, evidence } = sessionAnalytics.buildCodexInput(cs.path, historyMap);
+          const sourceRow = saveSessionSource(memory, 'codex', cs.path, skeleton);
 
           // Skip trivial sessions with no user messages
           if (skeleton.message_count < 1) {
+            if (sourceRow) saveSessionSource(memory, 'codex', cs.path, skeleton, 'archived');
             sessionAnalytics.markCodexFactsExtracted(cs.session_id);
             continue;
           }
 
           const { ok, facts, session_name } = await extractFacts(skeleton, evidence, distillEnv);
           if (!ok) {
+            if (sourceRow) saveSessionSource(memory, 'codex', cs.path, skeleton, 'error', 'fact extraction failed');
             console.log(`[memory-extract] Codex ${cs.session_id.slice(0, 8)}: extraction failed, will retry later`);
             continue;
           }
@@ -313,7 +376,11 @@ async function run() {
               cs.session_id,
               skeleton.project || 'unknown',
               facts,
-              { scope: skeleton.project_id || fallbackScope, source_type: 'codex' }
+              {
+                scope: skeleton.project_id || fallbackScope,
+                source_type: 'codex',
+                source_id: sourceRow ? sourceRow.id : cs.session_id,
+              }
             );
             totalSaved += saved;
             totalSkipped += skipped;
@@ -339,6 +406,7 @@ async function run() {
           }
 
           sessionAnalytics.markCodexFactsExtracted(cs.session_id);
+          if (sourceRow) saveSessionSource(memory, 'codex', cs.path, skeleton, 'extracted');
           processed++;
         } catch (e) {
           console.log(`[memory-extract] Codex session error: ${e.message}`);

package/scripts/memory-wiki-schema.js

@@ -130,6 +130,37 @@ function applyWikiSchema(db) {
     )
   `);
 
+  // ── session_sources (raw transcript provenance, L0) ───────────────────────
+  db.exec(`
+    CREATE TABLE IF NOT EXISTS session_sources (
+      id               TEXT PRIMARY KEY,
+      engine           TEXT NOT NULL DEFAULT 'unknown'
+                       CHECK (engine IN ('claude','codex','unknown')),
+      session_id       TEXT NOT NULL,
+      project          TEXT DEFAULT '*',
+      scope            TEXT,
+      agent_key        TEXT,
+      cwd              TEXT,
+      source_path      TEXT,
+      source_hash      TEXT NOT NULL,
+      source_size      INTEGER DEFAULT 0,
+      first_ts         TEXT,
+      last_ts          TEXT,
+      message_count    INTEGER DEFAULT 0,
+      tool_call_count  INTEGER DEFAULT 0,
+      tool_error_count INTEGER DEFAULT 0,
+      status           TEXT DEFAULT 'indexed'
+                       CHECK (status IN ('indexed','summarized','extracted','error','archived')),
+      error_message    TEXT,
+      created_at       TEXT DEFAULT (datetime('now')),
+      updated_at       TEXT DEFAULT (datetime('now')),
+      UNIQUE(engine, session_id, source_hash)
+    )
+  `);
+  db.exec('CREATE INDEX IF NOT EXISTS idx_session_sources_session ON session_sources(session_id)');
+  db.exec('CREATE INDEX IF NOT EXISTS idx_session_sources_project ON session_sources(project, scope, last_ts)');
+  db.exec('CREATE INDEX IF NOT EXISTS idx_session_sources_agent   ON session_sources(agent_key, last_ts)');
+
   // ── doc_sources ───────────────────────────────────────────────────────────
   db.exec(`
     CREATE TABLE IF NOT EXISTS doc_sources (

package/scripts/memory.js

@@ -177,6 +177,11 @@ function saveMemoryItem(item) {
   return { ok: true, id };
 }
 
+function saveSessionSource(source) {
+  const { upsertSessionSource } = require('./core/session-source-db');
+  return upsertSessionSource(getDb(), source);
+}
+
 function searchMemoryItems(query, { kind = null, scope = null, project = null, state = 'active', limit = 20 } = {}) {
   const db = getDb();
   const conditions = [];
@@ -335,7 +340,7 @@ function saveSession({ sessionId, project, scope = null, summary, keywords = ''
   });
 }
 
-function saveFacts(sessionId, project, facts, { scope = null, source_type = null } = {}) {
+function saveFacts(sessionId, project, facts, { scope = null, source_type = null, source_id = null } = {}) {
   if (!Array.isArray(facts) || facts.length === 0) return { saved: 0, skipped: 0, superseded: 0, savedFacts: [] };
   const normalizedProject = project === '*' ? '*' : String(project || 'unknown');
   let saved = 0;
@@ -363,7 +368,7 @@ function saveFacts(sessionId, project, facts, { scope = null, source_type = null
         scope: scope || null,
         session_id: sessionId,
         source_type: f.source_type || source_type || 'session',
-        source_id: sessionId,
+        source_id: f.source_id || source_id || sessionId,
         relation: f.relation,
         tags,
       });
@@ -564,6 +569,7 @@ async function hybridSearchWiki(query, { ftsOnly = false, expand = false, trackS
 module.exports = {
   // core
   saveMemoryItem,
+  saveSessionSource,
   searchMemoryItems,
   promoteItem,
   archiveItem,

package/skills/send-to-user/SKILL.md

@@ -0,0 +1,76 @@
+---
+name: send-to-user
+description: |
+  把本地文件直接发到用户手机（飞书 / Telegram / iMessage），而不是只在群里报路径。
+  触发：用户说「把 X 文件发我 / 给我下载 / 发到手机 / 发文件」、要 PDF/CSV/PNG/log
+  下载、要查看文件内容(超过聊天可读长度)。
+---
+
+# Send-to-User — 把文件交付到用户手机
+
+## 它解决什么问题
+
+聊天里贴长文本/大块代码体验很糟。当用户要的是一个**文件**（截图、报表、日志、
+压缩包、构件），最佳交付方式是直接把文件推到他们手机上的对话里——飞书会显示成
+附件卡片、可下载、可分享。MetaMe 已经把上传、`file_key` 转换、消息发送全部封装
+好,你只需要在回复里贴一个 marker。
+
+## 怎么用——一行 marker 协议
+
+完成你正常的回答后，**在回复末尾**为每个要交付的文件追加一行:
+
+```
+[[FILE:/absolute/path/to/file]]
+```
+
+约束:
+
+1. **绝对路径**。不写 `~`、不写相对路径——daemon 不会做 shell 展开。
+2. **一行一个文件**。多个文件就多行。每行只放一个 marker，前后不要再加文字。
+3. **文件必须已经存在**。daemon 在发送前会校验存在性，不存在的会被静默丢弃。
+4. **marker 独占行**。不要把 marker 写在 markdown 列表项里、不要包在反引号里。
+5. 用户**看不到**这一行 marker——daemon 解析后会从输出里剥掉再回显文本，所以
+   你的正文该写什么写什么,marker 是给 daemon 看的「附录」。
+6. **路径含空格/中文是 OK 的**,不要做 shell 转义、不要加引号——daemon 直接当
+   字面字符串送给 `fs.statSync` 与上传 API。例:`[[FILE:/Users/王总/桌面/今日报表.xlsx]]`。
+
+## 完整示例
+
+```
+我已经把今天的访问日志整理好了，9–11 点有一波 502 集中在 nginx-edge-3，
+原因是上游 keepalive 池被打满，详情见附件。
+
+[[FILE:/var/log/metame/edge-2026-04-28.csv]]
+[[FILE:/Users/yaron/Desktop/edge-error-summary.png]]
+```
+
+daemon 会:
+- 文本部分作为飞书消息正常发送（"我已经把..."）
+- CSV 与 PNG 各上传一次，作为飞书附件出现在用户对话里
+- 上传失败时回退为文本告知文件路径,你不需要自己处理失败
+
+## 何时**不**用
+
+- 用户问的是文件**内容**，且文件 < ~200 行 → 直接把内容贴进消息更直接
+- 用户在做代码 review，不需要文件本体只想看代码 → 用代码块更方便
+- 你刚刚生成的临时文件还没写到磁盘 → 先 `Write` 工具落盘,再贴 marker
+
+## 调试
+
+如果用户说「没收到附件」:
+
+1. 你的 marker 是否独占一行？多检查反引号、列表项、空格。
+2. 文件是否真的存在?在 marker 之前先 `ls -la /the/path` 确认。
+3. 是否大于飞书附件大小限制(单文件 30MB)？大文件请压缩或分片。
+4. 飞书应用是否拥有 `im:resource` 权限?这是首装环节的事,你这边没办法补救,
+   告诉用户去 https://open.feishu.cn 应用后台核对。
+
+## 技术细节(供你判断使用)
+
+- 解析器: `scripts/daemon-claude-engine.js` 里 `parseFileMarkers()`
+- 发送器: `scripts/daemon-file-browser.js` 里 `sendFileButtons()`,优先调用
+  `bot.sendFile`(飞书走 `client.im.file.create` 上传 → file_key → 消息)
+- 飞书适配器: `scripts/feishu-adapter.js` 的 `sendFile(chatId, filePath, caption)`
+- 失败兜底: 文本文件会被截断到 3000 字以纯文本回显;二进制文件抛错给用户。
+
+不需要自己调以上 API——你只负责贴 marker，剩下的 daemon 都做了。