evolcore 0.0.32 → 0.0.34

package/dist/core/memory/consolidation-context.js

@@ -1,9 +1,13 @@
 /**
  * consolidation-context.ts — 整理上下文 MD 文档序列化（v3）
  *
- * 把一次整理所需的全部信息序列化成 Markdown，写两处：
- *   - sessionRuntimeDir（会话内读取用，随会话销毁）
- *   - $EVOLCORE_HOME/memory/consolidation-batches/<批次目录>/（长期留存，供调试）
+ * 把一次整理所需的全部信息序列化成 Markdown，写一处：
+ *   - $EVOLCORE_HOME/memory/consolidation-batches/<批次目录>/context.md
+ *
+ * 任务书只有一个落点。此前另写一份到会话运行目录（sessionRuntimeDir，缺省回落
+ * $EVOLCORE_HOME/tmp），导致落点随触发路径漂移，且该目录的读取范围不由任务书所在
+ * 的整理会话决定——整理会话读自己的任务书会被只读判定拦成 workspace_escape。
+ * 见 docs/memory/session-profile-design.md §5.1。
  *
  * 批次目录命名：<YYYYMMDDTHHmmss>-<selfAid>-<mode>/
  * 批次目录内：context.md（任务书）、ops.jsonl（操作流水）、threads/（话题快照）
@@ -15,6 +19,8 @@ import { resolveRoot, resolvePaths } from '../../paths.js';
 import { DEFAULT_FORGET_AFTER_DAYS, collectCandidates, isDueForReview } from './staleness.js';
 import { chatDirPath } from '../session/session-fs-store.js';
 import { getMemoryArray, getMemoryString, parseMemoryDocument } from './memory-document.js';
+import { writeBatchMeta } from './batch-meta.js';
+import { feedbackFilePath } from './consolidation-ops-records.js';
 export const CONSOLIDATION_MODES = ['notes', 'generalize', 'promote', 'profile', 'forget'];
 /**
  * 模式 → 允许写入的作用域（不含 forget）。
@@ -34,7 +40,14 @@ export const MODE_SCOPE = {
 // 超期判据集中在 staleness.ts；这里做转发，保证 trigger 与 context 用同一套规则
 export { DEFAULT_FORGET_AFTER_DAYS, LONG_TERM_REVIEW_DAYS } from './staleness.js';
 // ── Checkpoint 读写 ──────────────────────────────────────────────────────────
-const CHECKPOINT_FILE = 'consolidation-checkpoint.json';
+const LEGACY_CHECKPOINT_FILE = 'consolidation-checkpoint.json';
+/** C1: checkpoint file name per mode; forget uses scopeOverride suffix. */
+function checkpointFileName(mode, scopeOverride) {
+    if (mode === 'forget' && scopeOverride) {
+        return `consolidation-checkpoint-forget-${scopeOverride}.json`;
+    }
+    return `consolidation-checkpoint-${mode}.json`;
+}
 /**
  * Move the pre-0.0.29 consolidation artifact root to its new name. Existing
  * batches are user data, so conflicts are preserved under a legacy suffix
@@ -70,22 +83,37 @@ export function migrateLegacyConsolidationBatches() {
     fs.rmSync(legacyRoot, { recursive: true, force: true });
 }
 /** 读上次整理时间戳（毫秒）。文件不存在或解析失败返回 0（取全量历史）。 */
-export function readCheckpoint(chatDir) {
+export function readCheckpoint(chatDir, mode, scopeOverride) {
+    const filePath = path.join(chatDir, checkpointFileName(mode, scopeOverride));
     try {
-        const raw = fs.readFileSync(path.join(chatDir, CHECKPOINT_FILE), 'utf-8');
+        const raw = fs.readFileSync(filePath, 'utf-8');
         const parsed = JSON.parse(raw);
         const v = Number(parsed.lastConsolidatedAt);
-        return Number.isFinite(v) ? v : 0;
+        if (Number.isFinite(v))
+            return v;
     }
-    catch {
-        return 0;
+    catch { /* 新文件不存在，尝试迁移旧文件 */ }
+    // 向后兼容: notes 模式读旧的 consolidation-checkpoint.json，成功后自动迁移
+    if (mode === 'notes') {
+        try {
+            const legacyPath = path.join(chatDir, LEGACY_CHECKPOINT_FILE);
+            const raw = fs.readFileSync(legacyPath, 'utf-8');
+            const parsed = JSON.parse(raw);
+            const v = Number(parsed.lastConsolidatedAt);
+            if (Number.isFinite(v)) {
+                writeCheckpoint(chatDir, v, mode, scopeOverride);
+                return v;
+            }
+        }
+        catch { /* ignore */ }
     }
+    return 0;
 }
 /** 写整理完成时间戳。由 index.ts 在整理会话完成后调用。 */
-export function writeCheckpoint(chatDir, lastConsolidatedAt) {
+export function writeCheckpoint(chatDir, lastConsolidatedAt, mode, scopeOverride) {
     try {
         fs.mkdirSync(chatDir, { recursive: true });
-        fs.writeFileSync(path.join(chatDir, CHECKPOINT_FILE), JSON.stringify({ lastConsolidatedAt }, null, 2) + '\n', 'utf-8');
+        fs.writeFileSync(path.join(chatDir, checkpointFileName(mode, scopeOverride)), JSON.stringify({ lastConsolidatedAt }, null, 2) + '\n', 'utf-8');
     }
     catch { /* 失败静默 */ }
 }
@@ -276,7 +304,7 @@ function shortTime(time) {
  *
  * 返回生成的文件路径列表（空列表表示无增量消息或读取失败）。
  */
-function buildThreadSnapshots(historyJsonlPath, sinceMs, threadsDir) {
+function buildThreadSnapshots(historyJsonlPath, sinceMs, threadsDir, throughMs) {
     const rawLines = fs.readFileSync(historyJsonlPath, 'utf-8').split('\n');
     // 第一遍：扫全量行（不限 sinceMs）收集会话元信息
     let chatType = 'private';
@@ -312,7 +340,7 @@ function buildThreadSnapshots(historyJsonlPath, sinceMs, threadsDir) {
         try {
             const entry = JSON.parse(line);
             const ts = typeof entry.ts === 'number' ? entry.ts : 0;
-            if (ts < sinceMs)
+            if (ts <= sinceMs || ts > throughMs)
                 continue;
             const content = typeof entry.content === 'string' ? entry.content.trim() : '';
             if (!content)
@@ -399,8 +427,6 @@ export function serializeConsolidationContext(input) {
     migrateLegacyConsolidationBatches();
     const scopes = resolveScopeContexts(input);
     const now = new Date();
-    // 会话内文件名用：去掉所有分隔符，无 T，14 字符（YYYYMMDDHHmmss）
-    const ts = now.toISOString().replace(/[-:T]/g, '').slice(0, 14);
     const forgetAfterDays = input.forgetAfterDays ?? DEFAULT_FORGET_AFTER_DAYS;
     for (const ctx of scopes) {
         fillCandidates(ctx, input.mode, forgetAfterDays);
@@ -410,26 +436,39 @@ export function serializeConsolidationContext(input) {
     const selfAid = input.taskCtx.selfAid ?? 'unknown';
     // 目录名：YYYYMMDDTHHmmss-<selfAid>-<mode>
     const prettyTs = now.toISOString().replace(/[-:]/g, '').slice(0, 15);
-    const batchDir = path.join(batchRoot, `${prettyTs}-${selfAid}-${input.mode}`);
+    fs.mkdirSync(batchRoot, { recursive: true });
+    const batchDir = fs.mkdtempSync(path.join(batchRoot, `${prettyTs}-${selfAid}-${input.mode}-`));
     fs.mkdirSync(batchDir, { recursive: true });
+    // 反馈文件的父目录先建好：整理会话只被授权写这一个文件，无权建目录，
+    // 而各 runner 的补丁器 / 文件写入工具在父目录不存在时会失败。
+    fs.mkdirSync(path.dirname(feedbackFilePath(batchDir)), { recursive: true });
     // ── 话题快照（notes / compress / session-new 模式，有 peerId 时生成）───────
     let historyJsonlPath;
     let threadFiles;
     let chatDir;
-    if ((input.mode === 'notes' || input.triggeredBy === 'compress' || input.triggeredBy === 'session-new')
+    // C2: generate thread snapshots for all modes that operate on relation-level memories
+    const needsThreadSnapshots = (input.mode === 'notes'
+        || input.mode === 'generalize'
+        || input.mode === 'promote'
+        || input.mode === 'profile'
+        || (input.mode === 'forget' && input.scopeOverride === 'relation')
+        || input.triggeredBy === 'compress'
+        || input.triggeredBy === 'session-new');
+    if (needsThreadSnapshots
         && input.taskCtx.channel
         && input.taskCtx.peerId
         && input.taskCtx.selfAid) {
         try {
             const sessionsDir = resolvePaths().sessionsDir;
-            chatDir = chatDirPath(sessionsDir, input.taskCtx.channel, input.taskCtx.peerId, input.taskCtx.selfAid);
+            const peerId = input.taskCtx.chatType === 'group' ? input.taskCtx.channelId || input.taskCtx.peerId : input.taskCtx.peerId;
+            chatDir = chatDirPath(sessionsDir, input.taskCtx.channel, peerId, input.taskCtx.selfAid, input.taskCtx.channelKey);
             const rawJsonlPath = path.join(chatDir, 'messages.jsonl');
             if (fs.existsSync(rawJsonlPath)) {
                 historyJsonlPath = rawJsonlPath;
-                const sinceMs = readCheckpoint(chatDir);
+                const sinceMs = readCheckpoint(chatDir, input.mode, input.scopeOverride);
                 const threadsDir = path.join(batchDir, 'threads');
                 try {
-                    const files = buildThreadSnapshots(rawJsonlPath, sinceMs, threadsDir);
+                    const files = buildThreadSnapshots(rawJsonlPath, sinceMs, threadsDir, now.getTime());
                     if (files.length > 0)
                         threadFiles = files;
                 }
@@ -480,21 +519,36 @@ export function serializeConsolidationContext(input) {
         lines.push('', '---', '');
     }
     lines.push('请按照本次会话注入的模式手册完成整理。');
+    lines.push('');
+    lines.push('整理结束后，用文件写入工具（Write / Edit）把本次整理的整体反馈写入以下**反馈文件路径**：');
+    lines.push('');
+    lines.push(`\`${feedbackFilePath(batchDir)}\``);
+    lines.push('');
+    lines.push('这是本次会话唯一可以写的文件（文件已建好，直接写即可）；写别的路径会被拒绝。');
+    lines.push('未写入则收尾时回退到默认统计模板（模式、触发方式、耗时、新建/更新/归档条数等）。');
     const text = lines.join('\n');
-    // ── 写会话运行目录（任务书，会话内读取用）────────────────────────────────
-    const tmpDir = input.sessionRuntimeDir && path.isAbsolute(input.sessionRuntimeDir)
-        ? input.sessionRuntimeDir
-        : path.join(resolveRoot(), 'tmp');
-    fs.mkdirSync(tmpDir, { recursive: true });
-    const filePath = path.join(tmpDir, `memory-consolidation-${ts}.md`);
-    fs.writeFileSync(filePath, text, 'utf-8');
-    // ── 写批次目录（长期留存）────────────────────────────────────────────────
+    // ── 写批次目录（任务书唯一落点）────────────────────────────────────────────
+    // 不再写会话运行目录：任务书落在 $EVOLCORE_HOME/tmp 或 %TEMP%/ec-session-<hash>/
+    // 会同时踩两个坑——落点随触发路径而变，且会话运行时目录的读取范围不由任务书
+    // 所在的会话决定（见 docs/memory/session-profile-design.md §5.1）。
     const contextFilePath = path.join(batchDir, 'context.md');
     try {
         fs.writeFileSync(contextFilePath, text, 'utf-8');
     }
     catch { /* 批次任务书写入失败不影响整理 */ }
-    return { filePath, batchDir, contextFilePath, scopes, historyJsonlPath, threadFiles, chatDir };
+    // 写入初始 batch.md 元数据
+    writeBatchMeta(batchDir, {
+        selfAid: input.taskCtx.selfAid ?? 'unknown',
+        ...(input.taskCtx.peerKey ? { peerKey: input.taskCtx.peerKey } : {}),
+        ...(input.ownerAid ? { ownerAid: input.ownerAid } : {}),
+        ...(input.taskCtx.baseagent ? { baseagent: input.taskCtx.baseagent } : {}),
+        mode: input.mode,
+        triggeredBy: input.triggeredBy,
+        startedAt: now.toISOString(),
+        status: 'running',
+    });
+    return { filePath: contextFilePath, batchDir, contextFilePath, scopes, historyJsonlPath, threadFiles, chatDir,
+        ...(threadFiles?.length ? { snapshotThroughTs: now.getTime() } : {}) };
 }
 /** 会话结束后回填本次产出，追加到任务书末尾。 */
 export function recordBatchOutcome(contextFilePath, outcome) {

package/dist/core/memory/consolidation-ops-records.js

@@ -38,7 +38,7 @@ export function summarizeOpsRecords(batchDir) {
     try {
         for (const line of fs.readFileSync(filePath, 'utf-8').split('\n').filter(Boolean)) {
             const entry = JSON.parse(line);
-            if (entry.op === 'summary' || entry.op === 'session-start' || entry.op === 'session-end' || entry.op === 'feedback-set')
+            if (entry.op === 'summary' || entry.op === 'session-start' || entry.op === 'session-end')
                 continue;
             if (!entry.ok) {
                 summary.errors++;
@@ -56,25 +56,23 @@ export function summarizeOpsRecords(batchDir) {
     return summary;
 }
 /**
- * 读整理会话写入的反馈文本（`ec memory feedback`）。
- * 取最后一条 feedback-set；没有则返回 undefined（收尾回退默认模板）。
+ * 整理会话的反馈文件路径。任务书给出的路径、系统会话模块声明的唯一可写文件、
+ * 收尾读取与清理都以此为准，不要在别处重新拼接。
+ */
+export function feedbackFilePath(batchDir) {
+    return path.join(batchDir, 'scratch', 'feedback.txt');
+}
+/**
+ * 读整理会话写入的反馈文本：<batchDir>/scratch/feedback.txt。
+ * 文件不存在或内容为空时返回 undefined，收尾回退默认统计模板。
  */
 export function readFeedbackText(batchDir) {
-    const filePath = path.join(batchDir, 'ops.jsonl');
-    if (!fs.existsSync(filePath))
-        return undefined;
     try {
-        const lines = fs.readFileSync(filePath, 'utf-8').split('\n').filter(Boolean);
-        for (let i = lines.length - 1; i >= 0; i--) {
-            const entry = JSON.parse(lines[i]);
-            if (entry.op === 'feedback-set') {
-                const text = entry.text;
-                if (typeof text === 'string' && text.trim())
-                    return text;
-            }
-        }
+        const text = fs.readFileSync(feedbackFilePath(batchDir), 'utf-8').trim();
+        if (text)
+            return text;
     }
-    catch { /* ignore */ }
+    catch { /* 未写反馈属正常情况 */ }
     return undefined;
 }
 /**
@@ -122,3 +120,38 @@ export function readRollbackRecords(batchDir) {
         return [];
     }
 }
+/**
+ * 统计 batchDir/threads/ 下所有快照文件里的消息条数。
+ * 每个 .md 文件里以 "L" 开头（后跟数字）的行就是一条消息。
+ * 文件不存在或为空时返回 0。
+ */
+export function countInputMessages(batchDir) {
+    const threadsDir = path.join(batchDir, 'threads');
+    if (!fs.existsSync(threadsDir))
+        return 0;
+    let total = 0;
+    try {
+        for (const f of fs.readdirSync(threadsDir)) {
+            if (!f.endsWith('.md'))
+                continue;
+            const content = fs.readFileSync(path.join(threadsDir, f), 'utf-8');
+            for (const line of content.split('\n')) {
+                if (/^L\d+\s/.test(line))
+                    total++;
+            }
+        }
+    }
+    catch { /* ignore */ }
+    return total;
+}
+/**
+ * 读取 batchDir/context.md 的字节数。文件不存在返回 0。
+ */
+export function readContextBytes(batchDir) {
+    try {
+        return fs.statSync(path.join(batchDir, 'context.md')).size;
+    }
+    catch {
+        return 0;
+    }
+}

package/dist/core/memory/consolidation-queue-format.js

@@ -0,0 +1,21 @@
+/**
+ * 整理请求入队时的提示文案。CLI（ec memory consolidate）和 /memory consolidate 共用。
+ * 不依赖其他模块，CLI 侧引入不会拖进 daemon 代码。
+ */
+/** 入队原因：本 agent 已有整理会话在跑，或全局并发已满 */
+export function queueReason(q) {
+    if (q.agentBusy)
+        return '当前 agent 已有整理会话在运行';
+    if (q.activeCount >= q.maxConcurrent)
+        return `全局并发已满（${q.activeCount}/${q.maxConcurrent}）`;
+    return '前面还有待处理的整理请求';
+}
+/** 多行明细，每行一个字段 */
+export function formatQueueDetails(q) {
+    return [
+        `原因:          ${queueReason(q)}`,
+        `本 agent 排队: 第 ${q.position} 位 / 共 ${q.agentQueueLength} 个`,
+        `全局运行中:    ${q.activeCount}/${q.maxConcurrent}`,
+        `全局排队:      ${q.totalQueued} 个`,
+    ];
+}