@xcanwin/manyoyo 7.0.23 → 7.0.25

package/lib/serve-log-reader.js

@@ -0,0 +1,178 @@
+'use strict';
+
+const fs = require('fs');
+
+// serve 日志一行的格式（写入侧见 bin/manyoyo.js 的 createServeLogger）：
+//   [<本地时间>] [pid:<pid>] [<LEVEL>] <message>[ <extra JSON>]
+const SERVE_LOG_LINE_PATTERN = /^\[([^\]]+)\] \[pid:(\d+)\] \[([A-Z]+)\] (.*)$/;
+const LOG_DATE_TAG_PATTERN = /^\d{4}-\d{2}-\d{2}$/;
+
+const DEFAULT_LIMIT = 50;
+const MAX_LIMIT = 500;
+const DEFAULT_CHUNK_SIZE = 64 * 1024;
+// 过滤条件很窄（比如只看 error）时可能扫很久都凑不满 limit，给一个扫描上限兜底，
+// 避免一次请求把整份日志读完、把事件循环堵住
+const MAX_SCAN_BYTES = 4 * 1024 * 1024;
+const NEWLINE = 0x0a;
+
+function isValidLogDateTag(value) {
+    return typeof value === 'string' && LOG_DATE_TAG_PATTERN.test(value);
+}
+
+// message 与 extra 之间没有分隔符，只能从右边找第一个能当 JSON 解析的 "{...}"。
+// 解析不出来就整体当 message，不丢内容
+function splitMessageAndExtra(rest) {
+    const text = String(rest || '');
+    const braceIndex = text.indexOf(' {');
+    if (braceIndex === -1) {
+        return { message: text.trim(), extra: {} };
+    }
+    const message = text.slice(0, braceIndex).trim();
+    const tail = text.slice(braceIndex + 1);
+    try {
+        const parsed = JSON.parse(tail);
+        if (parsed && typeof parsed === 'object' && !Array.isArray(parsed)) {
+            return { message, extra: parsed };
+        }
+    } catch (e) {
+        // 落到下面的 raw 分支
+    }
+    return { message, extra: { raw: tail } };
+}
+
+function parseServeLogLine(line) {
+    const matched = String(line || '').match(SERVE_LOG_LINE_PATTERN);
+    if (!matched) {
+        return null;
+    }
+    const { message, extra } = splitMessageAndExtra(matched[4]);
+    return {
+        ts: matched[1],
+        pid: Number(matched[2]),
+        level: matched[3],
+        message,
+        extra
+    };
+}
+
+function normalizeLimit(limit) {
+    const parsed = Number(limit);
+    if (!Number.isFinite(parsed) || parsed <= 0) {
+        return DEFAULT_LIMIT;
+    }
+    return Math.min(Math.floor(parsed), MAX_LIMIT);
+}
+
+function buildMatcher(options) {
+    const levels = Array.isArray(options.levels) && options.levels.length
+        ? new Set(options.levels.map(level => String(level).toUpperCase()))
+        : null;
+    const keyword = options.keyword ? String(options.keyword).toLowerCase() : '';
+    const session = options.session ? String(options.session) : '';
+    return (entry, rawLine) => {
+        if (levels && !levels.has(entry.level)) {
+            return false;
+        }
+        if (session && entry.extra.session !== session) {
+            return false;
+        }
+        if (keyword && !rawLine.toLowerCase().includes(keyword)) {
+            return false;
+        }
+        return true;
+    };
+}
+
+// 从文件末尾往前分块读，凑够 limit 条就停——日志文件会长到几十 MB，
+// 整份 readFileSync + split('\n') 是同步阻塞，会把 serve 的事件循环卡住
+// （见 AGENTS.md 的日志约束）。用 Buffer 按换行字节切分，中文跨块也不会被截断。
+// endOffset 是翻页游标：传上一页返回的 nextEndOffset 就能继续往更早翻
+function readServeLogEntries(filePath, options = {}) {
+    const limit = normalizeLimit(options.limit);
+    const chunkSize = Number.isFinite(options.chunkSize) && options.chunkSize > 0
+        ? Math.floor(options.chunkSize)
+        : DEFAULT_CHUNK_SIZE;
+    const empty = { entries: [], nextEndOffset: null, scannedBytes: 0, limit };
+
+    let stat;
+    try {
+        stat = fs.statSync(filePath);
+    } catch (e) {
+        return empty;
+    }
+    if (!stat.isFile()) {
+        return empty;
+    }
+
+    const size = stat.size;
+    const requestedEnd = Number(options.endOffset);
+    let end = Number.isFinite(requestedEnd) && requestedEnd >= 0 ? Math.min(requestedEnd, size) : size;
+    if (end <= 0) {
+        return empty;
+    }
+
+    const matches = buildMatcher(options);
+    const entries = [];
+    let scannedBytes = 0;
+    let pos = end;
+    // pending 里的字节在文件中的起始偏移就是 pos；开头那一行可能不完整，
+    // 要留到下一轮（读到更早的块）再拼
+    let pending = Buffer.alloc(0);
+    let unconsumedEnd = end;
+    let reachedLimit = false;
+
+    const fd = fs.openSync(filePath, 'r');
+    try {
+        while (pos > 0 && !reachedLimit && scannedBytes < MAX_SCAN_BYTES) {
+            const readSize = Math.min(chunkSize, pos);
+            pos -= readSize;
+            scannedBytes += readSize;
+            const buf = Buffer.alloc(readSize);
+            fs.readSync(fd, buf, 0, readSize, pos);
+            pending = pending.length ? Buffer.concat([buf, pending]) : buf;
+
+            let lineEnd = pending.length;
+            let newlineIndex = pending.lastIndexOf(NEWLINE, lineEnd - 1);
+            while (newlineIndex >= 0) {
+                const rawLine = pending.subarray(newlineIndex + 1, lineEnd).toString('utf-8');
+                lineEnd = newlineIndex;
+                const entry = parseServeLogLine(rawLine);
+                if (entry && matches(entry, rawLine)) {
+                    entries.push(entry);
+                    if (entries.length >= limit) {
+                        reachedLimit = true;
+                        break;
+                    }
+                }
+                newlineIndex = pending.lastIndexOf(NEWLINE, lineEnd - 1);
+            }
+            pending = pending.subarray(0, lineEnd);
+            unconsumedEnd = pos + lineEnd;
+        }
+
+        // 文件开头那一行前面没有换行符，单独收尾
+        if (!reachedLimit && pos === 0 && pending.length) {
+            const rawLine = pending.toString('utf-8');
+            const entry = parseServeLogLine(rawLine);
+            if (entry && matches(entry, rawLine)) {
+                entries.push(entry);
+            }
+            unconsumedEnd = 0;
+        }
+    } finally {
+        fs.closeSync(fd);
+    }
+
+    return {
+        entries,
+        nextEndOffset: unconsumedEnd > 0 ? unconsumedEnd : null,
+        scannedBytes,
+        limit
+    };
+}
+
+module.exports = {
+    isValidLogDateTag,
+    parseServeLogLine,
+    readServeLogEntries
+};

package/lib/web/AGENTS.md

@@ -0,0 +1,32 @@
+# lib/web/ 协作指引
+
+根目录 `AGENTS.md` 的补充，仅在改动 Web 服务端与旧版前端时适用。
+
+## lib/web/server.js（6000+ 行单文件）
+
+与 `bin/manyoyo.js` 一样无分区注释，靠函数名定位：`Grep "^function <名>"`。它是仓库里最大的文件，改动前先确认要落在哪一层（HTTP 路由 / 会话历史读写 / 容器执行 / 流式协议），不要在路由 handler 里堆业务逻辑。
+
+- `resolveYoloCommand()` 委托到 `lib/agent-adapters/index.js`，与 `bin/manyoyo.js` 共用同一份映射，无需分别维护。
+- Agent 会话恢复参数：Claude/Gemini → `-r`，Codex → `resume`，OpenCode → `-c`。
+- 会话控制事件：`/agent/stream`、`/agent/stop` 通过 `createWebStreamEmitter()` / `appendWebSessionControlEvent()` 写入 `lib/core/event-store.js`（`FileEventStore`），`GET /api/sessions/:name/audit` 导出该会话的事件与投影。
+- **`/agent/stream` 的 NDJSON 事件协议是跨三处的契约**，改一处必须同步另两处：服务端 `lib/web/server.js`、新前端 `frontend-shadcn/src/lib/api.ts` 的 `StreamEvent` + `workspace-panel.tsx` 的事件分支、旧前端 `lib/web/frontend/app.js`
+  - `content_chunk`：token 级增量，前端**追加**；`reset: true` 表示换了一条 assistant 消息、从空白重新开始。只发新增片段，不要改成重发累计全文（几千个增量就是 O(n²) 流量）。
+  - `content_delta`：每条 assistant 消息落地时下发一次的权威全文，前端**整体覆盖**。
+  - `ping`：保活心跳，前端忽略。`DEFAULT_AGENT_STREAM_HEARTBEAT_MS` 必须明显小于反向代理的空闲读超时（nginx `proxy_read_timeout` 默认 60s），否则 agent 静默期间流会被 RST，浏览器侧表现为输入框上方冒出 `network error`。
+  - token 级增量**不写**事件日志、历史落盘按 `AGENT_STREAM_PARTIAL_PERSIST_INTERVAL_MS` 节流；新增逐事件的落盘/日志动作前先想清楚它会不会被每个 token 触发一次。
+- `GET /api/sessions` 是**同步 IO 大户**：逐容器 `readFileSync` + `JSON.parse` 整份历史。前端每标签页 6s 轮询一次，它阻塞多久事件循环就卡多久，正在跑的 `/agent/stream` 只能在空隙里把输出攒着分批推。往这条路径上加同步操作前务必实测耗时；`buildSessionSummary()` 已支持传入调用方加载好的 history，不要再重复读。（`docker ps -a` + 批量 `inspect` 实测仅约 90ms，不是瓶颈，别被旧注释误导）
+- 请求处理链路上注册在**全局认证网关之前**的代码（如 `res.on('finish')` 之类的钩子）必须自带 try/catch：那里抛异常会冒泡成 `uncaughtException`，而 `bin/manyoyo.js` 的处理器直接 `process.exit(1)`——等于未认证请求可打挂 serve。回归用例见 `test/web-server-auth.test.js` 的 `Web Server Robustness`。
+- 终端 vendor 资源（`/app/vendor/xterm.css`、`xterm.js`、`xterm-addon-fit.js`）由本文件从 `@xterm/*` 依赖映射提供。
+- 新增接口/页面必须走全局认证网关，禁止在业务路由里零散补认证；匿名白名单见根 `AGENTS.md` 的安全约束。
+
+## lib/web/frontend/（旧版 `/legacy` 前端）
+
+默认前端是 `frontend-shadcn/`（构建产物 `shadcn.html` 也落在本目录）；以下仅针对旧版静态资源。`chat-behavior.js` 是抽出的纯函数模块，仿 `markdown-renderer.js` 的 `window.Manyoyo*` + Node `vm` 单测模式。
+
+- 布局是两层 grid 嵌套：`.main`（`header` + `.workspace-shell` 两个直接子元素）套着内层 `.workspace-main`（`grid-template-rows: minmax(0, 1fr) auto`，真正的「内容区 / composer」二分在这一层，composer 并非 `.main` 的直接子元素）。增删 `.workspace-main` 直接子元素时须同步调整行数，否则内容区高度失效。
+- 中间工作台的「终端/文件/详情/配置/检查」5 个次要标签收在 `#workspaceSwitcherToggle` 图标按钮触发的弹出面板 `#workspaceSwitcherPanel` 里，仅「活动」作为常驻标签；`setActiveTab()` / `isActiveSessionHistoryOnly()` 逻辑本身未变，只是触发入口从常驻按钮改为面板内按钮。
+- `connectTerminal()` 前须加 `isActiveSessionHistoryOnly()` 守卫（三处：`setActiveTab`、`handleSessionItemClick`、`refreshSessions`），否则点击「仅历史」会话会触发后端新建容器。
+
+## 测试
+
+Web 相关改动优先补 `test/web-server-auth.test.js`；涉及认证时至少验证未登录 `401`、登录成功可访问、登出后失效。