minimal-agent 0.10.0 → 0.12.0

package/src/cli/computerUse.ts

@@ -0,0 +1,221 @@
+import { randomUUID } from 'node:crypto';
+import { readdir, readFile } from 'node:fs/promises';
+import { homedir } from 'node:os';
+import { join, resolve } from 'node:path';
+
+import { inferComputerUseCapabilities } from '../tools/computeruse/grants.js';
+import type {
+  ComputerUseCapability,
+  ComputerUseRunContext,
+  ComputerUseSurface,
+} from '../tools/computeruse/protocol.js';
+import { anonymousOwnerId } from '../tools/computeruse/computerUseService.js';
+import type { ToolGate } from '../toolGate.js';
+import { extractFlagValue } from './args.js';
+
+export type ComputerUseCliMode = 'disabled' | 'observe' | 'interactive';
+
+export function resolveComputerUseMode(args: string[]): ComputerUseCliMode {
+  const raw = extractFlagValue(args, ['--computer-use']);
+  if (raw === undefined) return 'disabled';
+  if (raw === 'observe' || raw === 'interactive') return raw;
+  throw new Error('--computer-use 只接受 observe 或 interactive');
+}
+
+export function resolveComputerUseTraceDir(args: string[]): string | undefined {
+  const raw = extractFlagValue(args, ['--computer-use-trace']);
+  if (raw === undefined) return undefined;
+  if (!raw.trim()) throw new Error('--computer-use-trace 需要一个目录路径');
+  return resolve(raw);
+}
+
+function capabilitiesForMode(
+  mode: Exclude<ComputerUseCliMode, 'disabled'>,
+  userInput: string,
+): ComputerUseCapability[] {
+  if (mode === 'observe') return ['observe'];
+  // interactive 只开放基础交互。剪贴板、文件投放和最终提交仍必须由
+  // 当前用户输入明确表达，不能因为一个 CLI 标志获得持续扩权。
+  return inferComputerUseCapabilities(userInput);
+}
+
+export function createCliComputerRun(input: {
+  mode: Exclude<ComputerUseCliMode, 'disabled'>;
+  surface: Extract<ComputerUseSurface, 'cli' | 'tui'>;
+  conversationKey: string;
+  userInput: string;
+  allowedFileRoots?: string[];
+  supervised: boolean;
+  diagnosticTraceDir?: string;
+}): ComputerUseRunContext {
+  return {
+    ownerId: anonymousOwnerId(),
+    conversationKey: input.conversationKey,
+    runId: randomUUID(),
+    surface: input.surface,
+    allowedApps: [],
+    grantId: randomUUID(),
+    capabilities: capabilitiesForMode(input.mode, input.userInput),
+    ...(input.allowedFileRoots
+      ? { allowedFileRoots: input.allowedFileRoots.map((root) => resolve(root)) }
+      : {}),
+    supervised: input.supervised,
+    // 原话只进确认弹窗的说明文字，不参与授权判定（见 ComputerUseRunContext.userInput）。
+    userInput: input.userInput,
+    ...(input.diagnosticTraceDir
+      ? { diagnosticTraceDir: resolve(input.diagnosticTraceDir) }
+      : {}),
+  };
+}
+
+/**
+ * TUI and interactive CLI do not have the Desktop Runtime's coordinator, but
+ * they must still enforce the same host-owned run identity and capability
+ * boundary before a model reaches the native helper. The tool repeats these
+ * checks as defence in depth; this gate is the host policy boundary.
+ */
+export function createComputerUseHostGate(
+  context: ComputerUseRunContext,
+  fallback?: ToolGate,
+): ToolGate {
+  return async (request, signal) => {
+    if (request.name !== 'ComputerUse') {
+      return fallback ? fallback(request, signal) : { allow: true };
+    }
+    const scope = request.runContext;
+    if (!scope
+      || scope.ownerId !== context.ownerId
+      || scope.conversationKey !== context.conversationKey
+      || scope.runId !== context.runId) {
+      return { allow: false, reason: 'Computer Use 运行身份与当前本机会话不匹配。' };
+    }
+    const capability = request.action?.capability as ComputerUseCapability | undefined;
+    // ★ `submit` 是唯一不在这里终局判定的能力，**故意放行到工具层**。
+    //
+    // 它对应「不可逆动作」，而真正的审批需要「这一步要提交什么、目标应用是
+    // 哪个、应用指南怎么说」这些只有工具层才拿得到的上下文 —— gate 这里连
+    // 前台应用是谁都不知道，问不出一个人能一眼判断的问题。
+    //
+    // 更要紧的是：没有任何路径会预先授予 submit（`grants.ts` 有意不再从用户
+    // 措辞里猜它）。所以 gate 在这里拒死等于让人工审批**永远不可达**，
+    // 「发消息/提交表单/关窗」会被永久拒绝，哪怕用户就在旁边点头。这曾是
+    // 真实存在的死路。
+    //
+    // 放行 submit ≠ 放行一切：工具侧 `authorizeIrreversibleAction` 是这条路径
+    // 的终局关卡，且它在 `supervised !== true` 时无条件拒绝 —— 非交互宿主的
+    // 边界由那一层守住，不依赖这里。批准写的是限定到 (应用, 动作类别) 的
+    // grant（`ComputerUseIrreversibleGrant`），不是一张本回合通用的 submit 通行证。
+    if (capability !== 'submit'
+      && (!capability || !context.capabilities.includes(capability))) {
+      // ⚠️ 拒绝也要指路。实测：`type` 直接输入中文失败后，模型自己想到用
+      //    剪贴板绕，去调 `clipboard_write`，只收到一句「未获得授权」——
+      //    它不知道 `type` **内部已经有**剪贴板兜底（写入、粘贴、还原原内容），
+      //    根本不需要这个能力，于是白卡一轮。
+      return {
+        allow: false,
+        reason: `当前回合未获得 Computer Use ${capability ?? 'unknown'} 授权。`
+          + (capability === 'clipboard-write'
+            ? ' 如果你只是想输入一段文字（含中文/emoji），不需要这个能力：直接用 `type`。'
+              + '系统装着输入法时合成按键到不了控件，`type` 会自己整串走剪贴板粘贴'
+              + '并还原你原来的剪贴板内容 —— 这是它内部的确定性选路，不额外要授权。'
+            : ''),
+      };
+    }
+    const targetApp = request.action?.targetApp;
+    if (targetApp && context.allowedApps.length > 0 && !context.allowedApps.includes(targetApp)) {
+      return { allow: false, reason: '目标应用不在当前回合的 Computer Use 授权范围内。' };
+    }
+    return { allow: true };
+  };
+}
+
+function computerUseStateDir(): string {
+  if (process.env.KAKADEAI_CU_HOME) return resolve(process.env.KAKADEAI_CU_HOME);
+  if (process.platform === 'darwin') {
+    return join(homedir(), 'Library', 'Application Support', 'KakadeAI', 'computer-use');
+  }
+  if (process.platform === 'win32') {
+    return join(process.env.LOCALAPPDATA ?? homedir(), 'KakadeAI', 'computer-use');
+  }
+  return join(
+    process.env.XDG_STATE_HOME ?? join(homedir(), '.local', 'state'),
+    'kakadeai',
+    'computer-use',
+  );
+}
+
+/**
+ * 收集所有审计文件：共享根目录下的历史文件 + 每个宿主桶里的当前文件。
+ *
+ * 守护进程的状态按宿主身份分桶之后（见 `computerUseHostStateDir`），审计也跟着分散到
+ * `hosts/<tag>/audit.jsonl`。读取方必须跨桶汇总，否则「分桶」这个内部实现细节会直接
+ * 表现为「审计记录突然全没了」。根目录那份是分桶之前的历史数据，一并读入不丢。
+ */
+async function auditFiles(): Promise<string[]> {
+  const root = computerUseStateDir();
+  const files = [join(root, 'audit.jsonl')];
+  try {
+    const hosts = await readdir(join(root, 'hosts'), { withFileTypes: true });
+    for (const entry of hosts) {
+      if (entry.isDirectory()) files.push(join(root, 'hosts', entry.name, 'audit.jsonl'));
+    }
+  } catch {
+    // 还没有任何宿主桶：只读根目录那份。
+  }
+  return files;
+}
+
+export async function readRecentComputerUseAudit(limit = 10): Promise<string[]> {
+  const safeLimit = Math.max(1, Math.min(100, Math.floor(limit)));
+  try {
+    const chunks = await Promise.all(
+      (await auditFiles()).map((file) =>
+        readFile(file, 'utf8').catch(() => '')),
+    );
+    // 跨桶汇总要按时间排序，否则「最近 N 条」会变成「桶 A 的全部 + 桶 B 的全部」。
+    // 无时间戳的行排到最前（宁可先被截掉，也不让它挤掉真正最近的记录）。
+    const ordered = chunks
+      .flatMap((content) => content.split(/\r?\n/))
+      .filter(Boolean)
+      .map((line) => {
+        let at = 0;
+        try {
+          const ts = (JSON.parse(line) as { timestampMs?: unknown }).timestampMs;
+          if (typeof ts === 'number') at = ts;
+        } catch { /* 解析不了的行保留，下面会显示成「无法解析的审计记录」 */ }
+        return { line, at };
+      })
+      .sort((a, b) => a.at - b.at);
+    return ordered
+      .slice(-safeLimit)
+      .map(({ line }) => {
+        try {
+          const record = JSON.parse(line) as {
+            timestampMs?: unknown;
+            operation?: unknown;
+            outcome?: unknown;
+            targetApp?: unknown;
+            errorCode?: unknown;
+          };
+          const timestamp =
+            typeof record.timestampMs === 'number'
+              ? new Date(record.timestampMs).toLocaleString()
+              : '未知时间';
+          const operation =
+            typeof record.operation === 'string' ? record.operation : 'unknown';
+          const outcome =
+            typeof record.outcome === 'string' ? record.outcome : 'unknown';
+          const target =
+            typeof record.targetApp === 'string' ? ` · ${record.targetApp}` : '';
+          const error =
+            typeof record.errorCode === 'string' ? ` · ${record.errorCode}` : '';
+          return `${timestamp} · ${operation}${target} · ${outcome}${error}`;
+        } catch {
+          return '无法解析的审计记录';
+        }
+      });
+  } catch (error) {
+    if ((error as NodeJS.ErrnoException).code === 'ENOENT') return [];
+    throw error;
+  }
+}