minimal-agent 0.10.0 → 0.12.0

package/src/tools/computeruse/capabilityLabels.js

@@ -0,0 +1,95 @@
+/**
+ * ============================================================
+ *  capabilityLabels.ts —— 守护进程能力串 → 人话标签（三态）
+ * ------------------------------------------------------------
+ *  守护进程用 `域.实现` 形式公布能力（`window.close`、`clipboard.write_text`…）。
+ *  这份映射把它们翻成人能读的中文，并**分成三态**：
+ *
+ *    supported             已实现，可用
+ *    deliberately-disabled **有意不做**（产品决定），不是缺口
+ *    not-implemented       还没做
+ *
+ *  ★ 三态分开是必需的，不是美观：把「有意禁用」和「还没做」混在一起，用户会
+ *    以为下个版本就有了，而它永远不会有。守护进程专门公布
+ *    `clipboard.read_denied_by_policy` / `ocr.not_available`
+ *    这两个**负向能力**正是为了让这件事说得出口。
+ *
+ *  ★ 这份映射由 `/computeruse` 与 Desktop 面板**共用**。此前 Desktop 自己在
+ *    React 里硬编码了一句「元素语义定位、OCR、窗口管理、剪贴板与文件拖入尚未
+ *    开放」，而那四项里有三项早已实现——两端各写一份必然漂移。
+ *
+ *  ★ 未知能力**原样降级显示**，不猜。守护进程加了新能力而这里还没更新时，
+ *    用户至少看得到那个原始串，而不是它凭空消失。
+ * ============================================================
+ */
+/** 精确匹配表。键是守护进程公布的完整能力串。 */
+const KNOWN = {
+    'permissions.screen_capture_preflight': { label: '屏幕录制权限预检' },
+    'permissions.accessibility_preflight': { label: '辅助功能权限预检' },
+    'displays.core_graphics': { label: '显示器枚举' },
+    'observe.frontmost_app': { label: '前台应用识别' },
+    'observe.frontmost_windows_when_accessibility_granted': { label: '窗口列表（需辅助功能）' },
+    'observe.accessibility_tree_when_granted': { label: '无障碍控件树（需辅助功能）' },
+    'observe.frame_sequence': { label: '连续帧观测' },
+    'observe.region_crop': { label: '原生分辨率区域裁剪' },
+    'settle.pixel_timeline': { label: '界面稳态判定' },
+    'replay.grayscale_ring': { label: '动作回放' },
+    'screenshot.system_screencapture': { label: '截图' },
+    'target.ax_element_fingerprint': { label: '元素语义定位（带指纹校验）' },
+    'app.activate_via_accessibility': { label: '激活应用' },
+    'window.focus': { label: '窗口聚焦' },
+    'window.minimize_restore': { label: '窗口最小化/恢复' },
+    'window.close': { label: '窗口关闭' },
+    'window.move_resize': { label: '窗口移动/缩放' },
+    'clipboard.write_text': { label: '剪贴板写入文本' },
+    'clipboard.write_region_image': { label: '区域截图到剪贴板' },
+    'file_drop.paste': { label: '文件投放（剪贴板粘贴）' },
+    'file_drop.open_panel': { label: '文件投放（驱动文件面板）' },
+    'input.click': { label: '点击' },
+    'input.double_click': { label: '双击' },
+    'input.right_click': { label: '右键' },
+    'input.middle_click': { label: '中键' },
+    'input.hover': { label: '悬停' },
+    'input.pointer': { label: '指针按下/移动/抬起' },
+    'input.drag': { label: '拖动' },
+    'input.scroll': { label: '滚动' },
+    'input.type_text': { label: '文本输入' },
+    'input.key': { label: '按键' },
+    'input.physical_takeover_listener': { label: '真实鼠标键盘自动接管' },
+    'emergency_stop.cooperative': { label: '紧急停止' },
+    // —— 负向能力：守护进程刻意公布，用来把「不做」说清楚 ——
+    'clipboard.read_denied_by_policy': {
+        label: '剪贴板读取',
+        state: 'deliberately-disabled',
+        reason: '产品策略禁用：跨应用搬内容用 Cmd+C/Cmd+V 即可，agent 不需要看到内容；'
+            + '而需要看到的场景恰好是密码管理器把凭据放上去的那个场景',
+    },
+    'ocr.not_available': {
+        label: 'OCR',
+        state: 'not-implemented',
+        reason: '当前版本尚无原生 OCR；优先使用无障碍语义，必要时由视觉模型读取单张画面',
+    },
+    'observe.primary_display_only': {
+        label: '多显示器',
+        state: 'not-implemented',
+        reason: '只观测主显示器；其它屏幕上的内容看不到，也不要往那里点',
+    },
+};
+/**
+ * 翻译一组能力串。**顺序稳定**（按输入顺序），未知项原样保留。
+ */
+export function describeCapabilities(ids) {
+    return ids.map((id) => {
+        const known = KNOWN[id];
+        if (known) {
+            return {
+                id,
+                label: known.label,
+                state: known.state ?? 'supported',
+                ...(known.reason ? { reason: known.reason } : {}),
+            };
+        }
+        // 没见过的能力：如实显示原始串。守护进程比这份表新时，用户仍看得见它。
+        return { id, label: id, state: 'supported' };
+    });
+}

package/src/tools/computeruse/capabilityLabels.ts

@@ -0,0 +1,115 @@
+/**
+ * ============================================================
+ *  capabilityLabels.ts —— 守护进程能力串 → 人话标签（三态）
+ * ------------------------------------------------------------
+ *  守护进程用 `域.实现` 形式公布能力（`window.close`、`clipboard.write_text`…）。
+ *  这份映射把它们翻成人能读的中文，并**分成三态**：
+ *
+ *    supported             已实现，可用
+ *    deliberately-disabled **有意不做**（产品决定），不是缺口
+ *    not-implemented       还没做
+ *
+ *  ★ 三态分开是必需的，不是美观：把「有意禁用」和「还没做」混在一起，用户会
+ *    以为下个版本就有了，而它永远不会有。守护进程专门公布
+ *    `clipboard.read_denied_by_policy` / `ocr.not_available`
+ *    这两个**负向能力**正是为了让这件事说得出口。
+ *
+ *  ★ 这份映射由 `/computeruse` 与 Desktop 面板**共用**。此前 Desktop 自己在
+ *    React 里硬编码了一句「元素语义定位、OCR、窗口管理、剪贴板与文件拖入尚未
+ *    开放」，而那四项里有三项早已实现——两端各写一份必然漂移。
+ *
+ *  ★ 未知能力**原样降级显示**，不猜。守护进程加了新能力而这里还没更新时，
+ *    用户至少看得到那个原始串，而不是它凭空消失。
+ * ============================================================
+ */
+
+export type CapabilityState = 'supported' | 'deliberately-disabled' | 'not-implemented';
+
+export interface CapabilityLabel {
+  /** 原始能力串，保留以便排查 */
+  id: string;
+  label: string;
+  state: CapabilityState;
+  /** 为什么是这个状态（只有非 supported 才有意义） */
+  reason?: string;
+}
+
+interface Known {
+  label: string;
+  state?: CapabilityState;
+  reason?: string;
+}
+
+/** 精确匹配表。键是守护进程公布的完整能力串。 */
+const KNOWN: Record<string, Known> = {
+  'permissions.screen_capture_preflight': { label: '屏幕录制权限预检' },
+  'permissions.accessibility_preflight': { label: '辅助功能权限预检' },
+  'displays.core_graphics': { label: '显示器枚举' },
+  'observe.frontmost_app': { label: '前台应用识别' },
+  'observe.frontmost_windows_when_accessibility_granted': { label: '窗口列表（需辅助功能）' },
+  'observe.accessibility_tree_when_granted': { label: '无障碍控件树（需辅助功能）' },
+  'observe.frame_sequence': { label: '连续帧观测' },
+  'observe.region_crop': { label: '原生分辨率区域裁剪' },
+  'settle.pixel_timeline': { label: '界面稳态判定' },
+  'replay.grayscale_ring': { label: '动作回放' },
+  'screenshot.system_screencapture': { label: '截图' },
+  'target.ax_element_fingerprint': { label: '元素语义定位（带指纹校验）' },
+  'app.activate_via_accessibility': { label: '激活应用' },
+  'window.focus': { label: '窗口聚焦' },
+  'window.minimize_restore': { label: '窗口最小化/恢复' },
+  'window.close': { label: '窗口关闭' },
+  'window.move_resize': { label: '窗口移动/缩放' },
+  'clipboard.write_text': { label: '剪贴板写入文本' },
+  'clipboard.write_region_image': { label: '区域截图到剪贴板' },
+  'file_drop.paste': { label: '文件投放（剪贴板粘贴）' },
+  'file_drop.open_panel': { label: '文件投放（驱动文件面板）' },
+  'input.click': { label: '点击' },
+  'input.double_click': { label: '双击' },
+  'input.right_click': { label: '右键' },
+  'input.middle_click': { label: '中键' },
+  'input.hover': { label: '悬停' },
+  'input.pointer': { label: '指针按下/移动/抬起' },
+  'input.drag': { label: '拖动' },
+  'input.scroll': { label: '滚动' },
+  'input.type_text': { label: '文本输入' },
+  'input.key': { label: '按键' },
+  'input.physical_takeover_listener': { label: '真实鼠标键盘自动接管' },
+  'emergency_stop.cooperative': { label: '紧急停止' },
+
+  // —— 负向能力：守护进程刻意公布，用来把「不做」说清楚 ——
+  'clipboard.read_denied_by_policy': {
+    label: '剪贴板读取',
+    state: 'deliberately-disabled',
+    reason: '产品策略禁用：跨应用搬内容用 Cmd+C/Cmd+V 即可，agent 不需要看到内容；'
+      + '而需要看到的场景恰好是密码管理器把凭据放上去的那个场景',
+  },
+  'ocr.not_available': {
+    label: 'OCR',
+    state: 'not-implemented',
+    reason: '当前版本尚无原生 OCR；优先使用无障碍语义，必要时由视觉模型读取单张画面',
+  },
+  'observe.primary_display_only': {
+    label: '多显示器',
+    state: 'not-implemented',
+    reason: '只观测主显示器；其它屏幕上的内容看不到，也不要往那里点',
+  },
+};
+
+/**
+ * 翻译一组能力串。**顺序稳定**（按输入顺序），未知项原样保留。
+ */
+export function describeCapabilities(ids: string[]): CapabilityLabel[] {
+  return ids.map((id) => {
+    const known = KNOWN[id];
+    if (known) {
+      return {
+        id,
+        label: known.label,
+        state: known.state ?? 'supported',
+        ...(known.reason ? { reason: known.reason } : {}),
+      };
+    }
+    // 没见过的能力：如实显示原始串。守护进程比这份表新时，用户仍看得见它。
+    return { id, label: id, state: 'supported' as const };
+  });
+}