clawmate 1.2.0 → 1.4.0

package/main/file-command-parser.js

@@ -0,0 +1,360 @@
+/**
+ * 파일 조작 명령 파서
+ *
+ * 한국어/영어 자연어를 파싱하여 파일 조작 의도를 추출한다.
+ * 텔레그램 메시지에서 파일 이동, 정리 등의 명령을 감지.
+ *
+ * 지원 패턴:
+ *   - "바탕화면의 .md 파일을 tata 폴더에 넣어줘"
+ *   - "스크린샷 폴더에 .png 정리해"
+ *   - "바탕화면 정리해"
+ *   - "move .txt files to docs folder"
+ */
+
+const os = require('os');
+const path = require('path');
+
+// 알려진 소스 경로 별칭 (한국어 + 영어)
+const SOURCE_ALIASES = {
+  '바탕화면': () => _getDesktopPath(),
+  '데스크탑': () => _getDesktopPath(),
+  '데스크톱': () => _getDesktopPath(),
+  'desktop': () => _getDesktopPath(),
+  '다운로드': () => path.join(os.homedir(), 'Downloads'),
+  '다운': () => path.join(os.homedir(), 'Downloads'),
+  'downloads': () => path.join(os.homedir(), 'Downloads'),
+  '문서': () => path.join(os.homedir(), 'Documents'),
+  'documents': () => path.join(os.homedir(), 'Documents'),
+};
+
+// 행동 명령 키워드 → 액션 매핑
+const ACTION_KEYWORDS = {
+  '점프': 'jumping',
+  '점프해': 'jumping',
+  '뛰어': 'jumping',
+  'jump': 'jumping',
+  '잠자': 'sleeping',
+  '자': 'sleeping',
+  '잠잘래': 'sleeping',
+  'sleep': 'sleeping',
+  '춤춰': 'excited',
+  '춤': 'excited',
+  'dance': 'excited',
+  '걸어': 'walking',
+  '걸어다녀': 'walking',
+  'walk': 'walking',
+  '올라가': 'climbing_up',
+  '기어올라': 'climbing_up',
+  'climb': 'climbing_up',
+  '신나': 'excited',
+  '신나게': 'excited',
+  '놀아': 'playing',
+  '놀자': 'playing',
+  'play': 'playing',
+  '무서워': 'scared',
+  '깜짝': 'scared',
+  '레펠': 'rappelling',
+  '내려와': 'rappelling',
+  'rappel': 'rappelling',
+};
+
+// 파일 조작 감지 키워드
+const FILE_OP_PATTERNS = [
+  // "~의 .ext 파일을 ~폴더에 넣어줘/옮겨줘/이동해"
+  /(?:(.+?)(?:의|에서|에 있는)\s+)?([.\w*]+)\s*파일(?:을|들을)?\s+(.+?)(?:폴더)?(?:에|으로)\s*(?:넣어|옮겨|이동|정리|보내)/,
+  // "~폴더에 .ext 정리해"
+  /(.+?)(?:폴더)?(?:에|으로)\s+([.\w*]+)\s*(?:파일\s*)?(?:정리|넣어|옮겨|이동)/,
+  // "바탕화면 정리해"
+  /(.+?)\s*(?:정리|청소|깔끔하게)\s*(?:해|해줘|하자|좀)/,
+  // 영어: "move .ext files to folder"
+  /move\s+([.\w*]+)\s+files?\s+(?:to|into)\s+(\S+)/i,
+  // 영어: "clean up desktop"
+  /clean\s*(?:up)?\s+(\S+)/i,
+  // 영어: "organize desktop"
+  /organize\s+(\S+)/i,
+];
+
+/**
+ * 데스크톱 경로 가져오기 (file-ops와 동일 로직)
+ */
+function _getDesktopPath() {
+  try {
+    const { getDesktopPath } = require('./desktop-path');
+    return getDesktopPath();
+  } catch {
+    return path.join(os.homedir(), 'Desktop');
+  }
+}
+
+/**
+ * 소스 별칭을 실제 경로로 변환
+ * @param {string} alias - 소스 별칭 (예: "바탕화면")
+ * @returns {string|null} 실제 경로 또는 null
+ */
+function resolveSource(alias) {
+  if (!alias) return null;
+  const trimmed = alias.trim().toLowerCase();
+  for (const [key, resolver] of Object.entries(SOURCE_ALIASES)) {
+    if (trimmed === key || trimmed.includes(key)) {
+      return resolver();
+    }
+  }
+  return null;
+}
+
+/**
+ * 자동 분류 확장자 → 폴더명 매핑
+ * "바탕화면 정리해" 같은 범용 명령에서 사용
+ */
+const AUTO_CATEGORIES = {
+  '.png': '이미지',
+  '.jpg': '이미지',
+  '.jpeg': '이미지',
+  '.gif': '이미지',
+  '.bmp': '이미지',
+  '.webp': '이미지',
+  '.svg': '이미지',
+  '.pdf': '문서',
+  '.doc': '문서',
+  '.docx': '문서',
+  '.xlsx': '문서',
+  '.xls': '문서',
+  '.pptx': '문서',
+  '.ppt': '문서',
+  '.txt': '문서',
+  '.hwp': '문서',
+  '.md': '문서',
+  '.zip': '압축파일',
+  '.rar': '압축파일',
+  '.7z': '압축파일',
+  '.tar': '압축파일',
+  '.gz': '압축파일',
+  '.mp3': '음악',
+  '.wav': '음악',
+  '.flac': '음악',
+  '.aac': '음악',
+  '.mp4': '동영상',
+  '.avi': '동영상',
+  '.mkv': '동영상',
+  '.mov': '동영상',
+  '.wmv': '동영상',
+};
+
+/**
+ * 메시지에서 행동 명령을 감지
+ * @param {string} text - 사용자 메시지
+ * @returns {{ type: 'action', action: string }|null}
+ */
+function parseActionCommand(text) {
+  if (!text) return null;
+  const trimmed = text.trim().toLowerCase();
+
+  for (const [keyword, action] of Object.entries(ACTION_KEYWORDS)) {
+    if (trimmed === keyword || trimmed.includes(keyword)) {
+      return { type: 'action', action };
+    }
+  }
+  return null;
+}
+
+/**
+ * 메시지에서 파일 조작 명령을 감지
+ * @param {string} text - 사용자 메시지
+ * @returns {{ type: 'smart_file_op', source: string, filter: string, target: string, autoCategory: boolean }|null}
+ */
+function parseFileCommand(text) {
+  if (!text) return null;
+  const trimmed = text.trim();
+
+  // 패턴 1: "바탕화면의 .md 파일을 tata 폴더에 넣어줘"
+  const pattern1 = /(?:(.+?)(?:의|에서|에 있는)\s+)?([.\w*]+)\s*파일(?:을|들을)?\s+(.+?)(?:\s*폴더)?(?:에|으로)\s*(?:넣어|옮겨|이동|정리|보내)/;
+  let match = trimmed.match(pattern1);
+  if (match) {
+    const sourceName = match[1] || '바탕화면';
+    const filter = match[2];
+    const target = match[3].trim();
+    const source = resolveSource(sourceName) || _getDesktopPath();
+
+    return {
+      type: 'smart_file_op',
+      source,
+      filter: filter.startsWith('.') ? filter : `.${filter}`,
+      target,
+      autoCategory: false,
+    };
+  }
+
+  // 패턴 2: "스크린샷 폴더에 .png 정리해"
+  const pattern2 = /(.+?)(?:\s*폴더)?(?:에|으로)\s+([.\w*]+)\s*(?:파일\s*)?(?:정리|넣어|옮겨|이동)/;
+  match = trimmed.match(pattern2);
+  if (match) {
+    const target = match[1].trim();
+    const filter = match[2];
+
+    return {
+      type: 'smart_file_op',
+      source: _getDesktopPath(),
+      filter: filter.startsWith('.') ? filter : `.${filter}`,
+      target,
+      autoCategory: false,
+    };
+  }
+
+  // 패턴 3: "바탕화면 정리해" (자동 분류)
+  const pattern3 = /(.+?)\s*(?:정리|청소|깔끔하게)\s*(?:해|해줘|하자|좀)?$/;
+  match = trimmed.match(pattern3);
+  if (match) {
+    const sourceName = match[1].trim();
+    const source = resolveSource(sourceName);
+    if (source) {
+      return {
+        type: 'smart_file_op',
+        source,
+        filter: '*',
+        target: 'auto',
+        autoCategory: true,
+      };
+    }
+  }
+
+  // 패턴 4 (영어): "move .txt files to docs"
+  const pattern4 = /move\s+([.\w*]+)\s+files?\s+(?:to|into)\s+(\S+)/i;
+  match = trimmed.match(pattern4);
+  if (match) {
+    const filter = match[1];
+    const target = match[2];
+
+    return {
+      type: 'smart_file_op',
+      source: _getDesktopPath(),
+      filter: filter.startsWith('.') ? filter : `.${filter}`,
+      target,
+      autoCategory: false,
+    };
+  }
+
+  // 패턴 5 (영어): "clean up desktop" / "organize desktop"
+  const pattern5 = /(?:clean\s*(?:up)?|organize)\s+(\S+)/i;
+  match = trimmed.match(pattern5);
+  if (match) {
+    const sourceName = match[1].trim();
+    const source = resolveSource(sourceName);
+    if (source) {
+      return {
+        type: 'smart_file_op',
+        source,
+        filter: '*',
+        target: 'auto',
+        autoCategory: true,
+      };
+    }
+  }
+
+  return null;
+}
+
+/**
+ * 캐릭터 변경 명령 감지
+ * @param {string} text - 사용자 메시지
+ * @returns {{ type: 'character_change', concept: string }|null}
+ */
+function parseCharacterCommand(text) {
+  if (!text) return null;
+  const trimmed = text.trim();
+
+  // 한국어 캐릭터 변경 패턴
+  const krPatterns = [
+    /(?:캐릭터|펫|모습|외형|외모)(?:를|을)?\s*(.+?)(?:로|으로)\s*(?:바꿔|변경|변신|만들어|바꿀래|바꾸고|바꿔줘|변경해|만들어줘)/,
+    /(.+?)(?:로|으로)\s*(?:캐릭터|펫|모습|외형)\s*(?:바꿔|변경|변신|변경해|바꿔줘)/,
+    /(.+?)\s*(?:캐릭터|펫)\s*(?:만들어|만들어줘|생성|생성해)/,
+    /(.+?)(?:로|으로)\s*변신(?:해|해줘|시켜|시켜줘)?/,
+  ];
+  for (const pattern of krPatterns) {
+    const match = trimmed.match(pattern);
+    if (match) {
+      return { type: 'character_change', concept: match[1].trim() };
+    }
+  }
+
+  // 영어 캐릭터 변경 패턴
+  const enPatterns = [
+    /(?:change|switch|transform)\s+(?:character|pet|look)\s+(?:to|into)\s+(.+)/i,
+    /(?:make|create|generate)\s+(?:a\s+)?(.+?)\s+(?:character|pet)/i,
+    /(?:become|turn into)\s+(?:a\s+)?(.+)/i,
+  ];
+  for (const pattern of enPatterns) {
+    const match = trimmed.match(pattern);
+    if (match) {
+      return { type: 'character_change', concept: match[1].trim() };
+    }
+  }
+
+  return null;
+}
+
+/**
+ * 메시지 종합 파싱: 캐릭터 변경 > 파일 조작 > 행동 명령 > 일반 대화 순으로 판별
+ * @param {string} text - 사용자 메시지
+ * @returns {{ type: string, ... }}
+ */
+/**
+ * 모드/설정 변경 명령 감지
+ * @param {string} text - 사용자 메시지
+ * @returns {{ type: 'mode_change', mode: string }|{ type: 'setting', key, value }|null}
+ */
+function parseSettingCommand(text) {
+  if (!text) return null;
+  const t = text.trim().toLowerCase();
+
+  // 모드 변경
+  if (/(?:펫|pet)\s*모드/.test(t)) return { type: 'mode_change', mode: 'pet' };
+  if (/(?:인카|인격|incarnation|claw)\s*모드/.test(t)) return { type: 'mode_change', mode: 'incarnation' };
+  if (/둘\s*다\s*모드|both\s*mode/i.test(t)) return { type: 'mode_change', mode: 'both' };
+
+  // 캐릭터 프리셋 선택 (트레이 프리셋과 동일)
+  const presetMap = {
+    '파란|파랑|blue': 'blue', '초록|green': 'green', '보라|purple': 'purple',
+    '골드|금색|gold': 'gold', '핑크|pink': 'pink',
+    '고양이|cat': 'cat', '로봇|robot': 'robot', '유령|ghost': 'ghost', '드래곤|dragon': 'dragon',
+    '기본|default|원래': 'default',
+  };
+  for (const [pattern, preset] of Object.entries(presetMap)) {
+    const regex = new RegExp(`(?:${pattern})\\s*(?:캐릭터|색|색상|으로)?\\s*(?:바꿔|변경|골라|선택|해줘)?`);
+    if (regex.test(t)) {
+      return { type: 'preset_character', preset };
+    }
+  }
+
+  return null;
+}
+
+function parseMessage(text) {
+  // 0순위: 설정/모드 변경 명령
+  const settingCmd = parseSettingCommand(text);
+  if (settingCmd) return settingCmd;
+
+  // 1순위: 캐릭터 변경 명령 (AI 생성)
+  const charCmd = parseCharacterCommand(text);
+  if (charCmd) return charCmd;
+
+  // 2순위: 파일 조작 명령
+  const fileCmd = parseFileCommand(text);
+  if (fileCmd) return fileCmd;
+
+  // 3순위: 행동 명령
+  const actionCmd = parseActionCommand(text);
+  if (actionCmd) return actionCmd;
+
+  // 4순위: 일반 대화 (speak)
+  return { type: 'speak', text };
+}
+
+module.exports = {
+  parseMessage,
+  parseFileCommand,
+  parseActionCommand,
+  parseCharacterCommand,
+  parseSettingCommand,
+  resolveSource,
+  AUTO_CATEGORIES,
+};

package/main/index.js

@@ -3,10 +3,12 @@ const path = require('path');
 const { setupTray } = require('./tray');
 const { registerIpcHandlers } = require('./ipc-handlers');
 const { AIBridge } = require('./ai-bridge');
+const { TelegramBot } = require('./telegram');
 
 let mainWindow = null;
 let launcherWindow = null;
 let aiBridge = null;
+let telegramBot = null;
 
 function createMainWindow() {
   const { width, height } = screen.getPrimaryDisplay().workAreaSize;
@@ -67,19 +69,27 @@ function createLauncherWindow() {
 }
 
 /**
- * AI Bridge 시작 — OpenClaw 에이전트가 접속하면 펫을 조종
+ * AI Bridge 시작 — AI 에이전트가 접속하면 펫을 조종
  */
 function startAIBridge(win) {
   aiBridge = new AIBridge();
   aiBridge.start();
 
-  // OpenClaw → ClawMate 명령을 렌더러에 전달
+  // AI → ClawMate 명령을 렌더러에 전달
   const commandTypes = [
     'action', 'move', 'emote', 'speak', 'think',
     'carry_file', 'drop_file', 'set_mode', 'evolve',
     'accessorize', 'ai_decision',
-    // 공간 이동 명령 (OpenClaw이 집처럼 돌아다니기)
+    // 공간 이동 명령 (펫이 집처럼 돌아다니기)
     'jump_to', 'rappel', 'release_thread', 'move_to_center', 'walk_on_window',
+    // 커스텀 이동 패턴
+    'register_movement', 'custom_move', 'stop_custom_move', 'list_movements',
+    // 스마트 파일 조작 (텔레그램/AI에서 트리거한 파일 이동 애니메이션)
+    'smart_file_op',
+    // 캐릭터 커스터마이징 (텔레그램에서 AI 생성)
+    'set_character', 'reset_character',
+    // 인격체 전환 (Incarnation 모드)
+    'set_persona',
   ];
 
   commandTypes.forEach((type) => {
@@ -90,7 +100,7 @@ function startAIBridge(win) {
     });
   });
 
-  // OpenClaw 윈도우 위치 정보 요청 처리
+  // AI 윈도우 위치 정보 요청 처리
   aiBridge.on('query_windows', async () => {
     try {
       const { getWindowPositions } = require('./platform');
@@ -102,7 +112,7 @@ function startAIBridge(win) {
     }
   });
 
-  // OpenClaw 화면 캡처 요청 처리 (main process에서 직접 캡처)
+  // AI 화면 캡처 요청 처리 (main process에서 직접 캡처)
   aiBridge.on('query_screen', async () => {
     try {
       const primaryDisplay = screen.getPrimaryDisplay();
@@ -149,6 +159,9 @@ app.whenReady().then(() => {
   const bridge = startAIBridge(win);
   setupTray(win, bridge);
 
+  // 텔레그램 봇 초기화 (토큰 없으면 조용히 무시)
+  telegramBot = new TelegramBot(bridge);
+
   // 최초 설치 시 자동 시작 등록
   const { enableAutoStart, isAutoStartEnabled } = require('./autostart');
   if (!isAutoStartEnabled()) {
@@ -165,6 +178,7 @@ app.on('window-all-closed', () => {
 });
 
 app.on('before-quit', () => {
+  if (telegramBot) telegramBot.stop();
   if (aiBridge) aiBridge.stop();
 });
 

package/main/ipc-handlers.js

@@ -1,5 +1,7 @@
 const { ipcMain, screen, desktopCapturer } = require('electron');
 const { getDesktopFiles, moveFile, undoFileMove, undoAllMoves, getFileManifest } = require('./file-ops');
+const { executeSmartFileOp, undoSmartMove, undoAllSmartMoves, listFilteredFiles } = require('./smart-file-ops');
+const { parseMessage } = require('./file-command-parser');
 const Store = require('./store');
 
 const store = new Store('clawmate-config', {
@@ -91,9 +93,9 @@ function registerIpcHandlers(getMainWindow, getAIBridge) {
     }
   });
 
-  // === OpenClaw AI 통신 ===
+  // === AI 통신 ===
 
-  // 사용자 이벤트를 AI Bridge로 전달 (렌더러 → main → OpenClaw)
+  // 사용자 이벤트를 AI Bridge로 전달 (렌더러 → main → AI)
   ipcMain.on('report-to-ai', (_, event, data) => {
     const bridge = getAIBridge();
     if (bridge && bridge.isConnected()) {
@@ -107,6 +109,9 @@ function registerIpcHandlers(getMainWindow, getAIBridge) {
         case 'cursor_near':
           bridge.reportCursorNear(data.distance, data.cursorPos);
           break;
+        case 'double_click':
+          bridge.send('user_event', { event: 'double_click', ...data });
+          break;
         case 'desktop_changed':
           bridge.reportDesktopChange(data.files);
           break;
@@ -119,6 +124,14 @@ function registerIpcHandlers(getMainWindow, getAIBridge) {
         case 'user_idle':
           bridge.reportIdleTime(data.idleSeconds);
           break;
+        case 'browsing':
+          // 브라우징 컨텍스트 (제목 + 커서 위치 + 화면 캡처) → AI 코멘트 생성
+          bridge.send('user_event', { event: 'browsing', ...data });
+          break;
+        default:
+          // 알 수 없는 이벤트도 AI에 전달 (확장성)
+          bridge.send('user_event', { event, ...data });
+          break;
       }
     }
   });
@@ -129,11 +142,103 @@ function registerIpcHandlers(getMainWindow, getAIBridge) {
     return bridge ? bridge.isConnected() : false;
   });
 
+  // 메트릭 보고 (렌더러 → main → AI)
+  ipcMain.on('report-metrics', (_, summary) => {
+    const bridge = getAIBridge();
+    if (bridge && bridge.isConnected()) {
+      bridge.reportMetrics(summary);
+    }
+  });
+
   // 열린 윈도우 위치/크기 조회
   ipcMain.handle('get-window-positions', async () => {
     const { getWindowPositions } = require('./platform');
     return await getWindowPositions();
   });
+
+  // 활성 윈도우 제목 조회 (브라우저 감시용)
+  ipcMain.handle('get-active-window-title', async () => {
+    const { getActiveWindowTitle } = require('./platform');
+    return await getActiveWindowTitle();
+  });
+
+  // 커서 위치 조회 (화면 좌표)
+  ipcMain.handle('get-cursor-position', () => {
+    const point = screen.getCursorScreenPoint();
+    return { x: point.x, y: point.y };
+  });
+
+  // === 스마트 파일 조작 IPC ===
+
+  // 파일 명령 파싱 (렌더러에서도 사용 가능)
+  ipcMain.handle('parse-file-command', (_, text) => {
+    return parseMessage(text);
+  });
+
+  // 필터된 파일 목록 조회
+  ipcMain.handle('list-filtered-files', async (_, sourceDir, filter) => {
+    return listFilteredFiles(sourceDir, filter);
+  });
+
+  // 스마트 파일 조작 실행
+  // 렌더러에서 직접 실행할 때 사용 (텔레그램 경유가 아닌 경우)
+  ipcMain.handle('smart-file-op', async (_, command) => {
+    const win = getMainWindow();
+    const callbacks = {
+      onStart: (totalFiles) => {
+        if (win && !win.isDestroyed()) {
+          win.webContents.send('ai-command', {
+            type: 'smart_file_op',
+            payload: { phase: 'start', totalFiles },
+          });
+        }
+      },
+      onPickUp: (fileName, index) => {
+        if (win && !win.isDestroyed()) {
+          win.webContents.send('ai-command', {
+            type: 'smart_file_op',
+            payload: { phase: 'pick_up', fileName, index },
+          });
+        }
+      },
+      onDrop: (fileName, targetName, index) => {
+        if (win && !win.isDestroyed()) {
+          win.webContents.send('ai-command', {
+            type: 'smart_file_op',
+            payload: { phase: 'drop', fileName, targetName, index },
+          });
+        }
+      },
+      onComplete: (result) => {
+        if (win && !win.isDestroyed()) {
+          win.webContents.send('ai-command', {
+            type: 'smart_file_op',
+            payload: { phase: 'complete', ...result },
+          });
+        }
+      },
+      onError: (error) => {
+        if (win && !win.isDestroyed()) {
+          win.webContents.send('ai-command', {
+            type: 'smart_file_op',
+            payload: { phase: 'error', error },
+          });
+        }
+      },
+    };
+
+    return await executeSmartFileOp(command, callbacks);
+  });
+
+  // 스마트 이동 되돌리기 (단일)
+  ipcMain.handle('undo-smart-move', async (_, moveId) => {
+    return undoSmartMove(moveId);
+  });
+
+  // 스마트 이동 전체 되돌리기
+  ipcMain.handle('undo-all-smart-moves', async () => {
+    return undoAllSmartMoves();
+  });
 }
 
 module.exports = { registerIpcHandlers };

package/main/platform.js

@@ -213,4 +213,51 @@ async function getWindowPositionsLinux() {
   }
 }
 
-module.exports = { getDesktopPath, getTrayIconExt, isWindows, isMac, isLinux, platform, getWindowPositions };
+/**
+ * 현재 포커스된 (최상위) 윈도우의 제목 반환
+ * 브라우저 탭 제목을 감지하여 펫이 참견할 수 있게 함
+ */
+async function getActiveWindowTitle() {
+  try {
+    if (platform === 'win32') {
+      const psScript = `
+Add-Type @"
+using System;
+using System.Runtime.InteropServices;
+using System.Text;
+public class FGWin {
+  [DllImport("user32.dll")] static extern IntPtr GetForegroundWindow();
+  [DllImport("user32.dll")] static extern int GetWindowText(IntPtr hWnd, StringBuilder text, int count);
+  public static string Get() {
+    IntPtr h = GetForegroundWindow();
+    StringBuilder sb = new StringBuilder(512);
+    GetWindowText(h, sb, 512);
+    return sb.ToString();
+  }
+}
+"@
+[FGWin]::Get()
+`.trim();
+      const { stdout } = await execAsync(
+        `powershell -NoProfile -Command -`,
+        { input: psScript, timeout: 3000, encoding: 'utf-8' }
+      );
+      return (stdout || '').trim();
+    } else if (platform === 'darwin') {
+      const { stdout } = await execAsync(
+        `osascript -e 'tell application "System Events" to get name of first window of (first process whose frontmost is true)'`,
+        { timeout: 3000, encoding: 'utf-8' }
+      );
+      return (stdout || '').trim();
+    } else {
+      const { stdout } = await execAsync('xdotool getactivewindow getwindowname', {
+        timeout: 3000, encoding: 'utf-8',
+      });
+      return (stdout || '').trim();
+    }
+  } catch {
+    return '';
+  }
+}
+
+module.exports = { getDesktopPath, getTrayIconExt, isWindows, isMac, isLinux, platform, getWindowPositions, getActiveWindowTitle };