android-midscene-automation 0.1.21 → 0.1.22

package/USAGE.md

@@ -459,14 +459,14 @@ Home 键
 4. 点击判断节点，按需填写“指定文本”。
 5. 选择“模糊匹配（包含）”或“精准匹配（完全一致）”。
 6. 在“是”或“否”分支下点击“插入操作”，分别添加分支步骤。
-7. 需要回到判断后的主流程时，点击分支旁的“连接到下一节点”；连接成功后按钮变为“取消连接”。
+7. 如果两个分支后续要执行相同操作，可以复制公共节点到对应分支，或把公共流程拆成“连接脚本”复用。
 
 示例：
 
 ```text
 判断存在 确认按钮
   是 -> 点击 确认按钮
-  否 -> 继续主流程
+  否 -> 不添加操作
 ```
 
 分支说明：
@@ -476,7 +476,6 @@ Home 键
 - 模糊匹配会忽略换行和连续空白差异，只要规范化后的文本包含目标内容即可。
 - 精准匹配要求 Appium 返回的完整文本与指定文本完全一致。
 - 分支可以包含多个连续步骤，也可以在分支末尾连接其他脚本。
-- “连接到下一节点”只在判断后仍有主流程节点时显示。
 
 适用场景：
 
@@ -496,7 +495,7 @@ Home 键
 3. 选择“判断存在”。
 4. 展开节点，在“指定文本”中输入该弹窗特有的文案。
 5. 根据需要选择模糊匹配或精准匹配。
-6. 在“是”分支添加该弹窗对应的确认、取消或关闭步骤；“否”分支继续下一个判断或主流程。
+6. 在“是”分支添加该弹窗对应的确认、取消或关闭步骤；“否”分支继续下一个判断或不添加操作。
 
 示例：
 
@@ -505,7 +504,7 @@ Home 键
   是 -> 点击 确定
   否 -> 判断存在：指定文本“是否退出登录”
         是 -> 点击 确定
-        否 -> 继续主流程
+        否 -> 不添加操作
 ```
 
 适用场景：
@@ -867,12 +866,8 @@ output/2026-08-21_17-13-42-831-登录流程.html
 输入 账号
 输入 密码
 判断存在 用户协议弹窗
-  是 -> 点击 同意
-  否 -> 连接到下一节点
-点击 登录
-判断登录是否成功
-  是 -> 连接脚本 首页脚本
-  否 -> 断言文本 登录错误提示
+  是 -> 点击 同意 -> 点击 登录 -> 判断登录是否成功 -> 连接脚本 首页脚本
+  否 -> 点击 登录 -> 判断登录是否成功 -> 连接脚本 首页脚本
 ```
 
 首页脚本：
@@ -906,16 +901,15 @@ output/2026-08-21_17-13-42-831-登录流程.html
 2. 选择用于区分登录结果的稳定元素，添加“判断存在”。
 3. 在“是”分支插入首页校验或“连接脚本”。
 4. 在“否”分支插入错误提示断言。
-5. 需要继续执行判断后的公共步骤时，点击对应分支的“连接到下一节点”。
+5. 如果两个分支后续有相同公共步骤，使用批量复制把公共节点复制到对应分支。
 
 ### 示例 3：一次性弹窗
 
 ```text
 启动 App
 判断存在 确认按钮
-  是 -> 点击 确认按钮
-  否 -> 连接到下一节点
-断言存在 首页
+  是 -> 点击 确认按钮 -> 断言存在 首页
+  否 -> 断言存在 首页
 ```
 
 适合场景：
@@ -984,6 +978,12 @@ output/2026-08-21_17-13-42-831-登录流程.html
 - 分支连接允许选择同一 App 的其他 Activity，但不会主动跳转页面；前面的点击或输入必须真正触发跳转。
 - 如果页面未跳转，回放会在等待目标 Activity 超时后失败，这是为了防止在错误页面执行目标脚本。
 
+### 为什么在桌面点击 App 后回放无效
+
+部分厂商系统会限制桌面或启动器页面的控件信息，Appium 可能无法获取桌面图标的稳定 id。此时在桌面录制“点击 App 图标”可能无法回放。
+
+建议在开始节点后添加“启动 App”操作，由系统按包名打开目标 App，替代桌面点击图标。需要重置登录态或缓存时，可以先添加“清理 App 缓存”，再添加“启动 App”。
+
 ### 弹窗只出现一次怎么办
 
 使用“判断存在”。
@@ -991,7 +991,7 @@ output/2026-08-21_17-13-42-831-登录流程.html
 ```text
 判断存在 确认按钮
   是 -> 点击 确认按钮
-  否 -> 继续主流程
+  否 -> 不添加操作
 ```
 
 不要直接把弹窗确认按钮作为普通必选点击，否则弹窗不出现时脚本会失败。
@@ -1043,5 +1043,4 @@ output/2026-08-21_17-13-42-831-登录流程.html
 - 弹窗或其他可选组件使用“判断存在”，不要直接写死必点。
 - 坐标点击只作为兜底。
 - 给关键节点填写“登录按钮”“账号输入框”等备注，方便查看流程和报告。
-- 判断分支需要回到主流程时，明确点击“连接到下一节点”。
 - 回放失败后优先查看“回放输出”中的失败节点、Activity 和 selector，再打开 `output` 中的 Markdown 报告查看完整配置。

package/bin/android-midscene-automation.js

@@ -10,12 +10,16 @@ const viteRoot = path.dirname(require.resolve('vite/package.json'));
 const viteBin = path.join(viteRoot, 'bin', 'vite.js');
 const args = process.argv.slice(2);
 const userRoot = process.cwd();
+const githubUrl = 'https://github.com/oooooooko/android-midscene-automation';
 
 if (!args.includes('--host')) {
   args.unshift('127.0.0.1');
   args.unshift('--host');
 }
 
+console.log(`\nGitHub 源码 / 二次修改：${githubUrl}`);
+console.log(`问题反馈 / 功能建议：${githubUrl}/issues\n`);
+
 const child = spawn(process.execPath, [viteBin, ...args], {
   cwd: packageRoot,
   env: {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "android-midscene-automation",
-  "version": "0.1.21",
+  "version": "0.1.22",
   "repository": {
     "type": "git",
     "url": "git+https://github.com/oooooooko/android-midscene-automation.git"
@@ -11,7 +11,7 @@
   "homepage": "https://github.com/oooooooko/android-midscene-automation#readme",
   "type": "module",
   "bin": {
-    "android-midscene-automation": "./bin/android-midscene-automation.js"
+    "android-midscene-automation": "bin/android-midscene-automation.js"
   },
   "files": [
     "bin",
@@ -35,25 +35,40 @@
     "test:e2e": "playwright test"
   },
   "dependencies": {
-    "@element-plus/icons-vue": "^2.3.2",
-    "@midscene/android": "1.10.12",
-    "@midscene/web": "1.10.12",
-    "@vitejs/plugin-vue": "^6.0.1",
-    "element-plus": "^2.11.1",
-    "openai": "^5.12.2",
-    "tsx": "^4.20.3",
-    "typescript": "^5.8.3",
-    "vite": "^7.0.4",
-    "vue": "^3.5.18",
-    "word-extractor": "^1.0.4",
-    "xlsx": "^0.18.5",
-    "yaml": "^2.8.1"
+    "@dagrejs/dagre": "1.1.5",
+    "@element-plus/icons-vue": "2.3.2",
+    "@midscene/android": "https://registry.npmjs.org/@midscene/android/-/android-1.12.0.tgz",
+    "@midscene/android-playground": "1.12.0",
+    "@midscene/core": "https://registry.npmjs.org/@midscene/core/-/core-1.12.0.tgz",
+    "@midscene/playground": "https://registry.npmjs.org/@midscene/playground/-/playground-1.12.0.tgz",
+    "@midscene/shared": "https://registry.npmjs.org/@midscene/shared/-/shared-1.12.0.tgz",
+    "@midscene/web": "1.12.0",
+    "@vitejs/plugin-vue": "6.0.7",
+    "@vue-flow/core": "1.48.2",
+    "element-plus": "2.11.1",
+    "openai": "5.23.2",
+    "tsx": "4.23.0",
+    "typescript": "5.9.3",
+    "vite": "7.3.6",
+    "vue": "3.5.39",
+    "word-extractor": "1.0.4",
+    "xlsx": "0.18.5",
+    "yaml": "2.9.0"
+  },
+  "overrides": {
+    "@floating-ui/core": "1.7.5",
+    "@floating-ui/dom": "1.7.6",
+    "nanoid": "3.3.15",
+    "playwright": "1.61.1",
+    "playwright-core": "1.61.1",
+    "postcss": "8.5.16",
+    "rollup": "4.62.2"
   },
   "devDependencies": {
-    "@playwright/test": "^1.54.1",
-    "@types/node": "^24.0.13",
-    "@types/word-extractor": "^1.0.6",
-    "@vue/tsconfig": "^0.7.0",
-    "vue-tsc": "^3.0.3"
+    "@playwright/test": "1.61.1",
+    "@types/node": "24.13.2",
+    "@types/word-extractor": "1.0.6",
+    "@vue/tsconfig": "0.7.0",
+    "vue-tsc": "3.3.6"
   }
 }

package/server/appium-recorder/appium-runner.ts

@@ -122,6 +122,27 @@ export function launchAppOnDevice(deviceId: string, packageName: string) {
   });
 }
 
+export function clearAppDataOnDevice(deviceId: string, packageName: string) {
+  if (!packageName) return Promise.reject(new Error('清理 App 缓存缺少包名'));
+  return new Promise<void>((resolve, reject) => {
+    execFile(getAdbCommand(), [
+      '-s',
+      deviceId,
+      'shell',
+      'pm',
+      'clear',
+      packageName,
+    ], { maxBuffer: 4 * 1024 * 1024 }, (error, stdout, stderr) => {
+      const output = `${stdout || ''}\n${stderr || ''}`.trim();
+      if (error || !/^success$/im.test(output)) {
+        reject(new Error(output || error?.message || `ADB 清理 ${packageName} 失败`));
+        return;
+      }
+      resolve();
+    });
+  });
+}
+
 function adbSwipe(deviceId: string, step: Required<AppiumRecordedStepRecord>['swipe']) {
   return new Promise<void>((resolve, reject) => {
     execFile(getAdbCommand(), [
@@ -500,6 +521,12 @@ async function runStep(sessionId: string, deviceId: string, step: AppiumRecorded
     return `ADB 已启动 ${packageName}`;
   }
 
+  if (step.type === 'clearAppData') {
+    const packageName = step.value || '';
+    await clearAppDataOnDevice(deviceId, packageName);
+    return `ADB 已清除 ${packageName} 的应用数据与缓存`;
+  }
+
   if (step.type === 'screenshot') {
     await saveScreenshot(sessionId);
     return;
@@ -710,10 +737,20 @@ async function appendStepDiagnostics(lines: string[], deviceId: string, step: Ap
 }
 
 type ReplayStepOptions = {
-  skipLaunchApp?: boolean;
+  skipAppInitialization?: boolean;
   scriptName?: string;
 };
 
+function shouldSkipLinkedScriptInitStep(options: ReplayStepOptions, step: AppiumRecordedStepRecord) {
+  return Boolean(options.skipAppInitialization && (step.type === 'launchApp' || step.type === 'clearAppData'));
+}
+
+function linkedScriptInitSkipReason(step: AppiumRecordedStepRecord) {
+  return step.type === 'clearAppData'
+    ? '连接脚本不重复清理 App'
+    : '连接脚本不重复启动 App';
+}
+
 async function replayLinkedScript(
   sessionId: string,
   deviceId: string,
@@ -754,7 +791,7 @@ async function replayLinkedScript(
   lines.push(`连接脚本开始：${linkedScript.name}`);
   const nextStack = [...stack, linkedScript.id];
   await replayScriptSteps(sessionId, deviceId, linkedScript.steps, lines, nextStack, {
-    skipLaunchApp: true,
+    skipAppInitialization: true,
     scriptName: linkedScript.name,
   });
   lines.push(`连接脚本完成：${linkedScript.name}`);
@@ -770,8 +807,8 @@ async function replayLinearSteps(
 ) {
   for (const [index, step] of steps.entries()) {
     throwIfReplayStopped();
-    if (options.skipLaunchApp && step.type === 'launchApp') {
-      lines.push(`[节点 ${index + 1}] 跳过：${step.label}（连接脚本不重复启动 App）`);
+    if (shouldSkipLinkedScriptInitStep(options, step)) {
+      lines.push(`[节点 ${index + 1}] 跳过：${step.label}（${linkedScriptInitSkipReason(step)}）`);
       continue;
     }
     lines.push(`[节点 ${index + 1}] 开始：${step.label}`);
@@ -841,8 +878,8 @@ async function replayFlowSteps(
     if (guard > maxVisits) throw new Error('流程图可能存在循环，已终止回放');
 
     const step = steps[index];
-    if (options.skipLaunchApp && step.type === 'launchApp') {
-      lines.push(`[节点 ${index + 1}] 跳过：${step.label}（连接脚本不重复启动 App）`);
+    if (shouldSkipLinkedScriptInitStep(options, step)) {
+      lines.push(`[节点 ${index + 1}] 跳过：${step.label}（${linkedScriptInitSkipReason(step)}）`);
       index = nextIndexAfterStep(index, step);
       continue;
     }

package/server/appium-recorder/repository.ts

@@ -26,6 +26,7 @@ export type AppiumRecordedStepRecord = {
     | 'swipe'
     | 'screenshot'
     | 'launchApp'
+    | 'clearAppData'
     | 'waitDisappear'
     | 'assertText'
     | 'longPress'

package/server/appium-recorder/routes.ts

@@ -11,7 +11,7 @@ import {
   saveAppiumRecordedScript,
   type AppiumRecordedStepRecord,
 } from './repository';
-import { launchAppOnDevice, replayAppiumScript } from './appium-runner';
+import { clearAppDataOnDevice, launchAppOnDevice, replayAppiumScript } from './appium-runner';
 import { isRemoteDeviceId, sendRemoteCommand } from '../remote-agents/registry';
 import { getAdbCommand } from '../android-sdk';
 
@@ -205,6 +205,19 @@ export async function handleAppiumRecorderRequest(
       return true;
     }
 
+    if (pathname === '/api/appium-recorder/clear-app-data' && req.method === 'POST') {
+      const parsed = await readBody<{ deviceId?: string; packageName?: string }>(req);
+      const deviceId = parsed.deviceId?.trim() || selectedDeviceId;
+      const packageName = parsed.packageName?.trim() || '';
+      if (!deviceId) throw new Error('未检测到可用设备');
+      if (!packageName) throw new Error('请选择预设 App');
+      assertDeviceAllowed(deviceId);
+      if (isRemoteDeviceId(deviceId)) throw new Error('远程设备暂不支持清理 App 缓存');
+      await clearAppDataOnDevice(deviceId, packageName);
+      sendJson(res, { success: true });
+      return true;
+    }
+
     if (pathname === '/api/appium-recorder/scripts' && req.method === 'GET') {
       sendJson(res, { scripts: listAppiumRecordedScripts() });
       return true;

package/server/http-api.ts

@@ -95,9 +95,13 @@ function writeNdjson(res: ServerResponse, event: RunGeneratedScriptEvent | { typ
   res.write(`${JSON.stringify(event)}\n`);
 }
 
-function npxCommand() {
-  return process.platform === 'win32' ? 'npx.cmd' : 'npx';
-}
+const START_ANDROID_PLAYGROUND_WITHOUT_BROWSER = [
+  "import { androidPlaygroundPlatform, ScrcpyServer } from '@midscene/android-playground';",
+  "import { launchPreparedPlaygroundPlatform } from '@midscene/playground';",
+  'const scrcpyServer = new ScrcpyServer();',
+  'const prepared = await androidPlaygroundPlatform.prepare({ scrcpyServer });',
+  'await launchPreparedPlaygroundPlatform(prepared);',
+].join('\n');
 
 type AndroidDevice = {
   id: string;
@@ -513,7 +517,7 @@ export function createApiMiddleware() {
       };
     }
 
-    playgroundProcess = spawn(npxCommand(), ['--yes', '@midscene/android-playground'], {
+    playgroundProcess = spawn(process.execPath, ['--input-type=module', '--eval', START_ANDROID_PLAYGROUND_WITHOUT_BROWSER], {
       cwd: appPath(),
       env: {
         ...process.env,

package/server/model-tester.ts

@@ -30,6 +30,18 @@ type ModelTestResult = {
   usage?: ModelUsage;
 };
 
+function normalizeBaseUrl(value: string) {
+  return value.trim().replace(/\/+$/, '');
+}
+
+function normalizeModelName(value: string) {
+  return value.trim().replace(/[‐‑‒–—―]/g, '-');
+}
+
+function visibleContent(value: string) {
+  return value.replace(/<think>[\s\S]*?<\/think>/g, '').trim() || value.trim();
+}
+
 function execCodex(args: string[]) {
   return new Promise<string>((resolve, reject) => {
     execFile('codex', args, { timeout: 10_000 }, (error, stdout, stderr) => {
@@ -63,23 +75,27 @@ async function testCodexConnection(input: ModelInput): Promise<ModelTestResult>
 }
 
 export async function testModelConnection(input: ModelInput): Promise<ModelTestResult> {
-  if (input.provider === 'codex' || input.baseUrl === 'codex://app-server') {
+  const baseUrl = normalizeBaseUrl(input.baseUrl);
+  const modelName = normalizeModelName(input.name);
+
+  if (input.provider === 'codex' || baseUrl === 'codex://app-server') {
     return testCodexConnection(input);
   }
 
-  if (!input.baseUrl || !input.apiKey || !input.name) {
+  if (!baseUrl || !input.apiKey.trim() || !modelName) {
     throw new Error('模型配置不完整');
   }
 
   const startedAt = Date.now();
   const client = new OpenAI({
-    apiKey: input.apiKey,
-    baseURL: input.baseUrl,
+    apiKey: input.apiKey.trim(),
+    baseURL: baseUrl,
   });
 
   const result = await client.chat.completions.create({
-    model: input.name,
+    model: modelName,
     temperature: 0,
+    max_completion_tokens: 128,
     messages: [
       {
         role: 'user',
@@ -88,7 +104,7 @@ export async function testModelConnection(input: ModelInput): Promise<ModelTestR
     ],
   });
 
-  const content = result.choices[0]?.message?.content?.trim() || '';
+  const content = visibleContent(result.choices[0]?.message?.content || '');
   const usage: ModelUsage = {
     promptTokens: result.usage?.prompt_tokens,
     completionTokens: result.usage?.completion_tokens,

package/src/App.vue

@@ -1391,7 +1391,10 @@ onUnmounted(() => {
 
       <main
         class="page-body"
-        :class="{ 'page-body--fixed': activeMenu === 'generator' && activeGeneratorMode === 'ai' }"
+        :class="{
+          'page-body--fixed': activeMenu === 'generator' && activeGeneratorMode === 'ai',
+          'page-body--appium': activeMenu === 'appium',
+        }"
       >
         <el-alert v-if="activeMenu !== 'appium' && errorMessage" type="error" :closable="false" show-icon class="page-alert">
           <template #title>{{ errorMessage }}</template>

package/src/api.ts

@@ -32,6 +32,8 @@ async function postJson<T>(url: string, body?: unknown) {
     method: 'POST',
     headers: { 'Content-Type': 'application/json' },
     body: JSON.stringify(body || {}),
+  }).catch((error) => {
+    throw new Error(`无法连接本地后端 ${url}：${error instanceof Error ? error.message : '网络请求失败'}`);
   });
   return readJson<T>(response);
 }
@@ -287,4 +289,4 @@ export async function runScript(
   if (buffer.trim()) {
     onEvent(JSON.parse(buffer) as RunScriptStreamEvent);
   }
-}
+}