android-midscene-automation 0.1.24 → 0.1.25
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +8 -5
- package/README.md +8 -5
- package/package.json +1 -1
- package/server/http-api.ts +141 -105
- package/server/script-agent.ts +50 -45
- package/src/App.vue +133 -54
- package/src/api.ts +15 -10
- package/src/appium-recorder/AppiumPage.vue +1 -1
- package/src/config/prompt-example.ts +4 -0
- package/src/config/prompt-presets.ts +172 -0
- package/src/pages/AiGeneratorPage.vue +188 -5
- package/src/pages/AutomationPage.vue +3 -3
- package/src/pages/ConfigPage.vue +13 -35
- package/src/pages/GeneratorPage.vue +7 -0
- package/src/style.css +93 -138
- package/src/types.ts +0 -14
- package/server/model-call-usage-importer.ts +0 -108
- package/server/model-usage-repository.ts +0 -131
- package/src/components/config/ModelUsageChart.vue +0 -188
package/CHANGELOG.md
CHANGED
|
@@ -1,9 +1,16 @@
|
|
|
1
1
|
# 更新记录
|
|
2
2
|
|
|
3
|
+
## v0.1.25
|
|
4
|
+
|
|
5
|
+
- Android 设备预览恢复使用 scrcpy 实时流,优化实时流参数,减少 H.264 丢帧导致的花屏;刷新画面时会重启底层 Playground 预览流并等待会话就绪。
|
|
6
|
+
- 测试脚本生成新增提示词模板,可在通用提示词、广告测试、表单填写、聊天对话、播放器测试、搜索列表、订单支付、权限弹窗、个人设置和 H5/WebView 等场景间切换,并支持编辑或上传当前原始 Prompt。
|
|
7
|
+
- 优化 AI 生成流程,支持后台处理和终止生成;生成中锁定原始 Prompt,再次点击“AI 生成”可恢复进度弹窗,终止后不再弹出额外提示。
|
|
8
|
+
- 优化脚本生成提示词策略,区分广告、播放器、弹窗等被测目标与无关遮挡内容,登录流程增加登录后遮挡弹窗处理和无遮挡首页成功判定。
|
|
9
|
+
|
|
3
10
|
## v0.1.24
|
|
4
11
|
|
|
5
12
|
- 参数配置的运行配置新增保存校验,Android SDK 路径必须包含 `platform-tools/adb`,回放报告目录必须填写已存在且可写入的绝对路径。
|
|
6
|
-
- Midscene 自定义提供方的 `Model Name` 和 `Model Family`
|
|
13
|
+
- Midscene 自定义提供方的 `Model Name` 和 `Model Family` 改为输入框,`Base URL` 匹配已知提供方时自动填充模型名称和模型系列,并在字段旁新增官方配置说明入口。
|
|
7
14
|
|
|
8
15
|
## v0.1.23
|
|
9
16
|
|
|
@@ -22,10 +29,6 @@
|
|
|
22
29
|
- 连接脚本回放时会跳过子脚本开始后的重复“启动 App”和“清除 App”操作,减少跨脚本连接时的重复初始化。
|
|
23
30
|
- 移除“连接到下一节点”“取消连接”“继续主流程”等冗余连接操作,保留复制节点作为主要复用方式。
|
|
24
31
|
- 修复放大面板后点击操作按钮或节点配置会重置缩放的问题,保持当前画布大小和位置。
|
|
25
|
-
- Android Playground 改为后台启动 5800 服务,不再自动打开 `http://localhost:5800/` 浏览器窗口。
|
|
26
|
-
- CLI 启动时输出 GitHub 和 Issues 地址,方便用户反馈问题和提交建议。
|
|
27
|
-
- 常见问题新增桌面点击 App 录制说明:部分厂商系统无法获取桌面图标稳定 id,建议使用开始节点后的“启动 App”操作替代。
|
|
28
|
-
- 补充 GitHub 仓库、问题反馈和项目主页信息。
|
|
29
32
|
|
|
30
33
|
## v0.1.20
|
|
31
34
|
|
package/README.md
CHANGED
|
@@ -1211,10 +1211,17 @@ output/2026-08-21_17-13-42-831-登录流程.html
|
|
|
1211
1211
|
|
|
1212
1212
|
# 项目更新记录
|
|
1213
1213
|
|
|
1214
|
+
## v0.1.25
|
|
1215
|
+
|
|
1216
|
+
- Android 设备预览恢复使用 scrcpy 实时流,优化实时流参数,减少 H.264 丢帧导致的花屏;刷新画面时会重启底层 Playground 预览流并等待会话就绪。
|
|
1217
|
+
- 测试脚本生成新增提示词模板,可在通用提示词、广告测试、表单填写、聊天对话、播放器测试、搜索列表、订单支付、权限弹窗、个人设置和 H5/WebView 等场景间切换,并支持编辑或上传当前原始 Prompt。
|
|
1218
|
+
- 优化 AI 生成流程,支持后台处理和终止生成;生成中锁定原始 Prompt,再次点击“AI 生成”可恢复进度弹窗,终止后不再弹出额外提示。
|
|
1219
|
+
- 优化脚本生成提示词策略,区分广告、播放器、弹窗等被测目标与无关遮挡内容,登录流程增加登录后遮挡弹窗处理和无遮挡首页成功判定。
|
|
1220
|
+
|
|
1214
1221
|
## v0.1.24
|
|
1215
1222
|
|
|
1216
1223
|
- 参数配置的运行配置新增保存校验,Android SDK 路径必须包含 `platform-tools/adb`,回放报告目录必须填写已存在且可写入的绝对路径。
|
|
1217
|
-
- Midscene 自定义提供方的 `Model Name` 和 `Model Family`
|
|
1224
|
+
- Midscene 自定义提供方的 `Model Name` 和 `Model Family` 改为输入框,`Base URL` 匹配已知提供方时自动填充模型名称和模型系列,并在字段旁新增官方配置说明入口。
|
|
1218
1225
|
|
|
1219
1226
|
## v0.1.23
|
|
1220
1227
|
|
|
@@ -1233,10 +1240,6 @@ output/2026-08-21_17-13-42-831-登录流程.html
|
|
|
1233
1240
|
- 连接脚本回放时会跳过子脚本开始后的重复“启动 App”和“清除 App”操作,减少跨脚本连接时的重复初始化。
|
|
1234
1241
|
- 移除“连接到下一节点”“取消连接”“继续主流程”等冗余连接操作,保留复制节点作为主要复用方式。
|
|
1235
1242
|
- 修复放大面板后点击操作按钮或节点配置会重置缩放的问题,保持当前画布大小和位置。
|
|
1236
|
-
- Android Playground 改为后台启动 5800 服务,不再自动打开 `http://localhost:5800/` 浏览器窗口。
|
|
1237
|
-
- CLI 启动时输出 GitHub 和 Issues 地址,方便用户反馈问题和提交建议。
|
|
1238
|
-
- 常见问题新增桌面点击 App 录制说明:部分厂商系统无法获取桌面图标稳定 id,建议使用开始节点后的“启动 App”操作替代。
|
|
1239
|
-
- 补充 GitHub 仓库、问题反馈和项目主页信息。
|
|
1240
1243
|
|
|
1241
1244
|
## v0.1.20
|
|
1242
1245
|
|
package/package.json
CHANGED
package/server/http-api.ts
CHANGED
|
@@ -12,9 +12,7 @@ import { appPath } from './paths';
|
|
|
12
12
|
import { ConfigValidationError, loadConfig, saveConfig, type AppConfig } from './config';
|
|
13
13
|
import { listAppPresetRecords, removeAppPresetRecord, saveAppPresetRecord } from './config-store';
|
|
14
14
|
import { generatePlan } from './script-agent';
|
|
15
|
-
import { importMidsceneModelUsage } from './model-call-usage-importer';
|
|
16
15
|
import { testModelConnection } from './model-tester';
|
|
17
|
-
import { listModelUsageRecords, saveModelUsageRecord } from './model-usage-repository';
|
|
18
16
|
import { DeviceLockConflictError } from './device-locks/types';
|
|
19
17
|
import { acquireDeviceLock, listActiveDeviceLocks, releaseDeviceLock } from './device-locks/service';
|
|
20
18
|
import { ensureDeviceSession, listDeviceSessions } from './device-sessions/service';
|
|
@@ -95,12 +93,38 @@ function writeNdjson(res: ServerResponse, event: RunGeneratedScriptEvent | { typ
|
|
|
95
93
|
res.write(`${JSON.stringify(event)}\n`);
|
|
96
94
|
}
|
|
97
95
|
|
|
96
|
+
function delay(ms: number) {
|
|
97
|
+
return new Promise<void>((resolve) => {
|
|
98
|
+
setTimeout(resolve, ms);
|
|
99
|
+
});
|
|
100
|
+
}
|
|
101
|
+
|
|
102
|
+
// Work around @midscene/android-playground v1.12.x ESM __dirname usage on Node 24.
|
|
98
103
|
const START_ANDROID_PLAYGROUND_WITHOUT_BROWSER = [
|
|
99
|
-
"import {
|
|
100
|
-
|
|
101
|
-
|
|
102
|
-
|
|
103
|
-
'
|
|
104
|
+
"import { createRequire } from 'node:module';",
|
|
105
|
+
'const require = createRequire(import.meta.url);',
|
|
106
|
+
"const { androidPlaygroundPlatform, ScrcpyServer } = require('@midscene/android-playground');",
|
|
107
|
+
"const { launchPreparedPlaygroundPlatform } = require('@midscene/playground');",
|
|
108
|
+
'const STABLE_PREVIEW_OPTIONS = {',
|
|
109
|
+
' maxFps: 15,',
|
|
110
|
+
' maxSize: 1024,',
|
|
111
|
+
' videoBitRate: 3000000,',
|
|
112
|
+
" videoCodecOptions: 'i-frame-interval=0',",
|
|
113
|
+
'};',
|
|
114
|
+
'async function main() {',
|
|
115
|
+
' const scrcpyServer = new ScrcpyServer();',
|
|
116
|
+
' const startScrcpy = scrcpyServer.startScrcpy.bind(scrcpyServer);',
|
|
117
|
+
' scrcpyServer.startScrcpy = (adb, options = {}, onProgress) => startScrcpy(adb, {',
|
|
118
|
+
' ...options,',
|
|
119
|
+
' ...STABLE_PREVIEW_OPTIONS,',
|
|
120
|
+
' }, onProgress);',
|
|
121
|
+
' const prepared = await androidPlaygroundPlatform.prepare({ scrcpyServer });',
|
|
122
|
+
' await launchPreparedPlaygroundPlatform(prepared);',
|
|
123
|
+
'}',
|
|
124
|
+
"main().catch((error) => {",
|
|
125
|
+
" console.error(error);",
|
|
126
|
+
" process.exit(1);",
|
|
127
|
+
"});",
|
|
104
128
|
].join('\n');
|
|
105
129
|
|
|
106
130
|
type AndroidDevice = {
|
|
@@ -458,6 +482,24 @@ async function proxyPlaygroundRequest(req: IncomingMessage, res: ServerResponse,
|
|
|
458
482
|
return;
|
|
459
483
|
}
|
|
460
484
|
|
|
485
|
+
if (targetPath === '/mjpeg' && response.body) {
|
|
486
|
+
const reader = response.body.getReader();
|
|
487
|
+
req.once('close', () => {
|
|
488
|
+
reader.cancel().catch(() => undefined);
|
|
489
|
+
});
|
|
490
|
+
try {
|
|
491
|
+
while (true) {
|
|
492
|
+
const { done, value } = await reader.read();
|
|
493
|
+
if (done) break;
|
|
494
|
+
if (value) res.write(Buffer.from(value));
|
|
495
|
+
}
|
|
496
|
+
res.end();
|
|
497
|
+
} catch {
|
|
498
|
+
if (!res.writableEnded) res.end();
|
|
499
|
+
}
|
|
500
|
+
return;
|
|
501
|
+
}
|
|
502
|
+
|
|
461
503
|
const buffer = Buffer.from(await response.arrayBuffer());
|
|
462
504
|
res.end(buffer);
|
|
463
505
|
}
|
|
@@ -557,6 +599,39 @@ export function createApiMiddleware() {
|
|
|
557
599
|
});
|
|
558
600
|
};
|
|
559
601
|
|
|
602
|
+
const stopAndroidPlayground = async () => {
|
|
603
|
+
const processToStop = playgroundProcess;
|
|
604
|
+
if (!processToStop || processToStop.killed) return;
|
|
605
|
+
|
|
606
|
+
await new Promise<void>((resolve) => {
|
|
607
|
+
const timeout = setTimeout(resolve, 1500);
|
|
608
|
+
processToStop.once('exit', () => {
|
|
609
|
+
clearTimeout(timeout);
|
|
610
|
+
resolve();
|
|
611
|
+
});
|
|
612
|
+
processToStop.kill('SIGTERM');
|
|
613
|
+
});
|
|
614
|
+
if (playgroundProcess === processToStop) {
|
|
615
|
+
playgroundProcess = null;
|
|
616
|
+
}
|
|
617
|
+
};
|
|
618
|
+
|
|
619
|
+
const waitForUsablePlaygroundTarget = async (selectedDeviceId: string, timeoutMs = 30000) => {
|
|
620
|
+
const deadline = Date.now() + timeoutMs;
|
|
621
|
+
let resolved: PlaygroundTarget = null;
|
|
622
|
+
while (Date.now() < deadline) {
|
|
623
|
+
resolved = await resolvePlaygroundUrl(selectedDeviceId);
|
|
624
|
+
if (resolved && selectedDeviceId && !isUsablePlaygroundTarget(resolved, selectedDeviceId) && !resolved.sessionConnected) {
|
|
625
|
+
resolved = await createPlaygroundSession(resolved, selectedDeviceId) || resolved;
|
|
626
|
+
}
|
|
627
|
+
if (isUsablePlaygroundTarget(resolved, selectedDeviceId)) {
|
|
628
|
+
return resolved;
|
|
629
|
+
}
|
|
630
|
+
await delay(500);
|
|
631
|
+
}
|
|
632
|
+
return resolved;
|
|
633
|
+
};
|
|
634
|
+
|
|
560
635
|
const handler: NextHandleFunction = async (req, res, next) => {
|
|
561
636
|
const requestUrl = new URL(req.url || '/', 'http://localhost');
|
|
562
637
|
const pathname = requestUrl.pathname;
|
|
@@ -947,16 +1022,53 @@ export function createApiMiddleware() {
|
|
|
947
1022
|
return;
|
|
948
1023
|
}
|
|
949
1024
|
|
|
1025
|
+
if (req.url === '/api/playground-restart' && req.method === 'POST') {
|
|
1026
|
+
try {
|
|
1027
|
+
const payload = await readBody<{ deviceId?: string }>(req);
|
|
1028
|
+
const deviceId = payload.deviceId || selectedDeviceId;
|
|
1029
|
+
if (!deviceId) {
|
|
1030
|
+
throw new Error('请先选择 Android 设备');
|
|
1031
|
+
}
|
|
1032
|
+
if (isRemoteDeviceId(deviceId)) {
|
|
1033
|
+
throw new Error('远程设备不支持重启本地实时预览');
|
|
1034
|
+
}
|
|
1035
|
+
|
|
1036
|
+
setSelectedDeviceId(req, res, deviceId);
|
|
1037
|
+
selectedDeviceId = deviceId;
|
|
1038
|
+
playgroundEnsurePromise = null;
|
|
1039
|
+
lastPlaygroundEnsureAt = 0;
|
|
1040
|
+
lastPlaygroundEnsureDeviceId = '';
|
|
1041
|
+
await stopAndroidPlayground();
|
|
1042
|
+
const result = await ensureAndroidPlayground(deviceId);
|
|
1043
|
+
const target = result.target || await waitForUsablePlaygroundTarget(deviceId);
|
|
1044
|
+
|
|
1045
|
+
ensureDeviceSession({
|
|
1046
|
+
deviceId,
|
|
1047
|
+
patch: {
|
|
1048
|
+
playgroundUrl: target?.url || '',
|
|
1049
|
+
previewKind: target?.previewKind || '',
|
|
1050
|
+
sessionConnected: target?.sessionConnected || false,
|
|
1051
|
+
setupState: target?.setupState || result.skippedReason || '',
|
|
1052
|
+
previewError: target?.previewError || '',
|
|
1053
|
+
},
|
|
1054
|
+
});
|
|
1055
|
+
res.setHeader('Content-Type', 'application/json; charset=utf-8');
|
|
1056
|
+
res.end(JSON.stringify({
|
|
1057
|
+
success: true,
|
|
1058
|
+
started: result.started,
|
|
1059
|
+
available: isUsablePlaygroundTarget(target, deviceId),
|
|
1060
|
+
url: target?.url || '',
|
|
1061
|
+
skippedReason: result.skippedReason,
|
|
1062
|
+
}));
|
|
1063
|
+
} catch (error) {
|
|
1064
|
+
res.statusCode = 500;
|
|
1065
|
+
res.setHeader('Content-Type', 'application/json; charset=utf-8');
|
|
1066
|
+
res.end(JSON.stringify({ message: error instanceof Error ? error.message : '重启 Android Playground 失败' }));
|
|
1067
|
+
}
|
|
1068
|
+
return;
|
|
1069
|
+
}
|
|
1070
|
+
|
|
950
1071
|
if (req.url === '/api/test-model' && req.method === 'POST') {
|
|
951
|
-
const startedAt = Date.now();
|
|
952
|
-
let modelKey: 'midscene' | 'scriptOptimizer' = 'midscene';
|
|
953
|
-
let model: {
|
|
954
|
-
provider?: 'custom' | 'codex';
|
|
955
|
-
baseUrl?: string;
|
|
956
|
-
apiKey?: string;
|
|
957
|
-
name?: string;
|
|
958
|
-
family?: string;
|
|
959
|
-
} = {};
|
|
960
1072
|
try {
|
|
961
1073
|
const parsed = await readBody<{
|
|
962
1074
|
modelKey?: 'midscene' | 'scriptOptimizer';
|
|
@@ -968,8 +1080,7 @@ export function createApiMiddleware() {
|
|
|
968
1080
|
family?: string;
|
|
969
1081
|
};
|
|
970
1082
|
}>(req);
|
|
971
|
-
model = parsed.model || {};
|
|
972
|
-
modelKey = parsed.modelKey === 'scriptOptimizer' ? 'scriptOptimizer' : 'midscene';
|
|
1083
|
+
const model = parsed.model || {};
|
|
973
1084
|
|
|
974
1085
|
const result = await testModelConnection({
|
|
975
1086
|
provider: model.provider,
|
|
@@ -978,42 +1089,8 @@ export function createApiMiddleware() {
|
|
|
978
1089
|
name: model.name || '',
|
|
979
1090
|
family: model.family || '',
|
|
980
1091
|
});
|
|
981
|
-
saveModelUsageRecord({
|
|
982
|
-
modelKey,
|
|
983
|
-
provider: modelKey === 'midscene' ? model.provider || 'custom' : 'custom',
|
|
984
|
-
modelName: model.name || '',
|
|
985
|
-
family: model.family || '',
|
|
986
|
-
success: true,
|
|
987
|
-
durationMs: result.durationMs ?? Date.now() - startedAt,
|
|
988
|
-
promptTokens: result.usage?.promptTokens,
|
|
989
|
-
completionTokens: result.usage?.completionTokens,
|
|
990
|
-
totalTokens: result.usage?.totalTokens,
|
|
991
|
-
});
|
|
992
1092
|
res.setHeader('Content-Type', 'application/json; charset=utf-8');
|
|
993
1093
|
res.end(JSON.stringify(result));
|
|
994
|
-
} catch (error) {
|
|
995
|
-
saveModelUsageRecord({
|
|
996
|
-
modelKey,
|
|
997
|
-
provider: modelKey === 'midscene' ? model.provider || 'custom' : 'custom',
|
|
998
|
-
modelName: model.name || '',
|
|
999
|
-
family: model.family || '',
|
|
1000
|
-
success: false,
|
|
1001
|
-
durationMs: Date.now() - startedAt,
|
|
1002
|
-
errorMessage: error instanceof Error ? error.message : 'Unknown error',
|
|
1003
|
-
});
|
|
1004
|
-
res.statusCode = 500;
|
|
1005
|
-
res.setHeader('Content-Type', 'application/json; charset=utf-8');
|
|
1006
|
-
res.end(JSON.stringify({ message: error instanceof Error ? error.message : 'Unknown error' }));
|
|
1007
|
-
}
|
|
1008
|
-
return;
|
|
1009
|
-
}
|
|
1010
|
-
|
|
1011
|
-
if (req.url?.startsWith('/api/model-usage-records') && req.method === 'GET') {
|
|
1012
|
-
try {
|
|
1013
|
-
const requestUrl = new URL(req.url, 'http://localhost');
|
|
1014
|
-
const limit = Number(requestUrl.searchParams.get('limit') || 50);
|
|
1015
|
-
res.setHeader('Content-Type', 'application/json; charset=utf-8');
|
|
1016
|
-
res.end(JSON.stringify({ records: listModelUsageRecords(limit) }));
|
|
1017
1094
|
} catch (error) {
|
|
1018
1095
|
res.statusCode = 500;
|
|
1019
1096
|
res.setHeader('Content-Type', 'application/json; charset=utf-8');
|
|
@@ -1175,43 +1252,23 @@ export function createApiMiddleware() {
|
|
|
1175
1252
|
|
|
1176
1253
|
try {
|
|
1177
1254
|
if (req.url === '/api/generate' && req.method === 'POST') {
|
|
1178
|
-
const startedAt = Date.now();
|
|
1179
|
-
const config = loadConfig();
|
|
1180
1255
|
const parsed = await readBody<{
|
|
1181
1256
|
prompt?: string;
|
|
1182
1257
|
}>(req);
|
|
1258
|
+
const generateAbortController = new AbortController();
|
|
1259
|
+
res.on('close', () => {
|
|
1260
|
+
if (!res.writableEnded) {
|
|
1261
|
+
generateAbortController.abort();
|
|
1262
|
+
}
|
|
1263
|
+
});
|
|
1183
1264
|
|
|
1184
|
-
|
|
1185
|
-
|
|
1186
|
-
|
|
1187
|
-
|
|
1188
|
-
|
|
1189
|
-
saveModelUsageRecord({
|
|
1190
|
-
modelKey: 'scriptOptimizer',
|
|
1191
|
-
provider: 'custom',
|
|
1192
|
-
modelName: config.scriptOptimizer.model.name || '',
|
|
1193
|
-
family: '',
|
|
1194
|
-
success: true,
|
|
1195
|
-
durationMs: result.durationMs || Date.now() - startedAt,
|
|
1196
|
-
promptTokens: result.usage?.promptTokens,
|
|
1197
|
-
completionTokens: result.usage?.completionTokens,
|
|
1198
|
-
totalTokens: result.usage?.totalTokens,
|
|
1199
|
-
});
|
|
1265
|
+
const result = await generatePlan({
|
|
1266
|
+
prompt: parsed.prompt || '',
|
|
1267
|
+
signal: generateAbortController.signal,
|
|
1268
|
+
});
|
|
1200
1269
|
|
|
1201
|
-
|
|
1202
|
-
|
|
1203
|
-
} catch (error) {
|
|
1204
|
-
saveModelUsageRecord({
|
|
1205
|
-
modelKey: 'scriptOptimizer',
|
|
1206
|
-
provider: 'custom',
|
|
1207
|
-
modelName: config.scriptOptimizer.model.name || '',
|
|
1208
|
-
family: '',
|
|
1209
|
-
success: false,
|
|
1210
|
-
durationMs: Date.now() - startedAt,
|
|
1211
|
-
errorMessage: error instanceof Error ? error.message : 'AI 生成失败',
|
|
1212
|
-
});
|
|
1213
|
-
throw error;
|
|
1214
|
-
}
|
|
1270
|
+
res.setHeader('Content-Type', 'application/json; charset=utf-8');
|
|
1271
|
+
res.end(JSON.stringify(result));
|
|
1215
1272
|
return;
|
|
1216
1273
|
}
|
|
1217
1274
|
|
|
@@ -1281,7 +1338,6 @@ export function createApiMiddleware() {
|
|
|
1281
1338
|
res.setHeader('X-Accel-Buffering', 'no');
|
|
1282
1339
|
writeNdjson(res, { type: 'operation', operation });
|
|
1283
1340
|
|
|
1284
|
-
const usageImportSinceMs = Date.now();
|
|
1285
1341
|
try {
|
|
1286
1342
|
const result = await runGeneratedScript({
|
|
1287
1343
|
code: parsed.code || '',
|
|
@@ -1316,26 +1372,6 @@ export function createApiMiddleware() {
|
|
|
1316
1372
|
writeNdjson(res, event);
|
|
1317
1373
|
},
|
|
1318
1374
|
});
|
|
1319
|
-
try {
|
|
1320
|
-
const usageImportResult = importMidsceneModelUsage({
|
|
1321
|
-
sinceMs: usageImportSinceMs,
|
|
1322
|
-
model: loadConfig().midscene.model,
|
|
1323
|
-
success: result.success,
|
|
1324
|
-
});
|
|
1325
|
-
if (usageImportResult.imported > 0) {
|
|
1326
|
-
recordOperationEvent({
|
|
1327
|
-
operationId: operation.id,
|
|
1328
|
-
eventType: 'model_usage_imported',
|
|
1329
|
-
data: usageImportResult,
|
|
1330
|
-
});
|
|
1331
|
-
}
|
|
1332
|
-
} catch (error) {
|
|
1333
|
-
recordOperationEvent({
|
|
1334
|
-
operationId: operation.id,
|
|
1335
|
-
eventType: 'model_usage_import_failed',
|
|
1336
|
-
message: error instanceof Error ? error.message : '模型消耗导入失败',
|
|
1337
|
-
});
|
|
1338
|
-
}
|
|
1339
1375
|
finishScriptRunOperation({
|
|
1340
1376
|
operationId: operation.id,
|
|
1341
1377
|
status: result.success ? 'succeeded' : runAbortController.signal.aborted ? 'cancelled' : 'failed',
|
package/server/script-agent.ts
CHANGED
|
@@ -45,32 +45,34 @@ const systemPrompt = `你是一个 Midscene 自动化脚本规划器。
|
|
|
45
45
|
7. 通用测试场景默认按“进入/确认目标 App -> 处理启动阶段遮挡 -> 等待起始页面稳定 -> 执行核心业务动作 -> 等待结果页面或读取结果”的结构拆分。不要只生成一条巨型 act,也不要为同一状态生成重复验证。
|
|
46
46
|
8. 如果需求涉及某个 App,第一条可执行步骤只做轻量进入/确认目标 App:若当前已在目标 App 内则保持当前状态;若不在目标 App 内,使用包名打开目标 App 并等待首屏,不要描述“查找桌面图标/从最近任务选择”等视觉搜索过程。启动后不要再生成额外 boolean 确认。
|
|
47
47
|
9. 如果原始需求里有“遇到弹窗则关闭/允许/跳过”这类策略,生成 1 条启动阶段总括 act 步骤即可,默认 repeat: 1;只有用户明确要求“反复处理/直到没有/所有弹窗”时才设置 repeat: 2。prompt 要写清楚只检查权限、启动协议、广告、更新、活动、通知引导等启动阶段弹窗;如果没有弹窗,不要点击业务内容、表单字段、复选框或提交按钮。
|
|
48
|
-
10.
|
|
49
|
-
11.
|
|
50
|
-
12.
|
|
51
|
-
13.
|
|
52
|
-
14.
|
|
53
|
-
15.
|
|
54
|
-
16.
|
|
55
|
-
17.
|
|
56
|
-
18.
|
|
57
|
-
19.
|
|
58
|
-
20. Midscene
|
|
59
|
-
21.
|
|
60
|
-
22. observePrompt
|
|
61
|
-
23.
|
|
62
|
-
24.
|
|
63
|
-
25.
|
|
64
|
-
26.
|
|
65
|
-
27.
|
|
66
|
-
28.
|
|
67
|
-
29.
|
|
68
|
-
30.
|
|
69
|
-
31.
|
|
70
|
-
32.
|
|
71
|
-
33.
|
|
72
|
-
34.
|
|
73
|
-
35.
|
|
48
|
+
10. 处理任何弹窗、广告、活动、播放器浮层、权限、升级提示前,必须先根据原始需求判断它是“被测目标”还是“干扰遮挡”。如果原始需求正在测试广告、播放器、弹窗、活动页、升级提示、引导页等内容,不要把这些元素当作干扰关闭;应生成 waitFor/query/boolean/tap/act 来等待、读取、断言或操作它们。只有与当前测试目标无关且遮挡后续操作的内容,才生成单独 act 关闭、跳过或允许。
|
|
49
|
+
11. 所有场景都要把输入、点击、等待结果拆成独立步骤。输入使用 input,明确点击使用 tap,条件式处理使用 act,页面稳定使用 waitFor,读取数据使用 query/string/number,真假判断使用 boolean。
|
|
50
|
+
12. 所有定位 prompt 都要具体到页面、区域、附近文本或业务含义,例如“搜索页顶部搜索框”“设备列表中的第一个在线设备”“详情页右上角设置按钮”。不要写“输入框”“按钮”“列表项”等泛化描述。
|
|
51
|
+
13. 所有 input 的 value 必须完全来自原始需求;不得改写、脱敏、复用历史值或编造示例值。aiInput 步骤中 prompt 只表示输入框定位描述,value 表示要输入的内容。
|
|
52
|
+
14. 结果验证默认用 1 条 waitFor 写正向、可观察的成功信号,例如目标页面标题、列表项、详情页核心元素、提交成功页、设备状态变化。不要默认追加长串失败排除条件;只有用户明确要求校验失败原因时,才额外生成错误提示读取或失败断言。
|
|
53
|
+
15. 每个 boolean 步骤只能问一个真假问题;默认不要为了确认当前页面状态而生成 boolean,优先使用 waitFor 作为稳定状态验证。不要生成“waitFor + boolean”重复判断同一结果。
|
|
54
|
+
16. 条件式 no-op 动作会增加模型调用,只有确实存在分支时才生成。如果一个动作步骤的 prompt 包含“如果存在/若出现/如果当前不是/如果未勾选/如果已经/否则跳过/保持当前状态”,不能使用 tap;应使用单次 act,或者先用 boolean 判断后再生成确定目标的 tap,但不要两者都生成。
|
|
55
|
+
17. “处理弹窗/关闭弹窗/允许权限/同意协议”必须使用 act 或 tap,因为 boolean/query 只会判断或读取,不会点击按钮。
|
|
56
|
+
18. 生成步骤时必须参考后续提供的 Midscene 文档内容,尤其是 JavaScript 优化建议、aiAct/aiTap/aiInput/aiWaitFor/aiQuery/aiBoolean/aiString/aiNumber 的职责边界和用法。
|
|
57
|
+
19. 不要生成 Midscene 文档中不存在的 API 名称。当前只输出结构化 JSON steps,由代码生成器映射为对应的 Midscene API。
|
|
58
|
+
20. 优先套用后续 Midscene 脚本生成参考中的拆分策略、步骤标题规范、通用场景模板、登录场景模板、弹窗处理模板和失败验证规则。
|
|
59
|
+
21. Midscene 1.10.4 支持 startObserving/UIObserver。只有原始需求明确需要验证动作过程中一闪而过的 Toast、短暂错误提示、Banner、加载状态或自动消失控件时,才给触发该现象的 act/tap/input 步骤填写 observePrompt;如果不需要验证瞬时现象,必须省略该字段。
|
|
60
|
+
22. observePrompt 必须描述一个肯定、可观察的历史事件,例如“点击保存后,执行过程中出现过保存成功提示”。不要用它判断最终页面是否稳定、当前是否仍有弹窗、是否进入结果页等持续状态,这些情况默认只用 aiWaitFor。
|
|
61
|
+
23. observePrompt 应挂在直接触发现象的动作步骤上,不要挂在启动 App、循环处理弹窗或等待步骤上。即使观察到了成功 Toast,只要用户把“进入结果页/列表更新/状态变化”作为成功标准,仍必须生成最终页面的 waitFor;不要再默认补结果 boolean。
|
|
62
|
+
24. 登录场景默认控制在 8 到 10 个可执行步骤:进入/确认 App、处理启动弹窗、等待登录页、必要时进入账号密码登录、输入账号、输入密码、必要时勾选协议、提交登录、处理登录后遮挡弹窗、等待首页。最终默认用 waitFor 作为成功判定;只有用户明确要求读取布尔结果、错误原因或断言日志时,才额外生成 boolean/string/query。
|
|
63
|
+
25. 登录场景必须先从原始需求中抽取账号、密码、验证码等输入值;所有后续步骤必须复用完全相同的字面量,禁止把邮箱改成手机号、把手机号改成邮箱、使用历史账号、示例账号或自行编造账号。
|
|
64
|
+
26. 登录表单必须拆分:账号输入是独立 input,密码输入是独立 input,登录按钮是独立 tap。登录协议勾选框只有在页面/需求明确需要时才生成独立处理步骤。不要用一条 act 同时输入账号、输入密码、勾选协议和点击登录。
|
|
65
|
+
27. 登录按钮步骤必须使用 tap,prompt 只描述点击当前页面的登录按钮,例如“点击登录页中的登录按钮,提交当前已填写的表单;不要修改账号、密码或其他输入框”。不要在登录按钮 prompt 中重新写账号或密码,也不要追加“如果软键盘遮挡”等条件式子句。
|
|
66
|
+
28. 简单且目标确定可见的点击优先使用 tap。登录按钮适合 tap;只有明确当前不在账号密码登录页时,账号密码登录入口才适合 tap;只有明确协议未勾选时,登录协议勾选框才适合 tap。
|
|
67
|
+
29. 如果步骤语义是“如果当前不是账号密码登录页则点击入口,否则保持当前状态”,必须使用单次 act,不要用 tap。
|
|
68
|
+
30. 如果步骤语义是“如果协议未勾选则勾选,已勾选或没有复选框则保持当前状态”,必须使用单次 act,避免 tap 反选已勾选的协议。
|
|
69
|
+
31. 登录协议勾选框、登录按钮和登录后协议确认弹窗不能设置 repeat;每个步骤最多点击一次,后续用 waitFor 判断是否成功,避免再补重复 boolean。
|
|
70
|
+
32. 如果等待登录页后还可能停留在欢迎页、手机号登录页、微信登录页或其他非账号密码登录页,必须在输入账号前生成单次 act:如果当前不是账号密码登录页,点击账号密码登录入口或切换到账号密码登录方式;如果当前已经显示账号和密码输入框,则保持当前状态。
|
|
71
|
+
33. 登录账号输入框 prompt 必须根据已选择的登录方式精确定位:账号密码登录页中写“账号密码登录页中的账号或邮箱输入框”;手机号登录页中写“手机号登录页中的手机号输入框”。不要写“手机号、账号或邮箱输入框”这种会匹配多个字段的泛化描述。
|
|
72
|
+
34. 登录协议勾选 prompt 必须说明只点击复选框本身,不点击用户协议、隐私政策等文本链接。
|
|
73
|
+
35. 登录按钮提交后必须生成 1 条单次 act 处理登录后遮挡弹窗:若出现版本升级、广告、活动、评分、通知引导、登录后协议或权限弹窗,点击关闭、跳过、稍后再说、取消、同意或允许;如果没有弹窗则保持当前状态。不要点击首页业务内容、添加设备、底部导航或退出登录。若是强制升级且没有关闭/取消/稍后按钮,不要点击立即更新,保持弹窗让最终 waitFor 失败。
|
|
74
|
+
36. 登录成功后的 waitFor 默认只写正向成功信号并带无遮挡要求:等待首页或主界面稳定显示,出现设备列表、添加设备入口、底部导航、用户头像或我的页面入口等首页核心元素之一,并且没有版本升级、广告、活动、评分或通知引导弹窗遮挡首页。不要默认追加长串失败排除条件;只有用户明确要求校验失败原因时,才额外生成错误提示读取或失败断言。
|
|
75
|
+
37. 协议确认弹窗和“再次提交登录”不是登录脚本的默认步骤。只有原始需求明确提到点击登录后会出现服务协议/隐私政策/声明与条款确认弹窗,或上下文明确该 App 存在这个二次确认,才生成这两个条件式 act 步骤。`;
|
|
74
76
|
|
|
75
77
|
const projectRoot = path.resolve(path.dirname(fileURLToPath(import.meta.url)), '..');
|
|
76
78
|
const midsceneDocsDir = path.join(projectRoot, 'docs', 'midscene');
|
|
@@ -228,7 +230,7 @@ function normalizeSteps(steps: Array<Record<string, unknown>>) {
|
|
|
228
230
|
});
|
|
229
231
|
}
|
|
230
232
|
|
|
231
|
-
export async function generatePlan(input: { prompt: string }) {
|
|
233
|
+
export async function generatePlan(input: { prompt: string; signal?: AbortSignal }) {
|
|
232
234
|
const startedAt = Date.now();
|
|
233
235
|
const config = loadConfig();
|
|
234
236
|
|
|
@@ -241,24 +243,27 @@ export async function generatePlan(input: { prompt: string }) {
|
|
|
241
243
|
baseURL: config.scriptOptimizer.model.baseUrl,
|
|
242
244
|
});
|
|
243
245
|
|
|
244
|
-
const completion = await client.chat.completions.create(
|
|
245
|
-
|
|
246
|
-
|
|
247
|
-
|
|
248
|
-
|
|
249
|
-
|
|
250
|
-
|
|
251
|
-
|
|
252
|
-
|
|
253
|
-
|
|
254
|
-
|
|
255
|
-
|
|
256
|
-
|
|
257
|
-
|
|
258
|
-
|
|
259
|
-
|
|
260
|
-
|
|
261
|
-
|
|
246
|
+
const completion = await client.chat.completions.create(
|
|
247
|
+
{
|
|
248
|
+
model: config.scriptOptimizer.model.name,
|
|
249
|
+
temperature: 0.2,
|
|
250
|
+
messages: [
|
|
251
|
+
{ role: 'system', content: systemPrompt },
|
|
252
|
+
{ role: 'system', content: buildMidsceneDocsContext() },
|
|
253
|
+
{
|
|
254
|
+
role: 'user',
|
|
255
|
+
content: JSON.stringify(
|
|
256
|
+
{
|
|
257
|
+
prompt: input.prompt,
|
|
258
|
+
},
|
|
259
|
+
null,
|
|
260
|
+
2,
|
|
261
|
+
),
|
|
262
|
+
},
|
|
263
|
+
],
|
|
264
|
+
},
|
|
265
|
+
{ signal: input.signal },
|
|
266
|
+
);
|
|
262
267
|
|
|
263
268
|
const content = completion.choices[0]?.message?.content;
|
|
264
269
|
if (!content) {
|