@autotest/plugin 0.0.0-stage → 0.1.2

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -0,0 +1,93 @@
1
+ ---
2
+ name: autotest-batch-executor
3
+ description: 在 DevEco Code Test 模式下,把多条测试用例交给 AutoTest 依次执行并汇总结果,或从需求 spec 推导测试用例后执行(功能点拆解、可行性过滤、设计文档落盘)。Use ONLY when 用户输入包含多条用例(编号列表、多段描述、用例文件路径)或给出需求描述要求测试/出用例;单条用例直接执行,无需加载本技能。触发场景:批量执行、依次执行所有用例、为需求做测试/出用例/测试设计。注意:批量执行耗时可能达数小时(每条数分钟到数十分钟),开始后不要因时长停止或询问用户。
4
+ ---
5
+
6
+ # AutoTest 多条用例批量执行器
7
+
8
+ 在 DevEco Code Test 模式下,把多条测试用例依次交给 AutoTest 执行并汇总结果。执行工具是 `autotest_run_task`(单任务接口),进度查询是 `autotest_get_report`。
9
+
10
+ ## 两种入口
11
+
12
+ | 入口 | 用户输入 | 流程 |
13
+ |------|----------|------|
14
+ | **A:用例已给定** | 多条用例描述 / 用例文件 | 步骤 1 → 步骤 2 → 步骤 3 |
15
+ | **B:需求 spec** | 需求描述 / 功能说明 / 验收标准(无现成用例) | 先做测试设计(见下)→ 步骤 2 → 步骤 3 |
16
+
17
+ ## 测试设计(入口 B 专属)
18
+
19
+ 从需求 spec 推导可执行用例:
20
+
21
+ 1. **需求分析**:提取 spec 中可验证的功能点清单(每个功能点一句话)。
22
+ 2. **用例推导**:每个功能点按 正常流 → 边界条件 → 异常输入 三层推导,每条用例包含:用例名、操作步骤(**步骤自包含**:启动应用 → 操作)、**预期结果**——预期必须是能通过屏幕观察验证的(界面状态、数值、提示文案)。
23
+ 3. **设备可行性过滤**:AutoTest 是 UI 级自动化(截图 + 控件操作验证)。纯后端逻辑、性能指标、网络抓包类验证点标注「不可执行 + 原因」,**不进入执行清单**。
24
+ 4. **设计文档落盘**:把用例清单(含功能点映射)写入 `<工作区>/test-designs/<需求名>_<YYYYMMDD>.md`,执行汇总时附上该路径——便于回归复用。
25
+ 5. 展示设计清单(序号 + 用例名 + 对应功能点),**随即立即开始执行**(进入步骤 2)。设计用例的组装与校验同步骤 1(步骤自包含原则)。
26
+
27
+ 设计原则:用例忠实于 spec 原文,不虚构 spec 之外的功能;spec 有歧义时先向用户确认再设计,不要猜测。
28
+
29
+ ## 流程(入口 A)
30
+
31
+ ### 步骤 1:解析用例清单
32
+
33
+ 从用户输入(多条描述或用例文件)解析出有序用例列表。文件解析按文件类型选择合适方式;每条用例必须包含验证点(预期结果)——原文缺验证点的用例向用户确认,确认后按用户答复的预期写入该条用例,不要自行补全;用例动作按原文逐字保留(含标点),不得展开或替换成通用手势描述(如「上滑返回桌面」保持原样),不得自行增删。
34
+
35
+ **步骤自包含原则(组装校验)**:每条用例的步骤必须从**确定性起点**开始——
36
+
37
+ 1. **启动目标应用**:从桌面打开应用。
38
+ 2. **用例操作步骤**。
39
+
40
+ 示例:`打开计算器,依次点击 1、5、+、2、7、=`。
41
+
42
+ **不要在步骤中写清零/复位动作**:执行侧每条任务启动前已回桌面并清理全部后台(默认配置),应用内存态不跨任务保留。例外:同一任务内部需要多次计算复位时,才在步骤中显式写清零;用户声明关闭了启动前清理的,按其设备实际起点设计。步骤首动作不是启动目标应用的,组装时在开头补「从桌面打开<原文中的应用名>」;原文未给出应用名时向用户确认。补全仅限这一句,其余动作按原文保留。
43
+
44
+ **表格类文件**(xlsx/csv 等):按**列名语义**对齐字段——用例名/操作步骤/预期结果分列时,拼装为完整任务描述(`<用例名>。步骤:<步骤>。预期:<预期>`);用例描述**缺验证点时不要自行补全**,向用户确认,确认后按答复写入。
45
+
46
+ **Markdown 结构化用例文档**是唯一需要切分原则的形态:
47
+
48
+ 1. 按用例编号/标题切分条目(如 `SPEC-001`、`### 用例:xxx`、有序编号段落);编号步骤属于同一用例(同一标题或同一段用例描述)时不拆分为多条用例,无法判断时按第 4 条向用户确认边界。
49
+ 2. 每个条目提取:用例名(标题)+ 操作步骤 + 预期结果。
50
+ 3. 组装为单条任务描述:`<用例名>。步骤:<步骤序列>。预期:<预期结果>`——组装时按**步骤自包含原则**校验/补全(启动应用 → 操作);补全仅限启动动作,其余动作文本按原文保留。
51
+ 4. 无法可靠切分时:向用户展示识别到的条目边界,请用户确认后再执行,不要猜测。
52
+
53
+ 解析后向用户展示清单(序号 + 摘要);缺验证点的用例先向用户确认,确认后执行全部用例。
54
+
55
+ ### 步骤 2:逐条串行执行
56
+
57
+ **启动任务前先识别设备**:用 shell 执行 `hdc list targets` 查在线设备,把查到的真实序列号作为 `device_sn` 传入 `autotest_run_task`(批次开始时查一次,后续任务沿用同一序列号;多台在线且用户未指定目标时选第一台并在正文说明)。不要把 device_sn 传成空字符串——空串会被工具拒绝。
58
+
59
+ 对清单中每一条用例:
60
+
61
+ 1. 调用 `autotest_run_task`(task = 该条用例文本,动作按该用例的文本,含模板组装、组装补入的启动句与用户确认的预期;多条用例逐条执行,不要并发发起——同一设备上并行会互相干扰,批次进度也须按序汇总)。
62
+ 2. 用 `autotest_get_report` 轮询至**终态**。终态值域:`PASS` / `FAIL` / `UNKNOWN` / `KILLED` / `FAILED`;`RUNNING` 与 `NOT_FOUND` 是**中间态**(任务执行中 / 报告尚未落盘),必须继续轮询,不得当作结果。
63
+ 3. 轮询节奏:每次调用 `autotest_get_report` 传 `wait_seconds=30`(工具服务端等待 30 秒后返回最新状态,**不要用 bash sleep 等待**)与 `poll_round` 递增序号(1、2、3……——连续以完全相同参数调用会被模型服务的重复调用防护拒绝,序号保证每次调用参数不同)。
64
+ 4. 进度转述:每次发起 `get_report` 查询前,必须先在本回合正文里向用户汇报进度——先发一行执行概要(如「第 N 条用例执行中(RUNNING,已完成 X 步)」,N 为批次内用例序号、X 为步骤行最大序号),再把上一轮返回的「本轮新增动态」各行逐行原样发出:这些行有两类——带步骤序号的自然语言操作描述(设备正在做什么、进行到第几步;序号在该轮执行内从 1 起,Loop 自愈进入新一轮时从 1 重新计数——编号回落即新一轮开始的信号)与无编号的阶段消息(失败归因分析、任务改写等闭环自愈进展),用户要看的就是它们;正文即用户可见的输出,只写进思考/推理不算汇报。除执行概要外不要附加任何文字(中英文皆是),也不要解释转述机制本身;上轮已发给用户的行不要重复发送(被工具拒绝要求补发时按指引重发即可)。未转述的下一次轮询会被工具拒绝并要求补发,一行也不得跳过——本轮无新增动态时也把「任务执行中,本轮暂无新增动态」发给用户。终态那次的进度行就是该条的结果行:同一行补结果摘要与报告路径,立即输出,不等批次汇总表。执行过程中只报进度,不要停下来询问用户。
65
+ 5. 记录每条:序号、用例摘要、结果、报告路径(reportDir)。
66
+ 6. 进入下一条。
67
+
68
+ **结果语义**:`FAIL` = 用例断言失败(预期不符);`FAILED` = 进程/环境失败(设备断连、spawn 失败等)。二者的批次中止判据不同,见下。
69
+
70
+ **纪律**:
71
+ - `FAIL`(断言失败)**不中断批次**,继续执行后续用例。
72
+ - 每条耗时数分钟到数十分钟是正常现象;**不要因等待而询问用户或提前终止**。
73
+ - `FAILED`(环境类失败)连续出现 2 条同类错误时中止批次,输出已完成部分 + 中止原因。
74
+
75
+ ### 步骤 3:汇总输出
76
+
77
+ 全部完成后输出汇总表:
78
+
79
+ ```
80
+ | 序号 | 用例摘要 | 结果 | 报告路径 |
81
+ |------|----------|------|----------|
82
+ | 1 | ... | PASS | ... |
83
+ | 2 | ... | FAIL | ... |
84
+ ```
85
+
86
+ - 结果以 `autotest_get_report` 返回的 status **原样记录**(值域见步骤 2,不要归一或重写)。
87
+ - 入口 B 附设计文档路径。
88
+ - 批次末尾附一句总体结论:通过数(PASS)/ 总数。
89
+
90
+ ## 约束
91
+
92
+ - 除本文件各处显式标注的确认点外,无需用户确认(清单/设计展示不做停顿),直接执行。
93
+ - 不要并行调用 autotest_run_task;任务未到终态时不要发起新任务。
package/package.json CHANGED
@@ -1,6 +1,47 @@
1
- {
2
- "name": "@autotest/plugin",
3
- "version": "0.0.0-stage",
4
- "stub": true,
5
- "description": "Temporary package placeholder for staged publishing"
6
- }
1
+ {
2
+ "name": "@autotest/plugin",
3
+ "version": "0.1.2",
4
+ "private": false,
5
+ "license": "MIT",
6
+ "main": "./dist/index.js",
7
+ "exports": {
8
+ ".": "./dist/index.js",
9
+ "./server": "./dist/index.js",
10
+ "./package.json": "./package.json"
11
+ },
12
+ "files": [
13
+ "dist"
14
+ ],
15
+ "engines": {
16
+ "node": ">=18"
17
+ },
18
+ "repository": {
19
+ "type": "gitcode",
20
+ "url": ""
21
+ },
22
+ "publishConfig": {
23
+ "access": "public"
24
+ },
25
+ "scripts": {
26
+ "build": "node -e \"require('fs').rmSync('dist',{recursive:true,force:true})\" && tsc -p tsconfig.json && copyfiles -u 0 \"skills/**/*\" dist",
27
+ "build:obfuscate": "npm run build && node scripts/bundle-obfuscate.mjs",
28
+ "prepack": "npm run build:obfuscate",
29
+ "pretest": "npm run build",
30
+ "test": "vitest run",
31
+ "typecheck": "tsc --noEmit"
32
+ },
33
+ "dependencies": {
34
+ "@autotest/agent": ">=0.0.25 <0.2.0",
35
+ "js-yaml": "^5.2.1",
36
+ "zod": "^3.25.67"
37
+ },
38
+ "devDependencies": {
39
+ "@opencode-ai/plugin": "1.17.9",
40
+ "@types/node": "^22.15.0",
41
+ "copyfiles": "^2.4.1",
42
+ "esbuild": "^0.28.1",
43
+ "javascript-obfuscator": "^5.5.0",
44
+ "typescript": "^5.8.3",
45
+ "vitest": "^3.2.7"
46
+ }
47
+ }