@autotest/plugin 0.1.0 → 0.1.3
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +142 -284
- package/dist/index.js +1 -1
- package/dist/skills/autotest-batch-executor/SKILL.md +33 -17
- package/package.json +2 -2
|
@@ -19,7 +19,7 @@ description: 在 DevEco Code Test 模式下,把多条测试用例交给 AutoTe
|
|
|
19
19
|
从需求 spec 推导可执行用例:
|
|
20
20
|
|
|
21
21
|
1. **需求分析**:提取 spec 中可验证的功能点清单(每个功能点一句话)。
|
|
22
|
-
2. **用例推导**:每个功能点按 正常流 → 边界条件 → 异常输入 三层推导,每条用例包含:用例名、操作步骤(**步骤自包含**:启动应用 →
|
|
22
|
+
2. **用例推导**:每个功能点按 正常流 → 边界条件 → 异常输入 三层推导,每条用例包含:用例名、操作步骤(**步骤自包含**:启动应用 → 操作)、**预期结果**——预期必须是能通过屏幕观察验证的(界面状态、数值、提示文案)。
|
|
23
23
|
3. **设备可行性过滤**:AutoTest 是 UI 级自动化(截图 + 控件操作验证)。纯后端逻辑、性能指标、网络抓包类验证点标注「不可执行 + 原因」,**不进入执行清单**。
|
|
24
24
|
4. **设计文档落盘**:把用例清单(含功能点映射)写入 `<工作区>/test-designs/<需求名>_<YYYYMMDD>.md`,执行汇总时附上该路径——便于回归复用。
|
|
25
25
|
5. 展示设计清单(序号 + 用例名 + 对应功能点),**随即立即开始执行**(进入步骤 2)。设计用例的组装与校验同步骤 1(步骤自包含原则)。
|
|
@@ -30,7 +30,7 @@ description: 在 DevEco Code Test 模式下,把多条测试用例交给 AutoTe
|
|
|
30
30
|
|
|
31
31
|
### 步骤 1:解析用例清单
|
|
32
32
|
|
|
33
|
-
|
|
33
|
+
从用户输入(多条描述或用例文件)解析出有序用例列表。文件解析按文件类型选择合适方式;每条用例必须包含验证点(预期结果)——原文缺验证点的用例向用户确认,确认后按用户答复的预期写入该条用例,不要自行补全;用例动作按原文逐字保留(含标点),不得展开或替换成通用手势描述(如「上滑返回桌面」保持原样),不得自行增删。
|
|
34
34
|
|
|
35
35
|
**步骤自包含原则(组装校验)**:每条用例的步骤必须从**确定性起点**开始——
|
|
36
36
|
|
|
@@ -39,28 +39,31 @@ description: 在 DevEco Code Test 模式下,把多条测试用例交给 AutoTe
|
|
|
39
39
|
|
|
40
40
|
示例:`打开计算器,依次点击 1、5、+、2、7、=`。
|
|
41
41
|
|
|
42
|
-
|
|
42
|
+
**不要在步骤中写清零/复位动作**:执行侧每条任务启动前已回桌面并清理全部后台(默认配置),应用内存态不跨任务保留。例外:同一任务内部需要多次计算复位时,才在步骤中显式写清零;用户声明关闭了启动前清理的,按其设备实际起点设计。步骤首动作不是启动目标应用的,组装时在开头补「从桌面打开<原文中的应用名>」;原文未给出应用名时向用户确认。补全仅限这一句,其余动作按原文保留。
|
|
43
43
|
|
|
44
|
-
**表格类文件**(xlsx/csv
|
|
44
|
+
**表格类文件**(xlsx/csv 等):按**列名语义**对齐字段——用例名/操作步骤/预期结果分列时,拼装为完整任务描述(`<用例名>。步骤:<步骤>。预期:<预期>`);用例描述**缺验证点时不要自行补全**,向用户确认,确认后按答复写入。
|
|
45
45
|
|
|
46
46
|
**Markdown 结构化用例文档**是唯一需要切分原则的形态:
|
|
47
47
|
|
|
48
|
-
1. 按用例编号/标题切分条目(如 `SPEC-001`、`### 用例:xxx
|
|
48
|
+
1. 按用例编号/标题切分条目(如 `SPEC-001`、`### 用例:xxx`、有序编号段落);编号步骤属于同一用例(同一标题或同一段用例描述)时不拆分为多条用例,无法判断时按第 4 条向用户确认边界。
|
|
49
49
|
2. 每个条目提取:用例名(标题)+ 操作步骤 + 预期结果。
|
|
50
|
-
3. 组装为单条任务描述:`<用例名>。步骤:<步骤序列>。预期:<预期结果>`——组装时按**步骤自包含原则**校验/补全(启动应用 →
|
|
50
|
+
3. 组装为单条任务描述:`<用例名>。步骤:<步骤序列>。预期:<预期结果>`——组装时按**步骤自包含原则**校验/补全(启动应用 → 操作);补全仅限启动动作,其余动作文本按原文保留。
|
|
51
51
|
4. 无法可靠切分时:向用户展示识别到的条目边界,请用户确认后再执行,不要猜测。
|
|
52
52
|
|
|
53
|
-
解析后向用户展示清单(序号 +
|
|
53
|
+
解析后向用户展示清单(序号 + 摘要);缺验证点的用例先向用户确认,确认后执行全部用例。
|
|
54
54
|
|
|
55
55
|
### 步骤 2:逐条串行执行
|
|
56
56
|
|
|
57
|
+
**启动任务前先识别设备**:用 shell 执行 `hdc list targets` 查在线设备,把查到的真实序列号作为 `device_sn` 传入 `autotest_run_task`(批次开始时查一次,后续任务沿用同一序列号;多台在线且用户未指定目标时选第一台并在正文说明)。不要把 device_sn 传成空字符串——空串会被工具拒绝。
|
|
58
|
+
|
|
57
59
|
对清单中每一条用例:
|
|
58
60
|
|
|
59
|
-
1. 调用 `autotest_run_task`(task =
|
|
61
|
+
1. 调用 `autotest_run_task`(task = 该条用例文本,动作按该用例的文本,含模板组装、组装补入的启动句与用户确认的预期;多条用例逐条执行,不要并发发起——同一设备上并行会互相干扰,批次进度也须按序汇总)。
|
|
60
62
|
2. 用 `autotest_get_report` 轮询至**终态**。终态值域:`PASS` / `FAIL` / `UNKNOWN` / `KILLED` / `FAILED`;`RUNNING` 与 `NOT_FOUND` 是**中间态**(任务执行中 / 报告尚未落盘),必须继续轮询,不得当作结果。
|
|
61
|
-
3.
|
|
62
|
-
4.
|
|
63
|
-
5.
|
|
63
|
+
3. 轮询节奏:每次调用 `autotest_get_report` 传 `wait_seconds=30`(工具服务端等待 30 秒后返回最新状态,**不要用 bash sleep 等待**)与 `poll_round` 递增序号(1、2、3……——连续以完全相同参数调用会被模型服务的重复调用防护拒绝,序号保证每次调用参数不同)。
|
|
64
|
+
4. 进度转述:每次发起 `get_report` 查询前,必须先在本回合正文里向用户汇报进度——先发一行执行概要(如「第 N 条用例执行中(RUNNING,已完成 X 步)」,N 为批次内用例序号、X 为步骤行最大序号),再把上一轮返回的「本轮新增动态」各行逐行原样发出:这些行有两类——带步骤序号的自然语言操作描述(设备正在做什么、进行到第几步;序号在该轮执行内从 1 起,Loop 自愈进入新一轮时从 1 重新计数——编号回落即新一轮开始的信号)与无编号的阶段消息(失败归因分析、任务改写等闭环自愈进展),用户要看的就是它们;正文即用户可见的输出,只写进思考/推理不算汇报。除执行概要外不要附加任何文字(中英文皆是),也不要解释转述机制本身;上轮已发给用户的行不要重复发送(被工具拒绝要求补发时按指引重发即可)。未转述的下一次轮询会被工具拒绝并要求补发,一行也不得跳过——本轮无新增动态时也把「任务执行中,本轮暂无新增动态」发给用户。终态那次的进度行就是该条的结果行:同一行补结果摘要与报告路径(`get_report` 输出的「报告 JSON / 报告 HTML / 报告 Markdown」三个路径都要带上——HTML 是用户直接查看的入口,不要只写 JSON),立即输出,不等批次汇总表。执行过程中只报进度,不要停下来询问用户。
|
|
65
|
+
5. 记录每条:序号、用例摘要、结果、报告路径(`get_report` 返回的 JSON / HTML / Markdown 三个路径)。
|
|
66
|
+
6. 进入下一条。
|
|
64
67
|
|
|
65
68
|
**结果语义**:`FAIL` = 用例断言失败(预期不符);`FAILED` = 进程/环境失败(设备断连、spawn 失败等)。二者的批次中止判据不同,见下。
|
|
66
69
|
|
|
@@ -74,17 +77,30 @@ description: 在 DevEco Code Test 模式下,把多条测试用例交给 AutoTe
|
|
|
74
77
|
全部完成后输出汇总表:
|
|
75
78
|
|
|
76
79
|
```
|
|
77
|
-
| 序号 | 用例摘要 | 结果 |
|
|
78
|
-
|
|
79
|
-
| 1 | ... | PASS | ...
|
|
80
|
-
| 2 | ... | FAIL | ...
|
|
80
|
+
| 序号 | 用例摘要 | 结果 | 报告路径(HTML) |
|
|
81
|
+
|------|----------|------|------------------|
|
|
82
|
+
| 1 | ... | PASS | ... |
|
|
83
|
+
| 2 | ... | FAIL | ... |
|
|
84
|
+
```
|
|
85
|
+
|
|
86
|
+
表格下方按用例补「报告文件」块,三件套分行列出完整路径:
|
|
87
|
+
|
|
88
|
+
```
|
|
89
|
+
**报告文件**
|
|
90
|
+
1. <用例摘要>(<结果>)
|
|
91
|
+
- JSON: <path>
|
|
92
|
+
- HTML: <path>
|
|
93
|
+
- Markdown: <path>
|
|
81
94
|
```
|
|
82
95
|
|
|
83
|
-
- 结果以 `autotest_get_report` 返回的 status **原样记录**(值域见步骤 2
|
|
96
|
+
- 结果以 `autotest_get_report` 返回的 status **原样记录**(值域见步骤 2,不要归一或重写)。
|
|
97
|
+
- 报告路径:表格列填 HTML 路径(HTML 不存在时填 JSON)——用户可直接打开查看;JSON / Markdown 全路径在表下方「报告文件」块列出。
|
|
98
|
+
- 单条用例同样输出汇总表(一行)与表下「报告文件」块,不要省成一段文字。
|
|
99
|
+
- **禁止在表格单元格里使用 `<br>` 或塞多个路径**——终端表格不支持换行标签,会原样显示 `<br>`,表格会错乱。
|
|
84
100
|
- 入口 B 附设计文档路径。
|
|
85
101
|
- 批次末尾附一句总体结论:通过数(PASS)/ 总数。
|
|
86
102
|
|
|
87
103
|
## 约束
|
|
88
104
|
|
|
89
|
-
-
|
|
105
|
+
- 除本文件各处显式标注的确认点外,无需用户确认(清单/设计展示不做停顿),直接执行。
|
|
90
106
|
- 不要并行调用 autotest_run_task;任务未到终态时不要发起新任务。
|
package/package.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
{
|
|
2
2
|
"name": "@autotest/plugin",
|
|
3
|
-
"version": "0.1.
|
|
3
|
+
"version": "0.1.3",
|
|
4
4
|
"private": false,
|
|
5
5
|
"license": "MIT",
|
|
6
6
|
"main": "./dist/index.js",
|
|
@@ -31,7 +31,7 @@
|
|
|
31
31
|
"typecheck": "tsc --noEmit"
|
|
32
32
|
},
|
|
33
33
|
"dependencies": {
|
|
34
|
-
"@autotest/agent": "
|
|
34
|
+
"@autotest/agent": "0.0.31",
|
|
35
35
|
"js-yaml": "^5.2.1",
|
|
36
36
|
"zod": "^3.25.67"
|
|
37
37
|
},
|