ms-vite-plugin 1.4.9 → 1.4.11

package/docs/apicn/system.md

@@ -10,6 +10,7 @@
 - **URL 操作**: 打开网页链接或应用 URL Scheme
 - **系统通知**: 发送系统通知消息
 - **内存管理**: 获取内存使用信息
+- **CPU 管理**: 获取 CPU 使用率
 - **快点 Agent 服务**: 启动 Agent 服务
 
 ## API 参考
@@ -427,37 +428,35 @@ function 获取内存使用信息(): {
   used: 数字;
   available: 数字;
   total: 数字;
+  systemUsed: 数字;
   usagePercentage: 数字;
 };
 ```
 
 **返回值:**
 
-| 参数名            | 类型 | 描述                   |
-| ----------------- | ---- | ---------------------- |
-| `used`            | 数字 | 已使用内存（单位：MB） |
-| `available`       | 数字 | 可用内存（单位：MB）   |
-| `total`           | 数字 | 总内存（单位：MB）     |
-| `usagePercentage` | 数字 | 内存使用率（百分比）   |
+| 参数名            | 类型 | 描述                         |
+| ----------------- | ---- | ---------------------------- |
+| `used`            | 数字 | 当前应用占用（单位：MB）     |
+| `available`       | 数字 | 系统可用内存（单位：MB）     |
+| `total`           | 数字 | 系统总内存（单位：MB）       |
+| `systemUsed`      | 数字 | 系统已用内存（单位：MB）     |
+| `usagePercentage` | 数字 | 系统内存占用率（百分比）     |
 
 **说明:**
 
-该方法返回设备的完整内存使用信息，包括已使用内存、可用内存、总内存和使用率。
+该方法返回当前应用占用和系统内存概况。`usagePercentage` 表示系统整体占用率。
 
 **示例:**
 
 ```javascript
-// 获取完整内存信息
 const memInfo = $系统.获取内存使用信息();
-$打印信息日志(`内存使用情况:`);
-$打印信息日志(`已使用: ${memInfo.used}MB`);
-$打印信息日志(`可用: ${memInfo.available}MB`);
-$打印信息日志(`总计: ${memInfo.total}MB`);
-$打印信息日志(`使用率: ${memInfo.usagePercentage}%`);
+$打印信息日志(`应用占用: ${memInfo.used}MB`);
+$打印信息日志(`系统内存: ${memInfo.systemUsed}/${memInfo.total}MB`);
+$打印信息日志(`系统占用: ${memInfo.usagePercentage}%`);
 
-// 检查内存使用率
 if (memInfo.usagePercentage > 80) {
-  $打印警告日志("内存使用率过高，建议清理内存");
+  $打印警告日志("系统内存占用较高");
 }
 ```
 
@@ -554,6 +553,61 @@ $打印信息日志(
 );
 ```
 
+#### 获取系统已用内存 - 获取系统物理内存已使用量。
+
+```typescript
+function 获取系统已用内存(): 数字;
+```
+
+**返回值:**
+
+| 参数名       | 类型 | 描述                       |
+| ------------ | ---- | -------------------------- |
+| `systemUsed` | 数字 | 系统已用内存大小（单位：MB） |
+
+**说明:**
+
+该方法返回系统物理内存的已使用量，计算方式为系统总内存减去可用内存，与 `获取内存使用信息()` 返回的 `systemUsed` 一致。
+
+**示例:**
+
+```javascript
+// 获取系统已用内存
+const 系统已用内存 = $系统.获取系统已用内存();
+$打印信息日志(`系统已用内存: ${系统已用内存}MB`);
+
+// 与 获取内存使用信息 对比
+const 内存信息 = $系统.获取内存使用信息();
+$打印信息日志(
+  `系统已用: ${系统已用内存}MB, 内存信息: ${内存信息.systemUsed}MB`,
+);
+```
+
+### CPU 管理
+
+#### 获取CPU使用率 - 获取 CPU 使用率。
+
+```typescript
+function 获取CPU使用率(): 数字;
+```
+
+**返回值:**
+
+| 类型   | 描述                         |
+| ------ | ---------------------------- |
+| `数字` | 当前应用 CPU 使用率（百分比） |
+
+**示例:**
+
+```javascript
+const CPU使用率 = $系统.获取CPU使用率();
+$打印信息日志(`CPU 使用率: ${CPU使用率}%`);
+
+if (CPU使用率 > 80) {
+  $打印警告日志("CPU 使用率较高，建议降低脚本负载");
+}
+```
+
 ### 快点 Agent 服务
 
 #### 启动 快点 Agent 服务

package/docs/apicn/yolo.md

@@ -67,8 +67,9 @@ interface Yolo检测结果 {
 function 加载模型(
   ncnn模型的param文件路径: 字符串,
   ncnn模型的bin文件路径: 字符串,
-  标签数量: 数字,
-  模型版本?: 数字
+  标签数量?: 数字,
+  模型版本?: 数字,
+  useGpu?: 布尔值
 ): 字符串 | null;
 ```
 
@@ -78,8 +79,9 @@ function 加载模型(
 | ------------------------- | ------ | -------- | ------ | ------------------------------------------- |
 | `ncnn模型的param文件路径` | 字符串 | 是       |        | NCNN 模型的 param 文件绝对路径              |
 | `ncnn模型的bin文件路径`   | 字符串 | 是       |        | NCNN 模型的 bin 文件绝对路径                |
-| `标签数量`                | 数字   | 是       |        | 模型的标签数量，可在标签集 data.yaml 中查看 |
+| `标签数量`                | 数字   | 否       | 0      | 模型的标签数量；传 `0` 或省略时根据模型输出自动推断，显式传入但不匹配时检测返回空数组 |
 | `模型版本`                | 数字   | 否       | 11     | YOLO 模型版本号（仅支持 8/11/26）           |
+| `useGpu`                  | 布尔值 | 否       | false  | 是否启用 GPU 加速                           |
 
 **返回值:**
 
@@ -94,8 +96,9 @@ function 加载模型(
 const 模型ID = $YOLO.加载模型(
   "yolov8n_ncnn_model/model.ncnn.param",
   "yolov8n_ncnn_model/model.ncnn.bin",
-  80,
-  8
+  0,
+  8,
+  false
 );
 ```
 
@@ -105,7 +108,8 @@ const 模型ID = $YOLO.加载模型(
 function 加载YOLOv11模型(
   ncnn模型的param文件路径: 字符串,
   ncnn模型的bin文件路径: 字符串,
-  标签数量: 数字
+  标签数量?: 数字,
+  useGpu?: 布尔值
 ): 字符串 | null;
 ```
 
@@ -115,7 +119,8 @@ function 加载YOLOv11模型(
 | ------------------------- | ------ | -------- | ------ | ------------------------------------------- |
 | `ncnn模型的param文件路径` | 字符串 | 是       |        | NCNN 模型的 param 文件绝对路径              |
 | `ncnn模型的bin文件路径`   | 字符串 | 是       |        | NCNN 模型的 bin 文件绝对路径                |
-| `标签数量`                | 数字   | 是       |        | 模型的标签数量，可在标签集 data.yaml 中查看 |
+| `标签数量`                | 数字   | 否       | 0      | 模型的标签数量；传 `0` 或省略时根据模型输出自动推断，显式传入但不匹配时检测返回空数组 |
+| `useGpu`                  | 布尔值 | 否       | false  | 是否启用 GPU 加速                           |
 
 **返回值:**
 
@@ -131,7 +136,8 @@ function 加载YOLOv11模型(
 const 模型ID = $YOLO.加载YOLOv11模型(
   "yolo11n_ncnn_model/model.ncnn.param",
   "yolo11n_ncnn_model/model.ncnn.bin",
-  80 // COCO 数据集有 80 个类别
+  0, // 自动根据模型输出推断类别数量
+  false
 );
 
 if (模型ID) {
@@ -179,7 +185,7 @@ function 目标检测(
 const 模型ID = $YOLO.加载YOLOv11模型(
   "/yolo11n_ncnn_model/model.ncnn.param",
   "/yolo11n_ncnn_model/model.ncnn.bin",
-  80
+  0
 );
 
 if (!模型ID) {
@@ -265,6 +271,41 @@ const fastResults = $YOLO.目标检测(
 $打印信息日志(`快速检测结果: ${fastResults.length} 个物体`);
 ```
 
+#### 目标检测绝对坐标 - 对指定区域执行目标检测，并将结果坐标映射为原图/全屏绝对坐标。
+
+```typescript
+function 目标检测绝对坐标(
+  模型ID: 字符串,
+  图片ID: 字符串,
+  裁剪区域左上角x坐标?: 数字,
+  裁剪区域左上角y坐标?: 数字,
+  裁剪区域右下角x坐标?: 数字,
+  裁剪区域右下角y坐标?: 数字,
+  目标检测输入大小?: 数字,
+  置信度?: 数字,
+  重叠阈值?: 数字
+): 数组<Yolo检测结果>;
+```
+
+**示例:**
+
+```javascript
+const 绝对坐标结果 = $YOLO.目标检测绝对坐标(
+  模型ID,
+  "screen",
+  100,
+  100,
+  500,
+  400,
+  640,
+  0.4,
+  0.5
+);
+if (绝对坐标结果.length > 0) {
+  $点击(绝对坐标结果[0].centerX, 绝对坐标结果[0].centerY);
+}
+```
+
 ### 资源管理
 
 #### 释放模型资源

package/docs/apicn/yolocls.md

@@ -0,0 +1,272 @@
+# YOLO 图像分类模块 ($YOLO分类)
+
+YOLO 图像分类模块基于 YOLOv8-cls / YOLO11-cls / YOLO26-cls 分类模型和 NCNN 框架，提供整图分类、区域分类和模型资源管理能力。
+
+## 功能概览
+
+- **模型管理**: 加载和释放 YOLOv8-cls / YOLO11-cls / YOLO26-cls NCNN 模型
+- **图像分类**: 对屏幕截图、图片文件、HTTP 图片或图片 ID 执行整图分类
+- **区域分类**: 先裁剪指定区域，再对裁剪结果执行分类
+- **结果处理**: 返回 Ultralytics `Probs` 风格的完整概率、top1、top5 和对应置信度
+- **资源控制**: 支持释放单个模型或释放全部已加载模型
+
+## 适用场景
+
+- 判断当前屏幕或图片属于哪个业务类别
+- 对截图中的固定区域进行状态识别
+- 对自定义 YOLO-cls 模型导出的 NCNN 模型执行端侧推理
+
+## 数据结构
+
+### Yolo分类概率结果
+
+YOLO 分类概率结果，字段命名与 Ultralytics `Probs` 保持一致。
+
+```typescript
+interface Yolo分类概率结果 {
+  data: 数组<数字>; // 所有类别概率，下标即类别 ID
+  top1: 数字 | null; // 概率最高的类别 ID
+  top5: 数组<数字>; // 概率最高的 5 个类别 ID
+  top1conf: 数字 | null; // top1 对应的概率
+  top5conf: 数组<数字>; // top5 对应的概率
+}
+```
+
+**字段说明:**
+
+| 字段名     | 类型             | 描述                                                       |
+| ---------- | ---------------- | ---------------------------------------------------------- |
+| `data`     | `数组<数字>`     | 所有类别概率数组，下标即类别 ID                            |
+| `top1`     | `数字 \| null`   | 概率最高的类别 ID；分类失败时为 `null`                     |
+| `top5`     | `数组<数字>`     | 概率最高的 5 个类别 ID，按概率从高到低排序                 |
+| `top1conf` | `数字 \| null`   | `top1` 对应的概率；分类失败时为 `null`                     |
+| `top5conf` | `数组<数字>`     | `top5` 对应的概率，顺序与 `top5` 一致                      |
+
+**结果说明:**
+
+- `top1` 等于 `top5[0]`，`top1conf` 等于 `data[top1]`。
+- 当模型类别数少于 5 时，`top5` 和 `top5conf` 的长度会小于 5。
+- 分类失败时返回空结果：`data`、`top5`、`top5conf` 为空数组，`top1` 和 `top1conf` 为 `null`。
+
+## API 参考
+
+### 模型管理
+
+#### 加载模型 - 加载 YOLO 分类模型（支持 YOLOv8-cls / YOLO11-cls / YOLO26-cls）
+
+加载模型是使用图像分类能力的前提。支持 Ultralytics 官方 YOLOv8-cls、YOLO11-cls、YOLO26-cls 导出的 NCNN 分类模型，常见模型名使用 `-cls` 后缀，例如 `yolov8n-cls`、`yolo11n-cls`、`yolo26n-cls`。
+
+```typescript
+function 加载模型(
+  ncnn模型的param文件路径: 字符串,
+  ncnn模型的bin文件路径: 字符串,
+  类别数量?: 数字,
+  useGpu?: 布尔值
+): 字符串 | null;
+```
+
+**参数:**
+
+| 参数名                    | 类型   | 是否必填 | 默认值 | 描述                                      |
+| ------------------------- | ------ | -------- | ------ | ----------------------------------------- |
+| `ncnn模型的param文件路径` | 字符串 | 是       |        | NCNN 模型的 param 文件路径                |
+| `ncnn模型的bin文件路径`   | 字符串 | 是       |        | NCNN 模型的 bin 文件路径                  |
+| `类别数量`                | 数字   | 否       | 0      | 模型类别数量；传 `0` 或省略时按模型输出自动推断，显式传入但不匹配时分类返回空结果 |
+| `useGpu`                  | 布尔值 | 否       | false  | 是否使用 GPU 推理                         |
+
+**返回值:**
+
+| 类型             | 描述                                      |
+| ---------------- | ----------------------------------------- |
+| `字符串 \| null` | 加载成功返回模型 ID 字符串，失败返回 null |
+
+**示例:**
+
+```javascript
+// 模型文件通常放在 res 目录
+const 模型ID = $YOLO分类.加载模型(
+  "yolo11n_cls_ncnn_model/model.ncnn.param",
+  "yolo11n_cls_ncnn_model/model.ncnn.bin",
+  1000, // ImageNet 分类模型通常为 1000 类
+  false
+);
+
+if (模型ID) {
+  $打印信息日志(`YOLO 分类模型加载成功，ID: ${模型ID}`);
+} else {
+  $打印信息日志("YOLO 分类模型加载失败，请检查模型文件路径和格式");
+}
+```
+
+### 图像分类
+
+#### 图像分类 - 对输入图像执行分类
+
+对整张输入图像执行分类，返回完整概率数组和 top1/top5 结果。
+
+```typescript
+function 图像分类(
+  模型ID: 字符串,
+  图片ID: 字符串,
+  分类输入大小?: 数字
+): Yolo分类概率结果;
+```
+
+**参数:**
+
+| 参数名         | 类型   | 是否必填 | 默认值 | 描述                                                                                                                                         |
+| -------------- | ------ | -------- | ------ | -------------------------------------------------------------------------------------------------------------------------------------------- |
+| `模型ID`       | 字符串 | 是       |        | 模型 ID（通过 `加载模型` 获取）                                                                                                              |
+| `图片ID`       | 字符串 | 是       |        | 图像输入源：<br>- `"screen"` - 使用当前屏幕截图<br>- `字符串` - 图片文件路径或 HTTP 图片地址<br>- `imageId` - 图片 ID（通过 image 模块获取） |
+| `分类输入大小` | 数字   | 否       | 224    | 分类输入大小，应与模型训练或导出时的输入尺寸一致                                                                                             |
+
+**返回值:**
+
+| 类型                 | 描述                                                |
+| -------------------- | --------------------------------------------------- |
+| `Yolo分类概率结果`   | Ultralytics `Probs` 风格分类结果，包含 top1/top5 等 |
+
+**示例:**
+
+```javascript
+const 模型ID = $YOLO分类.加载模型(
+  "yolo11n_cls_ncnn_model/model.ncnn.param",
+  "yolo11n_cls_ncnn_model/model.ncnn.bin",
+  1000,
+  false
+);
+
+if (!模型ID) {
+  $打印信息日志("模型加载失败");
+  return;
+}
+
+const 概率结果 = $YOLO分类.图像分类(
+  模型ID,
+  "screen", // 使用当前屏幕
+  224 // 分类模型常用输入尺寸
+);
+
+if (概率结果.top1 !== null) {
+  $打印信息日志(`top1 类别ID: ${概率结果.top1}`);
+  $打印信息日志(`top1 置信度: ${(概率结果.top1conf * 100).toFixed(2)}%`);
+} else {
+  $打印信息日志("分类失败或无有效结果");
+}
+
+for (let i = 0; i < 概率结果.top5.length; i++) {
+  $打印信息日志(
+    `top${i + 1}: 类别ID=${概率结果.top5[i]}, 置信度=${概率结果.top5conf[i].toFixed(4)}`
+  );
+}
+
+// 如需读取某个类别的原始概率，可直接访问 data[classId]
+const 类别ID = 0;
+if (概率结果.data.length > 类别ID) {
+  $打印信息日志(`类别 ${类别ID} 概率: ${概率结果.data[类别ID].toFixed(4)}`);
+}
+
+$YOLO分类.释放模型资源(模型ID);
+```
+
+#### 区域分类 - 对指定区域执行分类
+
+先从输入图像中裁剪指定区域，再对裁剪结果执行分类。适合只关心屏幕某个固定区域状态的场景。
+
+```typescript
+function 区域分类(
+  模型ID: 字符串,
+  图片ID: 字符串,
+  裁剪区域左上角x坐标?: 数字,
+  裁剪区域左上角y坐标?: 数字,
+  裁剪区域右下角x坐标?: 数字,
+  裁剪区域右下角y坐标?: 数字,
+  分类输入大小?: 数字
+): Yolo分类概率结果;
+```
+
+**参数:**
+
+| 参数名                   | 类型   | 是否必填 | 默认值 | 描述                                                                                                                                         |
+| ------------------------ | ------ | -------- | ------ | -------------------------------------------------------------------------------------------------------------------------------------------- |
+| `模型ID`                 | 字符串 | 是       |        | 模型 ID（通过 `加载模型` 获取）                                                                                                              |
+| `图片ID`                 | 字符串 | 是       |        | 图像输入源：<br>- `"screen"` - 使用当前屏幕截图<br>- `字符串` - 图片文件路径或 HTTP 图片地址<br>- `imageId` - 图片 ID（通过 image 模块获取） |
+| `裁剪区域左上角x坐标`   | 数字   | 否       | 0      | 裁剪区域左上角 x 坐标                                                                                                                        |
+| `裁剪区域左上角y坐标`   | 数字   | 否       | 0      | 裁剪区域左上角 y 坐标                                                                                                                        |
+| `裁剪区域右下角x坐标`   | 数字   | 否       | 0      | 裁剪区域右下角 x 坐标                                                                                                                        |
+| `裁剪区域右下角y坐标`   | 数字   | 否       | 0      | 裁剪区域右下角 y 坐标                                                                                                                        |
+| `分类输入大小`           | 数字   | 否       | 224    | 分类输入大小，应与模型训练或导出时的输入尺寸一致                                                                                             |
+
+**返回值:**
+
+| 类型               | 描述                                                |
+| ------------------ | --------------------------------------------------- |
+| `Yolo分类概率结果` | Ultralytics `Probs` 风格分类结果，包含 top1/top5 等 |
+
+**示例:**
+
+```javascript
+const 区域概率结果 = $YOLO分类.区域分类(
+  模型ID,
+  "screen",
+  100,
+  100,
+  500,
+  400,
+  224
+);
+
+if (区域概率结果.top1 !== null) {
+  $打印信息日志(
+    `区域分类 top1=${区域概率结果.top1}, 置信度=${区域概率结果.top1conf.toFixed(4)}`
+  );
+}
+```
+
+### 资源管理
+
+#### 释放模型资源
+
+释放指定分类模型占用的资源。
+
+```typescript
+function 释放模型资源(模型ID: 字符串): 无返回值;
+```
+
+**参数:**
+
+| 参数名   | 类型   | 是否必填 | 默认值 | 描述            |
+| -------- | ------ | -------- | ------ | --------------- |
+| `模型ID` | 字符串 | 是       |        | 要释放的模型 ID |
+
+**示例:**
+
+```javascript
+if (模型ID) {
+  $YOLO分类.释放模型资源(模型ID);
+  $打印信息日志(`YOLO 分类模型 ${模型ID} 资源已释放`);
+}
+```
+
+#### 释放所有模型资源
+
+释放所有已加载的 YOLO 分类模型资源。
+
+```typescript
+function 释放所有模型资源(): 无返回值;
+```
+
+**示例:**
+
+```javascript
+$YOLO分类.释放所有模型资源();
+$打印信息日志("所有 YOLO 分类模型资源已释放");
+```
+
+## 使用注意事项
+
+- `分类输入大小` 默认值为 224，常见 YOLO-cls 模型使用该尺寸；自定义模型请填写训练或导出时使用的输入尺寸。
+- `类别数量` 传 `0` 或省略时会根据模型输出自动推断；显式传入但和模型输出不匹配时返回空结果。
+- `区域分类` 中四个裁剪坐标全部为 `0` 时表示不裁剪，直接对整张图分类。
+- 裁剪区域必须位于图像范围内，并且右下角坐标必须大于左上角坐标。
+- 分类结果中的类别 ID 需要结合训练时的类别列表解释；本模块只返回类别 ID 和概率。

package/docs/apipython/appleocr.md

@@ -125,6 +125,31 @@ chinese_results = appleocr.recognize("screen", 0, 0, 1920, 1080, ["zh-Hans", "en
 print(f"中英文识别结果: {chinese_results}")
 ```
 
+#### `recognizeAbs` - 执行 OCR 识别，并将结果坐标映射为原图/全屏绝对坐标
+
+参数与 `recognize` 相同。传入裁剪区域时，返回坐标可直接用于全屏点击。
+
+```python
+def recognizeAbs(
+    input: str,
+    x: int = 0,
+    y: int = 0,
+    ex: int = 0,
+    ey: int = 0,
+    languages: Optional[List[str]] = None
+) -> List[OCRResult]
+```
+
+**示例:**
+
+```python
+from kuaijs import appleocr, action
+
+abs_results = appleocr.recognizeAbs("screen", 100, 100, 500, 300)
+if abs_results:
+    action.click(abs_results[0]["centerX"], abs_results[0]["centerY"])
+```
+
 ### 数字识别
 
 #### recognizeNumbers
@@ -174,6 +199,30 @@ for i, result in enumerate(number_results):
     print(f"位置: ({result.centerX}, {result.centerY})")
 ```
 
+#### `recognizeNumbersAbs` - 执行数字 OCR 识别，并将结果坐标映射为原图/全屏绝对坐标
+
+参数与 `recognizeNumbers` 相同。传入裁剪区域时，返回坐标可直接用于全屏点击。
+
+```python
+def recognizeNumbersAbs(
+    input: str,
+    x: int = 0,
+    y: int = 0,
+    ex: int = 0,
+    ey: int = 0
+) -> List[OCRResult]
+```
+
+**示例:**
+
+```python
+from kuaijs import appleocr, action
+
+abs_number_results = appleocr.recognizeNumbersAbs("screen", 100, 100, 500, 300)
+if abs_number_results:
+    action.click(abs_number_results[0]["centerX"], abs_number_results[0]["centerY"])
+```
+
 ### 文本查找
 
 #### findText
@@ -224,3 +273,29 @@ for i, result in enumerate(text_results):
     print(f"位置: ({result.x}, {result.y}) - ({result.ex}, {result.ey})")
     print(f"中心点: ({result.centerX}, {result.centerY})")
 ```
+
+#### `findTextAbs` - 查找目标文本，并将结果坐标映射为原图/全屏绝对坐标
+
+参数与 `findText` 相同。传入裁剪区域时，返回坐标可直接用于全屏点击。
+
+```python
+def findTextAbs(
+    input: str,
+    texts: List[str],
+    x: int = 0,
+    y: int = 0,
+    ex: int = 0,
+    ey: int = 0,
+    languages: Optional[List[str]] = None
+) -> List[OCRResult]
+```
+
+**示例:**
+
+```python
+from kuaijs import appleocr, action
+
+abs_hits = appleocr.findTextAbs("screen", ["确定"], 100, 100, 500, 400)
+if abs_hits:
+    action.click(abs_hits[0]["centerX"], abs_hits[0]["centerY"])
+```