ms-types 0.0.8 → 0.0.10

package/types/image.d.ts

@@ -0,0 +1,205 @@
+declare namespace image {
+  /**
+   * 截图
+   * @returns 截图的imageId ，如果截图失败则返回null
+   */
+  function captureFullScreen(): string | null;
+  /**
+   * 保存图片
+   * @param imageId 图片id 路径 http地址或者 screen 实时截屏
+   * @param filePath 保存路径
+   */
+  function saveTo(imageId: string, filePath: string): void;
+  /**
+   * 图片是否已释放
+   * @param imageId 图片id
+   * @returns true 已释放 false 未释放
+   */
+  function isRelease(imageId: string): boolean;
+  /**
+   * 释放图片
+   * @param imageId 图片id
+   */
+  function release(imageId: string): void;
+  /**
+   * 释放所有图片
+   */
+  function releaseAll(): void;
+  /**
+   * 获取图片大小
+   * @param imageId 图片id
+   * @returns 图片大小 {width: number, height: number}
+   */
+  function getSize(imageId: string): { width: number; height: number } | null;
+  /**
+   * 读取图片
+   * @param path 图片路径
+   * @returns 图片id ，如果读取失败则返回null
+   */
+  function readImage(path: string): string | null;
+  /**
+   * 旋转图片
+   * @param imageId 图片id
+   * @param degree 旋转角度 只能是 90 -90 180
+   * @returns 旋转后的图片id ，如果旋转失败则返回null
+   */
+  function rotateImage(imageId: string, degree: number): string | null;
+  /**
+   * 比较颜色
+   * @param imageId 图片id
+   * @param points 颜色点
+   * @param threshold 阈值
+   * @param x 左上角x
+   * @param y 左上角y
+   * @param ex 右下角x
+   * @param ey 右下角y
+   * @returns true 相同 false 不同
+   */
+  function cmpColor(
+    imageId: string,
+    points: string,
+    threshold: number,
+    x: number,
+    y: number,
+    ex: number,
+    ey: number
+  ): boolean;
+  /**
+   * 查找颜色
+   * @param imageId 图片id
+   * @param color 颜色 支持"主色-偏色"格式，如"0x6DD1E6-0x101010"
+   * @param threshold 阈值
+   * @param x 左上角x
+   * @param y 左上角y
+   * @param ex 右下角x
+   * @param ey 右下角y
+   * @param limit 限制数量
+   * @param orz 查找方向1-8
+   * @returns 颜色点数组
+   */
+  function findColor(
+    imageId: string,
+    color: string,
+    threshold: number,
+    x: number,
+    y: number,
+    ex: number,
+    ey: number,
+    limit: number,
+    orz: number
+  ): { x: number; y: number }[];
+  /**
+   * 查找多颜色
+   * @param imageId 图片id
+   * @param firstColor 第一个颜色
+   * @param threshold 阈值
+   * @param points 颜色点
+   * @param x 左上角x
+   * @param y 左上角y
+   * @param ex 右下角x
+   * @param ey 右下角y
+   * @param limit 限制数量
+   * @param orz 查找方向1-8
+   * @returns 颜色点数组
+   */
+  function findMultiColor(
+    imageId: string,
+    firstColor: string,
+    threshold: number,
+    points: string,
+    x: number,
+    y: number,
+    ex: number,
+    ey: number,
+    limit: number,
+    orz: number
+  ): { x: number; y: number }[];
+  /**
+   * 查找图片
+   * @param imageId 图片id
+   * @param templateImageId 模板图片id
+   * @param x 左上角x
+   * @param y 左上角y
+   * @param ex 右下角x
+   * @param ey 右下角y
+   * @param weakThreshold 弱阈值
+   * @param limit 限制数量
+   * @param method 方法
+   * @returns 图片数组
+   */
+  function findImage(
+    imageId: string,
+    templateImageId: string,
+    x: number,
+    y: number,
+    ex: number,
+    ey: number,
+    weakThreshold: number,
+    limit: number,
+    method: number
+  ): {
+    x: number;
+    y: number;
+    width: number;
+    height: number;
+    confidence: number;
+  }[];
+  /**
+   * 裁剪图片
+   * @param imageId 图片id
+   * @param x 坐标x
+   * @param y 坐标y
+   * @param ex 坐标ex
+   * @param ey 坐标ey
+   * @returns 裁剪后的图片id
+   */
+  function clip(
+    imageId: string,
+    x: number,
+    y: number,
+    ex: number,
+    ey: number
+  ): string;
+  /**
+   * 获取图片像素
+   * @param imageId 图片id
+   * @param x 坐标x
+   * @param y 坐标y
+   * @returns 颜色值
+   */
+  function pixel(imageId: string, x: number, y: number): number;
+  /**
+   * 将整型的颜色值转成16进制RGB字符串
+   * @param imageId 图片id
+   * @param color 颜色值
+   * @returns 16进制RGB字符串
+   */
+  function argb(imageId: string, color: number): string;
+  /**
+   * 二值化
+   * @param imageId 图片id
+   * @param threshold 阈值
+   * @returns 二值化后的图片id
+   */
+  function binaryzation(imageId: string, threshold: number): string;
+  /**
+   * 灰度化
+   * @param imageId 图片id
+   * @returns 灰度化后的图片id
+   */
+  function gray(imageId: string): string;
+  /**
+   * 图片转base64
+   * @param imageId 图片id
+   * @returns base64字符串
+   */
+  function base64ToImage(base64: string): string;
+  /**
+   * 图片转base64
+   * @param imageId 图片id
+   * @param format 格式
+   * @param q 质量
+   * @returns base64字符串
+   */
+  function toBase64Format(imageId: string, format: string, q: number): string;
+}

package/types/ime.d.ts

@@ -0,0 +1,59 @@
+declare namespace ime {
+  /**
+   * 检查输入法是否正常工作 键盘是否显示
+   * @returns {boolean} 如果输入法正常工作返回 true，否则返回 false
+   */
+  function isOk(): boolean;
+  /**
+   * 获取当前输入框的文本内容
+   * @returns {string} 当前输入框的完整文本
+   */
+  function getText(): string;
+  /**
+   * 清空当前输入框的文本内容
+   */
+  function clearText(): boolean;
+  /**
+   * 模拟输入文本
+   * @param {string} text 要输入的文本
+   * @returns {string} 输入后的文本内容 失败返回空字符串
+   */
+  function input(text: string): string;
+  /**
+   * 模拟粘贴文本
+   * @param {string} text 要粘贴的文本
+   * @returns {string} 粘贴后的文本内容 失败返回空字符串
+   */
+  function paste(text: string): string;
+  /**
+   * 模拟删除键
+   * @returns {string} 如果为空，代表输入框无数据，如果不为空，代表输入框剩余数据
+   */
+  function pressDel(): string;
+  /**
+   * 模拟回车键
+   * @returns {boolean} 如果成功返回 true，否则返回 false
+   */
+  function pressEnter(): boolean;
+  /**
+   * 隐藏键盘
+   * @returns {boolean} 如果成功返回 true，否则返回 false
+   */
+  function dismiss(): boolean;
+  /**
+   * 获取剪贴板内容
+   * @returns {string} 剪贴板内容
+   */
+  function getClipboard(): string;
+  /**
+   * 设置剪贴板内容
+   * @param {string} text 要设置的剪贴板内容 键盘显示时才能设置
+   * @returns {boolean} 如果成功返回 true，否则返回 false
+   */
+  function setClipboard(text: string): boolean;
+  /**
+   * 切换键盘
+   * @returns {boolean} 如果成功返回 true，否则返回 false
+   */
+  function switchKeyboard(): boolean;
+}

package/types/index.d.ts

@@ -0,0 +1,17 @@
+/// <reference path="action.d.ts" />
+/// <reference path="config.d.ts" />
+/// <reference path="device.d.ts" />
+/// <reference path="file.d.ts" />
+/// <reference path="global.d.ts" />
+/// <reference path="http.d.ts" />
+/// <reference path="image.d.ts" />
+/// <reference path="ime.d.ts" />
+/// <reference path="logger.d.ts" />
+/// <reference path="media.d.ts" />
+/// <reference path="ocr.d.ts" />
+/// <reference path="system.d.ts" />
+/// <reference path="thread.d.ts" />
+/// <reference path="ui.d.ts" />
+/// <reference path="utils.d.ts" />
+/// <reference path="workerThread.d.ts" />
+/// <reference path="yolo.d.ts" />

package/types/logger.d.ts

@@ -0,0 +1,38 @@
+declare namespace logger {
+  /**
+   * 设置日志等级
+   * @param level 日志等级
+   */
+  function setLoggerLevel(
+    level: "error" | "warn" | "debug" | "info" | "off"
+  ): void;
+  /**
+   * 设置是否输出到文件
+   * @param enabled 是否输出到文件
+   */
+  function setLogToFile(enabled: boolean): void;
+  /**
+   * 重置日志文件
+   */
+  function resetLogFile(): void;
+  /**
+   * 调试日志
+   * @param log 日志内容
+   */
+  function debug(log: string): void;
+  /**
+   * 信息日志
+   * @param log 日志内容
+   */
+  function info(log: string): void;
+  /**
+   * 警告日志
+   * @param log 日志内容
+   */
+  function warn(log: string): void;
+  /**
+   * 错误日志
+   * @param log 日志内容
+   */
+  function error(log: string): void;
+}

package/types/media.d.ts

@@ -0,0 +1,49 @@
+declare namespace media {
+  /**
+   * 保存图像到相册
+   * @param img 图像ID
+   * @returns 是否保存成功
+   */
+  function saveImageToAlbum(img: string): boolean;
+
+  /**
+   * 保存视频路径到相册
+   * @param path 视频文件的路径
+   * @returns 是否保存成功
+   */
+  function saveVideoToAlbumPath(path: string): boolean;
+
+  /**
+   * 清空相册中的图片
+   * @returns 是否删除成功
+   */
+  function deleteAllPhotos(): boolean;
+
+  /**
+   * 清空相册中的视频
+   * @returns 是否删除成功
+   */
+  function deleteAllVideos(): boolean;
+
+  /**
+   * 播放MP3音乐（异步播放）
+   * @param path 文件路径
+   * @param loop 是否循环播放
+   * @returns 是否播放成功
+   */
+  function playMp3(path: string, loop: boolean): boolean;
+
+  /**
+   * 停止播放mp3音乐
+   * @returns 是否停止成功
+   */
+  function stopMp3(): boolean;
+
+  /**
+   * 同步播放MP3音乐（等待结束）
+   * @param path 文件路径
+   * @param loop 是否循环播放
+   * @returns 是否播放成功
+   */
+  function playMp3WaitEnd(path: string, loop: boolean): boolean;
+}

package/types/node.d.ts

@@ -0,0 +1,266 @@
+declare function createNodeSelector(params: {
+  /**
+   *  1 代表不管visible是true还是false都获取，2 代表只获取 visible=true的节点
+   */
+  visibleFilter: number;
+  /**
+   *  1 代表不管label是否有值都获取，2 代表只获取label有值的节点
+   */
+  labelFilter: number;
+  /**
+   *  1 代表不过滤 2 bounds 区域属性x,y,w,h都小于0就被过滤
+   */
+  boundsFilter: number;
+  /**
+   * 代表要获取节点的层级，越少速度越快，建议 1 - 50
+   */
+  maxDepth: number;
+  /**
+   * 最大获取子节点数量，0代表不限制
+   */
+  maxChildCount: number;
+  /**
+   * 代表要过滤的属性，用英文逗号分割，可以增加抓取速度，例如 visible,enable
+   */
+  excludedAttributes: string;
+}): NodeSelector;
+
+declare interface NodeBoundsInfo {
+  /**
+   * x坐标
+   */
+  x: number;
+  /**
+   * y坐标
+   */
+  y: number;
+  /**
+   * 宽度
+   */
+  width: number;
+  /**
+   * 高度
+   */
+  height: number;
+  /**
+   * 节点中心x坐标
+   */
+  centerX: number;
+  /**
+   * 节点中心y坐标
+   */
+  centerY: number;
+}
+
+declare interface NodeInfo {
+  id: number;
+  /**
+   * 节点标签
+   */
+  label: string;
+  /**
+   * 节点类型
+   */
+  type: string;
+  /**
+   * 节点值
+   */
+  value: string;
+  /**
+   * 节点名称
+   */
+  name: string;
+  /**
+   * 节点是否可见
+   */
+  visible: boolean;
+  /**
+   * 节点是否启用
+   */
+  enabled: boolean;
+  /**
+   * 节点是否可访问
+   */
+  accessible: boolean;
+  /**
+   * 节点位置
+   */
+  bounds: NodeBoundsInfo;
+  /**
+   * 节点层级
+   */
+  depth: number;
+  /**
+   * 节点索引
+   */
+  index: number;
+  /**
+   * 父节点id
+   */
+  parentId: number;
+  /**
+   * 子节点数量
+   */
+  childCount: number;
+  /**
+   * 点击节点中心
+   */
+  clickCenter(): boolean;
+  /**
+   * 点击节点随机位置
+   */
+  clickRandom(): boolean;
+  /**
+   * 获取父节点
+   */
+  parent(): NodeInfo;
+  /**
+   * 获取子节点
+   * @param index 子节点索引
+   */
+  child(index: number): NodeInfo;
+  /**
+   * 获取所有子节点
+   */
+  allChildren(): NodeInfo[];
+  /**
+   * 获取所有兄弟节点
+   */
+  siblings(): NodeInfo[];
+  /**
+   * 获取所有前兄弟节点
+   */
+  previousSiblings(): NodeInfo[];
+  /**
+   * 获取所有后兄弟节点
+   */
+  nextSiblings(): NodeInfo[];
+}
+
+declare class NodeSelector {
+  /**
+   * 获取节点信息
+   * @param timeout 超时时间，单位毫秒
+   * @returns 节点信息数组
+   */
+  getNodeInfo(timeout: number): NodeInfo[];
+  /**
+   * 获取一个节点信息
+   * @param timeout 超时时间，单位毫秒
+   * @returns 节点信息
+   */
+  getOneNodeInfo(timeout: number): NodeInfo | null;
+  /**
+   * 加载节点
+   */
+  loadNode(timeout: number): NodeSelector;
+  /**
+   * 清除条件
+   */
+  clearSelector(): NodeSelector;
+  /**
+   * 获取节点xpath
+   * @param path xpath路径
+   * @returns 节点选择器
+   */
+  xpath(path: string): NodeSelector;
+  /**
+   * 获取节点标签
+   * @param label 节点标签
+   * @returns 节点选择器
+   */
+  label(label: string): NodeSelector;
+  /**
+   * 获取节点标签匹配
+   * @param match 匹配字符串
+   * @returns 节点选择器
+   */
+  labelMatch(match: string): NodeSelector;
+  /**
+   * 获取节点名称
+   * @param name 节点名称
+   * @returns 节点选择器
+   */
+  name(name: string): NodeSelector;
+  /**
+   * 获取节点名称匹配
+   * @param match 匹配字符串
+   * @returns 节点选择器
+   */
+  nameMatch(match: string): NodeSelector;
+  /**
+   * 获取节点类型
+   * @param type 节点类型
+   * @returns 节点选择器
+   */
+  type(type: string): NodeSelector;
+  /**
+   * 获取节点类型匹配
+   * @param match 匹配字符串
+   * @returns 节点选择器
+   */
+  typeMatch(match: string): NodeSelector;
+  /**
+   * 获取节点值
+   * @param value 节点值
+   * @returns 节点选择器
+   */
+  value(value: string): NodeSelector;
+  /**
+   * 获取节点值匹配
+   * @param match 匹配字符串
+   * @returns 节点选择器
+   */
+  valueMatch(match: string): NodeSelector;
+  /**
+   * 获取节点是否启用
+   * @param enable 是否启用
+   * @returns 节点选择器
+   */
+  enable(enable: boolean): NodeSelector;
+  /**
+   * 获取节点是否可访问
+   * @param accessible 是否可访问
+   * @returns 节点选择器
+   */
+  accessible(accessible: boolean): NodeSelector;
+  /**
+   * 获取节点是否可见
+   * @param visible 是否可见
+   * @returns 节点选择器
+   */
+  visible(visible: boolean): NodeSelector;
+  /**
+   * 获取节点索引
+   * @param index 节点索引
+   * @returns 节点选择器
+   */
+  index(index: number): NodeSelector;
+  /**
+   * 获取节点层级
+   * @param depth 节点层级
+   * @returns 节点选择器
+   */
+  depth(depth: number): NodeSelector;
+  /**
+   * 获取节点是否选中
+   * @param selected 是否选中
+   * @returns 节点选择器
+   */
+  selected(selected: boolean): NodeSelector;
+  /**
+   * 获取节点子节点数量
+   * @param childCount 子节点数量
+   * @returns 节点选择器
+   */
+  childCount(childCount: string): NodeSelector;
+  /**
+   * 获取节点位置
+   * @param x x坐标
+   * @param y y坐标
+   * @param width 宽度
+   * @param height 高度
+   * @returns 节点选择器
+   */
+  bounds(x: number, y: number, width: number, height: number): NodeSelector;
+}

package/types/ocr.d.ts

@@ -0,0 +1,28 @@
+declare namespace ocr {
+  /**
+   * 初始化OCR模型
+   * @param useGpu 是否使用GPU，默认false
+   * @returns 初始化是否成功
+   */
+  function loadModel(useGpu: boolean): boolean;
+  /**
+   * 执行OCR识别
+   * @param input 输入源（imageId、URL字符串、文件路径或"screen"，nil表示使用当前屏幕）
+   * @param x 边界框左上角x坐标
+   * @param y 边界框左上角y坐标
+   * @param ex 边界框右下角x坐标
+   * @param ey 边界框右下角y坐标
+   * @returns 识别结果数组
+   */
+  function recognize(
+    input: string | null,
+    x: number,
+    y: number,
+    ex: number,
+    ey: number
+  ): any[];
+  /**
+   * 释放OCR模型资源
+   */
+  function free(): void;
+}