larksr_websdk 3.2.318 → 3.2.321

package/dist/doc/config.md

@@ -134,5 +134,25 @@ interface ILarkSRConfig {
      * 需要注意默认打开的时系统中默认的音频设备。
      */
     audioInputAutoStart?: boolean;
+
+    /**
+     * 当启用视频输入功能，是否自动连入视频设备。
+     * 默认关闭。
+     * 需要注意默认打开的是系统中默认的视频设备。
+     */
+    videoInputAutoStart?: boolean;
+    /**
+     * mouseZoomDirection
+     * 用于移动端捏合缩放操作与应用鼠标缩放的对应关系
+     * 1:鼠标滚轮向上为放大，
+     * 0:鼠标滚轮向下为放大(default)
+     */
+    mouseZoomDirection?: number;
+    /**
+     * 触摸指令模式，对应后台应用管理->应用编辑->移动端高级设置->触摸指令模式 优先级高于后台配置
+     * 触摸指令，移动端的触摸指令对应为云端的触屏还是鼠标
+     * 'touchScreen' | 'mouse'
+     */
+    touchOperateMode?: 'touchScreen' | 'mouse';
 }
 ```

package/dist/doc/events.md

@@ -21,6 +21,15 @@ larksr.on('connect', function(e) {
  * LarkSR 实例完整事件定义
  */
 declare const enum LarkSRClientEvent {
+    /**
+     * TASK 创建成功，返回 Task 相关信息
+     */
+    TASK_CREATE_SUCCESS = 'taskcreatesuccess',
+
+    /**
+     * TASK 创建失败
+     */
+    TASK_CREATE_FAILED = 'taskcreatefailed',
     /**
      * 连接渲染服务器成功 .
      */

package/dist/doc/functions.md

@@ -299,6 +299,7 @@ larksr.on('aivoicedmresult', (e) => {
 
 > 该功能匹配的服务端版本最低为 V3.2.51
 > 使用该功能要注意在后台开启智能语音功能
+> 注意要在连接成功之后打开媒体设备。即 `mediaPlayed` 之后调用才有效
 
 ```typescript
 /**
@@ -325,12 +326,77 @@ getConnectedAudioinputDevices(): Promise<MediaDeviceInfo[] | undefined>;
 setAudioEnable(enable: boolean): void | undefined;
 ```
 
+larksr 配置项自动打开麦克风配置,在`new LarkSR({ ... 此处省略其他配置 ... audioInputAutoStart: true})` 时传入，
+
+> 手动传入的 `audioInputAutoStart` 优先级高于后台配置
+
+```javascript
+/**
+* 当启用音频输入功能，是否自动连入音频设备。
+* 默认关闭。
+* 需要注意默认打开的是系统中默认的音频设备。
+*/
+audioInputAutoStart?: boolean;
+```
+
+## 视频输入接口
+
+客户端打开后云端应用可直接通过读取服务端的摄像头读取视频数据。
+
+> 该功能匹配的服务端版本最低为 V3.2.61
+> 使用该功能要注意在后台应用管理中开启视频输入功能
+> 注意要在连接成功之后打开媒体设备。即 `mediaPlayed` 之后调用才有效
+
+```typescript
+/**
+ * 打开一个视频设备，要注意浏览器限制在 https 或者 localhost 下才能打开视频
+ * @param audio boolean 是否同时开启音频
+ * @param cameraId 视频设备id，如果不传将打开默认设备。@see getConnectedVideoinputDevices
+ * @returns Promise
+ */
+openVideo(audio?: boolean, cameraId?: string);
+/**
+ * 打开默认媒体设备，要注意浏览器限制在 https 或者 localhost 下
+ * 如果需要指定特殊的媒体设备请单独使用 @see openAudio @see openVideo
+ * @param video 是否包含视频
+ * @param audio 是否包含音频
+ * @returns Promise
+ */
+openDefaultMedia(video?: boolean, audio?: boolean)>;
+/**
+ * 返回已连接的视频设备
+ * @returns Promise<MediaDeviceInfo[]>
+ */
+getConnectedVideoinputDevices();
+/**
+ * 设置当前已开启的视频track是否启用状态
+ * @param enable 是否启用
+ * @returns void
+ */
+setVideoEnable(enable: boolean);
+```
+
+larksr 配置项自动打开视频输入配置,在`new LarkSR({ ... 此处省略其他配置 ... videoInputAutoStart: true})` 时传入
+
+> 手动传入的 `videoInputAutoStart` 优先级高于后台配置
+
+```javascript
+/**
+ * 当启用视频输入功能，是否自动连入视频设备。
+ * 默认关闭。
+ * 需要注意默认打开的是系统中默认的视频设备。
+ */
+videoInputAutoStart?: boolean;
+```
+
 ## 其他
 
 ```typescript
 /**
-* 采集一帧图像
-*/
+ * 采集一帧图像
+ * @params data: any 抛出采集事件时抛出的附加data，比如采集的时间戳
+ * @return { data: any, base64: base64string } 返回传入的 data 和采集的 base64 字符串
+ */
 captrueFrame(data: any)
 /**
  * 设置是否强制横屏显示内容.
@@ -339,4 +405,8 @@ captrueFrame(data: any)
  * @param force 是否强制横屏
  */
 setMobileForceLandScape(force: boolean): void;
+/**
+ * 从DOM种删除渲染组件，注意删除渲染组件之后将无法再次进入应用，所有状态将失效,不可恢复，只能重新new LarkSR
+ */
+destroy(): void;
 ```

package/dist/doc/member_variables.md

@@ -148,6 +148,166 @@ larksr.op.setGamepadEnable(enable: boolean);
 larksr.op.setTouchEnable(enable: boolean);
 ```
 
+### 操作类中的 keyboardhandler
+
+```javascript
+// 设置键盘事件默认拦截浏览器默认行为。
+// 在 preventKeys 中的将拦截，如果数组设置为空则全部不拦截
+// 默认拦截 F1 F5 F12
+larksr.op.keyboardHandler.preventKeys = [["F1", "F5", "F12"]];
+```
+
+### 操作类中的 gestureHandler
+
+gestureHandler 处理将移动端触摸事件对应为鼠标事件的过程。
+
+#### 调节触摸事件触发参数
+
+```javascript
+// 触摸事件在对应为鼠标事件中，提供的鼠标相对移动的速度。
+// 即 rx = （pxNew-pxOld） * relativeMouseMoveSpeed
+//    ry = （pyNew-pyOld）* relativeMouseMoveSpeed
+// 可能会影响使用相对移动（rawInput）判断的云端应用的效果
+larksr.op.gestureHandler.relativeMouseMoveSpeed = 2;
+// 触摸模拟为鼠标事件时，模拟点击的判断范围。
+// 实际的鼠标事件点击时一般不会移动，而触摸操作基本上一定会触发移动事件
+// 如果要模拟PC上的击事件，比如单击或双击，在鼠标按下和抬起之间不应再插入鼠标移动
+// 当触发移动事件时，超出该判断范围才发送移动事件。
+// 注意，修改该值可能会导致云端应用上判断单击或双击失败，如果云端应用不包含类似操作基本影响不大
+larksr.op.gestureHandler.tapLimitRadius = 20;
+// 在该时间范围下将尝试发送单机按下事件，修改该值可能会导致单机事件的触发成功率
+larksr.op.gestureHandler.tapLimitTimeout = 100;
+```
+
+#### 拦截触摸事件回调
+
+可以通过拦截触摸事件回调的方式，设置具体的触摸事件和鼠标事件的对应关系。
+
+> 通过 larksr.op.gestureHandler 设置回调函数
+> 下面例子中的 GESTURE_TYPE 为 SDK 导出的手势事件类型，如果用 amd 方式引入的 SDK，所有导出类型均在 larksr_websdk 全局对象下。
+> 如果是使用其他方式引入 SDK，如 improt 方式导入 `import { GESTURE_TYPE } from 'larksr_websdk'`
+> 以下示例代码忽略 larksr 创建等过程
+
+```javascript
+// 参数 event 有如下字段
+// event : {
+//      type: GESTURE_TYPE; 手势事件的类型
+//      x: number;          转换为云端的坐标 x
+//      y: number;          转换为云端的坐标 y
+//      rx: number;         转换为云端的坐标 rx
+//      ry: number;         转换为云端的坐标 ry
+//      edge: boolean;      是否到触摸边缘
+//      rawEvent: any;      未转换为云端坐标的触摸事件
+//    }
+// 
+larksr.op.gestureHandler = (event) => {
+    console.log(event);
+    const p = event;
+    switch (event.type) {
+    // 单只触摸开始移动鼠标到当前位置
+    case GESTURE_TYPE.SINGLE_FINGER_TOUCH_START:
+        larksr.mouseMove(p.x, p.y, p.rx, p.ry);
+        break;
+    // 单指单击 -》左键单击
+    case GESTURE_TYPE.SINGLE_FINGER_TAP:
+        larksr.mouseTap(p.x, p.y, CloudLark.MouseKey.LEFT);
+        break;
+    // 单指按下 -》 移动鼠标, 按下鼠标
+    case GESTURE_TYPE.SINGLE_FINGER_TAP_DOWN:
+        // move mouse first
+        larksr.mouseMove(p.x, p.y, p.rx, p.ry);
+        // sync tap down
+        larksr.mouseDown(p.x, p.y, CloudLark.MouseKey.LEFT);
+        break;
+    // 单指抬起 -》 移动鼠标， 抬起鼠标
+    case GESTURE_TYPE.SINGLE_FINGER_TAP_UP:
+        // move mouse first
+        larksr.moseMove(p.x, p.y, p.rx, p.ry);
+        // sync tap down
+        larksr.mouseUp(p.x, p.y, CloudLark.MouseKey.LEFT);
+        break;
+    // 单指滑动 -》 移动鼠标
+    case GESTURE_TYPE.SINGLE_FINGER_SWIPE:
+        larksr.moseMove(p.x, p.y, p.rx, p.ry);
+        break;
+    // 单指开始滑动 -》 鼠标左键按下
+    case GESTURE_TYPE.SINGLE_FINGER_SWIPE_START:
+        // sync tap down
+        larksr.mouseDown(p.x, p.y, CloudLark.MouseKey.LEFT);
+        break;
+    // 单指滑动结束 -》 鼠标左键抬起
+    case GESTURE_TYPE.SINGLE_FINGER_SWIPE_END:
+        larksr.mouseUp(p.x, p.y, CloudLark.MouseKey.LEFT);
+        break;
+    // 双指单击 -》 鼠标右键单击
+    case GESTURE_TYPE.DOUBLE_FINGER_TAP:
+        larksr.mouseTap(p.x, p.y, CloudLark.MouseKey.RIGHT);
+        break;
+    // 双指按下 -》 移动鼠标
+    case GESTURE_TYPE.DOUBLE_FINGER_TAP_DOWN:
+        // move mouse first
+        larksr.moseMove(p.x, p.y, p.rx, p.ry);
+        // 抬起所有
+        // sync tap down
+        larksr.mouseDown(p.x, p.y, CloudLark.MouseKey.RIGHT);
+        break;
+    case GESTURE_TYPE.DOUBLE_FINGER_TAP_UP:
+        // move mouse first
+        larksr.moseMove(p.x, p.y, p.rx, p.ry);
+        // sync tap up
+        larksr.mouseUp(p.x, p.y, CloudLark.MouseKey.RIGHT);
+        break;
+    // 双指移动 -》 滚动滚轮
+    case GESTURE_TYPE.DOUBLE_FINGER_SWIPE:
+        // move mouse mid
+        // this.$emitMouseWheel(p.x, p.y, e.motion.y);
+        larksr.moseMove(p.x, p.y, p.rx, p.ry);
+        break;
+    case GESTURE_TYPE.DOUBLE_FINGER_EXPAND: 
+        // windows 消息 deltaY 上是 +120 下是 -120
+                // 双指扩展向外滑动
+                // 滚轮向下移动
+        // move mouse mid
+        larksr.mouseWheel(p.x, p.y, 120);
+        break;
+    case GESTURE_TYPE.DOUBLE_FINGER_SHRINK:
+        // windows 消息 deltaY 上是 +120 下是 -120
+                // 双指向内滑动
+                // 滚轮向上移动
+        larksr.mouseWheel(p.x, p.y,  -120);
+        break;
+    case GESTURE_TYPE.DOUBLE_FINGER_SWIPE_END:
+        // sync tap up
+        larksr.mouseUp(p.x, p.y, CloudLark.MouseKey.RIGHT);
+        break;
+    // 三指单击 -》 鼠标中键单击
+    case GESTURE_TYPE.TRIPLE_FINGER_TAP:
+        larksr.mouseTap(p.x, p.y, CloudLark.MouseKey.MIDDLE);
+        break;
+    // 三指滑动 -》 移动鼠标
+    case GESTURE_TYPE.TRIPLE_FINGER_SWIPE:
+        larksr.mouseMove(p.x, p.y, p.rx, p.ry);
+        break;
+    // 三指滑动按下 -》 鼠标中键按下
+    case GESTURE_TYPE.TRIPLE_FINGER_SWIPE_START:
+        larksr.mouseMove(p.x, p.y, p.rx, p.ry);
+        //
+        larksr.mouseDown(p.x, p.y, CloudLark.MouseKey.MIDDLE);
+        break;
+    // 三指滑动按下 -》 鼠标中键抬起
+    case GESTURE_TYPE.TRIPLE_FINGER_SWIPE_END:
+        // sync tap up
+        larksr.mouseUp(p.x, p.y, CloudLark.MouseKey.MIDDLE);
+        break;
+    // 所有手指抬起
+    case GESTURE_TYPE.RELEASE:
+        break;
+    default:
+        break;
+    }
+};
+```
+
 ## 全屏锁屏
 
 ```javascript

package/dist/doc/update.md

@@ -70,7 +70,8 @@ setMobileForceLandScape(force: boolean): void;
 新增麦克风输入接口。客户端打开后云端应用可直接通过读取声卡上的麦克风接收到音频。
 
 > 该功能匹配的服务端版本最低为 V3.2.51
-> 使用该功能要注意在后台开启智能语音功能
+> 使用该功能要注意在后台应用管理中开启音频输入功能
+> 注意要在连接成功之后打开媒体设备。即 `mediaPlayed` 之后调用才有效
 
 ```typescript
 /**
@@ -96,3 +97,139 @@ getConnectedAudioinputDevices(): Promise<MediaDeviceInfo[] | undefined>;
  */
 setAudioEnable(enable: boolean): void | undefined;
 ```
+
+larksr 配置项新增自动打开麦克风配置,在`new LarkSR({ ... 此处省略其他配置 ... audioInputAutoStart: true})` 时传入，
+
+> 手动传入的 `audioInputAutoStart` 优先级高于后台配置
+
+```javascript
+/**
+* 当启用音频输入功能，是否自动连入音频设备。
+* 默认关闭。
+* 需要注意默认打开的是系统中默认的音频设备。
+*/
+audioInputAutoStart?: boolean;
+```
+
+## V3.2.319
+
+新增视频输入接口。客户端打开后云端应用可直接通过读取服务端的摄像头读取视频数据。
+
+> 该功能匹配的服务端版本最低为 V3.2.61
+> 使用该功能要注意在后台应用管理中开启视频输入功能
+> 注意要在连接成功之后打开媒体设备。即 `mediaPlayed` 之后调用才有效
+
+```typescript
+/**
+ * 打开一个视频设备，要注意浏览器限制在 https 或者 localhost 下才能打开视频
+ * @param audio boolean 是否同时开启音频
+ * @param cameraId 视频设备id，如果不传将打开默认设备。@see getConnectedVideoinputDevices
+ * @returns Promise
+ */
+openVideo(audio?: boolean, cameraId?: string);
+/**
+ * 打开默认媒体设备，要注意浏览器限制在 https 或者 localhost 下
+ * 如果需要指定特殊的媒体设备请单独使用 @see openAudio @see openVideo
+ * @param video 是否包含视频
+ * @param audio 是否包含音频
+ * @returns Promise
+ */
+openDefaultMedia(video?: boolean, audio?: boolean)>;
+/**
+ * 返回已连接的视频设备
+ * @returns Promise<MediaDeviceInfo[]>
+ */
+getConnectedVideoinputDevices();
+/**
+ * 设置当前已开启的视频track是否启用状态
+ * @param enable 是否启用
+ * @returns void
+ */
+setVideoEnable(enable: boolean);
+```
+
+larksr 配置项新增自动打开视频输入配置,在`new LarkSR({ ... 此处省略其他配置 ... videoInputAutoStart: true})` 时传入
+
+> 手动传入的 `videoInputAutoStart` 优先级高于后台配置
+
+```javascript
+/**
+ * 当启用视频输入功能，是否自动连入视频设备。
+ * 默认关闭。
+ * 需要注意默认打开的是系统中默认的视频设备。
+ */
+videoInputAutoStart?: boolean;
+```
+
+## V3.2.321
+
+larksr 配置项新增默认放大手势和鼠标滚轮对应关系和是否使用触摸屏模式,在`new LarkSR({ ... 此处省略其他配置 ... mouseZoomDirection: 0， touchOperateMode: "mouse"})` 时传入
+
+> 手动传入的配置优先级高于后台配置
+
+```javascript
+/**
+ * mouseZoomDirection
+ * 用于移动端捏合缩放操作与应用鼠标缩放的对应关系
+ * 1:鼠标滚轮向上为放大，
+ * 0:鼠标滚轮向下为放大(default)
+ */
+mouseZoomDirection?: number;
+/**
+ * 触摸指令模式，对应后台应用管理->应用编辑->移动端高级设置->触摸指令模式 优先级高于后台配置
+ * 触摸指令，移动端的触摸指令对应为云端的触屏还是鼠标
+ * 'touchScreen' | 'mouse'
+ */
+touchOperateMode?: 'touchScreen' | 'mouse';
+```
+
+captrueFrame 方法会将截图和通过返回值带出来
+
+```javascript
+/**
+ * 采集一帧图像
+ * @params data: any 抛出采集事件时抛出的附加data，比如采集的时间戳
+ * @return { data: any, base64: base64string } 返回传入的 data 和采集的 base64 字符串
+ */
+captrueFrame(data: any)
+```
+
+新增销毁方法，要注意，销毁之后 larksr 对象不再可用
+
+```javascript
+/**
+ * 从DOM种删除渲染组件，注意删除渲染组件之后将无法再次进入应用，所有状态将失效,不可恢复，只能重新new LarkSR
+ */
+destroy(): void;
+```
+
+添加操作类中的 keyboardhandler 开放访问，可用配置拦截哪些按键的默认行为
+
+```javascript
+// 设置键盘事件默认拦截浏览器默认行为。
+// 在 preventKeys 中的将拦截，如果数组设置为空则全部不拦截
+// 默认拦截 F1 F5 F12
+larksr.op.keyboardHandler.preventKeys = [["F1", "F5", "F12"]];
+```
+
+操作类中添加 gestureHandler 公开访问,gestureHandler 处理将移动端触摸事件对应为鼠标事件的过程。
+
+可用通过 gestureHandler 调节触摸事件触发参数
+
+```javascript
+// 触摸事件在对应为鼠标事件中，提供的鼠标相对移动的速度。
+// 即 rx = （pxNew-pxOld） * relativeMouseMoveSpeed
+//    ry = （pyNew-pyOld）* relativeMouseMoveSpeed
+// 可能会影响使用相对移动（rawInput）判断的云端应用的效果
+larksr.op.gestureHandler.relativeMouseMoveSpeed = 2;
+// 触摸模拟为鼠标事件时，模拟点击的判断范围。
+// 实际的鼠标事件点击时一般不会移动，而触摸操作基本上一定会触发移动事件
+// 如果要模拟PC上的击事件，比如单击或双击，在鼠标按下和抬起之间不应再插入鼠标移动
+// 当触发移动事件时，超出该判断范围才发送移动事件。
+// 注意，修改该值可能会导致云端应用上判断单击或双击失败，如果云端应用不包含类似操作基本影响不大
+larksr.op.gestureHandler.tapLimitRadius = 20;
+// 在该时间范围下将尝试发送单机按下事件，修改该值可能会导致单机事件的触发成功率
+larksr.op.gestureHandler.tapLimitTimeout = 100;
+```
+
+可用通过 gestureHandler 拦截触摸事件回调, 通过 `larksr.op.gestureHandler` 设置回调函数