@tencentcloud/sdk-mcp 1.3.3 → 1.3.5

package/resource/doc/rtcengine/web/plugin/35-advanced-ai-denoiser.md

@@ -0,0 +1,84 @@
+## 功能简介
+
+AI 降噪插件能够降低通话中的噪声，减少环境噪声对通话的影响。可以更好地抑制通话过程中的键盘声、碰撞声、敲击声等噪声，特别适用于对瞬时噪声敏感的场景，例如会议场景中的短时噪声。
+
+本文将介绍在如何在开发 TRTC 应用中给本地音频流应用 AI 降噪的方法。[点击在线体验](https://web.sdk.qcloud.com/trtc/webrtc/demo/api-sample/improve-ai-denoiser.html) 降噪 demo 。
+
+## 前提条件
+
+自 2023 年 4 月 1 日起，使用 AI 降噪功能需开通 TRTC [包月套餐](https://cloud.tencent.com/document/product/647/85386) 尊享版及更高版本。
+
+支持的浏览器：Chrome 66+, Edge 79+, Safari 14.1+, Firefox 76+，其中，安卓系统中 Chrome 版本需要在 92 以上。
+
+为了更好的使用 AI 降噪，建议您使用最新版本的 Chrome 浏览器。
+
+**注意：**
+
+如果您麦克风采集的有背景音乐，降噪插件可能会将其当做噪音进行消除。
+
+## 实现流程
+
+#### 部署静态资源
+
+该插件依赖一些静态资源文件，为保证浏览器可以正常加载和运行这些文件，你需要完成以下步骤：
+  1. 将 `node_modules/trtc-sdk-v5/assets` 目录发布至 CDN 或者静态资源服务器中。
+  2. 在创建 trtc 实例时传入您的 CDN 地址给 assetsPath 参数，例如： `TRTC.create({ assetsPath: 'https://xxx/assets' })`，SDK 会按需加载相关资源文件。
+  > - 若您版本低于 `v5.10.0`，您需要将 `node_modules/trtc-sdk-v5/plugins/ai-denoiser/denoiser-wasm.js` 发布至 CDN 中，并处于同一公共目录，例如: `xxx/assets`。
+  > - 如果目录下文件的 Host URL 与网页应用的 Host URL 不一致，则需要开启访问文件域名的 CORS 策略。
+  > - 不能把目录文件放在 HTTP 服务下，因为在 HTTPS 域名下加载 HTTP 资源会被浏览器安全策略禁止。
+
+
+#### 开启降噪
+
+```javascript
+const trtc = TRTC.create({ assetsPath: 'https://xxx/assets' });
+
+await trtc.startLocalAudio();
+await trtc.startPlugin('AIDenoiser', {
+  sdkAppId: 123456,
+  userId: 'user_123',
+  userSig: 'XXXXXXXX'
+});
+```
+
+#### 更新降噪
+
+```javascript
+await trtc.updatePlugin('AIDenoiser', {
+  mode: 1 // 开启远场消除模式
+});
+```
+
+#### 关闭降噪
+```javascript
+await trtc.stopPlugin('AIDenoiser');
+```
+
+## API 说明
+
+### trtc.startPlugin('AIDenoiser', options)
+
+用于开启降噪
+
+#### options:
+
+| Name       | Type     | Required | Attributes                                                     | Description |
+|------------|----------|---|----------------------------------------------------------------|-------------|
+| sdkAppId   | `number` |true| 当前应用的 sdkAppId                                                 |
+| userId     | `string` |true| 当前用户的 userId                                                   |
+| userSig    | `string` |true| 当前用户的 userSig                                                  |
+| assetsPath | `string` |false| denoiser-wasm.js 文件存放的位置。若您的版本低于 `v5.5.2`，你需通过该参数传入 assets 资源目录。|
+| mode   | `number` |false| 当前降噪的模式                                                 | v5.13.0+ 开始，支持选择 AI 降噪的模式:<br /> - `0`: 默认值，适用于大部分通用场景 <br /> - `1`: 远场消除模式，针对 ASR 场景容易被打断、误识别等问题，消除远场人声，提高识别准确率|
+
+### trtc.updatePlugin('AIDenoiser')
+
+| Name       | Type     | Required | Attributes                                                     | Description |
+|------------|----------|---|----------------------------------------------------------------|-------------|
+| mode   | `number` |false| 当前降噪的模式                                                 | v5.13.0+ 开始，支持选择 AI 降噪的模式:<br /> - `0`: 默认值，适用于大部分通用场景 <br /> - `1`: 远场消除模式，针对 ASR 场景容易被打断、误识别等问题，消除远场人声，提高识别准确率|
+
+用于更新降噪
+
+### trtc.stopPlugin('AIDenoiser')
+
+用于关闭降噪
+

package/resource/doc/rtcengine/web/plugin/36-advanced-virtual-background.md

@@ -0,0 +1,202 @@
+## 功能描述
+
+本文将介绍如何在通话过程中实现虚拟背景的功能。
+
+| 原始摄像头                                                                                | 背景虚化                                                                                  | 背景图片                                                                                  |
+| ----------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------- |
+| <img src="https://qcloudimg.tencent-cloud.cn/raw/28a9246a5e1071ea0200bfde6d2b110b.jpg" /> | <img src="https://qcloudimg.tencent-cloud.cn/raw/a605b69b39cea73a6ebfde6324e93fff.jpg" /> | <img src="https://qcloudimg.tencent-cloud.cn/raw/fec848fc9ff4a2b4dbfc49a5f4c2fb3d.jpg" /> |
+
+## 前提条件
+
+- 需要使用虚拟背景功能的 sdkAppId 已开通 TRTC 旗舰版包月套餐。包月套餐相关说明请参见文档 [包月套餐计费说明](https://cloud.tencent.com/document/product/647/85386)
+- TRTC Web SDK 版本 >= 5.2.0
+- 各平台系统及配置要求如下表：
+
+
+<table>
+<tr>
+<td rowspan="1" colSpan="1" >平台</td>
+
+<td rowspan="1" colSpan="1" >操作系统</td>
+
+<td rowspan="1" colSpan="1" >浏览器版本</td>
+
+<td rowspan="1" colSpan="1" >fps</td>
+
+<td rowspan="1" colSpan="1" >推荐配置</td>
+
+<td rowspan="1" colSpan="1" >备注</td>
+</tr>
+
+<tr>
+<td rowspan="8" colSpan="1" >Web</td>
+
+<td rowspan="2" colSpan="1" >Windows</td>
+
+<td rowspan="2" colSpan="1" >Chrome 90+<br>Firefox 90+<br>Edge 97+</td>
+
+<td rowspan="1" colSpan="1" >30</td>
+
+<td rowspan="1" colSpan="1" >内存：16GB<br>CPU：i5-10500<br>GPU：独显 2GB</td>
+
+<td rowspan="3" colSpan="1" >建议使用最新版 Chrome 浏览器<br> <b> （开启浏览器硬件加速）</b></td>
+</tr>
+
+<tr>
+<td rowspan="1" colSpan="1" >15</td>
+
+<td rowspan="1" colSpan="1" >内存：8GB<br>CPU：i3-8300<br>GPU：intel 核显 1GB</td>
+</tr>
+
+<tr>
+<td rowspan="1" colSpan="1" >Mac</td>
+
+<td rowspan="1" colSpan="1" >Chrome 98+<br>Firefox 96+<br>Safari 15+</td>
+
+<td rowspan="1" colSpan="1" >30</td>
+
+<td rowspan="1" colSpan="1" >2019年 MacBook<br>内存：16GB(2667MHz)<br>CPU：i7(6核 2.60GHz)<br>GPU：AMD Radeon 5300M</td>
+</tr>
+
+</table>
+
+## 实现流程
+
+### 部署静态资源
+
+该插件依赖一些静态资源文件，为保证浏览器可以正常加载和运行这些文件，你需要完成以下步骤：
+  1. 将 `node_modules/trtc-sdk-v5/assets` 目录发布至 CDN 或者静态资源服务器中。
+  2. 在创建 trtc 实例时传入您的 CDN 地址给 assetsPath 参数，例如： `TRTC.create({ assetsPath: 'https://xxxx/assets' })`，SDK 会按需加载相关资源文件。
+  > - 若您的版本低于 `v5.10.0`，您需要下载解压 [assets.zip](https://web.sdk.qcloud.com/trtc/webrtc/v5/assets/assets.zip) 后，发布至 CDN 或者静态资源服务器中。
+  > - 如果目录下文件的 Host URL 与网页应用的 Host URL 不一致，则需要开启访问文件域名的 CORS 策略。
+  > - 不能把目录文件放在 HTTP 服务下，因为在 HTTPS 域名下加载 HTTP 资源会被浏览器安全策略禁止。
+  3. 如果您使用 `v5.11.0`版本之后的**人脸居中**功能，请重新部署 assets。
+
+### 检查浏览器是否支持(v5.8.1+)
+```javascript
+import { VirtualBackground } from 'trtc-sdk-v5/plugins/video-effect/virtual-background';
+if (!VirtualBackground.isSupported()) {
+    // 当前浏览器不支持该插件
+}
+```
+### 引入并注册插件
+
+```javascript
+import { VirtualBackground } from 'trtc-sdk-v5/plugins/video-effect/virtual-background';
+
+const trtc = TRTC.create({ plugins: [VirtualBackground], assetsPath: 'https://xxxx/assets' });
+```
+
+### 开启本地摄像头
+
+```javascript
+await trtc.startLocalVideo();
+```
+
+### 开启虚拟背景插件
+
+```javascript
+await trtc.startPlugin('VirtualBackground', {
+  sdkAppId: 123123,
+  userId: 'userId_123',
+  userSig: 'your_userSig'
+});
+```
+
+> 注意：开启本功能需要加载计算资源，如未处理请参考：[部署静态资源](#部署静态资源)
+
+### 按需更新参数
+
+```javascript
+// 改为图片背景
+await trtc.updatePlugin('VirtualBackground', {
+  type: 'image',
+  src: 'https://picsum.photos/seed/picsum/200/300'
+});
+```
+
+### 关闭虚拟背景
+
+```javascript
+await trtc.stopPlugin('VirtualBackground');
+```
+
+## API 说明
+
+### trtc.startPlugin('VirtualBackground', options)
+
+用于开启虚拟背景
+
+#### options
+
+| Name      | Type            | Attributes             | Description                                                                                                                                                           |
+| --------- | --------------- | ---------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| sdkAppId  | `number`        | 必填                   | 当前应用 ID |
+| userId    | `string`        | 必填                   | 当前用户 ID |
+| userSig   | `string`        | 必填                   | 用户 ID 对应的 UserSig |
+| type      | `string`        | 选填                   | - `image` 图片背景 <br> - `blur` 虚化背景（默认）|
+| enableFaceCentering    | `boolean`        | 选填 | `false`（默认），(Since v5.11.0) ，设置为 true 开启人脸自动居中 |
+| enableEffectOptimization    | `boolean`        | 选填 | `false`（默认），(Since v5.13.0)，设置为 true，可以减少人物边缘的黑边和锯齿，目前仅支持 PC 端，实验性功能 |
+| blurLevel | `number`        | 选填 | - `blur` 虚化背景时可用，用于调节虚化程度，默认为 3，取值范围为 [1,10]|
+| src       | `string`        | type 为 `image` 时必填 | 图片地址，如 `https://picsum.photos/seed/picsum/200/300`|
+| onAbort   | `(error) => {}` | 选填 | 运行过程中发生错误 <br> 推荐处理方法可参考文末常见问题 |
+
+**Example:**
+
+```javascript
+await trtc.startPlugin('VirtualBackground', {
+  sdkAppId: 123123,
+  userId: 'userId_123',
+  userSig: 'your_userSig',
+  type: 'image',
+  src: 'https://picsum.photos/seed/picsum/200/300'
+});
+```
+
+### trtc.updatePlugin('VirtualBackground', options)
+
+可修改虚拟背景参数
+
+#### options
+
+| Name      | Type     | Attributes             | Description                                                            |
+| --------- | -------- | ---------------------- | ---------------------------------------------------------------------- |
+| type      | `string` | 必填                   | - `image` 图片背景 <br> - `blur` 虚化背景                              |
+| enableFaceCentering (Since v5.11.0)      | `boolean`        | 选填                   |`false`（默认）    
+| blurLevel | `number` | 选填                   | - `blur` 虚化背景时可用，用于调节虚化程度，默认为 3，取值范围为 [1,10] |
+| src       | `string` | type 为 `image` 时必填 | 图片地址，如 `https://picsum.photos/seed/picsum/200/300`               |
+
+**Example:**
+
+```javascript
+await trtc.updatePlugin('VirtualBackground', {
+  type: 'blur',
+  blurLevel: 6
+});
+```
+
+### trtc.stopPlugin('VirtualBackground')
+
+关闭虚拟背景
+
+## 常见问题
+
+**1. 在 Chrome 中运行 Demo 发现画面颠倒且卡顿**
+
+本插件使用 GPU 进行加速，您需要在浏览器设置中找到使用硬件加速模式并启用。可以将 `chrome://settings/system` 复制到浏览器地址栏，并且打开硬件加速模式。
+
+**2. 当设备性能不足中途停止**
+
+可通过监听事件，手动终止或者重新启用。
+
+```javascript
+async function onAbort(error) {
+  await trtc.stopPlugin('VirtualBackground'); // 关闭插件
+  // 或者降低分辨率后重新启用
+}
+
+await trtc.startPlugin('VirtualBackground', {
+  ...// 其他参数
+  onAbort,
+});
+```

package/resource/doc/rtcengine/web/plugin/37-advanced-voice-changer.md

@@ -0,0 +1,98 @@
+## 功能描述
+
+本文主要介绍如何使用美声插件。
+
+## 前提条件
+自 2023 年 4 月 1 日起，使用该功能需开通 TRTC [包月套餐](https://cloud.tencent.com/document/product/647/85386) 旗舰版及更高版本。
+
+- TRTC Web SDK 版本 >= 5.10。
+- 支持的浏览器: Chrome 66+, Edge 79+, Safari 15+, Firefox 76+, Chrome for Android 126+。
+
+## 实现流程
+
+### 1. 引入并注册插件
+
+```javascript
+import { VoiceChanger } from 'trtc-sdk-v5/plugins/voice-changer';
+
+let trtc = TRTC.create({ plugins: [VoiceChanger] });
+```
+
+### 2. 开启麦克风
+
+```javascript
+await trtc.startLocalAudio();
+```
+
+### 3. 使用美声插件
+
+```javascript
+await trtc.startPlugin('VoiceChanger', {
+  voiceType: 1,
+  sdkAppId: 123456,
+  userId: 'user_123',
+  userSig: 'XXXXXXXX'
+});
+
+// 开启后可调用 updatePlugin 更新参数
+await trtc.updatePlugin('VoiceChanger', {
+  voiceType: 2,
+});
+
+// 关闭麦克风采集前关闭美声插件
+await trtc.stopPlugin('VoiceChanger');
+await trtc.stopLocalAudio();
+```
+
+## API 说明
+
+### trtc.startPlugin('VoiceChanger', options)
+
+用于开启美声效果
+
+#### options
+| Name       | Type     | Attributes                                                     | Description |
+|------------|----------|----------------------------------------------------------------|-------------|
+| sdkAppId   | `number` | 当前应用的 sdkAppId                                                 |
+| userId     | `string` | 当前用户的 userId                                                   |
+| userSig    | `string` | 当前用户的 userSig                                                  |
+| voiceType  | `number` | 1-熊孩子 2-萝莉 3-大叔 4-重金属 5-感冒 6-外语腔 7-困兽 8-肥宅 9-强电流 10-重机械 11-空灵。 |
+
+**Example:**
+
+```javascript
+await trtc.startLocalAudio();
+await trtc.startPlugin('VoiceChanger', {
+  voiceType: 1,
+  sdkAppId: 123456,
+  userId: 'user_123',
+  userSig: 'XXXXXXXX'
+});
+```
+
+### trtc.updatePlugin('VoiceChanger', options)
+
+修改美声效果
+
+#### options
+
+| Name   | Type      | Attributes   | Description                         |
+|--------|-----------|--------------|-------------------------------------|
+| voiceType  | `number` | 1-熊孩子 2-萝莉 3-大叔 4-重金属 5-感冒 6-外语腔 7-困兽 8-肥宅 9-强电流 10-重机械 11-空灵。 |
+
+**Example:**
+
+```javascript
+await trtc.updatePlugin('VoiceChanger', {
+  voiceType: 2,
+});
+```
+
+### trtc.stopPlugin('VoiceChanger')
+
+关闭美声效果
+```javascript
+// 关闭麦克风采集前关闭美声插件
+await trtc.stopPlugin('VoiceChanger');
+await trtc.stopLocalAudio();
+```

package/resource/doc/rtcengine/web/plugin/38-advanced-basic-beauty.md

@@ -0,0 +1,95 @@
+## 功能描述
+
+本文主要介绍如何使用基础美颜插件。[在线体验](https://web.sdk.qcloud.com/trtc/webrtc/v5/test/qer/basic-beauty/index.html)
+
+## 前提条件
+
+- TRTC Web SDK 版本 >= 5.7。
+- 需要浏览器支持 WebGL 2.0 与 WebAssembly: Chrome 56+, Edge 79+, Safari 15+, Firefox 51+, Chrome for Android 126+。
+
+## 实现流程
+
+### 1. 引入并注册插件
+
+```javascript
+import { BasicBeauty } from 'trtc-sdk-v5/plugins/video-effect/basic-beauty';
+
+let trtc = TRTC.create({ plugins: [BasicBeauty] });
+```
+
+### 2. 开启本地摄像头
+
+```javascript
+await trtc.startLocalVideo({
+  view: 'local-video'
+});
+```
+
+### 3. 使用基础美颜插件
+
+```javascript
+await trtc.startPlugin('BasicBeauty', {
+  beauty: 0.5, // 美颜
+  brightness: 0.5, // 明亮
+  ruddy: 0.5, // 红润
+});
+
+// 开启后可调用 updatePlugin 更新参数
+await trtc.updatePlugin('BasicBeauty', {
+  beauty: 0.5, // 美颜
+  brightness: 0.5, // 明亮
+  ruddy: 0.5, // 红润
+});
+
+await trtc.stopPlugin('BasicBeauty');
+```
+
+## API 说明
+
+### trtc.startPlugin('BasicBeauty', options)
+
+用于开启美颜效果
+
+#### options
+
+| Name   | Type      | Attributes   | Description                         |
+|--------|-----------|--------------|-------------------------------------|
+| beauty     | `number`  |    选填          | 美颜程度，取值范围 [0, 1] 默认为 0.5 |
+| brightness    | `number`  |     选填         | 明亮程度，取值范围 [0, 1] 默认为 0.5       |
+| ruddy   | `number` | 选填 | 红润程度，取值范围 [0, 1] 默认为 0.5        |
+
+**Example:**
+
+```javascript
+await trtc.startPlugin('BasicBeauty', {
+  beauty: 0.5, // 美颜
+  brightness: 0.5, // 明亮
+  ruddy: 0.5, // 红润
+});
+```
+
+### trtc.updatePlugin('BasicBeauty', options)
+
+可修改美颜效果参数
+
+#### options
+
+| Name   | Type      | Attributes   | Description                         |
+|--------|-----------|--------------|-------------------------------------|
+| beauty     | `number`  |    选填          | 美颜程度，取值范围 [0, 1] 默认为 0.5 |
+| brightness    | `number`  |     选填         | 明亮程度，取值范围 [0, 1] 默认为 0.5       |
+| ruddy   | `number` | 选填 | 红润程度，取值范围 [0, 1] 默认为 0.5        |
+
+**Example:**
+
+```javascript
+await trtc.updatePlugin('BasicBeauty', {
+  beauty: 0.5, // 美颜
+  brightness: 0.5, // 明亮
+  ruddy: 0.5, // 红润
+});
+```
+
+### trtc.stopPlugin('BasicBeauty')
+
+关闭美颜效果

package/resource/doc/rtcengine/web/plugin/39-advanced-video-decoder.md

@@ -0,0 +1,33 @@
+## 功能描述
+
+本文主要介绍如何使用 TRTCVideoDecoder 插件来启动视频解码器降级能力。该插件支持常规解码失败后降级到软解码方式渲染视频。
+
+## 前提条件
+
+- TRTC Web SDK 版本 >= 5.9.0
+
+- [联系我们](https://cloud.tencent.com/document/product/647/19906)开通解码器降级能力
+
+## 实现流程
+
+### 部署静态资源
+
+该插件依赖一些静态资源文件，为保证浏览器可以正常加载和运行这些文件，你需要完成以下步骤：
+  1. 将 `node_modules/trtc-sdk-v5/assets` 目录发布至 CDN 或者静态资源服务器中。
+  2. 在创建 trtc 实例时传入您的 CDN 地址给 assetsPath 参数，例如： `TRTC.create({ assetsPath: 'https://xxx/assets' })`，SDK 会按需加载相关资源文件。
+  > - 若您的版本低于 `v5.10.0`，您需要将 `node_modules/trtc-sdk-v5/plugins/video-decoder` 目录下的`videodec.wasm` 和 `videodec_simd.wasm` 发布至 CDN 中，并处于同一公共目录，例如: `xxx/assets`。
+  > - 如果目录下文件的 Host URL 与网页应用的 Host URL 不一致，则需要开启访问文件域名的 CORS 策略。
+  > - 不能把目录文件放在 HTTP 服务下，因为在 HTTPS 域名下加载 HTTP 资源会被浏览器安全策略禁止。
+
+
+### 引入并注册插件
+
+```javascript
+import TRTCVideoDecoder from 'trtc-sdk-v5/plugins/video-decoder';
+
+const trtc = TRTC.create({ plugins: [TRTCVideoDecoder], assetsPath: 'https://xxx/assets/' });
+```
+
+## 插件启动
+
+插件功能将在 SDK 常规解码失败下自动启动降级逻辑，采用软解码方式解码。