trtc-sdk-v5 5.3.0-beta.5 → 5.3.0-beta.6

package/index.d.ts

@@ -8,13 +8,14 @@
 	declare interface LocalVideoConfig {
 	    view?: string | HTMLElement | HTMLElement[] | null;
 	    publish?: boolean;
+	    mute?: boolean;
 	    option?: {
 	        cameraId?: string;
 	        useFrontCamera?: boolean;
 	        profile?: keyof typeof videoProfileMap | VideoProfile;
 	        fillMode?: 'contain' | 'cover' | 'fill';
 	        mirror?: boolean;
-	        small?: keyof typeof videoProfileMap | VideoProfile;
+	        small?: keyof typeof videoProfileMap | VideoProfile | boolean;
 	        qosPreference?: typeof TRTCType.QOS_PREFERENCE_SMOOTH | typeof TRTCType.QOS_PREFERENCE_CLEAR;
 	        videoTrack?: MediaStreamTrack;
 	    };
@@ -84,6 +85,7 @@
 	}
 	declare interface LocalAudioConfig {
 	    publish?: boolean;
+	    mute?: boolean;
 	    option?: {
 	        microphoneId?: string;
 	        profile?: keyof typeof audioProfileMap;
@@ -112,7 +114,6 @@
 	    option?: {
 	        volume?: number;
 	    };
-	    mediaTrack?: MediaStreamTrack | null;
 	}
 	declare interface StopRemoteAudioConfig {
 	    userId: string;
@@ -726,17 +727,6 @@
 	     * });
 	     */
 	    readonly PUBLISH_STATE_CHANGED: "publish-state-changed";
-	    /**
-	     * @private
-	     * @description 收到 SEI message<br>
-	     * @default 'sei-message'
-	     * @memberof module:EVENT
-	     * @example
-	     * trtc.on(TRTC.EVENT.SEI_MESSAGE, event => {
-	     *    console.log(`收到 ${event.userId} 的 sei message: ${event.data}`)
-	     * })
-	     */
-	    readonly SEI_MESSAGE: "sei-message";
 	    /**
 	     * @description 通话相关数据指标。<br>
 	     *
@@ -751,6 +741,29 @@
 	     * })
 	     */
 	    readonly STATISTICS: "statistics";
+	    /**
+	     * @description 收到 SEI message<br>
+	     * @default 'sei-message'
+	     * @memberof module:EVENT
+	     * @example
+	     * trtc.on(TRTC.EVENT.SEI_MESSAGE, event => {
+	     *    console.log(`收到 ${event.userId} 的 sei message: ${event.data}, streamType: ${event.streamType}`)
+	     * })
+	     */
+	    readonly SEI_MESSAGE: "sei-message";
+	    /**
+	     * @private
+	     * @description 收到新的 MediaStreamTrack 对象
+	     * @default 'track'
+	     * @memberof module:EVENT
+	     * @example
+	     * trtc.on(TRTC.EVENT.TRACK, event => {
+	     *   const isLocal = event.userId === ''; // userId === '' means event.track is a local track, otherwise it's a remote track
+	     *   const isSubStream = event.streamType === TRTC.TYPE.STREAM_TYPE_SUB; // Usually the sub stream is a screen-sharing video stream.
+	     *   const mediaStreamTrack = event.track;
+	     *   const kind = event.track.kind; // audio or video
+	     * })
+	     */
 	    readonly TRACK: "track";
 	};
 	declare interface TRTCEventTypes {
@@ -821,6 +834,7 @@
 	    [TRTCEvent.SEI_MESSAGE]: [{
 	        data: Uint8Array;
 	        userId: string;
+	        streamType: TRTCStreamType;
 	    }];
 	    [TRTCEvent.STATISTICS]: [statistics: TRTCStatistics];
 	    [TRTCEvent.TRACK]: [{
@@ -978,6 +992,7 @@
 	    *
 	    * @param {object} [config] - 配置项
 	    * @param {boolean} [config.publish] - 是否将本地音频发布到房间中，默认为true。若在进房前调用该接口，并且 publish = true，则在进房后 SDK 会自动发布。可监听该事件获取推流状态 {@link module:EVENT.PUBLISH_STATE_CHANGED PUBLISH_STATE_CHANGED}。
+	    * @param {boolean} [config.mute] - 是否静音麦克风。参考：{@tutorial 15-basic-dynamic-add-video}。
 	    * @param {object} [config.option] - 本地音频选项
 	    * @param {string} [config.option.microphoneId]- 指定使用哪个麦克风
 	    * @param {MediaStreamTrack} [config.option.audioTrack] - 自定义采集的 audioTrack。{@tutorial 20-advanced-customized-capture-rendering}。
@@ -1011,7 +1026,7 @@
 	    * - 本方法采用增量更新方式：只更新传入的参数，不传入的参数保持不变。
 	    * @param {object} [config]
 	    * @param {boolean} [config.publish] - 是否将本地音频发布到房间中，默认为 true。可监听该事件获取推流状态 {@link module:EVENT.PUBLISH_STATE_CHANGED PUBLISH_STATE_CHANGED}。
-	    * @param {boolean} [config.mute] - 静音麦克风。参考：{@tutorial 15-basic-dynamic-add-video}。
+	    * @param {boolean} [config.mute] - 是否静音麦克风。参考：{@tutorial 15-basic-dynamic-add-video}。
 	    * @param {object} [config.option] - 本地音频配置
 	    * @param {string} [config.option.microphoneId] - 指定使用哪个麦克风，用来切换麦克风。
 	    * @param {MediaStreamTrack} [config.option.audioTrack] - 自定义采集的 audioTrack。 {@tutorial 20-advanced-customized-capture-rendering}。
@@ -1091,6 +1106,7 @@
 	    * @param {object} [config]
 	    * @param {string | HTMLElement | HTMLElement[] | null} [config.view] - 本地视频预览的 HTMLElement 实例或者 Id， 如果不传或传入 null， 则不会播放视频。
 	    * @param {boolean} [config.publish] - 是否将本地视频发布到房间中。默认为 true，若在进房前调用该接口，SDK 会在进房成功后自动发布（若 publish=true）。可监听该事件获取推流状态 {@link module:EVENT.PUBLISH_STATE_CHANGED PUBLISH_STATE_CHANGED}。
+	    * @param {boolean} [config.mute] - 是否暂停摄像头采集，参考：{@tutorial 15-basic-dynamic-add-video}。
 	    * @param {object} [config.option] - 本地视频配置
 	    * @param {string} [config.option.cameraId] - 指定使用哪个摄像头，用于切换摄像头。
 	    * @param {boolean} [config.option.useFrontCamera] - 是否使用前置摄像头
@@ -1467,6 +1483,57 @@
 	     */
 	    getAudioTrack(userId?: string): MediaStreamTrack | null;
 	    setCurrentSpeaker(speakerId: string): void;
+	    /**
+	     * 发送 SEI Message <br>
+	     *
+	     * 视频帧的头部有一个叫做 SEI 的头部数据块，该接口的原理就是利用这个被称为 SEI 的头部数据块，将您要发送的自定义信令嵌入其中，使其同视频帧一并发送出去。
+	     * SEI 消息可以伴随着视频帧一直传输到直播 CDN 上。
+	     *
+	     * 适用场景：视频画面的精准布局、歌词同步、直播答题等。
+	     * 调用时机：在 {@link TRTC#startLocalVideo trtc.startLocalVideo} 后调用。
+	     *
+	     *
+	     * 注意：
+	     * 1. 单次最大发送1KB(Byte)，每秒最大调用次数30次，每秒最多发送8KB。
+	     * 2. 目前仅支持 Chrome 86+, Edge 86+, Opera 72+ 浏览器。
+	     * 3. 由于 SEI 跟随视频帧一起发送，视频帧有丢失的可能，因此 SEI 也可能丢失。可在使用频次限制范围内，增加发送次数，业务侧需要在接收端做消息去重。
+	     * 4. 没有推视频流时，无法发送 SEI；没有订阅视频流时，无法接收 SEI。
+	     * 5. 仅支持 H264 编码器发送 SEI。
+	     * 6. 小流暂不支持 SEI 收发。
+	     * @see {@link module:EVENT.SEI_MESSAGE TRTC.EVENT.SEI_MESSAGE}
+	     * @since v5.3.0
+	     * @param {ArrayBuffer} buffer 待发送的 SEI 数据
+	     * @param {Object=} options
+	     * @param {Number} options.seiPayloadType 设置 SEI payload type。SDK 默认使用自定义 payloadType 243，业务侧可使用该参数将 payloadType 设置为标准的 5。当业务侧使用 5 payloadType 时，需按照规范确保 `buffer` 的前16字节是业务侧自定义的 uuid。
+	     * @example
+	     * // 1. 开启 SEI
+	     * const trtc = TRTC.create({
+	     *    enableSEI: true // 开启 SEI 收发功能
+	     * })
+	     *
+	     * // 2. 推流端发送 SEI
+	     * try {
+	     *  await trtc.enterRoom({
+	     *   userId: 'user_1',
+	     *   roomId: 12345,
+	     * })
+	     *  await trtc.startLocalVideo();
+	     *  const unit8Array = new Uint8Array([1, 2, 3]);
+	     *  trtc.sendSEIMessage(unit8Array.buffer);
+	     *  // 消息已通过限制，等待后续视频帧发送。
+	     * } catch(error) {
+	     *  // 发送失败，可能原因：当前浏览器不支持、参数校验未通过、未推流、没推视频流、调用次数超出限制、使用非 H264 编码器等。
+	     *  console.warn(error);
+	     * }
+	     *
+	     * // 3. 拉流端接收 SEI
+	     * trtc.on(TRTC.EVENT.SEI_MESSAGE, event => {
+	     *  console.warn(`收到 ${event.userId} 的 sei ${event.data}`);
+	     * })
+	     */
+	    sendSEIMessage(buffer: ArrayBuffer, options?: {
+	        seiPayloadType: number;
+	    }): void;
 	    static EVENT: {
 	        readonly ERROR: "error";
 	        readonly AUTOPLAY_FAILED: "autoplay-failed";
@@ -1538,8 +1605,8 @@
 	        readonly SCREEN_SHARE_STOPPED: "screen-share-stopped";
 	        readonly DEVICE_CHANGED: "device-changed";
 	        readonly PUBLISH_STATE_CHANGED: "publish-state-changed";
-	        readonly SEI_MESSAGE: "sei-message";
 	        readonly STATISTICS: "statistics";
+	        readonly SEI_MESSAGE: "sei-message";
 	        readonly TRACK: "track";
 	    };
 	    static ERROR_CODE: {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "trtc-sdk-v5",
-  "version": "5.3.0-beta.5",
+  "version": "5.3.0-beta.6",
   "description": "Tencent Cloud RTC SDK for Web",
   "main": "trtc.js",
   "types": "index.d.ts",