@rongcloud/plugin-call 5.32.0 → 5.36.0

package/dist/index.d.ts

@@ -1,5 +1,5 @@
 import { ILogger, ConversationType, LogLevel, LogL, IPushConfig as IPushConfig$1, IReceivedMessage, EventEmitter, RTCPluginContext, IRuntime, BasicLogger, IRTCJoinedInfo, IPluginGenerator } from '@rongcloud/engine';
-import { RCRTCClient, IMicphoneAudioProfile, ICameraVideoProfile, RTCJoinType, RCTrack, RCRTCCode, IRCRTCStateReport, RCRTCPingResult, RCLocalTrack } from '@rongcloud/plugin-rtc';
+import { RCRTCClient, IMicphoneAudioProfile, ICameraVideoProfile, RTCJoinType, RCTrack, RCRTCCode, IRCRTCStateReport, RCRTCPingResult, RCLocalTrack, RCRTCASRContent, RCRTCRealtimeTranslationContent, IRCRTCGenerateSummarizationConfig } from '@rongcloud/plugin-rtc';
 export { IRCRTCStateReport } from '@rongcloud/plugin-rtc';
 
 /**
@@ -345,6 +345,7 @@ declare class RCCallSession {
      * 用户传进来的 对session的监听 (要在RCCallClient的_onInvite里判断，要求执行完onSession必须注册session的监听，所以这里是public)
      */
     _listener: ISessionListener | null;
+    private _callAsrListener;
     /**
      * RTC订阅、发布重试的次数
      */
@@ -353,6 +354,14 @@ declare class RCCallSession {
      * 加入房间定时器
      */
     private joinRoomTimer;
+    /**
+     * 昵称，用于智能总结
+     */
+    private _nickName;
+    /**
+     * 输入语言代码，用于语音识别精准识别
+     */
+    private _srcLanguage;
     constructor(
     /**
      * 状态机实例
@@ -406,6 +415,7 @@ declare class RCCallSession {
      * 用户调用的，注册session上的监听
      */
     registerSessionListener(listener: ISessionListener): void;
+    registerCallASRListener(listener: IRCCallASRListener): void;
     /**
      * 调RTC API 获得本地流
      */
@@ -558,6 +568,96 @@ declare class RCCallSession {
      * 获得mediaType
      */
     getMediaType(): RCCallMediaType;
+    /**
+     * 设置输入语言代码，用于语音识别精准识别
+     * @param srcLanguage 语言代码
+     * @description 需要在取得 session 时立马调用
+     * @return
+     */
+    setSrcLanguageCode(languageCode: string): Promise<{
+        code: RCCallErrorCode;
+    }>;
+    /**
+     * 开启语音识别服务
+     * @description 语音识别功能依赖会话的音频流，
+     * 语音识别服务开启后且会话中有音频流时，sdk 会通过 `onReceiveStartASR` 通知业务层，代表真正开启成功
+     * @returns
+     */
+    startASR(): Promise<{
+        code: RCCallErrorCode;
+    }>;
+    /**
+     * 是否有语音识别资源
+     * @returns
+     */
+    asrIsAvailable(): boolean;
+    /**
+     * 关闭语音识别服务
+     * @returns
+     */
+    stopASR(): Promise<{
+        code: RCCallErrorCode;
+    }>;
+    /**
+     * 设置是否接收语音识别资源
+     * @param enable 为 ture 时，sdk 会获取语音识别资源并解析，通过监听事件 `onReceiveASRContent` 事件，抛出语音识别内容
+     * @description
+     * @returns
+     */
+    setEnableASR(enable: boolean): Promise<{
+        code: RCCallErrorCode;
+    }>;
+    /**
+     * 开启语音实时翻译
+     * @param destLangCode 翻译的目标语言
+     * @description 执行时机：需在监听事件 `onReceiveStartASR` 中执行。
+     * @description 执行条件：语音识别资源被设置为接收状态
+     * @returns
+     */
+    startRealtimeTranslation(destLangCode: string): Promise<{
+        code: RCCallErrorCode;
+    }>;
+    /**
+     * 关闭语音实时翻译
+     * @returns
+     */
+    stopRealtimeTranslation(): Promise<{
+        code: RCCallErrorCode;
+    }>;
+    /**
+     开始智能总结任务
+     *
+     * @description 执行时机：需在监听事件 `onReceiveStartASR` 中执行。
+     *
+     * @discussion
+      1. 智能总结任务依赖语音识别服务
+      2. 通话中其他人通过 onReceiveStartSummarization 收到通知
+      3. 智能总结任务开始后，可通过 stopSummarization 接口关闭
+     *
+     * @returns taskId 智能总结任务 Id
+     */
+    startSummarization(): Promise<{
+        code: RCCallErrorCode;
+        taskId?: string;
+    }>;
+    /**
+     * 关闭智能总结
+     *
+     * @discussion 通话中关闭智能总结任务，其他人员通过 onReceiveStopSummarization 收到通知
+     * @returns
+     */
+    stopSummarization(): Promise<{
+        code: RCCallErrorCode;
+    }>;
+    /**
+     * 设置昵称
+     * @param nickName 用于智能总结，昵称强制不翻译
+     * @description 需要在取得 session 时立马调用
+     * 长度不超过 64
+     */
+    setNickName(nickName: string): {
+        code: RCCallErrorCode;
+    };
 }
 
 interface ISender {
@@ -722,6 +822,11 @@ interface ISessionListener {
      * @since version 5.1.5
      */
     onICEConnectionStateChange?(state: RTCIceConnectionState, session: RCCallSession): void;
+    /**
+     * 通话建立连接
+     * 可在此时开启房间内的语音识别服务
+     */
+    onConnected?(session: RCCallSession): void;
 }
 /**
  * 创建session的options
@@ -874,6 +979,39 @@ interface IRCCallInGroupParams {
         audio?: number;
     };
 }
+interface IRCCallASRListener {
+    /**
+     * 语音识别服务开启通知
+     * 如需要语音识别内容和语音实时翻译，可在此时机依次调用 session 的
+     * setEnableASR 方法，设置房间内的语音识别资源为可用，语音识别内容通过 `onReceiveASRContent` 回调给业务层
+     * startRealtimeTranslation 方法，开启语音实时翻译，实时翻译内容通过 `onReceiveRealtimeTranslationContent` 回调给业务层
+     */
+    onReceiveStartASR?(): void;
+    /**
+     * 语音识别服务停止通知
+     */
+    onReceiveStopASR?(): void;
+    /**
+     * 语音识别内容回调
+     * @param asrContent
+     */
+    onReceiveASRContent?(asrContent: RCRTCASRContent): void;
+    /**
+     * 语音翻译结果回调
+     * @param content
+     */
+    onReceiveRealtimeTranslationContent?(content: RCRTCRealtimeTranslationContent): void;
+    /**
+     * 开始智能总结
+     * @param taskId 可用于获取会议纪要、会议语音转文字内容
+     */
+    onReceiveStartSummarization?(taskId: string): void;
+    /**
+     * 结束智能总结
+     * @param taskId
+     */
+    onReceiveStopSummarization?(taskId: string): void;
+}
 
 interface IEndSummary {
     /**
@@ -1669,6 +1807,32 @@ declare class RCCallClient {
     setPushConfig(callPushConfig: IPushConfig, hungupPushConfig: IPushConfig): {
         code: RCCallErrorCode.STATE_MACHINE_EXIT | RCCallErrorCode.SEND_MSG_ERROR | RCCallErrorCode.REJECTED_BY_BLACKLIST | RCCallErrorCode.NOT_IN_GROUP | RCCallErrorCode.GET_LOCAL_AUDIO_TRACK_ERROR | RCCallErrorCode.GET_LOCAL_VIDEO_TRACK_ERROR | RCCallErrorCode.GET_LOCAL_AUDIO_AND_VIDEO_TRACK_ERROR | RCCallErrorCode.JOIN_ROOM_ERROR | RCCallErrorCode.AUDIO_PUBLISH_ERROR | RCCallErrorCode.VIDEO_PUBLISH_ERROR | RCCallErrorCode.AUDIO_AND_VIDEO_PUBLISH_ERROR | RCCallErrorCode.QUERY_JOINED_USER_INFO_ERROR | RCCallErrorCode.MISSING_VIDEO_TRACK_ERROR | RCCallErrorCode.UNPUBLISH_VIDEO_ERROR | RCCallErrorCode.CONVERSATION_NOT_GROUP_ERROR | RCCallErrorCode.NOT_IN_ROOM_ERROR | RCCallErrorCode.PARAM_ERROR | RCCallErrorCode.MISSING_AUDIO_TRACK_ERROR | RCCallErrorCode.SESSION_ENDED | RCCallErrorCode.SWITCH_VIDEO_DEVICE_ERROR;
     } | undefined;
+    /**
+     * 生成智能总结
+     * @param callId 通话 Id
+     * @param taskId 智能总结任务 Id，通过 onReceiveStartSummarization 回调获取到
+     * @param startTime 本次需要总结的开始时间，UTC 时间戳，单位秒，传入 0，表示总结开始的时间
+     * @param endTime 本次需要总结的结束时间，UTC 时间戳，单位秒，传入 0，表示当前时间，如果总结已经停止，则表示总结结束的时间
+     * @param config 生成智能总结配置，其中 enableSummarization、enableSummarizationDetails、enableChapterSummary、enableTodoList、enableHashtag 必须有一个为 true，否则不会产生任何总结内容
+     * @param contentBlock 内容回调，如果内容比较多，contentBlock 会回调多次，isEnd 为 true 时，代表内容回调结束
+     * @returns
+     */
+    generateSummarization(callId: string, taskId: string, startTime: number, endTime: number, config: IRCRTCGenerateSummarizationConfig, contentBlock: (data: string, isEnd: boolean) => void): Promise<{
+        code: RCCallErrorCode;
+    }>;
+    /**
+     * 获取语音转文字内容
+     * @param roomId 获取语音转文字的房间 Id
+     * @param taskId 智能总结任务 Id，通过 onReceiveStartSummarization 回调获取
+     * @param startTime 本次需要获取语音转文字的开始时间，UTC 时间戳，单位秒，传入 0，表示总结开始的时间
+     * @param endTime 本次需要获取语音转文字的结束时间，UTC 时间戳，单位秒，传入 0，表示当前时间，如果总结已经停止，则表示总结结束的时间
+     * @param destLang 目标语言代码，默认为语音源语言
+     * @param contentBlock 内容回调，如果内容比较多，contentBlock 会回调多次，isEnd 为 true 时，代表内容回调结束
+     * @returns
+     */
+    getASRContent(callId: string, taskId: string, startTime: number, endTime: number, contentBlock: (data: string, isEnd: boolean) => void, destLang?: string): Promise<{
+        code: RCCallErrorCode;
+    }>;
 }
 
 declare const installer: IPluginGenerator<RCCallClient, IRCCallInitOptions>;