@xmov/avatar 2.0.1 → 2.1.0

package/README.md

@@ -146,7 +146,7 @@ import XingyunAvatarAgent from '@xmov/avatar/agent';
 pnpm install
 cd app/ && pnpm install
 
-# 启动 SDK 实时编译（监听模式）
+# 同时监听根 SDK 和 Agent SDK
 pnpm sdk
 
 # 启动 Demo 应用
@@ -155,6 +155,8 @@ pnpm app
 # 浏览器访问 http://localhost:5173
 ```
 
+`pnpm sdk` 会并行运行 `sdk:core` 和 `sdk:agent`。只需监听其中一个入口时，可以单独运行 `pnpm sdk:core` 或 `pnpm sdk:agent`。
+
 ### 构建
 
 ```bash

package/dist/agent/cdn-entry.d.ts

@@ -0,0 +1 @@
+export {};

package/dist/baseRender/AvatarRenderer.d.ts

@@ -27,7 +27,6 @@ type Option = {
         body_id: number;
         id: number;
     }) => void;
-    onError: (error: any) => void;
     sendSdkPoint: (point: string, data: any) => void;
 };
 export default class AvatarRender {

package/dist/control/RenderScheduler.d.ts

@@ -118,10 +118,26 @@ export default class RenderScheduler {
         next_state: string;
     };
     sendVoiceEnd(): void;
+    /**
+     * 重连成功恢复（含窗口内 socket.io 自动重连恢复、窗口外重开房间）：
+     * 数据缓存在断网进入离线时已清空（_offlineMode/_offlineRun），此处仅恢复播放状态：
+     * - 标记帧号对齐：首个 BODY/AUDIO 数据到达时按 sf 重设帧时钟
+     * - 恢复音频播放
+     * - 解码器退出离线模式（重置 _offlineLastFrame、清空离线队列）
+     * 避免离线 idle 播放推进的帧号领先服务端续推数据导致人物卡死、音画不同步
+     */
+    markReconnectRecover(): void;
     _offlineMode(): void;
     _offlineRun(): void;
     ttsaStateChangeHandle(state: StateChangeInfo): void;
     resume(): void;
+    /**
+     * app 切后台时暂停音频并清空对齐状态（复用断网离线时的 pause()）
+     * 不能保留缓存续播：Android 后台视频帧号持续递增而音频停留在暂停位置，
+     * 恢复后音画基准脱节；且后台期间可能下发新 speak 数据，旧缓存与新 sf 冲突。
+     * 恢复后依赖新下发音频的 sf 作为 firstFrameIndex 重新对齐
+     */
+    pauseForBackground(): void;
     /**
      * 设置数字人canvas的显隐状态
      * @param visible 是否可见
@@ -129,7 +145,7 @@ export default class RenderScheduler {
     setAvatarCanvasVisible(visible: boolean): void;
     setCharacterCanvasLayout(layout?: Layout): void;
     setWalkConfig(walkConfig: WalkConfig): void;
-    interrupt(type?: string): number;
+    interrupt(type?: string, targetSpeechId?: number): number;
     seekToFrame(frame: number): void;
     getCurrentFrameIndex(): number;
     getSpeechId(): number;

package/dist/control/ttsa.d.ts

@@ -24,6 +24,7 @@ interface ITtsaOptions {
     enterOfflineMode: () => void;
     reStartSDK: () => void;
     reconnect_client_timeout: number;
+    reconnect_timeout: number;
     sendVoiceEnd: () => void;
     getCurrentFrameIndex: () => number;
 }
@@ -45,7 +46,9 @@ export default class Ttsa {
     private enterOfflineMode;
     private reStartSDK;
     private reconnect_client_timeout;
+    private reconnect_timeout;
     private reconnectTimer;
+    private socketReconnectTimer;
     private wsConnectTimer;
     private enterOfflineFlag;
     private sendVoiceEnd;
@@ -57,9 +60,13 @@ export default class Ttsa {
     private heartbeatTimer;
     private readonly HEARTBEAT_INTERVAL;
     /**
-     * 清除WebSocket重连定时器
+     * 清除WebSocket重连定时器（含停止 socket.io 自动重连的定时器）
      */
     clearReconnectTimer(): void;
+    /**
+     * 清除停止 socket.io 自动重连的定时器
+     */
+    private clearSocketReconnectTimer;
     /**
      * 启动客户端心跳（每 2s 发送一次 client_heartbeat）
      */