@xmov/avatar 2.0.0-alpha.48 → 2.0.0-alpha.50

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@xmov/avatar",
-  "version": "2.0.0-alpha.48",
+  "version": "2.0.0-alpha.50",
   "description": "魔珐数字人 JS-SDK",
   "type": "module",
   "source": "src/index.ts",

package/src/control/RenderScheduler.ts

@@ -338,9 +338,10 @@ export default class RenderScheduler {
           } else {
             nowFaceData.push(faceData[i]);
           }
-          nowFaceData.length && this.dataCacheQueue._updateFacial(nowFaceData);
-          realFaceData.length && this.dataCacheQueue._updateRealFacial(realFaceData);
         }
+        // 分类完成后一次性入队，避免循环内对累加数组重复 push 导致队列数据重复
+        nowFaceData.length && this.dataCacheQueue._updateFacial(nowFaceData);
+        realFaceData.length && this.dataCacheQueue._updateRealFacial(realFaceData);
         break;
       case EFrameDataType.AUDIO:
         const audioData = data as IRawAudioFrameData[];
@@ -492,7 +493,34 @@ export default class RenderScheduler {
             code: EErrorCode.EVENT_TRIGGERED,
             message: 'WARNING: 有新的speak_start事件，但是上一轮仍未结束，触发兜底结束',
           });
-          this.interrupt('new_speak_start');
+          const currentSpeakStart = d.flatMap(item => item.e ?? []).find(ev => ev.type === 'speak_start');
+          const newSpeakId = currentSpeakStart?.speech_id ?? 0;
+          const playingSpeechId = this.audioRenderer.speech_id;
+          // 仅当正在播放的确实是上一轮（sid 小于新一轮）时才打断旧轮次。
+          // 若事件晚于音频到达（playingSpeechId 已是新一轮 sid），此时播放的就是新一轮，
+          // 不能用 interrupt()（其目标取 audioRenderer.speech_id），否则会误清新一轮的音频队列、
+          // 字幕事件，并因 lastSpeechId/oldSpeechId 更新导致后续音视频帧全部被丢弃，
+          // 表现为"有口型、无字幕、无音频"。
+          if (playingSpeechId !== -1 && playingSpeechId < newSpeakId) {
+            this.interrupt('new_speak_start', playingSpeechId);
+            // stop() 内部有 oldSpeechId >= speech_id 的防重入守卫：当 speech_id 停留在
+            // 异常残留值（如初始值 0，长会话中 isPlaying 卡死为 true）时 stop 会被拦截，
+            // isPlaying/speech_id 无法复位，导致新一轮音频在 _updateAudio 中永远走缓存分支
+            // 不播放（日志表现：缓存数据长度持续增长且无"开始播放"）。
+            // 这里检测到 stop 未生效（speech_id 未复位为 -1）时，用 pause() 强制复位，
+            // pause 会 flush 已缓存音频并把 speech_id/oldSpeechId 重置，新一轮可正常起播。
+            if (this.audioRenderer.speech_id !== -1) {
+              this.audioRenderer.pause();
+            }
+          }
+          // 新 speak_start 已到来，立即复位 interrupt 并更新轮次状态，
+          // 避免依赖 UIRenderer 在 sf 帧处理事件时（sf==当前帧且事件在 compose 后被处理）被漏处理，
+          // 导致新轮次实际说话期间仍被强制渲染为闭嘴表情
+          if (currentSpeakStart) {
+            this.currentSpeechId = currentSpeakStart.speech_id ?? 0;
+            this.avatarRenderer.setInterrupt(false);
+            this.uiRenderer.lastSpeechId = currentSpeakStart.speech_id ?? 0;
+          }
         }
 
         // 2. 处理过期speak_start
@@ -879,10 +907,13 @@ export default class RenderScheduler {
     this.avatarRenderer.setWalkConfig(walkConfig);
   }
 
-  interrupt(type?: string): number{
+  // targetSpeechId: 显式指定要打断的轮次 sid。缺省时取 audioRenderer.speech_id（当前播放轮次）。
+  // 当事件晚于音频到达时，audioRenderer.speech_id 可能已经切换到新一轮，此时必须显式传旧 sid，
+  // 避免误清新一轮的音频与字幕。
+  interrupt(type?: string, targetSpeechId?: number): number{
     const start = Date.now();
     // 插入中断字幕和语音结束事件
-    const speech_id = this.audioRenderer.speech_id;
+    const speech_id = targetSpeechId ?? this.audioRenderer.speech_id;
     if(type === "in_offline_mode") {
       this.lastSpeechId = -1;
     } else {

package/src/modules/ResourceManager.ts

@@ -205,7 +205,7 @@ export default class ResourceManager {
   private isProcessingVideo = false; // 防止在视频处理过程中清理缓存
   private cacheServer?: CacheManager;
   private startSessionTimer: any = null;
-  private audioOnlyMode: boolean;
+  private audioOnlyMode: boolean = false;
 
   // 新增：正在下载的视频跟踪
   private downloadingVideos = new Map<string, Promise<ArrayBuffer | undefined>>();