@xmov/avatar 2.0.0-alpha.49 → 2.0.0-alpha.51

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@xmov/avatar",
-  "version": "2.0.0-alpha.49",
+  "version": "2.0.0-alpha.51",
   "description": "魔珐数字人 JS-SDK",
   "type": "module",
   "source": "src/index.ts",

package/src/control/RenderScheduler.ts

@@ -493,11 +493,29 @@ export default class RenderScheduler {
             code: EErrorCode.EVENT_TRIGGERED,
             message: 'WARNING: 有新的speak_start事件，但是上一轮仍未结束，触发兜底结束',
           });
-          this.interrupt('new_speak_start');
+          const currentSpeakStart = d.flatMap(item => item.e ?? []).find(ev => ev.type === 'speak_start');
+          const newSpeakId = currentSpeakStart?.speech_id ?? 0;
+          const playingSpeechId = this.audioRenderer.speech_id;
+          // 仅当正在播放的确实是上一轮（sid 小于新一轮）时才打断旧轮次。
+          // 若事件晚于音频到达（playingSpeechId 已是新一轮 sid），此时播放的就是新一轮，
+          // 不能用 interrupt()（其目标取 audioRenderer.speech_id），否则会误清新一轮的音频队列、
+          // 字幕事件，并因 lastSpeechId/oldSpeechId 更新导致后续音视频帧全部被丢弃，
+          // 表现为"有口型、无字幕、无音频"。
+          if (playingSpeechId !== -1 && playingSpeechId < newSpeakId) {
+            this.interrupt('new_speak_start', playingSpeechId);
+            // stop() 内部有 oldSpeechId >= speech_id 的防重入守卫：当 speech_id 停留在
+            // 异常残留值（如初始值 0，长会话中 isPlaying 卡死为 true）时 stop 会被拦截，
+            // isPlaying/speech_id 无法复位，导致新一轮音频在 _updateAudio 中永远走缓存分支
+            // 不播放（日志表现：缓存数据长度持续增长且无"开始播放"）。
+            // 这里检测到 stop 未生效（speech_id 未复位为 -1）时，用 pause() 强制复位，
+            // pause 会 flush 已缓存音频并把 speech_id/oldSpeechId 重置，新一轮可正常起播。
+            if (this.audioRenderer.speech_id !== -1) {
+              this.audioRenderer.pause();
+            }
+          }
           // 新 speak_start 已到来，立即复位 interrupt 并更新轮次状态，
           // 避免依赖 UIRenderer 在 sf 帧处理事件时（sf==当前帧且事件在 compose 后被处理）被漏处理，
           // 导致新轮次实际说话期间仍被强制渲染为闭嘴表情
-          const currentSpeakStart = d.flatMap(item => item.e ?? []).find(ev => ev.type === 'speak_start');
           if (currentSpeakStart) {
             this.currentSpeechId = currentSpeakStart.speech_id ?? 0;
             this.avatarRenderer.setInterrupt(false);
@@ -889,10 +907,13 @@ export default class RenderScheduler {
     this.avatarRenderer.setWalkConfig(walkConfig);
   }
 
-  interrupt(type?: string): number{
+  // targetSpeechId: 显式指定要打断的轮次 sid。缺省时取 audioRenderer.speech_id（当前播放轮次）。
+  // 当事件晚于音频到达时，audioRenderer.speech_id 可能已经切换到新一轮，此时必须显式传旧 sid，
+  // 避免误清新一轮的音频与字幕。
+  interrupt(type?: string, targetSpeechId?: number): number{
     const start = Date.now();
     // 插入中断字幕和语音结束事件
-    const speech_id = this.audioRenderer.speech_id;
+    const speech_id = targetSpeechId ?? this.audioRenderer.speech_id;
     if(type === "in_offline_mode") {
       this.lastSpeechId = -1;
     } else {

package/src/utils/capability-checker.ts

@@ -110,17 +110,27 @@ function checkAudioSystemSync(): ICapabilityCheckItem {
 
 /**
  * 同步检查 WebCodecs API 是否存在（不探测具体编解码器）
+ * 
+ * 与 streaming-video.ts 解码策略一致标注平台解码路径：
+ * - Android（含 OpenHarmony/ArkWeb）：prefer-software 软解码
+ * - 其余环境：默认配置（硬解码）
+ * 实际解码配置支持度由异步 checkWebCodecsDetailed 探测
  */
 function checkWebCodecsSync(): ICapabilityCheckItem {
   const hasVideoDecoder = typeof (window as any).VideoDecoder !== 'undefined';
-  const supported = hasVideoDecoder;
+  const userAgent = (navigator.userAgent || '').toLowerCase();
+  const isAndroid = /android/.test(userAgent) || /openharmony|arkweb/.test(userAgent);
 
   return {
     name: 'webcodecs',
-    supported,
+    supported: hasVideoDecoder,
     severity: 'fatal',
-    reason: supported ? undefined : '浏览器不支持 WebCodecs VideoDecoder API',
-    detail: { hasVideoDecoder },
+    reason: hasVideoDecoder ? undefined : '浏览器不支持 WebCodecs VideoDecoder API',
+    detail: {
+      hasVideoDecoder,
+      isAndroid,
+      hardwareAcceleration: isAndroid ? 'prefer-software' : 'default',
+    },
   };
 }
 
@@ -186,13 +196,17 @@ export function checkCapabilitySync(audioOnlyMode = false): ICapabilityCheckRepo
 
 /**
  * 异步检查 WebCodecs 详细编解码器支持
+ * 
+ * 与 streaming-video.ts 解码策略一致：
+ * - Android（含 OpenHarmony/ArkWeb）：主路径为 prefer-software 软解码，默认配置兜底
+ * - 其余环境：主路径为默认配置（硬解码）
+ * 逐 codec 探测两种配置的支持度，并按平台主路径判定 SDK 可用性
  */
 async function checkWebCodecsDetailed(): Promise<ICapabilityCheckItem> {
   try {
     const hasVideoDecoder = typeof (window as any).VideoDecoder !== 'undefined';
-    const supported = hasVideoDecoder;
 
-    if (!supported) {
+    if (!hasVideoDecoder) {
       return {
         name: 'webcodecs',
         supported: false,
@@ -202,29 +216,89 @@ async function checkWebCodecsDetailed(): Promise<ICapabilityCheckItem> {
       };
     }
 
+    // 平台判定与 streaming-video.ts 保持一致
+    const userAgent = (navigator.userAgent || '').toLowerCase();
+    const isAndroid = /android/.test(userAgent) || /openharmony|arkweb/.test(userAgent);
+
+    // 探测配置补全尺寸字段：与业务 isConfigSupported(config) 一致（纯 codec 在部分浏览器被拒）
+    const probeW = 2160;
+    const probeH = 1920;
+
     // 探测具体编解码器支持
-    let codecSupport: Record<string, boolean> = {};
+    // 注意：WebCodecs 的 codec 字段是纯编解码器字符串（如 avc1.640032），
+    //       不能用 video/mp4; codecs="..." 的 MIME 形式（会导致 isConfigSupported 抛异常）
+    let codecSupport: Record<string, { default: boolean; software: boolean | null; error?: string }> = {};
     const testCodecs = [
-      'video/mp4; codecs="avc1.42E01E"',  // H.264 Baseline
-      'video/mp4; codecs="avc1.4D001F"',  // H.264 Main
-      'video/mp4; codecs="avc1.64001F"',  // H.264 High
+      'avc1.42E01E',  // H.264 Baseline
+      'avc1.4D001F',  // H.264 Main
+      'avc1.64001F',  // H.264 High
     ];
+
+    // 主路径（平台默认解码配置）与兜底（默认配置）任一支持即判定可用
+    let primarySupported = false;
+    let fallbackSupported = false;
+    // 探测过程是否出现异常（区别于"确实不支持"）：异常时降级 warn，避免误杀可用环境
+    let probeFailed = false;
     for (const codec of testCodecs) {
       try {
-        const result = await (window as any).VideoDecoder.isConfigSupported({
+        // 默认配置（浏览器默认/硬解），业务兜底路径
+        const defaultResult = await (window as any).VideoDecoder.isConfigSupported({
           codec,
+          codedWidth: probeW,
+          codedHeight: probeH,
         });
-        codecSupport[codec] = result.supported;
+        const defaultOk = !!defaultResult?.supported;
+        if (defaultOk) {
+          fallbackSupported = true;
+        }
+
+        // Android 主路径：prefer-software 软解码（与 streaming-video.ts 一致）
+        let softwareOk: boolean | null = null;
+        if (isAndroid) {
+          try {
+            const softwareResult = await (window as any).VideoDecoder.isConfigSupported({
+              codec,
+              codedWidth: probeW,
+              codedHeight: probeH,
+              hardwareAcceleration: 'prefer-software',
+            });
+            softwareOk = !!softwareResult?.supported;
+          } catch {
+            softwareOk = false;
+          }
+          if (softwareOk) {
+            primarySupported = true;
+          }
+        } else if (defaultOk) {
+          primarySupported = true;
+        }
+
+        codecSupport[codec] = { default: defaultOk, software: softwareOk };
       } catch {
-        codecSupport[codec] = false;
+        // isConfigSupported 抛异常：探测方式受限（如浏览器实现差异），非"确实不支持"
+        probeFailed = true;
+        codecSupport[codec] = { default: false, software: null, error: 'probe-failed' };
       }
     }
 
+    const supported = primarySupported || fallbackSupported;
+    // 探测异常且无任何配置支持：降级 warn（运行时业务用真实 config 的 isConfigSupported 为准）
+    const severity = probeFailed && !supported ? 'warn' : 'fatal';
     return {
       name: 'webcodecs',
-      supported: true,
-      severity: 'fatal',
-      detail: { hasVideoDecoder, codecSupport },
+      supported,
+      severity,
+      reason: supported
+        ? undefined
+        : severity === 'warn'
+          ? 'WebCodecs 探测异常（运行时将以实际视频配置二次确认）'
+          : '浏览器不支持 H.264 解码（默认/软解配置均不可用）',
+      detail: {
+        hasVideoDecoder,
+        isAndroid,
+        hardwareAcceleration: isAndroid ? 'prefer-software' : 'default',
+        codecSupport,
+      },
     };
   } catch (e) {
     return {