@bdky/aaas-pilot-kit 1.0.7 → 1.0.9

package/dist/libs/aaas-pilot-kit/src/lib/service/conversation/conversationService.d.ts

@@ -1,6 +1,7 @@
 import { type IConversationBeanSnapshot } from './conversationBean';
 import { ClientConversationBean } from './clientConversationBean';
 import { AIWorkerConversationBean } from './aiWorkerConversationBean';
+import { type IConversationUIState } from './types';
 import type { IResolvedOptions } from '../../../types/config';
 export type AnyConversation = ClientConversationBean | AIWorkerConversationBean;
 export type IConversationFormatter = (text: string) => string;
@@ -9,6 +10,11 @@ export declare class ConversationService {
     beans: AnyConversation[];
     currentConversation: AnyConversation | null;
     private aiWorkerConversationFormatters;
+    /**
+     * UI 渲染状态缓存
+     * 用于存储会话的 UI 层渲染数据（累加后的文本、UI ID 等）
+     */
+    private readonly uiStateCache;
     constructor(opts: IResolvedOptions);
     get last(): AnyConversation | null;
     get currentClientConversation(): ClientConversationBean | null;
@@ -20,6 +26,24 @@ export declare class ConversationService {
     setCurrentConversation: (conversation: AnyConversation | null) => void;
     clear: () => void;
     toJSON: () => IConversationBeanSnapshot[];
+    /**
+     * 获取会话的 UI 渲染状态缓存
+     * 返回深拷贝副本，防止多实例修改共享引用
+     */
+    getUIState: (conversationId: string) => IConversationUIState | undefined;
+    /**
+     * 设置会话的 UI 渲染状态缓存
+     * 深拷贝后再存储，防止外部修改影响缓存
+     */
+    setUIState: (conversationId: string, state: IConversationUIState) => void;
+    /**
+     * 清除指定会话的 UI 状态缓存
+     */
+    clearUIState: (conversationId: string) => void;
+    /**
+     * 从 AIWorkerConversationBean 的 contents 构建 UI 渲染快照
+     */
+    buildSnapshotUIState: (conversation: AIWorkerConversationBean) => IConversationUIState;
     dispose: () => void;
     /**
      * 注册aiWorkerConversation formatter

package/dist/libs/aaas-pilot-kit/src/lib/service/conversation/types.d.ts

@@ -0,0 +1,37 @@
+/**
+ * UI 层会话内容渲染状态
+ * 用于在 SDK 层缓存 UI 组件需要的渲染数据
+ */
+export interface IConversationUIContent {
+    /**
+     * UI 层唯一标识，用于 React key
+     */
+    uiId: string;
+    /**
+     * 内容类型
+     */
+    mod: 'text' | 'image' | 'video';
+    /**
+     * 内容数据（文本内容或资源URL）
+     */
+    content: string;
+    /**
+     * 是否已完成渲染
+     */
+    completed: boolean;
+}
+/**
+ * 会话的 UI 渲染状态
+ */
+export interface IConversationUIState {
+    /**
+     * UI 渲染内容列表
+     */
+    contents: IConversationUIContent[];
+    /**
+     * 渲染模式
+     * - stream: 流式渲染模式（增量更新）
+     * - snapshot: 快照模式（从 bean.contents 构建）
+     */
+    mode: 'stream' | 'snapshot';
+}

package/dist/libs/aaas-pilot-kit/src/lib/service/rtc-asr/asr/baseAsrService.d.ts

@@ -37,6 +37,7 @@ export declare namespace NBaseAsrService {
     interface IMessageEventPayload extends IMessageProtocol, IEventWithSessionIdPayload {
     }
     type IDeviceCheckCompletedPayload = AudioDeviceCheckResult;
+    type IDeviceCheckResult = AudioDeviceCheckResult;
     interface IEmitter {
         start: IStartEventPayload;
         stop: IStopEventPayload;
@@ -102,6 +103,15 @@ export declare abstract class BaseAsrService<E extends NBaseAsrService.IEmitter
     checkAudioDevice: (options?: AudioDetectorOptions & {
         forceCheck?: boolean;
     }) => Promise<AudioDeviceCheckResult>;
+    /**
+     * 处理麦克风检测失败的策略
+     *
+     * @param strategy - 处理策略
+     * @param result - 检测结果
+     * @param callback - 用户自定义回调（仅 prompt 策略使用）
+     * @returns Promise<boolean> - true: 继续启动，false: 终止启动
+     */
+    protected readonly handleMicrophoneCheckFailure: (strategy: "error" | "warn" | "silent" | "prompt", result: AudioDeviceCheckResult, callback?: (result: AudioDeviceCheckResult) => Promise<boolean>) => Promise<boolean>;
     protected readonly _stop: () => Promise<void>;
     protected readonly _dispose: () => void;
     /**

package/dist/libs/aaas-pilot-kit/src/lib/utils/AudioDeviceDetector.d.ts

@@ -46,8 +46,10 @@ export interface AudioDeviceCheckResult {
     available: boolean;
     /** 错误类型 (仅在 available = false 时存在) */
     error?: AudioDeviceError;
-    /** 错误详细信息 */
+    /** 错误详细信息（技术性） */
     message?: string;
+    /** 用户友好的错误提示文案 */
+    userMessage?: string;
     /** 检测通过的层级 (1-4) */
     passedLevel?: number;
     /** 找到的音频设备列表 */

package/dist/libs/aaas-pilot-kit/src/types/config.d.ts

@@ -2,6 +2,7 @@ import type { Newable } from 'inversify';
 import type { AgentConfig } from './agent';
 import type { Env } from './common';
 import { BaseAgentService, NBaseAgentService } from '../lib/service/agent/baseAgentService';
+import type { NBaseAsrService } from '../lib/service/rtc-asr/asr/baseAsrService';
 import { type ReplacementRule } from '../lib/utils/applyTextReplacements';
 import { NPictureClientDigitalHumanService } from '../lib/service/digital-human/PictureClientDigitalHumanService';
 import Emittery from 'emittery';
@@ -232,6 +233,57 @@ export interface IOptions<AS extends BaseAgentService = BaseAgentService> {
      * @default true
      */
     checkAudioDeviceBeforeStart?: boolean;
+    /**
+     * 🎙️【选填】麦克风检测失败时的处理策略
+     *
+     * 当 checkAudioDeviceBeforeStart=true 且麦克风检测失败时的行为：
+     *
+     * - 'error' (默认) → 抛出 AsrInitializationError，终止启动
+     * - 'warn' → 在控制台输出警告，禁用语音输入，继续启动（仅文本模式）
+     * - 'silent' → 静默降级为仅文本模式，不输出警告（仍会发出事件）
+     * - 'prompt' → 调用 onMicrophoneCheckFailed 回调，让开发者自定义交互逻辑
+     *
+     * 💡 使用场景：
+     * - 'error' → 严格要求语音功能的场景（如语音客服）
+     * - 'warn' → 语音为可选功能，允许文本输入兜底
+     * - 'silent' → 自动降级，不干扰用户体验
+     * - 'prompt' → 需要显示自定义对话框让用户确认
+     *
+     * ⚠️ 注意：
+     * - 降级后用户仍可通过 input(text) 方法进行文本输入
+     * - 系统会发出 device_check_completed 和 microphone_available 事件
+     * - ASR 服务会被自动禁用（controller.asrService.disabled = true）
+     *
+     * @default 'error'
+     */
+    microphoneFailureHandling?: 'error' | 'warn' | 'silent' | 'prompt';
+    /**
+     * 🔔【选填】麦克风检测失败时的自定义处理回调
+     *
+     * 仅当 microphoneFailureHandling='prompt' 时生效。
+     *
+     * 💡 典型用途：
+     * - 显示自定义确认对话框确认是否继续流程
+     * - 根据错误类型展示不同的提示信息
+     * - 记录用户选择到分析系统
+     *
+     * @param result - 设备检测结果，包含错误详情、设备列表、权限状态等
+     * @returns Promise<boolean> - true: 继续启动（文本模式），false: 终止启动
+     *
+     * @example
+     * ```typescript
+     * onMicrophoneCheckFailed: async (result) => {
+     *     // result.userMessage 已包含用户友好的错误提示
+     *     const userChoice = await showDialog({
+     *         title: '麦克风不可用',
+     *         message: `${result.userMessage}\n\n您可以选择继续使用文本输入。`,
+     *         buttons: ['继续（仅文本）', '取消']
+     *     });
+     *     return userChoice === 'continue';
+     * }
+     * ```
+     */
+    onMicrophoneCheckFailed?: (result: NBaseAsrService.IDeviceCheckResult) => Promise<boolean>;
     /**
      * 🌐【选填】运行环境
      * - 'development' → 开发调试（日志全开）
@@ -336,6 +388,7 @@ export declare const DEFAULT_OPTIONS: {
     readonly getMountContainer: () => HTMLElement;
     readonly hotWordReplacementRules: ReplacementRule[];
     readonly checkAudioDeviceBeforeStart: true;
+    readonly microphoneFailureHandling: "error";
     readonly rtcID: "appreimunmd7utp";
 };
 type DefaultedOptionKeys = keyof typeof DEFAULT_OPTIONS;
@@ -754,7 +807,7 @@ export interface IAaaSPilotKitController<AS extends BaseAgentService = BaseAgent
      */
     activateManually(): Promise<void>;
     /**
-     * 🕰️ 重置会话超时计时器 —— “我还在用，别退出！”
+     * 🕰️ 重置会话超时计时器 —— "我还在用，别退出！"
      *
      * 🔹 行为：
      *   - 重新从 0 开始计时 opts.timeoutSec
@@ -765,4 +818,18 @@ export interface IAaaSPilotKitController<AS extends BaseAgentService = BaseAgent
      * @returns this（支持链式调用）
      */
     keepAlive(): IAaaSPilotKitController;
+    /**
+     * 🎤 播放开场白（Prologue）
+     *
+     * 🔹 行为：
+     *   - 若 opts.prologue 有值 → 直接播放自定义开场白
+     *   - 若未配置 → 调用 Agent 接口获取默认开场白
+     *
+     * 💡 适用场景：
+     *   - mount 完成后自动播放欢迎语（一般在 ready 之后调用）
+     *   - 手动激活（activateManually）后播放
+     *
+     * ⚠️ 注意：通常不需要手动调用，框架会在合适时机自动触发
+     */
+    playPrologue(): void;
 }

package/package.json

@@ -1,7 +1,28 @@
 {
     "name": "@bdky/aaas-pilot-kit",
-    "version": "1.0.7",
+    "version": "1.0.9",
+    "description": "百度数字员工基础套件 - AI智能体、语音识别、数字人渲染全链路SDK，事件驱动、框架无关",
+    "keywords": [
+        "digital-employee",
+        "digital-human",
+        "数字员工",
+        "数字人",
+        "ai-assistant",
+        "chatbot",
+        "conversational-ai",
+        "speech-recognition",
+        "asr",
+        "语音识别",
+        "tts",
+        "text-to-speech",
+        "语音合成",
+        "avatar",
+        "baidu",
+        "百度",
+        "客悦"
+    ],
     "license": "MIT",
+    "author": "Baidu Keyue Team <zhangwenxi@baidu.com>",
     "contributors": [
         {
             "name": "zhangwenxi",