@bdky/aaas-pilot-kit 1.0.9 → 1.1.0

package/dist/ky-aaas-pilot-kit.umd.js.LICENSE.txt

@@ -1,3 +1,10 @@
+/*!
+ * The buffer module from node.js, for the browser.
+ *
+ * @author   Feross Aboukhadijeh <https://feross.org>
+ * @license  MIT
+ */
+
 /*! *****************************************************************************
 Copyright (C) Microsoft. All rights reserved.
 Licensed under the Apache License, Version 2.0 (the "License"); you may not use
@@ -30,6 +37,8 @@ PERFORMANCE OF THIS SOFTWARE.
 
 /*! MIT License © Sindre Sorhus */
 
+/*! ieee754. BSD-3-Clause License. Feross Aboukhadijeh <https://feross.org/opensource> */
+
 /**
  * TraceKit - Cross brower stack traces
  *

package/dist/libs/aaas-pilot-kit/src/index.d.ts

@@ -4,4 +4,6 @@ export * from './lib/service/conversation';
 export * from './lib/aaas-pilot-kit';
 export * from './lib/controller';
 export { AudioDeviceDetector, AudioDeviceError, getErrorMessage, checkAudioDevice, type AudioDeviceCheckResult, type AudioDetectorOptions } from './lib/utils/AudioDeviceDetector';
+export { MediaStreamManager, type IAudioFeatureConfig, type IFeatureSupportResult, type IMediaStreamResult, type IMediaStreamManagerOptions } from './lib/utils/MediaStreamManager';
 export { subscribeAgentResponse, type ISubscribeAgentResponseOptions } from './lib/utils/agentResponseHelper';
+export { AzureSpeechRegion, AzureSpeechLanguage, type AzureSpeechRegionValue, type AzureSpeechLanguageValue, isValidAzureRegion, isValidAzureLanguage, getRegionDisplayName, getLanguageDisplayName } from './lib/constants/azure';

package/dist/libs/aaas-pilot-kit/src/lib/DI/types.d.ts

@@ -7,6 +7,7 @@ export declare const TYPES: {
     readonly ConversationService: symbol;
     readonly CommonRequest: symbol;
     readonly ErrorManager: symbol;
+    readonly MediaStreamManager: symbol;
     readonly IOptions: symbol;
 };
 export type TypeKeys = keyof typeof TYPES;

package/dist/libs/aaas-pilot-kit/src/lib/constants/azure.d.ts

@@ -0,0 +1,423 @@
+/**
+ * @file Azure Speech Service 常量定义
+ * @description 提供类型安全的 Azure 区域和语言配置
+ */
+/**
+ * Azure Speech Service 支持的区域
+ *
+ * 🌏 聚焦亚太地区，同时提供全球主要区域支持
+ *
+ * 文档：https://learn.microsoft.com/azure/ai-services/speech-service/regions
+ */
+export declare const AzureSpeechRegion: {
+    /**
+     * 东亚（香港）
+     * - 特点：靠近中国大陆，低延迟
+     * - 适用：中国香港、华南地区
+     */
+    readonly EAST_ASIA: "eastasia";
+    /**
+     * 东南亚（新加坡）
+     * - 特点：亚太区域中心，稳定性高
+     * - 适用：东南亚、印度、澳大利亚
+     */
+    readonly SOUTHEAST_ASIA: "southeastasia";
+    /**
+     * 日本东部（东京）
+     * - 特点：日本本地化服务
+     * - 适用：日本及周边地区
+     */
+    readonly JAPAN_EAST: "japaneast";
+    /**
+     * 日本西部（大阪）
+     * - 特点：日本备用区域
+     * - 适用：日本及周边地区
+     */
+    readonly JAPAN_WEST: "japanwest";
+    /**
+     * 韩国中部（首尔）
+     * - 特点：韩国本地化服务
+     * - 适用：韩国及周边地区
+     */
+    readonly KOREA_CENTRAL: "koreacentral";
+    /**
+     * 澳大利亚东部（悉尼）
+     * - 特点：澳洲本地化服务
+     * - 适用：澳大利亚、新西兰
+     */
+    readonly AUSTRALIA_EAST: "australiaeast";
+    /**
+     * 印度中部（浦那）
+     * - 特点：印度本地化服务
+     * - 适用：印度及南亚地区
+     */
+    readonly CENTRAL_INDIA: "centralindia";
+    /**
+     * 美国东部（弗吉尼亚）
+     * - 特点：全球最大数据中心之一
+     * - 适用：美国东海岸、南美洲
+     */
+    readonly EAST_US: "eastus";
+    /**
+     * 美国东部 2（弗吉尼亚）
+     * - 特点：东部备用区域
+     * - 适用：美国东海岸
+     */
+    readonly EAST_US_2: "eastus2";
+    /**
+     * 美国西部（加利福尼亚）
+     * - 特点：西海岸主力区域
+     * - 适用：美国西海岸、拉美
+     */
+    readonly WEST_US: "westus";
+    /**
+     * 美国西部 2（华盛顿）
+     * - 特点：西部备用区域
+     * - 适用：美国西海岸
+     */
+    readonly WEST_US_2: "westus2";
+    /**
+     * 美国西部 3（亚利桑那）
+     * - 特点：新增区域
+     * - 适用：美国西部内陆
+     */
+    readonly WEST_US_3: "westus3";
+    /**
+     * 美国中部（爱荷华）
+     * - 特点：美国地理中心
+     * - 适用：美国中部地区
+     */
+    readonly CENTRAL_US: "centralus";
+    /**
+     * 加拿大中部（多伦多）
+     * - 特点：加拿大本地化服务
+     * - 适用：加拿大
+     */
+    readonly CANADA_CENTRAL: "canadacentral";
+    /**
+     * 北欧（爱尔兰）
+     * - 特点：欧洲主力区域之一
+     * - 适用：北欧、英国、爱尔兰
+     */
+    readonly NORTH_EUROPE: "northeurope";
+    /**
+     * 西欧（荷兰）
+     * - 特点：欧洲主力区域之一
+     * - 适用：西欧、中欧
+     */
+    readonly WEST_EUROPE: "westeurope";
+    /**
+     * 英国南部（伦敦）
+     * - 特点：英国本地化服务
+     * - 适用：英国
+     */
+    readonly UK_SOUTH: "uksouth";
+    /**
+     * 法国中部（巴黎）
+     * - 特点：法国本地化服务
+     * - 适用：法国
+     */
+    readonly FRANCE_CENTRAL: "francecentral";
+    /**
+     * 德国西中部（法兰克福）
+     * - 特点：德国本地化服务
+     * - 适用：德国、中欧
+     */
+    readonly GERMANY_WEST_CENTRAL: "germanywestcentral";
+    /**
+     * 瑞士北部（苏黎世）
+     * - 特点：瑞士本地化服务
+     * - 适用：瑞士
+     */
+    readonly SWITZERLAND_NORTH: "switzerlandnorth";
+    /**
+     * 挪威东部（奥斯陆）
+     * - 特点：挪威本地化服务
+     * - 适用：挪威、北欧
+     */
+    readonly NORWAY_EAST: "norwayeast";
+    /**
+     * 巴西南部（圣保罗）
+     * - 特点：南美本地化服务
+     * - 适用：巴西、南美洲
+     */
+    readonly BRAZIL_SOUTH: "brazilsouth";
+    /**
+     * 南非北部（约翰内斯堡）
+     * - 特点：非洲本地化服务
+     * - 适用：南非、非洲
+     */
+    readonly SOUTH_AFRICA_NORTH: "southafricanorth";
+    /**
+     * 阿联酋北部（迪拜）
+     * - 特点：中东本地化服务
+     * - 适用：中东地区
+     */
+    readonly UAE_NORTH: "uaenorth";
+};
+/**
+ * Azure Speech Service 区域类型
+ * 自动从 AzureSpeechRegion 常量推断
+ */
+export type AzureSpeechRegionValue = typeof AzureSpeechRegion[keyof typeof AzureSpeechRegion];
+/**
+ * Azure Speech SDK 支持的语言（BCP-47 格式）
+ *
+ * 🌐 聚焦常用语言，提供完整的全球语言支持
+ *
+ * 文档：https://learn.microsoft.com/azure/ai-services/speech-service/language-support
+ */
+export declare const AzureSpeechLanguage: {
+    /**
+     * 中文（简体，中国大陆）
+     * - 适用：中国大陆普通话
+     */
+    readonly CHINESE_SIMPLIFIED_CN: "zh-CN";
+    /**
+     * 中文（繁体，台湾）
+     * - 适用：台湾国语
+     */
+    readonly CHINESE_TRADITIONAL_TW: "zh-TW";
+    /**
+     * 中文（繁体，香港）
+     * - 适用：香港粤语
+     */
+    readonly CHINESE_TRADITIONAL_HK: "zh-HK";
+    /**
+     * 英语（美国）
+     * - 适用：美式英语
+     */
+    readonly ENGLISH_US: "en-US";
+    /**
+     * 英语（英国）
+     * - 适用：英式英语
+     */
+    readonly ENGLISH_UK: "en-GB";
+    /**
+     * 英语（澳大利亚）
+     * - 适用：澳式英语
+     */
+    readonly ENGLISH_AU: "en-AU";
+    /**
+     * 英语（加拿大）
+     * - 适用：加拿大英语
+     */
+    readonly ENGLISH_CA: "en-CA";
+    /**
+     * 英语（印度）
+     * - 适用：印度英语
+     */
+    readonly ENGLISH_IN: "en-IN";
+    /**
+     * 英语（新西兰）
+     * - 适用：新西兰英语
+     */
+    readonly ENGLISH_NZ: "en-NZ";
+    /**
+     * 日语（日本）
+     * - 适用：标准日本语
+     */
+    readonly JAPANESE_JP: "ja-JP";
+    /**
+     * 韩语（韩国）
+     * - 适用：标准韩国语
+     */
+    readonly KOREAN_KR: "ko-KR";
+    /**
+     * 越南语（越南）
+     * - 适用：越南语
+     */
+    readonly VIETNAMESE_VN: "vi-VN";
+    /**
+     * 泰语（泰国）
+     * - 适用：泰语
+     */
+    readonly THAI_TH: "th-TH";
+    /**
+     * 印尼语（印度尼西亚）
+     * - 适用：印尼语
+     */
+    readonly INDONESIAN_ID: "id-ID";
+    /**
+     * 马来语（马来西亚）
+     * - 适用：马来语
+     */
+    readonly MALAY_MY: "ms-MY";
+    /**
+     * 菲律宾语（菲律宾）
+     * - 适用：菲律宾语（他加禄语）
+     */
+    readonly FILIPINO_PH: "fil-PH";
+    /**
+     * 印地语（印度）
+     * - 适用：印地语
+     */
+    readonly HINDI_IN: "hi-IN";
+    /**
+     * 泰米尔语（印度）
+     * - 适用：泰米尔语
+     */
+    readonly TAMIL_IN: "ta-IN";
+    /**
+     * 泰卢固语（印度）
+     * - 适用：泰卢固语
+     */
+    readonly TELUGU_IN: "te-IN";
+    /**
+     * 德语（德国）
+     * - 适用：标准德语
+     */
+    readonly GERMAN_DE: "de-DE";
+    /**
+     * 法语（法国）
+     * - 适用：法国法语
+     */
+    readonly FRENCH_FR: "fr-FR";
+    /**
+     * 西班牙语（西班牙）
+     * - 适用：西班牙语
+     */
+    readonly SPANISH_ES: "es-ES";
+    /**
+     * 西班牙语（墨西哥）
+     * - 适用：拉丁美洲西班牙语
+     */
+    readonly SPANISH_MX: "es-MX";
+    /**
+     * 意大利语（意大利）
+     * - 适用：意大利语
+     */
+    readonly ITALIAN_IT: "it-IT";
+    /**
+     * 葡萄牙语（巴西）
+     * - 适用：巴西葡萄牙语
+     */
+    readonly PORTUGUESE_BR: "pt-BR";
+    /**
+     * 葡萄牙语（葡萄牙）
+     * - 适用：欧洲葡萄牙语
+     */
+    readonly PORTUGUESE_PT: "pt-PT";
+    /**
+     * 俄语（俄罗斯）
+     * - 适用：俄语
+     */
+    readonly RUSSIAN_RU: "ru-RU";
+    /**
+     * 荷兰语（荷兰）
+     * - 适用：荷兰语
+     */
+    readonly DUTCH_NL: "nl-NL";
+    /**
+     * 波兰语（波兰）
+     * - 适用：波兰语
+     */
+    readonly POLISH_PL: "pl-PL";
+    /**
+     * 瑞典语（瑞典）
+     * - 适用：瑞典语
+     */
+    readonly SWEDISH_SE: "sv-SE";
+    /**
+     * 挪威语（挪威）
+     * - 适用：挪威语
+     */
+    readonly NORWEGIAN_NO: "nb-NO";
+    /**
+     * 丹麦语（丹麦）
+     * - 适用：丹麦语
+     */
+    readonly DANISH_DK: "da-DK";
+    /**
+     * 芬兰语（芬兰）
+     * - 适用：芬兰语
+     */
+    readonly FINNISH_FI: "fi-FI";
+    /**
+     * 阿拉伯语（沙特阿拉伯）
+     * - 适用：标准阿拉伯语
+     */
+    readonly ARABIC_SA: "ar-SA";
+    /**
+     * 阿拉伯语（阿联酋）
+     * - 适用：阿联酋阿拉伯语
+     */
+    readonly ARABIC_AE: "ar-AE";
+    /**
+     * 土耳其语（土耳其）
+     * - 适用：土耳其语
+     */
+    readonly TURKISH_TR: "tr-TR";
+    /**
+     * 希伯来语（以色列）
+     * - 适用：希伯来语
+     */
+    readonly HEBREW_IL: "he-IL";
+};
+/**
+ * Azure Speech SDK 语言类型
+ * 自动从 AzureSpeechLanguage 常量推断
+ */
+export type AzureSpeechLanguageValue = typeof AzureSpeechLanguage[keyof typeof AzureSpeechLanguage];
+/**
+ * 区域元数据（可选，用于 UI 展示）
+ */
+export interface RegionMetadata {
+    /**
+     * 显示名称（中文）
+     */
+    displayName: string;
+    /**
+     * 显示名称（英文）
+     */
+    displayNameEn: string;
+    /**
+     * 地理位置
+     */
+    location: string;
+    /**
+     * 推荐使用场景
+     */
+    recommendedFor: string[];
+}
+/**
+ * 区域元数据映射（仅核心区域）
+ */
+export declare const REGION_METADATA: Record<string, RegionMetadata>;
+/**
+ * 语言元数据（可选，用于 UI 展示）
+ */
+export interface LanguageMetadata {
+    /**
+     * 显示名称（中文）
+     */
+    displayName: string;
+    /**
+     * 显示名称（英文）
+     */
+    displayNameEn: string;
+    /**
+     * 原生名称
+     */
+    nativeName: string;
+}
+/**
+ * 语言元数据映射（仅核心语言）
+ */
+export declare const LANGUAGE_METADATA: Record<string, LanguageMetadata>;
+/**
+ * 辅助函数：检查是否为有效的 Azure 区域
+ */
+export declare const isValidAzureRegion: (region: string) => region is AzureSpeechRegionValue;
+/**
+ * 辅助函数：检查是否为有效的 Azure 语言代码
+ */
+export declare const isValidAzureLanguage: (language: string) => language is AzureSpeechLanguageValue;
+/**
+ * 辅助函数：获取区域显示名称
+ */
+export declare const getRegionDisplayName: (region: string, locale?: "zh" | "en") => string;
+/**
+ * 辅助函数：获取语言显示名称
+ */
+export declare const getLanguageDisplayName: (language: string, format?: "zh" | "en" | "native") => string;

package/dist/libs/aaas-pilot-kit/src/lib/service/rtc-asr/asr/azureAsrService.d.ts

@@ -0,0 +1,108 @@
+/**
+ * @file Azure Speech SDK ASR 服务实现
+ * @description 基于 Microsoft Cognitive Services Speech SDK 的语音识别服务
+ */
+import { BaseAsrService } from './baseAsrService';
+/**
+ * Azure Speech SDK ASR 服务
+ *
+ * 特点：
+ * - 支持单语言和多语言自动检测（最多 4 种语言）
+ * - 支持短语列表（Phrase List）优化识别准确率
+ * - 支持自定义超时参数配置
+ * - 支持 Custom Speech 端点
+ * - 内置连接管理，无需独立信令服务
+ *
+ * 使用要求：
+ * - opts.asrProvider 必须为 'azure'
+ * - opts.azure 必须配置（包含 subscriptionKey 和 region）
+ */
+export declare class AzureAsrService extends BaseAsrService {
+    /**
+     * Azure Speech 识别器实例
+     */
+    private recognizer;
+    /**
+     * 媒体流实例（用于 Mute 控制）
+     */
+    private mediaStream;
+    /**
+     * 能量门控实例（用于 TTS 回声抑制）
+     */
+    private energyGate;
+    /**
+     * Web Audio API 上下文
+     */
+    private audioContext;
+    /**
+     * AudioContext 生命周期管理器（移动端）
+     */
+    private audioContextLifecycle;
+    /**
+     * 预加载依赖
+     *
+     * Azure Speech SDK 通过 npm 包加载，无需额外预加载
+     * 主要用于验证配置完整性
+     */
+    preloadDeps: () => Promise<void>;
+    /**
+     * 启动 ASR 服务
+     *
+     * 流程：
+     * 1. 音频设备检测（如果配置了 checkAudioDeviceBeforeStart）
+     * 2. 创建 SpeechConfig 并配置参数
+     * 3. 创建 AudioConfig
+     * 4. 创建 Recognizer（单语言或多语言模式）
+     * 5. 配置短语列表（如果有）
+     * 6. 绑定事件处理器
+     * 7. 启动连续识别
+     */
+    start: () => Promise<void>;
+    /**
+     * 停止 ASR 服务
+     *
+     * 停止连续识别并释放资源
+     */
+    stop: () => Promise<void>;
+    /**
+     * 静音控制
+     *
+     * Azure Speech SDK 通过 MediaStreamTrack.enabled 控制静音
+     * enabled = false 时，track 生成空帧（软静音）
+     *
+     * @param muted - 是否静音
+     */
+    mute: (muted: boolean) => void;
+    /**
+     * 设置外部播放抑制启用状态
+     *
+     * 该方法用于控制能量门控的阈值调整，以抑制外部音频干扰（如 TTS 播放）
+     *
+     * @param enabled - 是否启用抑制
+     *
+     * @remarks
+     * - 当 enabled 为 true 时，会提高能量门控阈值，抑制外部音频
+     * - 当 enabled 为 false 时，恢复正常阈值
+     */
+    setPlaybackSuppressionEnabled: (enabled: boolean) => void;
+    /**
+     * 销毁 ASR 服务
+     *
+     * 释放所有资源
+     */
+    dispose: () => void;
+    /**
+     * 设置识别器事件处理
+     *
+     * 绑定 Azure Speech SDK 事件到 BaseAsrService 事件系统
+     *
+     * 事件映射：
+     * - recognizing → message (completed: false) - 临时识别结果
+     * - recognized → message (completed: true) - 最终识别结果
+     * - recognized (NoMatch) → silence - 未识别到语音
+     * - sessionStarted → 设置 customSessionId
+     * - sessionStopped → stop
+     * - canceled → error
+     */
+    private readonly setupRecognizerEvents;
+}

package/dist/libs/aaas-pilot-kit/src/lib/service/rtc-asr/asr/baseAsrService.d.ts

@@ -1,6 +1,7 @@
 import Emittery from 'emittery';
 import type { IResolvedOptions } from '../../../../types/config';
 import type { BaseSignalingService } from '../signal/base';
+import type { MediaStreamManager } from '../../../utils/MediaStreamManager';
 import { ErrorManager } from '../../../error';
 import { type AudioDeviceCheckResult, type AudioDetectorOptions } from '../../../utils/AudioDeviceDetector';
 export declare namespace NBaseAsrService {
@@ -59,11 +60,25 @@ export declare abstract class BaseAsrService<E extends NBaseAsrService.IEmitter
     muted: boolean;
     readonly emitter: Emittery<E, E & import("emittery").OmnipresentEventData, import("emittery").DatalessEventNames<E>>;
     protected started: boolean;
+    protected customSessionId: string | null;
+    /**
+     * MediaStream 管理器（通过 DI 注入）
+     */
+    protected readonly streamManager: MediaStreamManager;
     private lastCheckResult;
     private lastCheckTime;
     private readonly CHECK_CACHE_TTL;
-    constructor(opts: IResolvedOptions, signalingService: BaseSignalingService, errorManager: ErrorManager);
+    constructor(opts: IResolvedOptions, signalingService: BaseSignalingService, errorManager: ErrorManager, streamManager: MediaStreamManager);
     get sessionId(): string | null;
+    /**
+     * 静音控制
+     *
+     * 实现说明：
+     * - BRTC: 调用 signalingService.Mute()，由 BRTC SDK 控制
+     * - Azure: 设置 MediaStreamTrack.enabled = false，生成空帧（软静音）
+     *
+     * @param muted - 是否静音
+     */
     mute: (muted: boolean) => void;
     setMutedByUser: (muted: boolean) => void;
     /**
@@ -76,6 +91,18 @@ export declare abstract class BaseAsrService<E extends NBaseAsrService.IEmitter
     tryUnmuteAsr: () => boolean;
     disable: () => void;
     enable: () => void;
+    /**
+     * 设置外部播放抑制启用状态
+     *
+     * 该方法用于控制 ASR 输入的外部播放抑制策略（例如 TTS 外放期间抬阈门控）。
+     *
+     * @param enabled - 是否启用抑制
+     *
+     * @remarks
+     * - 默认实现为空操作，需要子类根据具体实现来重写
+     * - 例如 Azure ASR 使用能量门控（EnergyBasedGate）进行抬阈抑制
+     */
+    setPlaybackSuppressionEnabled: (enabled: boolean) => void;
     /**
      * 检查音频设备可用性
      *
@@ -122,6 +149,4 @@ export declare abstract class BaseAsrService<E extends NBaseAsrService.IEmitter
     abstract start(): Promise<void>;
     abstract stop(): Promise<void>;
     abstract dispose(): void;
-    protected abstract makeStartOptions(extra: any): unknown;
-    protected abstract parseMessage(raw: string): NBaseAsrService.IMessageProtocol;
 }

package/dist/libs/aaas-pilot-kit/src/lib/service/rtc-asr/signal/noop.d.ts

@@ -0,0 +1,54 @@
+/**
+ * @file 空信令服务实现（用于不需要 Signaling 的 ASR，如 Azure）
+ * @description 用于满足 DI 容器的依赖注入要求，但实际不执行任何信令操作
+ */
+import { BaseSignalingService } from './base';
+/**
+ * 空信令服务（No-op Signaling Service）
+ *
+ * 用于不需要独立信令层的 ASR 实现（如 Azure Speech SDK）
+ * 提供最小化的方法实现以满足 BaseSignalingService 接口要求
+ *
+ * 特点：
+ * - 不执行任何实际的信令操作
+ * - 自动生成简单的 sessionId
+ * - 所有方法都是空操作（no-op）
+ *
+ * 使用场景：
+ * - Azure ASR 不需要独立的信令服务
+ * - 其他自管理连接的 ASR 实现
+ */
+export declare class NoopSignalingService extends BaseSignalingService {
+    /**
+     * 启动信令服务（空操作）
+     *
+     * 仅生成一个简单的 sessionId 以满足接口要求
+     *
+     * @param _opts - 启动选项（未使用）
+     */
+    Start<P extends Record<string, any>>(_opts: P): Promise<void>;
+    /**
+     * 停止信令服务（空操作）
+     *
+     * 清空 sessionId
+     */
+    Stop(): Promise<void>;
+    /**
+     * 销毁信令服务（空操作）
+     *
+     * 调用基类的 _dispose 方法进行清理
+     */
+    Dispose(): void;
+    /**
+     * 静音控制（空操作）
+     *
+     * @param _muted - 是否静音（未使用）
+     */
+    Mute(_muted: boolean): void;
+    /**
+     * 获取会话 ID
+     *
+     * @returns 自动生成的会话 ID
+     */
+    GetSessionID(): string;
+}