qt-human 2.2.0-alpha.5 → 2.2.0-alpha.6

package/dist/types/types/index.d.ts

@@ -0,0 +1,659 @@
+import { API } from "./api";
+import * as THREE from 'three'
+import { GLTF } from 'three/examples/jsm/loaders/GLTFLoader.js';
+
+export namespace QuanTe {
+  export type Character = 'xiaomeng' | 'custom' | 'quan' | 'doctor' | 'boy' | 'girl' | '';
+  export type ModelID = 'xiaomeng_mouth' | 'xiaomeng_eyeLash' | 'xiaomeng_head';
+  export type Cloth = {};
+  export type Scene = {};
+  export type AskParamType = API.AskParam & { message: API.MSG[] };
+
+  // 状态，init: 初始化, ready: 模型已准备就绪, prepare2play: 准备播放，playing: 正在播放
+  export type Status = 'init' | 'ready' | 'prepare2play' | 'playing'
+  export type ConfigurationOptions = {
+    // 帧数， blendshapes每秒执行的帧数, 默认30帧
+    fps: number
+  }
+  // 模式, nomal 普通模式(默认), voice 语音控制, only_render 只渲染模型
+  export type Mode = 'voice' | 'nomal' | 'only_render'
+  export type VoiceModeConfig = {
+    // 为true时不会受到唤醒词，退出词和打断词的影响，程序会一直收音并且会随时打断
+    keepActive?: boolean
+  }
+  export type Configuration = {
+    // 模型容器
+    container?: string | HTMLElement, 
+    // 授权token, 
+    token: string;
+    // 数字人ID
+    characterId?: string;
+    // 音频配置
+    audio?: {
+      volumn?: number;
+    };
+    // 服务配置
+    server?: {
+      // 接口
+      api?: string;
+      // socket服务接口
+      wss?: string;
+      // gateway服务接口配置
+      // 咨询
+      questionApiParams?: API.AskParam;
+      // 文本转语音
+      text2Speach?: Text2SpeechParams;
+    }
+    // 模型描述文件
+    modelConfig?: Partial<QuanTe.Model.Description>;
+    loading?: string | HTMLElement;
+    loadingDestory?: boolean;
+    // 其他参数
+    options?: ConfigurationOptions;
+    mode?: Mode,
+    voiceModeConfig?: VoiceModeConfig,
+    // 不立即渲染
+    isNotRender?: boolean
+  }
+  export type VoiceConfig = {
+    wakeWords?: string[],
+    exitWords?: string[],
+    interruptWorlds?: string[],
+    sampleRate?: number
+    // 无操作时退出时间
+    exitTime?: number
+    // 音量检测值
+    level?: number
+    // 结束录音等待时间
+    waitTime?: number
+  }
+  export interface Human {
+    name: string;
+    // 设置人物模型
+    public setCharacter(characterId: string, config?: Partial<Configuration>): Promise<boolean>;
+    // 设置人物模型数据
+    public setCharacterData(characterId: string): Promise<boolean>
+    // 说一段话
+    public speak(text: string, callback?: Function): Promise<QuanTe.API.StreamAudioPlayInfo>;
+    // AI 问答
+    public ask(params: AskParams, callback: (msgs: IResultData<QuanTe.API.ChatMessage[]>) => void): Promise<QuanTe.Result<QuanTe.API.AskResponse>>;
+    // 静音 isMute: true: 静音， false：取消静音
+    public muteAudio(isMute: boolean);
+    // 禁用动作 isMute: true: 禁用， false：取消禁用
+    public muteAction(isMute: boolean);
+    // 销毁
+    public destroy();
+    // 使用音频说一段话，uri音频资源
+    // public speakByAudio(uri: string, shapes: number[][]): Promise<boolean>;
+    // 开始录音转文本
+    public startVoice2Text(callback?: (data: API.Voice2Text) => void): Promise<QuanTe.Result<QuanTe.Recorder.PermissionResult>>;
+    // 结束录音转文本
+    public stopVoice2Text(callback?: (data: API.Voice2Text) => void): Promise<QuanTe.Result<null>>;
+    // 停止，停止语音和口型
+    public stop(): Promise<boolean>;
+    // 根据audio地址和blend_shapes说一段话
+    public speakByAudioShapes(uris: string[], shapes: Array<number[][]>): Promise<boolean>
+    // 更新token
+    public updateToken(token: string): void;
+    // 切换视角
+    public setAngleView({ camera, controls }: { camera: QuanTe.Model.TCamera & { duration?: number }, controls: QuanTe.Model.OrbitControl & { duration?: number } }): void;
+    // 执行动画
+    public playAction(code: string, opts: PlayActionOptions): Promise<void>
+    public getModelInfo(): ModelInfo | null
+    // 离线渲染模型, 不可使用asr、tts、咨询大模型等功能
+    public offlineRender(files: CharacterModel[]): Promise<boolean>
+    // 停止渲染
+    public stopRender(): Promise<boolean>
+    // 开始渲染
+    public startRender(): Promise<boolean>
+    public openVoiceInteraction(config: VoiceConfig): Promise<boolean>
+    public closeRecorder(): Promise<boolean>
+    public openRecorder(): Promise<QuanTe.Result<QuanTe.Recorder.PermissionResult>>
+  }
+
+  export interface ModelInfo {
+    actor: THREE.Group<THREE.Object3DEventMap>,
+    scenes: THREE.Object3D[]
+    animations: THREE.AnimationClip[]
+    mixer: THREE.AnimationMixer,
+    actions: any[]
+  }
+
+  export type PlayActionOptions = { loop?: THREE.AnimationActionLoopStyles, repetitions?: number }
+
+  // json 对象
+  export type Json = {[key: string]: any};
+
+  export interface Result<T> {
+    code: number;
+    data: T;
+    msg: string;
+  }
+
+  
+  export namespace Recorder {
+    export interface PermissionResult {
+      isUserNotAllow: boolean;
+    }
+    
+    // 语音转文字
+    export interface Voice2Text {
+      // 是否结束
+      is_final: boolean;
+      // 模型
+      mode?: string;
+      // 文字内容
+      text: string;
+      wav_name: string;
+    }
+  }
+
+  export namespace Loader {
+    export interface LoaderResponse extends API.CharacterModel {
+      buffer?: any;
+      gltf?: GLTF;
+    }
+    // 加载进度
+    export interface LoaderProgress {
+      // 资源
+      url: string;
+      // 进度值
+      progress: number;
+      // 数据总量
+      total: number;
+    }
+    // 加载进度
+    export interface Progress {
+      // 资源名称
+      code: string;
+      // 进度值
+      progress: number;
+      // 数据总量
+      total: number;
+    }
+  }
+
+  export namespace API {
+    export type SceneType = 'hdr' | 'picture' | 'glb' | 'background' | 'video'
+    export type TTS_ROLE = 'woman' | 'man' | 'xiaoxiao' | 'yunxiao' | 'yunhao'
+    export type TTS_MODEL = 'gpt-sovits' | 'xunfei' | 'paddle' | 'paddle2' | 'azure'
+    export type TTS_VISEME = 'azure' | 'ovr' | 'a2f' | 'qt' | 'none' | 'a2f3d'
+    export type ChatMessageResonseMode = 'streaming' | 'blocking'
+
+    export interface IResult {
+      code: number
+      msg: string
+    }
+    
+    // 请求响应参数（包含data）
+    export interface IResultData<T = any> extends IResult {
+      data: T
+    }
+
+    // 文本转语音&blend_shapes
+    export interface Text2Speech {
+      // 音频url
+      url: string;
+      // 音频时长
+      duration: number;
+      // 口型
+      blend_shapes: number[] | number[][];
+      // 语音文本
+      content: string;
+    }
+    export interface Text2SpeechParams {
+      // '音色' TTS_ROLE
+      role?: string;
+      // 内容
+      content: string;
+      // '语速, 默认: 1'
+      speed?: number;
+      // '模型，默认:gpt-sovits'
+      model?: TTS_MODEL;
+      // '口型，默认:a2f'
+      viseme?: TTS_VISEME;
+      // '是否开启平滑[0: 关闭， 1： 开启]，默认开启'
+      smooth_method?: number;
+      // '平滑值：[1~10]，默认5'
+      smooth_interations?: number;
+    }
+    // 消息
+    export interface MSG {
+      // 角色, user: 用户消息, assistant: 服务消息
+      role: 'user' | 'assistant';
+      // 消息内容
+      content: string;
+    }
+    // 咨询参数
+    export interface AskParam {
+      // 模型，默认使用quan
+      model?: 'quan' | 'charglm-3' | 'qwen1.5' | 'glm-4' | 'openai' | 'echo';
+      // 渠道, 应用ID
+      channel?: string;
+      // 流式, 默认true
+      stream?: boolean;
+      // 断句, 默认true
+      sentence?: boolean;
+      // 最大输出, 默认1000
+      max_tokens?: 1000;
+      // 温度设置, 默认1
+      temperature?: number;
+      // 会话ID, 默认0
+      conversation_id?: string;
+      // 文件
+      files?: {type: 'image', transfer_method: 'remote_url', url: string}[]
+    }
+    export interface PlayInfo {
+      // bs 数据
+      shapes: number[][];
+      // 音频链接
+      url: string;
+      // 音频时长
+      duration: number;
+      // 文本内容
+      content: string;
+    }
+    export interface StreamAudioPlayInfo {
+      // bs 数据
+      shapes: number[][];
+      // 音频链接
+      audios: ArrayBuffer[];
+      // 音频时长
+      duration: number;
+      // 文本内容
+      content: string;
+      // 音频采样率
+      rate: number;
+    }
+    // 咨询错误
+    export interface AskError {
+      // 文本内容
+      content: string;
+      // 错误消息
+      errorMessage: string;
+    }
+    export interface AskResponse {
+      // 请求ID
+      reqId: string;
+      // 播放数据
+      playInfos: PlayInfo[];
+      // 错误数据
+      errorInfos: AskError[];
+    }
+    export interface AskStreamResponse {
+      // 请求ID
+      reqId: string;
+      // 播放数据
+      playInfos: StreamAudioPlayInfo[];
+      // 错误数据
+      errorInfos: AskError[];
+    }
+  
+    export interface CharacterTimbre {
+      id: string
+      name: string
+      enabled: SystemBoolean
+      value: string
+    }
+    export interface CharacterModel {
+      id: string
+      name: string
+      enabled: SystemBoolean
+      code: string
+      bundle: string
+      type: 'apose' | 'animation' | 'animation_system'
+    }
+  
+    export interface CharacterScene {
+      id: string
+      name: string
+      path: string
+      type: SceneType
+      pictures: string[]
+      background: string
+    }
+    export interface Pronunciation {
+      id: string
+      // 词汇，来源
+      source: string
+      // 发音
+      target: string
+    }
+    export interface CharacterInfo {
+      id: string
+      // userId: string
+      // timbreId: string
+      // sceneId: string
+      // moldId: string
+      name: string
+      description: string
+      language: string
+      animationEnabled: SystemBoolean
+      timbre: CharacterTimbre
+      animations: CharacterModel[]
+      aposes: CharacterModel[]
+      scene: CharacterScene | null
+      configuration: any
+      pronunciations: Pronunciation[]
+      token: string
+      renderings: string[]
+    }
+  
+    export interface ChatMessage {
+      event: string
+      conversation_id: string
+      message_id: string
+      created_at: number
+      task_id: string
+      id: string
+      answer: string
+      from_variable_selector: string
+      message?: string
+    }
+  
+    export interface ChatMessageFile {
+      type: 'image'
+      transfer_method: 'remote_url' | 'local_file'
+      url: string
+    }
+    export interface ChatMessageParams {
+      message: MSG[]
+      language?: string
+      conversation_id?: string
+      response_mode?: ChatMessageResonseMode
+      files?: ChatMessageFile[]
+      inputs?: any
+    }
+    export interface AskParams {
+      // 请求ID
+      reqId?: string;
+      message: MSG[]
+      conversation_id?: string
+      response_mode?: ChatMessageResonseMode
+      files?: ChatMessageFile[]
+      commandType?: string
+      inputs?: any
+    }
+  }
+
+  export namespace Model {
+    export type XYZ = [number, number, number];
+    export type Matrix4 = [number, number, number, number, number, number, number, number, number, number, number, number, number, number, number, number];
+    export interface GridHelper {
+      size?: number
+      divisions?: number
+      color1?: THREE.ColorRepresentation
+      color2?: THREE.ColorRepresentation
+    }
+    /**
+     * 模型描述内容
+     */
+    export interface Description {
+      // 模型名称
+      name: string;
+      // 模型配置
+      model: Model;
+      // 摄像机
+      camera: TCamera;
+      // 轨道控制器
+      orbitControls: OrbitControl;
+      // 背景
+      background: Background;
+      // 灯光
+      lights: Light[];
+      // 网格线
+      // constructor(size?: number, divisions?: number, color1?: ColorRepresentation, color2?: ColorRepresentation);
+      gridHelper?: GridHelper;
+      // 解压缩目录
+      dracoPath?: string;
+    }
+    type FileType = 'zip' | 'bundle' | ''
+    interface File {
+      // 文件名
+      name: string;
+      // 文件类型
+      type: FileType;
+      // zip类型解压密码
+      pwd: string;
+      // 文件路径
+      url: string;
+    }
+    export interface BodyOption {
+      // 
+      key: string;
+      name: string;
+      // 前缀
+      prefix: string;
+      // 后缀
+      suffix: string;
+    }
+    export interface Body {
+      // 主体模型名称
+      name: string;
+      // 部位描述
+      options: BodyOption[];
+    }
+    /**
+     * 模型
+     */
+    export interface Model {
+      // 主体部位
+      body: Body;
+      // 位置
+      position?: XYZ;
+      // 旋转角度
+      rotation?: XYZ;
+      // 缩放
+      scale?: XYZ;
+      // 是否开启旋转, 默认不开启
+      rotate?: boolean;
+    }
+    export interface Object3D {
+      id?: number;
+      name?: string;
+      // 可见性。这个值为true时，物体将被渲染。默认值为true。
+      visible?: boolean;
+      // 位置
+      position?: XYZ;
+      // 物体的局部旋转，以弧度来表示 new THREE.Euler( 0, 1, 1.57, 'XYZ' );
+      rotation?: XYZ;
+      // 对象是否被渲染到阴影贴图中。默认值为false
+      castShadow?: boolean;
+      // 材质是否接收阴影。默认值为false。
+      receiveShadow?: boolean;
+      // 物体的局部缩放。默认值是Vector3( 1, 1, 1 )
+      scale?: XYZ;
+      // 物体的层级关系。物体只有和一个正在使用的Camera至少在同一个层时才可见。当使用Raycaster进行射线检测的时候此项属性可以用于过滤不参与检测的物体
+      layers?: number;
+      // 局部变换矩阵
+      matrix: Matrix4;
+      // 这个属性由lookAt方法所使用，例如，来决定结果的朝向。 默认值是Object3D.DEFAULT_UP，即( 0, 1, 0 )。
+      up?: XYZ
+      uuid?: string;
+    }
+    /**
+     * 摄像机
+     */
+    export interface Camera extends Object3D {
+      // // 位置
+      // position: XYZ;
+      // // 旋转角度
+      // rotation: XYZ;
+      // 夹角
+      fov?: number;
+      // z轴距离， 深度
+      // depth: number;
+      // // 看向某个点，如果没有则不设置
+      // lookAt?: XYZ;
+      zoom?: number;
+      near?: number;
+      far?: number;
+      focus?: number;
+      aspect?: number;
+      filmGauge?: number;
+      filmOffset?: number;
+    }
+    /**
+     * 透视摄像机
+     */
+    export interface PerspectiveCamera extends Camera {
+      uuid?: string;
+      type: 'PerspectiveCamera';
+      // 摄像机视锥体垂直视野角度
+      fov?: number;
+      // 摄像机视锥体长宽比
+      aspect?: number;
+      // 摄像机视锥体近端面
+      near?: number;
+      // 摄像机视锥体远端面
+      far?: number;
+      // 用于立体视觉和景深效果的物体的距离。 这个参数不会影响摄像机的投影矩阵，除非使用了StereoCamera。 默认值是10
+      focus?: number;
+      // 胶片尺寸，其默认值为35（毫米）。 这个参数不会影响摄像机的投影矩阵，除非.filmOffset被设置为了一个非零的值
+      filmGauge?: number;
+      // 水平偏离中心偏移量，和.filmGauge单位相同。默认值为0
+      filmOffset?: number;
+      // 获取或者设置摄像机的缩放倍数，其默认值为1
+      zoom?: number;
+    }
+    
+    export type TCamera = PerspectiveCamera
+    /**
+     * 光
+     */
+    export interface BaseLight extends Object3D {
+      // 颜色
+      color: string | number;
+      // 强度
+      intensity: number;
+    }
+    /**
+     * 光线阴影
+     */
+    export interface LightShadow {
+      autoUpdate?: boolean;
+      // 光的世界里。这用于生成场景的深度图;从光的角度来看，其他物体背后的物体将处于阴影中
+      camera?: TCamera;
+      // 阴影贴图偏差，在确定曲面是否在阴影中时，从标准化深度添加或减去多少。默认值为0.此处非常小的调整（大约0.0001）可能有助于减少阴影中的伪影
+      bias?: number;
+      // 将此值设置为大于1的值将模糊阴影的边缘。较高的值会在阴影中产生不必要的条带效果 - 更大的mapSize将允许在这些效果变得可见之前使用更高的值。
+      radius?: number;
+    }
+    /**
+     * 平行光
+     */
+    export interface DirectionalLight extends BaseLight {
+      // 类型
+      type: 'DirectionalLight';
+      // 阴影
+      shadow: LightShadow
+    }
+    /**
+     * 环境光
+     */
+    export interface AmbientLight extends BaseLight {
+      // 类型
+      type: 'AmbientLight';
+    }
+    /**
+     * 聚光灯
+     */
+    export interface SpotLight extends BaseLight {
+      // 类型
+      type: 'SpotLight';
+      name: string;
+      // 衰减值，默认为2
+      decay?: number;
+      // 光源照射的最大距离。默认值为 0（无限远）。
+      distance?: number;
+      // 聚光锥的半影衰减百分比。默认值为 0
+      penumbra?: number;
+      // angle - 光线照射范围的角度。默认值为 Math.PI/3
+      angle?: number;
+      shadow?: LightShadow;
+      target?: string;
+    }
+    /**
+     * 点光源
+     */
+    export interface PointLight extends BaseLight {
+      // 类型
+      type: 'PointLight';
+      // 衰减值，默认为2
+      decay?: number;
+      // 光源照射的最大距离。默认值为 0（无限远）。
+      distance?: number;
+      shadow?: LightShadow;
+      target?: string;
+    }
+    /**
+     * 平面光光源
+     */
+    export interface RectAreaLight extends BaseLight {
+      // 类型
+      type: 'RectAreaLight';
+      // 光源宽度
+      width: number;
+      // 光源高度
+      height: number;
+      // 光源的功率, 单位为流明（lm）
+      power?: number;
+      // 使用色温
+      useColorTemperature?: boolean;
+      // 色温值
+      colorTemperature?: number;
+    }
+    export interface HemisphereLight extends BaseLight {
+      // 类型
+      type: 'HemisphereLight';
+      // 一个表示颜色的 Color 的实例、字符串或数字，默认为一个白色（0xffffff）的 Color 对象
+      skyColor?: number;
+      // 一个表示颜色的 Color 的实例、字符串或数字，默认为一个白色（0xffffff）的 Color 对象
+      groundColor?: number;
+    }
+    /**
+     * 灯光
+     */
+    export type Light = AmbientLight | DirectionalLight | SpotLight | PointLight | RectAreaLight | HemisphereLight
+    // interface Light {
+    //   directional?: DirectionalLight;
+    //   ambient?: AmbientLight;
+    //   spot?: SpotLight;
+    //   point?: PointLight;
+    // }
+    /**
+     * 轨道控制器
+     */
+    export interface OrbitControl {
+      // 当设置为false时，控制器将不会响应用户的操作。默认值为true。
+      enabled?: boolean;
+      // 启用或禁用摄像机的缩放。默认值为true。
+      enableZoom?: boolean;
+      // 启用或禁用摄像机水平或垂直旋转。默认值为true。
+      enableRotate?: boolean;
+      // 启用或禁用摄像机平移，默认为true。
+      enablePan?: boolean;
+      // 你能够将相机向内移动多少（仅适用于PerspectiveCamera），其默认值为0。
+      minDistance?: number;
+      // 你能够将相机向外移动多少（仅适用于PerspectiveCamera），其默认值为Infinity。
+      maxDistance?: number;
+      // 你能够垂直旋转的角度的下限，范围是0到Math.PI，其默认值为0。
+      minPolarAngle?: number;
+      // 你能够垂直旋转的角度的上限，范围是0到Math.PI，其默认值为Math.PI。
+      maxPolarAngle?: number;
+      // 控制器的焦点，.object的轨道围绕它运行。 它可以在任何时候被手动更新，以更改控制器的焦点。
+      target?: XYZ;
+      // 是否使用轨道控制器
+      useOrbitControl?: boolean;
+    }
+    /**
+     * 背景
+     */
+    export interface Background {
+      // 背景图片或颜色值
+      bg: string;
+    }
+  }
+
+}
+