g-ai-robot3 1.0.4 → 1.0.6

package/README.md

@@ -1,199 +1,238 @@
-# g-ai-robot3
-
-内部数字人对话组件，基于 Vue 3，封装了文本问答、语音交互、数字人视频播放和工作流回调能力。
-
-## 包说明
-
-- 这是内部业务 npm 包，默认会随包发布内部接口地址、默认 `bot_id`、默认代理前缀和默认 WS 地址。
-- 这些默认值已经集中到 [`packages/internal-defaults.ts`](E:/g-ai-robot3/packages/internal-defaults.ts) 统一管理。
-- 组件仍然保留原有覆盖能力。业务方可以通过 props 覆盖 `apiPrefix`、REST 地址、WS 地址和数字人接口地址。
-
-## 安装
-
-```bash
-npm install g-ai-robot3
-```
-
-本包要求宿主项目使用 Vue 3。
-
-## 快速开始
-
-```vue
-<script setup lang="ts">
-import GAiRobot3 from "g-ai-robot3";
-import "g-ai-robot3/style.css";
-</script>
-
-<template>
-  <GAiRobot3
-    :cozeInfo="{ bot_id: '7429224296222097443' }"
-    apiPrefix="/api21216"
-  />
-</template>
-```
-
-### Vite 项目额外配置
-
-本组件包含图片等静态资源，Vite 项目需要引入配套插件以确保资源路径正确：
-
-```ts
-// vite.config.ts
-import gAiRobot from "g-ai-robot3/vite-plugin";
-
-export default defineConfig({
-  plugins: [
-    vue(),
-    gAiRobot(), // 确保图片等静态资源路径正确
-  ],
-});
-```
-
-> 该插件会将 `g-ai-robot3` 排除出 Vite 依赖预构建，同时保留其子依赖的预构建，避免 CJS/ESM 兼容问题。
-
-## 仓库内示例
-
-- 当前仓库直接使用 [`examples/App.vue`](E:/g-ai-robot3/examples/App.vue) 作为示例页面。
-- 页面入口在 [`index.html`](E:/g-ai-robot3/index.html) 和 [`examples/main.ts`](E:/g-ai-robot3/examples/main.ts)。
-- 本地联调时在仓库根目录运行 `npm run dev` 即可。
-
-## Vite 代理示例
-
-```ts
-import { defineConfig } from "vite";
-import vue from "@vitejs/plugin-vue";
-
-export default defineConfig({
-  plugins: [vue()],
-  server: {
-    proxy: {
-      "/api21216": {
-        target: "https://model.keepsoft.net:39002",
-        changeOrigin: true,
-        secure: false,
-        rewrite: (path) => path.replace(/^\/api21216/, ""),
-      },
-    },
-  },
-});
-```
-
-## 默认内部配置
-
-以下默认值会随 npm 包一起发布，且都可以通过 props 覆盖：
-
-| 项目 | 默认值 |
-| --- | --- |
-| `apiPrefix` | `"/api21216"` |
-| `cozeInfo.bot_id` | `"7473691358872584226"` |
-| `createConversationUrl` | `${apiPrefix}/chatGlm/createConversation` |
-| `qaServer` | `${apiPrefix}/chatGlm/searchTextNew` |
-| `interrupt` | `${apiPrefix}/chatGlm/cancelChat` |
-| `wakeupAudio` | `${apiPrefix}/asr/saveWakeUpAudio` |
-| `offer` | `${apiPrefix}/metahuman/offer` |
-| `humanaudio` | `${apiPrefix}/metahuman/humanaudio` |
-| `stop_audio` | `${apiPrefix}/metahuman/stop_audio` |
-| `textDriven` | `${apiPrefix}/intelligentVoice/tts` |
-| `audioWs` | `wss://model.keepsoft.net:39002/funasrWs` |
-| `voiceprintWs` | `wss://model.keepsoft.net:39002/speakerWs` |
-| `instructWs` | `wss://model.keepsoft.net:39002/commandWs` |
-
-## 常用 Props
-
-### 核心配置
-
-| 参数 | 类型 | 默认值 | 说明 |
-| --- | --- | --- | --- |
-| `cozeInfo` | `{ bot_id: string }` | 内置默认值 | 智能体配置，建议显式传入 |
-| `apiPrefix` | `string` | `"/api21216"` | API 基础前缀 |
-| `modelType` | `"local" \| "online"` | `"online"` | 模型类型 |
-| `showModelTypeToggle` | `boolean` | `false` | 是否显示本地/联网切换 |
-| `isDebug` | `boolean` | `false` | 是否打印调试信息 |
-| `mode` | `"audio" \| "text" \| "video"` | `"video"` | 交互模式 |
-
-### 对话框与数字人
-
-| 参数 | 类型 | 默认值 | 说明 |
-| --- | --- | --- | --- |
-| `placementBottom` | `number` | `100` | 对话框底部偏移 |
-| `placementLeft` | `number` | `450` | 对话框左侧偏移 |
-| `canvasWidth` | `number` | `180` | 画布宽度 |
-| `canvasHeight` | `number` | `180` | 画布高度 |
-| `videoStyle` | `CSSProperties` | `{ width: "180px", opacity: "0", pointerEvents: "none" }` | 视频样式 |
-| `digitalStyle` | `CSSProperties` | `{ width: "180px", height: "180px" }` | 数字人样式 |
-| `canvasStyle` | `CSSProperties` | `{ width: "180px", height: "180px" }` | Canvas 样式 |
-| `bubbleStyle` | `CSSProperties` | `{ width: "30%", height: "30%" }` | 状态图标样式 |
-
-### 气泡与展示型对话
-
-| 参数 | 类型 | 默认值 | 说明 |
-| --- | --- | --- | --- |
-| `showMsgBubble` | `boolean` | `true` | 是否显示悬浮气泡 |
-| `showMsgNumber` | `number` | `5` | 悬浮气泡展示条数 |
-| `bubbleTheme` | `"dark" \| "light" \| "custom"` | `"dark"` | 气泡主题 |
-| `useCustomDialog` | `boolean` | `false` | 是否使用自定义气泡样式 |
-| `BubbleWidth` | `CSSProperties` | `{ width: "220px", bottom: "85%" }` | 气泡容器样式 |
-| `BubbleBottom` | `number` | 无 | 额外气泡底部偏移 |
-| `suspensionStyle` | `CSSProperties` | `{ maxHeight: "33vh" }` | 悬浮区容器样式 |
-| `initialQuestion` | `string` | 无 | 外部传入的首条问题，仅展示不请求接口 |
-| `streamChunks` | `StreamChunk[]` | `[]` | 外部传入的单条流式消息块 |
-| `conversations` | `ConversationInput[]` | `[]` | 外部传入的多轮对话展示数据 |
-
-### 接口覆盖
-
-| 参数 | 类型 | 默认值说明 |
-| --- | --- | --- |
-| `createConversationUrl` | `string` | 默认由 `apiPrefix` 拼接 |
-| `qaServer` | `string` | 默认由 `apiPrefix` 拼接 |
-| `interrupt` | `string` | 默认由 `apiPrefix` 拼接 |
-| `wakeupAudio` | `string` | 默认由 `apiPrefix` 拼接 |
-| `audioWs` | `string` | 默认内部 WS |
-| `voiceprintWs` | `string` | 默认内部 WS |
-| `offer` | `string` | 默认由 `apiPrefix` 拼接 |
-| `human` | `string` | 默认由 `apiPrefix` 拼接 |
-| `humanaudio` | `string` | 默认由 `apiPrefix` 拼接 |
-| `stop_audio` | `string` | 默认由 `apiPrefix` 拼接 |
-| `textDriven` | `string` | 默认由 `apiPrefix` 拼接 |
-
-## 类型导出
-
-本包会导出常用类型，内部项目可以直接引用：
-
-```ts
-import type {
-  ConversationInput,
-  IndexProps,
-  StreamChunk,
-} from "g-ai-robot3";
-```
-
-## 工作流事件示例
-
-```ts
-const eventFun = [
-  {
-    keywords: ["scene1_fuyangWeather"],
-    trigger: "before",
-    fun: (params: Record<string, any>) => {
-      console.log("scene1_fuyangWeather", params);
-    },
-  },
-  {
-    keywords: ["scene2"],
-    trigger: "after",
-    fun: (params: Record<string, any>) => {
-      console.log("scene2", params);
-    },
-  },
-];
-```
-
-## 注意事项
-
-- 这是浏览器组件，不适用于 SSR 直接渲染。
-- 如果需要覆盖默认内部地址，优先通过 props 覆盖，不要直接改 `dist` 产物。
-- `stream`、`space`、`instructWs` 等旧字段仍保留兼容，但不建议新增使用。
-- 视频和动图资源体积较大，当前库产物会偏重，内部接入时建议通过缓存策略降低重复下载成本。
-
-## 许可证
-
-本项目遵循仓库内的 `LICENSE`。
+# g-ai-robot3
+
+内部数字人对话组件，基于 Vue 3，封装了文本问答、语音交互、数字人视频播放和工作流回调能力。
+
+## 包说明
+
+- 这是内部业务 npm 包，默认会随包发布内部接口地址、默认 `bot_id`、默认代理前缀和默认 WS 地址。
+- 这些默认值已经集中到 [`packages/internal-defaults.ts`](E:/g-ai-robot3/packages/internal-defaults.ts) 统一管理。
+- 组件仍然保留原有覆盖能力。业务方可以通过 props 覆盖 `apiPrefix`、REST 地址、WS 地址和数字人接口地址。
+
+## 安装
+
+```bash
+npm install g-ai-robot3
+```
+
+本包要求宿主项目使用 Vue 3。
+
+## 快速开始
+
+```vue
+<script setup lang="ts">
+import GAiRobot3 from "g-ai-robot3";
+import "g-ai-robot3/style.css";
+</script>
+
+<template>
+  <GAiRobot3
+    :cozeInfo="{ bot_id: '7429224296222097443' }"
+    apiPrefix="/api21216"
+  />
+</template>
+```
+
+### Vite 项目额外配置
+
+本组件包含图片等静态资源，Vite 项目需要引入配套插件以确保资源路径正确：
+
+```ts
+// vite.config.ts
+import gAiRobot from "g-ai-robot3/vite-plugin";
+
+export default defineConfig({
+  plugins: [
+    vue(),
+    gAiRobot(), // 确保图片等静态资源路径正确
+  ],
+});
+```
+
+> 该插件会将 `g-ai-robot3` 排除出 Vite 依赖预构建，同时保留其子依赖的预构建，避免 CJS/ESM 兼容问题。
+
+## 仓库内示例
+
+- 当前仓库直接使用 [`examples/App.vue`](E:/g-ai-robot3/examples/App.vue) 作为示例页面。
+- 页面入口在 [`index.html`](E:/g-ai-robot3/index.html) 和 [`examples/main.ts`](E:/g-ai-robot3/examples/main.ts)。
+- 本地联调时在仓库根目录运行 `npm run dev` 即可。
+
+## Vite 代理示例
+
+```ts
+import { defineConfig } from "vite";
+import vue from "@vitejs/plugin-vue";
+
+export default defineConfig({
+  plugins: [vue()],
+  server: {
+    proxy: {
+      "/api21216": {
+        target: "https://model.keepsoft.net:39002",
+        changeOrigin: true,
+        secure: false,
+        rewrite: (path) => path.replace(/^\/api21216/, ""),
+      },
+    },
+  },
+});
+```
+
+## 默认内部配置
+
+以下默认值会随 npm 包一起发布，且都可以通过 props 覆盖：
+
+| 项目 | 默认值 |
+| --- | --- |
+| `apiPrefix` | `"/api21216"` |
+| `cozeInfo.bot_id` | `"7473691358872584226"` |
+| `createConversationUrl` | `${apiPrefix}/chatGlm/createConversation` |
+| `qaServer` | `${apiPrefix}/chatGlm/searchTextNew` |
+| `interrupt` | `${apiPrefix}/chatGlm/cancelChat` |
+| `wakeupAudio` | `${apiPrefix}/asr/saveWakeUpAudio` |
+| `offer` | `${apiPrefix}/metahuman/offer` |
+| `humanaudio` | `${apiPrefix}/metahuman/humanaudio` |
+| `stop_audio` | `${apiPrefix}/metahuman/stop_audio` |
+| `textDriven` | `${apiPrefix}/intelligentVoice/tts` |
+| `audioWs` | `wss://model.keepsoft.net:39002/funasrWs` |
+| `voiceprintWs` | `wss://model.keepsoft.net:39002/speakerWs` |
+| `instructWs` | `wss://model.keepsoft.net:39002/commandWs` |
+
+## 常用 Props
+
+### 核心配置
+
+| 参数 | 类型 | 默认值 | 说明 |
+| --- | --- | --- | --- |
+| `cozeInfo` | `{ bot_id: string }` | 内置默认值 | 智能体配置，建议显式传入 |
+| `apiPrefix` | `string` | `"/api21216"` | API 基础前缀 |
+| `modelType` | `"local" \| "online"` | `"online"` | 模型类型 |
+| `showModelTypeToggle` | `boolean` | `false` | 是否显示本地/联网切换 |
+| `isDebug` | `boolean` | `false` | 是否打印调试信息 |
+| `mode` | `"audio" \| "text" \| "video"` | `"video"` | 交互模式 |
+| `driverMode` | `"workflow" \| "agent"` | `"workflow"` | AI 响应驱动模式，`workflow` 保持关键词工作流，`agent` 直接透传 AI JSON |
+
+### 对话框与数字人
+
+| 参数 | 类型 | 默认值 | 说明 |
+| --- | --- | --- | --- |
+| `placementBottom` | `number` | `100` | 对话框底部偏移 |
+| `placementLeft` | `number` | `450` | 对话框左侧偏移 |
+| `canvasWidth` | `number` | `180` | 画布宽度 |
+| `canvasHeight` | `number` | `180` | 画布高度 |
+| `videoStyle` | `CSSProperties` | `{ width: "180px", opacity: "0", pointerEvents: "none" }` | 视频样式 |
+| `digitalStyle` | `CSSProperties` | `{ width: "180px", height: "180px" }` | 数字人样式 |
+| `canvasStyle` | `CSSProperties` | `{ width: "180px", height: "180px" }` | Canvas 样式 |
+| `bubbleStyle` | `CSSProperties` | `{ width: "30%", height: "30%" }` | 状态图标样式 |
+
+### 气泡与展示型对话
+
+| 参数 | 类型 | 默认值 | 说明 |
+| --- | --- | --- | --- |
+| `showMsgBubble` | `boolean` | `true` | 是否显示悬浮气泡 |
+| `showMsgNumber` | `number` | `5` | 悬浮气泡展示条数 |
+| `bubbleTheme` | `"dark" \| "light" \| "custom"` | `"dark"` | 气泡主题 |
+| `useCustomDialog` | `boolean` | `false` | 是否使用自定义气泡样式 |
+| `BubbleWidth` | `CSSProperties` | `{ width: "220px", bottom: "85%" }` | 气泡容器样式 |
+| `BubbleBottom` | `number` | 无 | 额外气泡底部偏移 |
+| `suspensionStyle` | `CSSProperties` | `{ maxHeight: "33vh" }` | 悬浮区容器样式 |
+| `initialQuestion` | `string` | 无 | 外部传入的首条问题，仅展示不请求接口 |
+| `streamChunks` | `StreamChunk[]` | `[]` | 外部传入的单条流式消息块 |
+| `conversations` | `ConversationInput[]` | `[]` | 外部传入的多轮对话展示数据 |
+
+### 接口覆盖
+
+| 参数 | 类型 | 默认值说明 |
+| --- | --- | --- |
+| `createConversationUrl` | `string` | 默认由 `apiPrefix` 拼接 |
+| `qaServer` | `string` | 默认由 `apiPrefix` 拼接 |
+| `interrupt` | `string` | 默认由 `apiPrefix` 拼接 |
+| `wakeupAudio` | `string` | 默认由 `apiPrefix` 拼接 |
+| `audioWs` | `string` | 默认内部 WS |
+| `voiceprintWs` | `string` | 默认内部 WS |
+| `offer` | `string` | 默认由 `apiPrefix` 拼接 |
+| `human` | `string` | 默认由 `apiPrefix` 拼接 |
+| `humanaudio` | `string` | 默认由 `apiPrefix` 拼接 |
+| `stop_audio` | `string` | 默认由 `apiPrefix` 拼接 |
+| `textDriven` | `string` | 默认由 `apiPrefix` 拼接 |
+
+## 类型导出
+
+本包会导出常用类型，内部项目可以直接引用：
+
+```ts
+import type {
+  ConversationInput,
+  IndexProps,
+  StreamChunk,
+} from "g-ai-robot3";
+```
+
+## 工作流事件示例
+
+```ts
+const eventFun = [
+  {
+    keywords: ["scene1_fuyangWeather"],
+    trigger: "before",
+    fun: (params: Record<string, any>) => {
+      console.log("scene1_fuyangWeather", params);
+    },
+  },
+  {
+    keywords: ["scene2"],
+    trigger: "after",
+    fun: (params: Record<string, any>) => {
+      console.log("scene2", params);
+    },
+  },
+];
+```
+
+## Agent 输出驱动模式
+
+`driverMode` 默认为 `workflow`，老项目不需要改动。切换到 `agent` 后：
+
+- 忽略 `eventFun`
+- 不做关键词匹配
+- 每次 AI 返回 `data` 时直接触发 `onAgentResponse`
+- 由业务层自行决定如何处理返回 JSON
+
+```vue
+<script setup lang="ts">
+const handleAgentResponse = (params: any) => {
+  console.log("agent response", params);
+};
+</script>
+
+<template>
+  <GAiRobot3
+    mode="video"
+    driverMode="agent"
+    @onAgentResponse="handleAgentResponse"
+  />
+</template>
+```
+
+业务侧可以直接拿到类似下面的结构：
+
+```ts
+function handleAgentResponse(params: any) {
+  // {
+  //   reply,
+  //   targetState,
+  //   commands
+  // }
+  applyAgentResponse(params);
+}
+```
+
+## 注意事项
+
+- 这是浏览器组件，不适用于 SSR 直接渲染。
+- 如果需要覆盖默认内部地址，优先通过 props 覆盖，不要直接改 `dist` 产物。
+- `stream`、`space`、`instructWs` 等旧字段仍保留兼容，但不建议新增使用。
+- 视频和动图资源体积较大，当前库产物会偏重，内部接入时建议通过缓存策略降低重复下载成本。
+
+## 许可证
+
+本项目遵循仓库内的 `LICENSE`。

package/dist/composables/useQADialog.d.ts

@@ -1,5 +1,5 @@
 import { type Ref, type ComputedRef } from 'vue';
-import type { ConversationType, ConversationInput, StreamChunk } from '../type';
+import type { ConversationType, ConversationInput, DriverMode, StreamChunk, WorkflowEventHandler } from '../type';
 export interface ConversationItem {
     type: ConversationType;
     singleText?: string;
@@ -17,6 +17,7 @@ export interface ConversationItem {
 export interface UseQADialogOptions {
     qaServer: string;
     stream: 'True' | 'False';
+    driverMode: DriverMode;
     isDebug: boolean;
     greet: string;
     waitTxt: string;
@@ -32,7 +33,8 @@ export interface UseQADialogDeps {
     matchEvent: Ref<any>;
     currentChatId: Ref<string>;
     currentConversationId: Ref<string>;
-    matchEventFun: (action: string) => any;
+    eventFun: WorkflowEventHandler[];
+    onAgentResponse: (params: any) => void;
     cancelChat: (conversationId: string, chatId: string) => Promise<boolean>;
     input: Ref<string>;
     inputRecognitionType: Ref<string>;

package/dist/composables/useStreamAnswer.d.ts

@@ -1,11 +1,12 @@
 import { type Ref, type ComputedRef } from 'vue';
 import type { AvatarId } from '../constants/avatar';
-import type { MsgItem } from '../type';
+import type { DriverMode, MsgItem, WorkflowEventHandler } from '../type';
 export interface UseStreamAnswerOptions {
     qaServer: string;
     stream: 'True' | 'False';
     isFuYangPro: boolean;
     mode: 'audio' | 'text' | 'video';
+    driverMode: DriverMode;
     isDebug: boolean;
 }
 export interface UseStreamAnswerDeps {
@@ -14,11 +15,8 @@ export interface UseStreamAnswerDeps {
     currentModelType: Ref<'local' | 'online'>;
     msgList: Ref<MsgItem[]>;
     digitalHumanRef: Ref<any>;
-    eventFun: {
-        keywords: string[];
-        trigger: 'before' | 'after' | 'together';
-        fun: (a: Record<string, any>) => void;
-    }[];
+    eventFun: WorkflowEventHandler[];
+    onAgentResponse: (params: any) => void;
     stopOrderPlayAudio: () => void;
     addAudioToQueue: (url: string, interrupt: boolean) => void;
 }
@@ -33,9 +31,5 @@ export declare function useStreamAnswer(getOptions: () => UseStreamAnswerOptions
     cancelChat: (conversation_id: string, chat_id: string) => Promise<boolean>;
     getAnswer: (text: string) => Promise<void>;
     cancelCurrentStream: () => void;
-    matchEventFun: (action: string) => {
-        keywords: string[];
-        trigger: "before" | "after" | "together";
-        fun: (a: Record<string, any>) => void;
-    } | undefined;
+    matchEventFun: (action: string) => WorkflowEventHandler | undefined;
 };

package/dist/composables/useVoiceRecognition.d.ts

@@ -1,5 +1,4 @@
 import { type Ref } from 'vue';
-import 'recorder-core/src/extensions/waveview';
 import type { AvatarId } from '../constants/avatar';
 export interface UseVoiceRecognitionOptions {
     audioWs: string;