ai-world-sdk 1.1.10 → 1.2.0

package/README.md

@@ -47,26 +47,26 @@ import { ChatGoogleGenerativeAI, ChatOpenAI, ChatAnthropic, HumanMessage, System
 const geminiModel = new ChatGoogleGenerativeAI({
   modelName: 'gemini-2.5-flash-image',
   temperature: 0.7,
-  provider: 'gemini', // 或 'aihubmix', 'api2img'
+  provider: 'gemini', // 或 'api2img'
   vertexai: false, // 可选：是否使用 VertexAI（仅当 provider 为 gemini 时有效）
   jsonSchema: undefined, // 可选：结构化输出 JSON Schema
   webSearch: false, // 可选：若模型支持联网搜索，设为 true 可基于实时网络信息回答
 });
 
-// GPT 模型（使用 aihubmix provider）
+// GPT 模型（使用 api2img provider）
 const gptModel = new ChatOpenAI({
   modelName: 'gpt-4o-mini',
   temperature: 0.7,
-  provider: 'aihubmix', // 或 'api2img'
+  provider: 'api2img',
   jsonSchema: undefined, // 可选：结构化输出 JSON Schema
   webSearch: false, // 可选：若模型支持联网搜索，设为 true 可基于实时网络信息回答
 });
 
-// Claude 模型（使用 aihubmix provider）
+// Claude 模型（使用 api2img provider）
 const claudeModel = new ChatAnthropic({
   modelName: 'claude-3-sonnet-20240229',
   temperature: 0.7,
-  provider: 'aihubmix', // 或 'api2img'
+  provider: 'api2img',
 });
 
 // 非流式调用
@@ -150,7 +150,7 @@ const openaiVideoClient = new OpenAIVideoGenerationClient({});
 const task = await openaiVideoClient.generate({
   prompt: 'A beautiful sunset over the ocean with waves crashing on the shore',
   model: 'sora-2',           // 或 'sora-2-pro'
-  provider: 'aihubmix',      // 或 'api2img'
+  provider: 'api2img',      
   seconds: '4',              // 4, 8, 或 12 秒
   size: '1280x720'           // '720x1280', '1280x720', '1024x1792', '1792x1024'
 });
@@ -163,16 +163,16 @@ const taskWithImage = await openaiVideoClient.generate({
   prompt: 'Animate this scene with gentle movements',
   input_reference: 'data:image/png;base64,iVBORw0KGgo...', // Base64 图像或 URL
   model: 'sora-2',
-  provider: 'aihubmix',
+  provider: 'api2img',
   seconds: '4'
 });
 
 // 查询任务状态
-const status = await openaiVideoClient.getTask(task.id, 'aihubmix');
+const status = await openaiVideoClient.getTask(task.id, 'api2img');
 console.log('当前状态:', status.status);
 
 // 轮询等待完成
-const result = await openaiVideoClient.waitForCompletion(task.id, 'aihubmix', {
+const result = await openaiVideoClient.waitForCompletion(task.id, 'api2img', {
   maxAttempts: 60,
   interval: 5000,
   onProgress: (status) => {
@@ -186,7 +186,7 @@ if (result.status === 'completed') {
   // 流式下载视频
   const videoBlob = await openaiVideoClient.downloadVideo(
     result.id,
-    'aihubmix',  // provider
+    'api2img',  // provider
     'video'      // 'video' 或 'thumbnail'
   );
   
@@ -205,7 +205,7 @@ if (result.status === 'completed') {
 const completeResult = await openaiVideoClient.generateAndWait({
   prompt: 'A futuristic city skyline',
   model: 'sora-2',
-  provider: 'aihubmix',
+  provider: 'api2img',
   seconds: '4'
 }, {
   maxAttempts: 60,
@@ -216,7 +216,7 @@ const completeResult = await openaiVideoClient.generateAndWait({
 if (completeResult.status === 'completed') {
   const videoBlob = await openaiVideoClient.downloadVideo(
     completeResult.id,
-    'aihubmix',
+    'api2img',
     'video'
   );
   console.log('一键生成完成，视频大小:', videoBlob.size);
@@ -321,7 +321,7 @@ import { createChatModel } from 'ai-world-sdk';
 // 根据模型名称自动选择正确的类
 const model = createChatModel('gemini-2.5-flash-image', {
   temperature: 0.7,
-  provider: 'gemini', // 或 'aihubmix', 'api2img', 'doubao'
+  provider: 'gemini', // 或 'api2img', 'doubao'
 });
 ```
 
@@ -332,7 +332,6 @@ const model = createChatModel('gemini-2.5-flash-image', {
 - `claude-*` → `ChatAnthropic`
 
 **Provider 参数说明:**
-- `provider: 'aihubmix'` - 使用 aihubmix 聚合服务（推荐，支持所有模型）
 - `provider: 'api2img'` - 使用 api2img 聚合服务（推荐，支持所有模型）
 - `provider: 'gemini'` - 直接使用 Google Gemini API
 - `provider: 'doubao'` - 使用豆包服务
@@ -391,12 +390,12 @@ const result2 = await client.generate({
   max_output_tokens: 1000,                      // 可选
 });
 
-// 使用 aihubmix provider（通过 aihubmix 代理服务）
-const aihubmixClient = new GeminiImageGenerationClient({
-  provider: 'aihubmix',  // 使用 aihubmix 代理
+// 使用 api2img provider（通过 api2img 代理服务）
+const api2imgClient = new GeminiImageGenerationClient({
+  provider: 'api2img',  // 使用 api2img 代理
 });
 
-const result3 = await aihubmixClient.generate({
+const result3 = await api2imgClient.generate({
   prompt: 'A beautiful landscape with mountains',
   model: 'gemini-3-pro-image-preview',
   aspect_ratio: '16:9',
@@ -455,7 +454,6 @@ const secondResponse = await client.chat({
 **Provider 说明：**
 
 - `provider: 'gemini'`（默认）- 直接使用 Google Gemini 官方 API
-- `provider: 'aihubmix'` - 通过 aihubmix 代理服务调用，适合需要统一管理多个 API 的场景
 - `provider: 'api2img'` - 通过 api2img 代理服务调用，适合需要统一管理多个 API 的场景
 
 **模型对比：**
@@ -508,7 +506,7 @@ const client = new OpenAIVideoGenerationClient({});
 const task = await client.generate({
   prompt: 'A beautiful sunset',
   model: 'sora-2',                      // 可选: sora-2, sora-2-pro
-  provider: 'openai',                   // 可选: openai, aihubmix, api2img
+  provider: 'openai',                   // 可选: openai, api2img
   seconds: '4',                           // 可选: 4, 8, 12
   size: '1280x720',                     // 可选: 720x1280, 1280x720, 1024x1792, 1792x1024
 });
@@ -738,42 +736,76 @@ const multimodalMsg = new HumanMessage([
   { type: 'image_url', image_url: 'data:image/jpeg;base64,...' },
 ]);
 
+// 音频消息（需要模型支持音频输入，如 Gemini）
+const audioMsg = new HumanMessage([
+  { type: 'text', text: '这段音频说了什么？' },
+  { type: 'audio', base64: '<base64 encoded audio data>', mime_type: 'audio/wav' },
+]);
+
+// 音频消息（URL 方式）
+const audioUrlMsg = new HumanMessage([
+  { type: 'text', text: '请描述这段音频' },
+  { type: 'audio', url: 'https://example.com/audio.wav', mime_type: 'audio/wav' },
+]);
+
+// 视频消息（需要模型支持视频输入，如 Gemini）
+const videoMsg = new HumanMessage([
+  { type: 'text', text: '这段视频里发生了什么？' },
+  { type: 'video', base64: '<base64 encoded video data>', mime_type: 'video/mp4' },
+]);
+
+// 视频消息（URL 方式）
+const videoUrlMsg = new HumanMessage([
+  { type: 'text', text: '请描述这段视频' },
+  { type: 'video', url: 'https://example.com/video.mp4', mime_type: 'video/mp4' },
+]);
+
 // AIMessageChunk 属性
 // - text: 获取文本内容（自动处理 string 或 MessageContent[] 类型）
 // - reasoning: 获取推理/思考内容（如果模型支持）
 // - content: 原始内容
 ```
 
+**音频/视频消息说明：**
+- `type`: `"audio"` 或 `"video"`
+- `base64`: base64 编码的媒体数据（与 `url` 二选一）
+- `url`: 媒体文件的 URL（与 `base64` 二选一）
+- `mime_type`: MIME 类型，使用 `base64` 时必填。常见值：
+  - 音频：`audio/wav`, `audio/mp3`, `audio/ogg`, `audio/flac`, `audio/aac`
+  - 视频：`video/mp4`, `video/webm`, `video/mpeg`
+- 音频输入支持：Gemini 模型、OpenAI（通过 `input_audio` 格式，需要模型支持）
+- 视频输入支持：Gemini 模型（OpenAI 暂不支持视频输入）
+
 ## Provider 调用示例
 
 SDK 支持多个 provider，每个 provider 对应不同的服务提供商。以下是各 provider 的使用示例：
 
-### aihubmix Provider
+### api2img Provider
 
-`aihubmix` 是一个多模型聚合服务，支持多种模型（OpenAI、Gemini、Claude 等）。
+`api2img` 是一个多模型聚合服务，支持多种模型（OpenAI、Gemini、Claude 等）。
 
 ```typescript
 import { ChatOpenAI, ChatGoogleGenerativeAI, ChatAnthropic, HumanMessage } from 'ai-world-sdk';
 
-// OpenAI 模型（通过 aihubmix）
+// OpenAI 模型（通过 api2img）
 const gptModel = new ChatOpenAI({
   modelName: 'gpt-4o-mini',
   temperature: 0.7,
-  provider: 'aihubmix',
+  provider: 'api2img',
 });
 
-// Gemini 模型（通过 aihubmix）
+// Gemini 模型（通过 api2img）
 const geminiModel = new ChatGoogleGenerativeAI({
   modelName: 'gemini-2.5-flash',
   temperature: 0.7,
-  provider: 'aihubmix',
+  provider: 'api2img',
 });
 
-// Gemini 图像生成（通过 aihubmix）
+// Gemini 图像生成（通过 api2img）
 import { GeminiImageGenerationClient } from 'ai-world-sdk';
 
 const geminiImageClient = new GeminiImageGenerationClient({
-  provider: 'aihubmix',
+  provider: 'api2img',
 });
 
 const imageResult = await geminiImageClient.generate({
@@ -784,11 +816,11 @@ const imageResult = await geminiImageClient.generate({
   response_modalities: ['IMAGE'],
 });
 
-// Claude 模型（通过 aihubmix）
+// Claude 模型（通过 api2img）
 const claudeModel = new ChatAnthropic({
   modelName: 'claude-3-sonnet-20240229',
   temperature: 0.7,
-  provider: 'aihubmix',
+  provider: 'api2img',
 });
 
 // 使用示例
@@ -838,12 +870,11 @@ const response = await doubaoModel.invoke([
 
 | Provider | 适用场景 | 支持的模型 |
 |----------|----------|------------|
-| `aihubmix` | 多模型聚合，统一接口 | GPT、Gemini、Claude、Doubao 等 |
 | `gemini` | 直接使用 Google Gemini API | 所有 Gemini 模型 |
 | `api2img` | 使用 api2img 聚合服务 | 所有模型 |
 | `doubao` | 使用豆包服务 | Doubao 系列模型 |
 
-**推荐使用 `aihubmix` provider**，因为它提供了统一的接口和更好的模型选择灵活性。
+**推荐使用 `api2img` provider**，因为它提供了统一的接口和更好的模型选择灵活性。
 
 ## 完整示例
 
@@ -883,7 +914,7 @@ import { ChatOpenAI, HumanMessage, AIMessageChunk } from 'ai-world-sdk';
 const model = new ChatOpenAI({
   modelName: 'gpt-5.2',
   temperature: 0.7,
-  provider: 'aihubmix',
+  provider: 'api2img',
   reasoning: {
     effort: 'high',      // 'low' | 'medium' | 'high'
     summary: 'detailed', // 'detailed' | 'auto'（可选）
@@ -935,7 +966,7 @@ import { ChatAnthropic, HumanMessage } from 'ai-world-sdk';
 const model = new ChatAnthropic({
   modelName: 'claude-3-5-sonnet-20241022',
   temperature: 0.7,
-  provider: 'aihubmix',
+  provider: 'api2img',
   reasoning: {
     type: 'enabled',
     budget_tokens: 5000, // 思考预算（token 数量）
@@ -983,7 +1014,7 @@ import { ChatOpenAI, ChatGoogleGenerativeAI, HumanMessage, createChatModel } fro
 const openaiModel = new ChatOpenAI({
   modelName: 'gpt-4o-mini',
   temperature: 0.7,
-  provider: 'aihubmix',
+  provider: 'api2img',
   jsonSchema: {
     type: 'object',
     properties: {
@@ -1039,7 +1070,7 @@ const response = await geminiModel.invoke([
 ```typescript
 const model = createChatModel('gpt-4o-mini', {
   temperature: 0.7,
-  provider: 'aihubmix',
+  provider: 'api2img',
   jsonSchema: {
     type: 'object',
     properties: {
@@ -1139,7 +1170,7 @@ const geminiModel = createChatModel('gemini-2.0-flash-exp', {
 
 // OpenAI 兼容模型（使用 web_search 工具）
 const openaiModel = createChatModel('gpt-4o-mini', {
-  provider: 'aihubmix',
+  provider: 'api2img',
   webSearch: true,
 });
 
@@ -1399,7 +1430,7 @@ const client = new OpenAIVideoGenerationClient({});
 const task = await client.generate({
   prompt: 'A serene mountain landscape with a flowing river',
   model: 'sora-2',           // 'sora-2' 或 'sora-2-pro'
-  provider: 'aihubmix',      // 'aihubmix' 或 'api2img'
+  provider: 'api2img',      // 'api2img' 或 'api2img'
   seconds: '4',              // '4', '8', 或 '12'
   size: '1280x720'           // '720x1280', '1280x720', '1024x1792', '1792x1024'
 });
@@ -1408,13 +1439,13 @@ console.log('任务已创建:', task.id);
 console.log('任务状态:', task.status);
 
 // 2. 查询任务状态
-const status = await client.getTask(task.id, 'aihubmix');
+const status = await client.getTask(task.id, 'api2img');
 console.log('当前状态:', status.status);
 
 // 3. 轮询等待完成
 const result = await client.waitForCompletion(
   task.id,
-  'aihubmix',  // provider 参数
+  'api2img',  // provider 参数
   {
     maxAttempts: 60,
     interval: 5000,
@@ -1433,7 +1464,7 @@ if (result.status === 'completed') {
   // 4. 流式下载视频
   const videoBlob = await client.downloadVideo(
     result.id,
-    'aihubmix',  // provider
+    'api2img',  // provider
     'video'      // 'video' 或 'thumbnail'
   );
   
@@ -1451,7 +1482,7 @@ if (result.status === 'completed') {
   // 也可以下载缩略图
   const thumbnail = await client.downloadVideo(
     result.id,
-    'aihubmix',
+    'api2img',
     'thumbnail'
   );
   console.log('缩略图大小:', (thumbnail.size / 1024).toFixed(2), 'KB');
@@ -1464,7 +1495,7 @@ try {
   const result2 = await client.generateAndWait({
     prompt: 'A futuristic city with flying cars at night',
     model: 'sora-2',
-    provider: 'aihubmix',
+    provider: 'api2img',
     seconds: '8',
     size: '1280x720'
   }, {
@@ -1478,7 +1509,7 @@ try {
   // 流式下载
   const video = await client.downloadVideo(
     result2.id,
-    'aihubmix',
+    'api2img',
     'video'
   );
   console.log('视频大小:', (video.size / 1024 / 1024).toFixed(2), 'MB');
@@ -1491,13 +1522,13 @@ const imageToVideoTask = await client.generate({
   prompt: 'Make this scene come alive with gentle movements',
   input_reference: 'data:image/png;base64,iVBORw0KGgo...',  // 图像 base64 或 URL
   model: 'sora-2',
-  provider: 'aihubmix',
+  provider: 'api2img',
   seconds: '4'
 });
 
 const imageToVideoResult = await client.waitForCompletion(
   imageToVideoTask.id,
-  'aihubmix'
+  'api2img'
 );
 
 if (imageToVideoResult.status === 'completed') {
@@ -1506,7 +1537,7 @@ if (imageToVideoResult.status === 'completed') {
   // 下载视频
   const videoBlob = await client.downloadVideo(
     imageToVideoResult.id,
-    'aihubmix',
+    'api2img',
     'video'
   );
   console.log('视频已下载，大小:', videoBlob.size);
@@ -1648,16 +1679,16 @@ for await (const chunk of client.streamDownload({
 
 | 提供商 | Provider | 模型示例 | 模型类 | 支持推理 |
 |--------|----------|----------|--------|---------|
-| OpenAI | `aihubmix` | `gpt-4o-mini`, `gpt-4` | `ChatOpenAI` | ❌ |
-| OpenAI | `aihubmix` | `o1-preview`, `o1-mini`, `gpt-5.2` | `ChatOpenAI` | ✅ |
-| Google Gemini | `gemini` 或 `aihubmix` | `gemini-2.5-flash-image` | `ChatGoogleGenerativeAI` | ❌ |
-| Google Gemini | `gemini` 或 `aihubmix` | `gemini-3-pro-preview` | `ChatGoogleGenerativeAI` | ✅ |
-| Anthropic Claude | `aihubmix` | `claude-3-sonnet-20240229` | `ChatAnthropic` | ❌ |
-| Anthropic Claude | `aihubmix` | `claude-3-5-sonnet-20241022` | `ChatAnthropic` | ✅ |
-| Doubao | `doubao` 或 `aihubmix` | `doubao-pro-4k`, `doubao-seedream-4-5-251128` | `ChatOpenAI` | ❌ |
+| OpenAI | `api2img` | `gpt-4o-mini`, `gpt-4` | `ChatOpenAI` | ❌ |
+| OpenAI | `api2img` | `o1-preview`, `o1-mini`, `gpt-5.2` | `ChatOpenAI` | ✅ |
+| Google Gemini | `gemini` 或 `api2img` | `gemini-2.5-flash-image` | `ChatGoogleGenerativeAI` | ❌ |
+| Google Gemini | `gemini` 或 `api2img` | `gemini-3-pro-preview` | `ChatGoogleGenerativeAI` | ✅ |
+| Anthropic Claude | `api2img` | `claude-3-sonnet-20240229` | `ChatAnthropic` | ❌ |
+| Anthropic Claude | `api2img` | `claude-3-5-sonnet-20241022` | `ChatAnthropic` | ✅ |
+| Doubao | `doubao` 或 `api2img` | `doubao-pro-4k`, `doubao-seedream-4-5-251128` | `ChatOpenAI` | ❌ |
 
 **注意:** 
-- 使用 `aihubmix` 或 `api2img` provider 可以访问所有模型，推荐用于多模型场景
+- 使用 `api2img` 或 `api2img` provider 可以访问所有模型，推荐用于多模型场景
 - 使用特定 provider（如 `gemini`、`doubao`）会直接调用对应的官方 API
 - 支持推理的模型可以通过 `reasoning` 参数启用思考/推理功能
 
@@ -1689,15 +1720,15 @@ for await (const chunk of client.streamDownload({
 
 | 模型 | Provider | 说明 | 参数 |
 |------|----------|------|------|
-| `sora-2` | `aihubmix` / `api2img` | 标准模型（默认） | 时长: 4/8/12秒，分辨率: 720x1280, 1280x720, 1024x1792, 1792x1024 |
-| `sora-2-pro` | `aihubmix` / `api2img` | 专业版模型 | 时长: 4/8/12秒，分辨率: 720x1280, 1280x720, 1024x1792, 1792x1024 |
+| `sora-2` | `api2img` | 标准模型（默认） | 时长: 4/8/12秒，分辨率: 720x1280, 1280x720, 1024x1792, 1792x1024 |
+| `sora-2-pro` | `api2img` | 专业版模型 | 时长: 4/8/12秒，分辨率: 720x1280, 1280x720, 1024x1792, 1792x1024 |
 
 **特性说明：**
 - **豆包 Seedance**: 支持文本生成视频和图像生成视频，URL 直接返回
 - **OpenAI Sora**: 支持文本生成视频和图像生成视频（Base64/URL），需要流式下载
 - **Provider 选择**:
   - 豆包: 仅支持 `doubao` provider
-  - OpenAI: 支持 `aihubmix` 和 `api2img` provider（推荐使用 `aihubmix`）
+  - OpenAI: 支持 `api2img` provider
 
 ## 错误处理
 
@@ -1726,15 +1757,30 @@ npm run build
 ### 测试
 
 ```bash
-npm test
-# 或运行特定测试
+npm test                    # 运行所有单元测试
+npm run test:llm            # 运行 llm.ts 单元测试（mock，不需要后端）
+npm run test:llm-real       # 运行 llm.ts 真实集成测试（需要运行中的后端 + AUTH_TOKEN）
+
+# 其他特定测试
 npm run test:stream
 npm run test:image-generation
 npm run test:video-generation
 ```
 
+#### 真实集成测试
+
+`llm.real.test.ts` 通过运行中的后端代理测试 `createProvider` 和 `checkModel`：
+
+1. 确保后端运行在 `http://localhost:8000`
+2. 在 `ai-world-sdk/.env` 中配置 `AUTH_TOKEN=your_jwt_token`
+3. 运行 `npm run test:llm-real`
+
+测试覆盖 OpenAI (api2img)、Gemini、Anthropic 的非流式和流式文本生成。
+图像生成请手动运行 `example.test.ts` 中的相关用例。
+
 ## 参考链接
 
+- [Vercel AI SDK](https://ai-sdk.dev/docs) - `createProvider` 基于此构建，推荐使用 `generateText`、`streamText`、`generateImage` 等标准函数
 - [LangChain.js](https://github.com/langchain-ai/langchainjs) - 设计灵感来源
 - [火山引擎方舟平台](https://www.volcengine.com/docs/82379) - 图像/视频生成 API 文档
 
@@ -1744,6 +1790,9 @@ MIT
 
 ## 更新日志
 
+### 1.2.1
+- ✨ 导出 `AIEndpointType` 类型，方便外部使用 `createProvider` 时引用端点类型
+
 ### 1.0.3
 - ✨ 新增 Google Gemini 图像生成客户端
 - ✨ 全局配置支持自动从浏览器环境获取