ai-world-sdk 1.1.1 → 1.1.3

package/README.md

@@ -9,7 +9,7 @@ TypeScript SDK for AI World Platform - 一个功能完整的 AI 应用开发 SDK
 
 - 🤖 **聊天模型**: 兼容 LangChain.js 接口（OpenAI、Gemini、Claude、Doubao）
 - 🎨 **图像生成**: 支持豆包 Seedream 和 Google Gemini
-- 🎬 **视频生成**: 支持豆包 Seedance
+- 🎬 **视频生成**: 支持豆包 Seedance 和 OpenAI Sora
 - 📥 **下载代理**: 支持流式下载和普通下载任意 URL 的二进制文件
 - 🔐 **用户认证**: 支持获取当前登录用户信息
 - ⚙️ **全局配置**: 自动从浏览器环境获取配置，简化初始化
@@ -113,6 +113,8 @@ console.log('图像 URL:', geminiResult.data[0]?.url);
 
 ### 4. 视频生成
 
+#### 豆包视频生成（Seedance）
+
 ```typescript
 import { VideoGenerationClient } from 'ai-world-sdk';
 
@@ -136,6 +138,90 @@ if (result.status === 'succeeded') {
 }
 ```
 
+#### OpenAI 视频生成（Sora）
+
+```typescript
+import { OpenAIVideoGenerationClient } from 'ai-world-sdk';
+
+const openaiVideoClient = new OpenAIVideoGenerationClient({});
+
+// 方式1: 文本生成视频
+const task = await openaiVideoClient.generate({
+  prompt: 'A beautiful sunset over the ocean with waves crashing on the shore',
+  model: 'sora-2',           // 或 'sora-2-pro'
+  provider: 'aihubmix',      // 或 'api2img'
+  seconds: '4',              // 4, 8, 或 12 秒
+  size: '1280x720'           // '720x1280', '1280x720', '1024x1792', '1792x1024'
+});
+
+console.log('任务 ID:', task.id);
+console.log('任务状态:', task.status);
+
+// 方式2: 图像生成视频（图生视频）
+const taskWithImage = await openaiVideoClient.generate({
+  prompt: 'Animate this scene with gentle movements',
+  input_reference: 'data:image/png;base64,iVBORw0KGgo...', // Base64 图像或 URL
+  model: 'sora-2',
+  provider: 'aihubmix',
+  seconds: '4'
+});
+
+// 查询任务状态
+const status = await openaiVideoClient.getTask(task.id, 'aihubmix');
+console.log('当前状态:', status.status);
+
+// 轮询等待完成
+const result = await openaiVideoClient.waitForCompletion(task.id, 'aihubmix', {
+  maxAttempts: 60,
+  interval: 5000,
+  onProgress: (status) => {
+    console.log('当前状态:', status.status);
+  }
+});
+
+if (result.status === 'completed') {
+  console.log('视频生成成功！');
+  
+  // 流式下载视频
+  const videoBlob = await openaiVideoClient.downloadVideo(
+    result.id,
+    'aihubmix',  // provider
+    'video'      // 'video' 或 'thumbnail'
+  );
+  
+  console.log('视频大小:', (videoBlob.size / 1024 / 1024).toFixed(2), 'MB');
+  
+  // 在浏览器中下载
+  const url = URL.createObjectURL(videoBlob);
+  const a = document.createElement('a');
+  a.href = url;
+  a.download = 'sora_video.mp4';
+  a.click();
+  URL.revokeObjectURL(url);
+}
+
+// 一键生成并等待（简化版）
+const completeResult = await openaiVideoClient.generateAndWait({
+  prompt: 'A futuristic city skyline',
+  model: 'sora-2',
+  provider: 'aihubmix',
+  seconds: '4'
+}, {
+  maxAttempts: 60,
+  interval: 5000,
+  onProgress: (status) => console.log('状态:', status.status)
+});
+
+if (completeResult.status === 'completed') {
+  const videoBlob = await openaiVideoClient.downloadVideo(
+    completeResult.id,
+    'aihubmix',
+    'video'
+  );
+  console.log('一键生成完成，视频大小:', videoBlob.size);
+}
+```
+
 ### 5. 用户认证
 
 ```typescript
@@ -378,7 +464,7 @@ const secondResponse = await client.chat({
 
 ### 视频生成
 
-#### VideoGenerationClient
+#### VideoGenerationClient（豆包 Seedance）
 
 ```typescript
 const client = new VideoGenerationClient({});
@@ -403,6 +489,53 @@ const result = await client.poll(task.id, {
 });
 ```
 
+#### OpenAIVideoGenerationClient（OpenAI Sora）
+
+```typescript
+const client = new OpenAIVideoGenerationClient({});
+
+// 文本生成视频
+const task = await client.generate({
+  prompt: 'A beautiful sunset',
+  model: 'sora-2',                      // 可选: sora-2, sora-2-pro
+  provider: 'openai',                   // 可选: openai, aihubmix, api2img
+  seconds: '4',                           // 可选: 4, 8, 12
+  size: '1280x720',                     // 可选: 720x1280, 1280x720, 1024x1792, 1792x1024
+});
+
+// 图像生成视频
+const taskFromImage = await client.generate({
+  prompt: 'Animate this scene',
+  input_reference: 'data:image/png;base64,iVBORw0KGgo...',  // Base64 或 URL
+  model: 'sora-2',
+  seconds: '8',
+});
+
+// 查询状态
+const status = await client.getTask(task.id);
+
+// 轮询直到完成
+const result = await client.waitForCompletion(task.id, {
+  maxAttempts: 60,
+  interval: 5000,
+  onProgress: (status) => {
+    console.log('状态:', status.status);
+  }
+});
+
+// 下载视频
+const videoBlob = await client.downloadVideo(task.id, {
+  variant: 'video'  // 或 'thumbnail'
+});
+
+// 一键生成并等待
+const finalResult = await client.generateAndWait({
+  prompt: 'A futuristic city',
+  model: 'sora-2',
+  seconds: '4'
+});
+```
+
 ### 下载代理
 
 #### DownloadClient
@@ -1064,6 +1197,8 @@ if (userInfo.avatar_url) {
 
 ### 视频生成工作流
 
+#### 豆包视频生成（Doubao Seedance）
+
 ```typescript
 import { VideoGenerationClient } from 'ai-world-sdk';
 
@@ -1093,6 +1228,131 @@ if (result.status === 'succeeded') {
 }
 ```
 
+#### OpenAI 视频生成（Sora）
+
+```typescript
+import { OpenAIVideoGenerationClient } from 'ai-world-sdk';
+
+const client = new OpenAIVideoGenerationClient({});
+
+// 1. 文本生成视频
+const task = await client.generate({
+  prompt: 'A serene mountain landscape with a flowing river',
+  model: 'sora-2',           // 'sora-2' 或 'sora-2-pro'
+  provider: 'aihubmix',      // 'aihubmix' 或 'api2img'
+  seconds: '4',              // '4', '8', 或 '12'
+  size: '1280x720'           // '720x1280', '1280x720', '1024x1792', '1792x1024'
+});
+
+console.log('任务已创建:', task.id);
+console.log('任务状态:', task.status);
+
+// 2. 查询任务状态
+const status = await client.getTask(task.id, 'aihubmix');
+console.log('当前状态:', status.status);
+
+// 3. 轮询等待完成
+const result = await client.waitForCompletion(
+  task.id,
+  'aihubmix',  // provider 参数
+  {
+    maxAttempts: 60,
+    interval: 5000,
+    onProgress: (status) => {
+      console.log(`状态: ${status.status}`);
+      if (status.status === 'in_progress') {
+        console.log('正在生成...');
+      }
+    }
+  }
+);
+
+if (result.status === 'completed') {
+  console.log('✅ 视频生成成功！');
+  
+  // 4. 流式下载视频
+  const videoBlob = await client.downloadVideo(
+    result.id,
+    'aihubmix',  // provider
+    'video'      // 'video' 或 'thumbnail'
+  );
+  
+  console.log('视频大小:', (videoBlob.size / 1024 / 1024).toFixed(2), 'MB');
+  console.log('视频类型:', videoBlob.type);
+  
+  // 在浏览器中创建下载链接
+  const url = URL.createObjectURL(videoBlob);
+  const a = document.createElement('a');
+  a.href = url;
+  a.download = `sora_video_${result.id}.mp4`;
+  a.click();
+  URL.revokeObjectURL(url);
+  
+  // 也可以下载缩略图
+  const thumbnail = await client.downloadVideo(
+    result.id,
+    'aihubmix',
+    'thumbnail'
+  );
+  console.log('缩略图大小:', (thumbnail.size / 1024).toFixed(2), 'KB');
+} else if (result.status === 'failed') {
+  console.error('❌ 生成失败:', result.error);
+}
+
+// 一键生成并等待（简化版）
+try {
+  const result2 = await client.generateAndWait({
+    prompt: 'A futuristic city with flying cars at night',
+    model: 'sora-2',
+    provider: 'aihubmix',
+    seconds: '8',
+    size: '1280x720'
+  }, {
+    maxAttempts: 60,
+    interval: 5000,
+    onProgress: (status) => console.log('进度:', status.status)
+  });
+  
+  console.log('视频生成完成:', result2.id);
+  
+  // 流式下载
+  const video = await client.downloadVideo(
+    result2.id,
+    'aihubmix',
+    'video'
+  );
+  console.log('视频大小:', (video.size / 1024 / 1024).toFixed(2), 'MB');
+} catch (error) {
+  console.error('视频生成失败:', error);
+}
+
+// 图像生成视频示例
+const imageToVideoTask = await client.generate({
+  prompt: 'Make this scene come alive with gentle movements',
+  input_reference: 'data:image/png;base64,iVBORw0KGgo...',  // 图像 base64 或 URL
+  model: 'sora-2',
+  provider: 'aihubmix',
+  seconds: '4'
+});
+
+const imageToVideoResult = await client.waitForCompletion(
+  imageToVideoTask.id,
+  'aihubmix'
+);
+
+if (imageToVideoResult.status === 'completed') {
+  console.log('图生视频完成:', imageToVideoResult.id);
+  
+  // 下载视频
+  const videoBlob = await client.downloadVideo(
+    imageToVideoResult.id,
+    'aihubmix',
+    'video'
+  );
+  console.log('视频已下载，大小:', videoBlob.size);
+}
+```
+
 ### 用户认证工作流
 
 ```typescript
@@ -1229,7 +1489,7 @@ for await (const chunk of client.streamDownload({
 | 提供商 | Provider | 模型示例 | 模型类 |
 |--------|----------|----------|--------|
 | OpenAI | `aihubmix` | `gpt-4o-mini`, `gpt-4`, `o1-preview` | `ChatOpenAI` |
-| Google Gemini | `gemini` 或 `aihubmix` | `gemini-2.5-flash-image`, `gemini-1.5-pro` | `ChatGoogleGenerativeAI` |
+| Google Gemini | `gemini` 或 `aihubmix` | `gemini-2.5-flash-image`, `gemini-3-pro-image-preview` | `ChatGoogleGenerativeAI` |
 | Anthropic Claude | `aihubmix` | `claude-3-sonnet-20240229`, `claude-3-opus-20240229` | `ChatAnthropic` |
 | Doubao | `doubao` 或 `aihubmix` | `doubao-pro-4k`, `doubao-seedream-4-5-251128` | `ChatOpenAI` |
 
@@ -1245,7 +1505,6 @@ for await (const chunk of client.streamDownload({
 - **Google Gemini**:
   - `gemini-2.5-flash-image` (Nano Banana) - **推荐**，快速、高效，1024px 分辨率，支持所有宽高比
   - `gemini-3-pro-image-preview` (Nano Banana Pro) - 专业级，支持 1K/2K/4K 分辨率，支持 Google 搜索、思考模式，最多 14 张参考图片
-  - `gemini-2.0-flash-exp-image-generation` (已弃用，建议使用 `gemini-2.5-flash-image`)
 
 **模型选择建议：**
 - **日常使用**: `gemini-2.5-flash-image` - 速度快，成本低
@@ -1253,7 +1512,28 @@ for await (const chunk of client.streamDownload({
 
 ### 视频生成模型
 
-- **豆包 Seedance**: `doubao-seedance-1-0-pro-fast-251015` (默认，推荐)
+#### 豆包 Seedance
+
+| 模型 | Provider | 说明 | 参数 |
+|------|----------|------|------|
+| `doubao-seedance-1-0-pro-fast-251015` | `doubao` | 快速版（推荐） | 时长: 1-10秒，宽高比: 16:9/9:16/1:1 |
+| `doubao-seedance-1-0-pro-250528` | `doubao` | 专业版 | 时长: 1-10秒，宽高比: 16:9/9:16/1:1 |
+| `doubao-seedance-1-0-lite-t2v-250428` | `doubao` | 轻量版（文生视频） | 时长: 1-10秒 |
+| `doubao-seedance-1-0-lite-i2v-250428` | `doubao` | 轻量版（图生视频） | 时长: 1-10秒 |
+
+#### OpenAI Sora
+
+| 模型 | Provider | 说明 | 参数 |
+|------|----------|------|------|
+| `sora-2` | `aihubmix` / `api2img` | 标准模型（默认） | 时长: 4/8/12秒，分辨率: 720x1280, 1280x720, 1024x1792, 1792x1024 |
+| `sora-2-pro` | `aihubmix` / `api2img` | 专业版模型 | 时长: 4/8/12秒，分辨率: 720x1280, 1280x720, 1024x1792, 1792x1024 |
+
+**特性说明：**
+- **豆包 Seedance**: 支持文本生成视频和图像生成视频，URL 直接返回
+- **OpenAI Sora**: 支持文本生成视频和图像生成视频（Base64/URL），需要流式下载
+- **Provider 选择**:
+  - 豆包: 仅支持 `doubao` provider
+  - OpenAI: 支持 `aihubmix` 和 `api2img` provider（推荐使用 `aihubmix`）
 
 ## 错误处理