@lobehub/chat 1.103.0 → 1.103.2

package/docs/development/basic/add-new-image-model.zh-CN.mdx

@@ -0,0 +1,162 @@
+# 添加新的图像模型
+
+> 了解更多关于 AI 绘画模态的设计，请参考 [AI 绘画模态设计讨论](https://github.com/lobehub/lobe-chat/discussions/7442)
+
+## 参数标准化
+
+所有图像生成模型都必须使用 `src/libs/standard-parameters/index.ts` 中定义的标准参数。这确保了不同 Provider 之间的参数一致性，让用户体验更加统一。
+
+**支持的标准参数**：
+
+- `prompt` (必需)：生成图像的提示词
+- `aspectRatio`：宽高比（如 "16:9", "1:1"）
+- `width` / `height`：图像宽高
+- `size`：预设尺寸（如 "1024x1024"）
+- `seed`：随机种子
+- `steps`：生成步数
+- `cfg`：引导缩放
+- 其他参数请查看源文件
+
+## 兼容 OpenAI 请求格式的模型
+
+指的是可以使用 openai SDK 进行请求，并且请求参数和和返回值和 dall-e 以及 gpt-image-x 系列一致。
+
+以智谱的 CogView-4 为例，它是一个兼容 openai 请求格式的模型。你只需要在对应的 ai models 文件 `src/config/aiModels/zhipu.ts` 中，添加模型配置，例如：
+
+```ts
+const zhipuImageModels: AIImageModelCard[] = [
+  // 添加模型配置
+  // https://bigmodel.cn/dev/howuse/image-generation-model/cogview-4
+  {
+    description:
+      'CogView-4 是智谱首个支持生成汉字的开源文生图模型，在语义理解、图像生成质量、中英文字生成能力等方面全面提升，支持任意长度的中英双语输入，能够生成在给定范围内的任意分辨率图像。',
+    displayName: 'CogView-4',
+    enabled: true,
+    id: 'cogview-4',
+    parameters: {
+      prompt: {
+        default: '',
+      },
+      size: {
+        default: '1024x1024',
+        enum: ['1024x1024', '768x1344', '864x1152', '1344x768', '1152x864', '1440x720', '720x1440'],
+      },
+    },
+    releasedAt: '2025-03-04',
+    type: 'image',
+  },
+];
+```
+
+## 不兼容 OpenAI 请求格式的模型
+
+对于不兼容 OpenAI 格式的图像生成模型，需要实现自定义的 `createImage` 方法。有两种主要实现方式：
+
+### 方式一：使用 OpenAI Compatible Factory
+
+大部分 Provider 都使用 `openaiCompatibleFactory` 来兼容 OpenAI，可以通过传入自定义的 `createImage` 函数（参考 [PR #8534](https://github.com/lobehub/lobe-chat/pull/8534)）。
+
+**实现步骤**：
+
+1. **阅读 Provider 官方文档和标准参数定义**
+   - 查看 Provider 的图像生成 API 文档，了解请求格式和响应格式
+   - 阅读 `src/libs/standard-parameters/index.ts`，了解支持的参数
+   - 在对应的 ai models 文件中增加 image model 配置
+
+2. **实现自定义的 createImage 方法**
+   - 创建独立的图像生成函数，接受标准生图参数
+   - 将标准参数转换为 Provider 特定的格式
+   - 调用 Provider 的生图接口
+   - 返回统一格式的响应（imageUrl 和可选的宽高）
+
+3. **补充测试**
+   - 编写单元测试覆盖成功场景
+   - 测试各种错误情况和边界条件
+
+**代码示例**：
+
+```ts
+// src/libs/model-runtime/provider-name/createImage.ts
+export const createProviderImage = async (
+  payload: ImageGenerationPayload,
+  options: any,
+): Promise<ImageGenerationResponse> => {
+  const { model, prompt, ...params } = payload;
+
+  // 调用 Provider 的原生 API
+  const result = await callProviderAPI({
+    model,
+    prompt,
+    // 转换参数格式
+    custom_param: params.width,
+    // ...
+  });
+
+  // 返回统一格式
+  return {
+    created: Date.now(),
+    data: [{ url: result.imageUrl }],
+  };
+};
+```
+
+```ts
+// src/libs/model-runtime/provider-name/index.ts
+export const LobeProviderAI = openaiCompatibleFactory({
+  constructorOptions: {
+    // ... 其他配置
+  },
+  createImage: createProviderImage, // 传入自定义实现
+  provider: ModelProvider.ProviderName,
+});
+```
+
+### 方式二：在 Provider 类中直接实现
+
+如果你的 Provider 有独立的类实现，可以直接在类中添加 `createImage` 方法（参考 [PR #8503](https://github.com/lobehub/lobe-chat/pull/8503)）。
+
+**实现步骤**：
+
+1. **阅读 Provider 官方文档和标准参数定义**
+   - 查看 Provider 的图像生成 API 文档
+   - 阅读 `src/libs/standard-parameters/index.ts`
+   - 在对应的 ai models 文件中增加 image model 配置
+
+2. **在 Provider 类中实现 createImage 方法**
+   - 直接在类中添加 `createImage` 方法
+   - 处理参数转换和 API 调用
+   - 返回统一格式的响应
+
+3. **补充测试**
+   - 为新方法编写完整的测试用例
+
+**代码示例**：
+
+```ts
+// src/libs/model-runtime/provider-name/index.ts
+export class LobeProviderAI {
+  async createImage(
+    payload: ImageGenerationPayload,
+    options?: ChatStreamCallbacks,
+  ): Promise<ImageGenerationResponse> {
+    const { model, prompt, ...params } = payload;
+
+    // 调用原生 API 并处理响应
+    const result = await this.client.generateImage({
+      model,
+      prompt,
+      // 参数转换
+    });
+
+    return {
+      created: Date.now(),
+      data: [{ url: result.url }],
+    };
+  }
+}
+```
+
+### 重要注意事项
+
+- **测试要求**：为自定义实现添加完整的单元测试，确保覆盖成功场景和各种错误情况
+- **错误处理**：统一使用 `AgentRuntimeError` 进行错误封装，保持错误信息的一致性

package/docs/usage/features/desktop.mdx

@@ -16,7 +16,7 @@ tags:
 
 # Desktop Application
 
-<Image alt={'Desktop Application'} borderless cover src={'https://github.com/user-attachments/assets/a7bac8d3-ea96-4000-bb39-fadc9b610f96'}> />
+<Image alt={'Desktop Application'} borderless cover src={'https://github.com/user-attachments/assets/a7bac8d3-ea96-4000-bb39-fadc9b610f96'} />
 
 **Peak Performance, Zero Distractions**
 

package/docs/usage/features/mcp-market.mdx

@@ -16,7 +16,7 @@ tags:
 
 # MCP Marketplace
 
-<Image alt={'MCP Marketplace'} borderless cover src={'https://github.com/user-attachments/assets/bb114f9f-24c5-4000-a984-c10d187da5a0'}> />
+<Image alt={'MCP Marketplace'} borderless cover src={'https://github.com/user-attachments/assets/bb114f9f-24c5-4000-a984-c10d187da5a0'} />
 
 **Discover, Connect, Expand**
 

package/docs/usage/providers/fal.mdx

@@ -56,7 +56,7 @@ tags:
   <Image alt={'Enter API Key'} inStep src={'https://hub-apac-1.lobeobjects.space/docs/fa056feecba0133c76abe1ad12706c05.png'} />
 
   - Paste the API key you obtained.
-  - Choose a Fal model (e.g. `fal-ai/flux-pro`, `fal-ai/kling-video`, `fal-ai/hidream-i1-fast`) for image or video generation.
+  - Choose a Fal model (e.g. `Flux.1 Schnell`, `Flux.1 Kontext Dev`) for image or video generation.
 
   <Image alt={'Select Fal model for media generation'} inStep src={'https://hub-apac-1.lobeobjects.space/docs/7560502f31b8500032922103fc22e69b.png'} />
 

package/docs/usage/providers/fal.zh-CN.mdx

@@ -56,7 +56,7 @@ tags:
   <Image alt={'填入 API 密钥'} inStep src={'https://hub-apac-1.lobeobjects.space/docs/fa056feecba0133c76abe1ad12706c05.png'} />
 
   - 粘贴获取到的 API Key；
-  - 选择一个 Fal 模型（如 `fal-ai/flux-pro`、`fal-ai/kling-video`、`fal-ai/hidream-i1-fast`）用于图像或视频生成。
+  - 选择一个 Fal 模型（如 `Flux.1 Schnell`、`Flux.1 Kontext Dev`）用于图像或视频生成。
 
   <Image alt={'选择 Fal 模型进行媒体生成'} inStep src={'https://hub-apac-1.lobeobjects.space/docs/7560502f31b8500032922103fc22e69b.png'} />
 

package/locales/ar/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "نموذج v0-1.5-md مناسب للمهام اليومية وتوليد واجهات المستخدم (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "نموذج توليد الصور التابع لشركة علي بابا كلاود Tongyi"
+  },
   "whisper-1": {
     "description": "نموذج التعرف على الصوت العام، يدعم التعرف على الصوت بعدة لغات، الترجمة الصوتية، والتعرف على اللغة."
   },

package/locales/bg-BG/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "Моделът v0-1.5-md е подходящ за ежедневни задачи и генериране на потребителски интерфейс (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Модел за генериране на изображения от текст на Alibaba Cloud Tongyi"
+  },
   "whisper-1": {
     "description": "Универсален модел за разпознаване на реч, поддържащ многоезично разпознаване на реч, превод на реч и разпознаване на език."
   },

package/locales/de-DE/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "Das Modell v0-1.5-md ist für alltägliche Aufgaben und die Generierung von Benutzeroberflächen (UI) geeignet"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Text-zu-Bild-Modell von Aliyun Tongyi"
+  },
   "whisper-1": {
     "description": "Universelles Spracherkennungsmodell, unterstützt mehrsprachige Spracherkennung, Sprachübersetzung und Spracherkennung."
   },

package/locales/en-US/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "The v0-1.5-md model is suitable for everyday tasks and user interface (UI) generation."
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Text-to-image model under Alibaba Cloud Tongyi"
+  },
   "whisper-1": {
     "description": "A general-purpose speech recognition model supporting multilingual speech recognition, speech translation, and language identification."
   },

package/locales/es-ES/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "El modelo v0-1.5-md es adecuado para tareas cotidianas y generación de interfaces de usuario (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Modelo de generación de imágenes de texto a imagen de Tongyi de Alibaba Cloud"
+  },
   "whisper-1": {
     "description": "Modelo universal de reconocimiento de voz que soporta reconocimiento de voz multilingüe, traducción de voz y detección de idioma."
   },

package/locales/fa-IR/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "مدل v0-1.5-md برای وظایف روزمره و تولید رابط کاربری (UI) مناسب است"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "مدل تولید تصویر مبتنی بر متن زیرمجموعه‌ی علی‌بابا کلود Tongyi"
+  },
   "whisper-1": {
     "description": "مدل شناسایی گفتار عمومی که از شناسایی گفتار چندزبانه، ترجمه گفتار و شناسایی زبان پشتیبانی می‌کند."
   },

package/locales/fr-FR/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "Le modèle v0-1.5-md convient aux tâches quotidiennes et à la génération d'interfaces utilisateur (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Modèle de génération d'images par texte de Tongyi d'Aliyun"
+  },
   "whisper-1": {
     "description": "Modèle universel de reconnaissance vocale, prenant en charge la reconnaissance vocale multilingue, la traduction vocale et la reconnaissance de langue."
   },

package/locales/it-IT/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "Il modello v0-1.5-md è adatto per compiti quotidiani e generazione di interfacce utente (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Modello di generazione di immagini basato su testo di Tongyi di Alibaba Cloud"
+  },
   "whisper-1": {
     "description": "Modello universale di riconoscimento vocale, supporta riconoscimento vocale multilingue, traduzione vocale e identificazione della lingua."
   },

package/locales/ja-JP/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "v0-1.5-md モデルは、日常的なタスクやユーザーインターフェース（UI）生成に適しています"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "アリババクラウドのTongyiが提供するテキストから画像生成モデル"
+  },
   "whisper-1": {
     "description": "汎用音声認識モデルで、多言語の音声認識、音声翻訳、言語識別をサポートします。"
   },

package/locales/ko-KR/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "v0-1.5-md 모델은 일상 작업 및 사용자 인터페이스(UI) 생성에 적합합니다"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "알리클라우드 통의(通义) 산하의 텍스트-이미지 생성 모델"
+  },
   "whisper-1": {
     "description": "범용 음성 인식 모델로, 다국어 음성 인식, 음성 번역 및 언어 인식을 지원합니다."
   },

package/locales/nl-NL/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "Het v0-1.5-md model is geschikt voor dagelijkse taken en het genereren van gebruikersinterfaces (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Tekst-naar-beeldmodel van Alibaba Cloud Tongyi"
+  },
   "whisper-1": {
     "description": "Algemeen spraakherkenningsmodel, ondersteunt meertalige spraakherkenning, spraakvertaling en taalherkenning."
   },

package/locales/pl-PL/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "Model v0-1.5-md jest odpowiedni do codziennych zadań i generowania interfejsu użytkownika (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Model generowania obrazów firmy Alibaba Cloud Tongyi"
+  },
   "whisper-1": {
     "description": "Uniwersalny model rozpoznawania mowy, obsługujący wielojęzyczne rozpoznawanie mowy, tłumaczenie mowy oraz identyfikację języka."
   },

package/locales/pt-BR/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "O modelo v0-1.5-md é adequado para tarefas diárias e geração de interfaces de usuário (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Modelo de geração de imagens da Alibaba Cloud Tongyi"
+  },
   "whisper-1": {
     "description": "Modelo universal de reconhecimento de voz, suportando reconhecimento de voz multilíngue, tradução de voz e identificação de idioma."
   },

package/locales/ru-RU/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "Модель v0-1.5-md подходит для повседневных задач и генерации пользовательского интерфейса (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Модель генерации изображений от Alibaba Cloud Tongyi"
+  },
   "whisper-1": {
     "description": "Универсальная модель распознавания речи, поддерживающая многоязычное распознавание речи, перевод речи и идентификацию языка."
   },

package/locales/tr-TR/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "v0-1.5-md modeli, günlük görevler ve kullanıcı arayüzü (UI) oluşturma için uygundur"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Alibaba Cloud Tongyi tarafından geliştirilen metinden görsele model"
+  },
   "whisper-1": {
     "description": "Genel amaçlı konuşma tanıma modeli olup, çok dilli konuşma tanıma, konuşma çevirisi ve dil tanıma destekler."
   },

package/locales/vi-VN/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "Mô hình v0-1.5-md phù hợp cho các nhiệm vụ hàng ngày và tạo giao diện người dùng (UI)"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "Mô hình tạo hình ảnh từ văn bản thuộc Alibaba Cloud Tongyi"
+  },
   "whisper-1": {
     "description": "Mô hình nhận dạng giọng nói đa năng, hỗ trợ nhận dạng giọng nói đa ngôn ngữ, dịch giọng nói và nhận diện ngôn ngữ."
   },

package/locales/zh-CN/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "v0-1.5-md 模型适用于日常任务和用户界面（UI）生成"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "阿里云通义旗下的文生图模型"
+  },
   "whisper-1": {
     "description": "通用语音识别模型，支持多语言语音识别、语音翻译和语言识别。"
   },

package/locales/zh-TW/models.json

@@ -2429,6 +2429,9 @@
   "v0-1.5-md": {
     "description": "v0-1.5-md 模型適用於日常任務和使用者介面（UI）生成"
   },
+  "wanx2.1-t2i-turbo": {
+    "description": "阿里雲通義旗下的文生圖模型"
+  },
   "whisper-1": {
     "description": "通用語音識別模型，支持多語言語音識別、語音翻譯和語言識別。"
   },