@lobehub/chat 1.96.12 → 1.96.14

package/locales/vi-VN/models.json

@@ -1871,6 +1871,9 @@
   "o3": {
     "description": "o3 là một mô hình toàn năng mạnh mẽ, thể hiện xuất sắc trong nhiều lĩnh vực. Nó thiết lập tiêu chuẩn mới cho các nhiệm vụ toán học, khoa học, lập trình và suy luận hình ảnh. Nó cũng giỏi trong việc viết kỹ thuật và tuân thủ hướng dẫn. Người dùng có thể sử dụng nó để phân tích văn bản, mã và hình ảnh, giải quyết các vấn đề phức tạp nhiều bước."
   },
+  "o3-deep-research": {
+    "description": "o3-deep-research là mô hình nghiên cứu sâu tiên tiến nhất của chúng tôi, được thiết kế đặc biệt để xử lý các nhiệm vụ nghiên cứu phức tạp nhiều bước. Nó có thể tìm kiếm và tổng hợp thông tin từ Internet, cũng như truy cập và tận dụng dữ liệu riêng của bạn thông qua kết nối MCP."
+  },
   "o3-mini": {
     "description": "o3-mini là mô hình suy diễn nhỏ gọn mới nhất của chúng tôi, cung cấp trí thông minh cao với chi phí và độ trễ tương tự như o1-mini."
   },
@@ -1880,6 +1883,9 @@
   "o4-mini": {
     "description": "o4-mini là mô hình nhỏ gọn mới nhất trong dòng o của chúng tôi. Nó được tối ưu hóa cho suy luận nhanh chóng và hiệu quả, thể hiện hiệu suất và hiệu quả cao trong các nhiệm vụ mã hóa và hình ảnh."
   },
+  "o4-mini-deep-research": {
+    "description": "o4-mini-deep-research là mô hình nghiên cứu sâu nhanh hơn và tiết kiệm hơn của chúng tôi — rất phù hợp để xử lý các nhiệm vụ nghiên cứu phức tạp nhiều bước. Nó có thể tìm kiếm và tổng hợp thông tin từ Internet, cũng như truy cập và tận dụng dữ liệu riêng của bạn thông qua kết nối MCP."
+  },
   "open-codestral-mamba": {
     "description": "Codestral Mamba là mô hình ngôn ngữ Mamba 2 tập trung vào sinh mã, cung cấp hỗ trợ mạnh mẽ cho các nhiệm vụ mã và suy luận tiên tiến."
   },

package/locales/zh-CN/models.json

@@ -1871,6 +1871,9 @@
   "o3": {
     "description": "o3 是一款全能强大的模型，在多个领域表现出色。它为数学、科学、编程和视觉推理任务树立了新标杆。它也擅长技术写作和指令遵循。用户可利用它分析文本、代码和图像，解决多步骤的复杂问题。"
   },
+  "o3-deep-research": {
+    "description": "o3-deep-research 是我们最先进的深度研究模型，专为处理复杂的多步骤研究任务而设计。它可以从互联网上搜索和综合信息，也可以通过 MCP 连接器访问并利用你的自有数据。"
+  },
   "o3-mini": {
     "description": "o3-mini 是我们最新的小型推理模型，在与 o1-mini 相同的成本和延迟目标下提供高智能。"
   },
@@ -1880,6 +1883,9 @@
   "o4-mini": {
     "description": "o4-mini 是我们最新的小型 o 系列模型。 它专为快速有效的推理而优化，在编码和视觉任务中表现出极高的效率和性能。"
   },
+  "o4-mini-deep-research": {
+    "description": "o4-mini-deep-research 是我们更快速、更实惠的深度研究模型——非常适合处理复杂的多步骤研究任务。它可以从互联网上搜索和综合信息，也可以通过 MCP 连接器访问并利用你的自有数据。"
+  },
   "open-codestral-mamba": {
     "description": "Codestral Mamba是专注于代码生成的Mamba 2语言模型，为先进的代码和推理任务提供强力支持。"
   },

package/locales/zh-TW/models.json

@@ -1871,6 +1871,9 @@
   "o3": {
     "description": "o3 是一款全能強大的模型，在多個領域表現出色。它為數學、科學、程式設計和視覺推理任務樹立了新標杆。它也擅長技術寫作和指令遵循。用戶可利用它分析文本、程式碼和圖像，解決多步驟的複雜問題。"
   },
+  "o3-deep-research": {
+    "description": "o3-deep-research 是我們最先進的深度研究模型，專為處理複雜的多步驟研究任務而設計。它可以從網際網路搜尋和綜合資訊，也可以透過 MCP 連接器存取並利用你的自有資料。"
+  },
   "o3-mini": {
     "description": "o3-mini 是我們最新的小型推理模型，在與 o1-mini 相同的成本和延遲目標下提供高智能。"
   },
@@ -1880,6 +1883,9 @@
   "o4-mini": {
     "description": "o4-mini 是我們最新的小型 o 系列模型。它專為快速有效的推理而優化，在編碼和視覺任務中表現出極高的效率和性能。"
   },
+  "o4-mini-deep-research": {
+    "description": "o4-mini-deep-research 是我們更快速、更實惠的深度研究模型——非常適合處理複雜的多步驟研究任務。它可以從網際網路搜尋和綜合資訊，也可以透過 MCP 連接器存取並利用你的自有資料。"
+  },
   "open-codestral-mamba": {
     "description": "Codestral Mamba 是專注於代碼生成的 Mamba 2 語言模型，為先進的代碼和推理任務提供強力支持。"
   },

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@lobehub/chat",
-  "version": "1.96.12",
+  "version": "1.96.14",
   "description": "Lobe Chat - an open-source, high-performance chatbot framework that supports speech synthesis, multimodal, and extensible Function Call plugin system. Supports one-click free deployment of your private ChatGPT/LLM web application.",
   "keywords": [
     "framework",
@@ -135,8 +135,7 @@
     "@codesandbox/sandpack-react": "^2.20.0",
     "@cyntler/react-doc-viewer": "^1.17.0",
     "@electric-sql/pglite": "0.2.17",
-    "@google-cloud/vertexai": "^1.10.0",
-    "@google/generative-ai": "^0.24.1",
+    "@google/genai": "^1.6.0",
     "@huggingface/inference": "^2.8.1",
     "@icons-pack/react-simple-icons": "9.6.0",
     "@khmyznikov/pwa-install": "0.3.9",

package/src/libs/model-runtime/google/index.test.ts

@@ -1,9 +1,10 @@
 // @vitest-environment edge-runtime
-import { FunctionDeclarationsTool } from '@google/generative-ai';
+import { GenerateContentResponse, Tool } from '@google/genai';
 import OpenAI from 'openai';
 import { afterEach, beforeEach, describe, expect, it, vi } from 'vitest';
 
 import { OpenAIChatMessage } from '@/libs/model-runtime';
+import { ChatStreamPayload } from '@/types/openai/chat';
 import * as imageToBase64Module from '@/utils/imageToBase64';
 
 import * as debugStreamModule from '../utils/debugStream';
@@ -22,9 +23,8 @@ beforeEach(() => {
   instance = new LobeGoogleAI({ apiKey: 'test' });
 
   // 使用 vi.spyOn 来模拟 chat.completions.create 方法
-  vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-    generateContentStream: vi.fn().mockResolvedValue(new ReadableStream()),
-  } as any);
+  const mockStreamData = (async function* (): AsyncGenerator<GenerateContentResponse> {})();
+  vi.spyOn(instance['client'].models, 'generateContentStream').mockResolvedValue(mockStreamData);
 });
 
 afterEach(() => {
@@ -60,9 +60,9 @@ describe('LobeGoogleAI', () => {
           controller.close();
         },
       });
-      vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-        generateContentStream: vi.fn().mockResolvedValueOnce(mockStream),
-      } as any);
+      vi.spyOn(instance['client'].models, 'generateContentStream').mockResolvedValue(
+        mockStream as any,
+      );
 
       const result = await instance.chat({
         messages: [{ content: 'Hello', role: 'user' }],
@@ -208,9 +208,9 @@ describe('LobeGoogleAI', () => {
         },
       });
 
-      vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-        generateContentStream: vi.fn().mockResolvedValueOnce(mockStream),
-      } as any);
+      vi.spyOn(instance['client'].models, 'generateContentStream').mockResolvedValue(
+        mockStream as any,
+      );
     });
 
     it('should call debugStream in DEBUG mode', async () => {
@@ -224,9 +224,9 @@ describe('LobeGoogleAI', () => {
           controller.close();
         },
       });
-      vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-        generateContentStream: vi.fn().mockResolvedValueOnce(mockStream),
-      } as any);
+      vi.spyOn(instance['client'].models, 'generateContentStream').mockResolvedValue(
+        mockStream as any,
+      );
       const debugStreamSpy = vi
         .spyOn(debugStreamModule, 'debugStream')
         .mockImplementation(() => Promise.resolve());
@@ -250,9 +250,7 @@ describe('LobeGoogleAI', () => {
 
         const apiError = new Error(message);
 
-        vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-          generateContentStream: vi.fn().mockRejectedValue(apiError),
-        } as any);
+        vi.spyOn(instance['client'].models, 'generateContentStream').mockRejectedValue(apiError);
 
         try {
           await instance.chat({
@@ -271,9 +269,7 @@ describe('LobeGoogleAI', () => {
 
         const apiError = new Error(message);
 
-        vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-          generateContentStream: vi.fn().mockRejectedValue(apiError),
-        } as any);
+        vi.spyOn(instance['client'].models, 'generateContentStream').mockRejectedValue(apiError);
 
         try {
           await instance.chat({
@@ -292,9 +288,7 @@ describe('LobeGoogleAI', () => {
 
         const apiError = new Error(message);
 
-        vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-          generateContentStream: vi.fn().mockRejectedValue(apiError),
-        } as any);
+        vi.spyOn(instance['client'].models, 'generateContentStream').mockRejectedValue(apiError);
 
         try {
           await instance.chat({
@@ -326,9 +320,7 @@ describe('LobeGoogleAI', () => {
 
         const apiError = new Error(message);
 
-        vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-          generateContentStream: vi.fn().mockRejectedValue(apiError),
-        } as any);
+        vi.spyOn(instance['client'].models, 'generateContentStream').mockRejectedValue(apiError);
 
         try {
           await instance.chat({
@@ -354,9 +346,7 @@ describe('LobeGoogleAI', () => {
         const apiError = new Error('Error message');
 
         // 使用 vi.spyOn 来模拟 chat.completions.create 方法
-        vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-          generateContentStream: vi.fn().mockRejectedValue(apiError),
-        } as any);
+        vi.spyOn(instance['client'].models, 'generateContentStream').mockRejectedValue(apiError);
 
         // Act
         try {
@@ -392,9 +382,7 @@ describe('LobeGoogleAI', () => {
         };
         const apiError = new OpenAI.APIError(400, errorInfo, 'module error', {});
 
-        vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-          generateContentStream: vi.fn().mockRejectedValue(apiError),
-        } as any);
+        vi.spyOn(instance['client'].models, 'generateContentStream').mockRejectedValue(apiError);
 
         // Act
         try {
@@ -418,9 +406,9 @@ describe('LobeGoogleAI', () => {
         // Arrange
         const genericError = new Error('Generic Error');
 
-        vi.spyOn(instance['client'], 'getGenerativeModel').mockReturnValue({
-          generateContentStream: vi.fn().mockRejectedValue(genericError),
-        } as any);
+        vi.spyOn(instance['client'].models, 'generateContentStream').mockRejectedValue(
+          genericError,
+        );
 
         // Act
         try {
@@ -642,11 +630,11 @@ describe('LobeGoogleAI', () => {
         const googleTools = instance['buildGoogleTools'](tools);
 
         expect(googleTools).toHaveLength(1);
-        expect((googleTools![0] as FunctionDeclarationsTool).functionDeclarations![0]).toEqual({
+        expect((googleTools![0] as Tool).functionDeclarations![0]).toEqual({
           name: 'testTool',
           description: 'A test tool',
           parameters: {
-            type: 'object',
+            type: 'OBJECT',
             properties: {
               param1: { type: 'string' },
               param2: { type: 'number' },
@@ -655,6 +643,75 @@ describe('LobeGoogleAI', () => {
           },
         });
       });
+
+      it('should also add tools when tool_calls exists', () => {
+        const tools: OpenAI.ChatCompletionTool[] = [
+          {
+            function: {
+              name: 'testTool',
+              description: 'A test tool',
+              parameters: {
+                type: 'object',
+                properties: {
+                  param1: { type: 'string' },
+                  param2: { type: 'number' },
+                },
+                required: ['param1'],
+              },
+            },
+            type: 'function',
+          },
+        ];
+
+        const payload: ChatStreamPayload = {
+          messages: [
+            {
+              role: 'user',
+              content: '',
+              tool_calls: [
+                { function: { name: 'some_func', arguments: '' }, id: 'func_1', type: 'function' },
+              ],
+            },
+          ],
+          model: 'gemini-2.5-flash-preview-04-17',
+          temperature: 1,
+        };
+
+        const googleTools = instance['buildGoogleTools'](tools, payload);
+
+        expect(googleTools).toHaveLength(1);
+        expect((googleTools![0] as Tool).functionDeclarations![0]).toEqual({
+          name: 'testTool',
+          description: 'A test tool',
+          parameters: {
+            type: 'OBJECT',
+            properties: {
+              param1: { type: 'string' },
+              param2: { type: 'number' },
+            },
+            required: ['param1'],
+          },
+        });
+      });
+
+      it('should handle googleSearch', () => {
+        const payload: ChatStreamPayload = {
+          messages: [
+            {
+              role: 'user',
+              content: '',
+            },
+          ],
+          model: 'gemini-2.5-flash-preview-04-17',
+          temperature: 1,
+          enabledSearch: true,
+        };
+
+        const googleTools = instance['buildGoogleTools'](undefined, payload);
+
+        expect(googleTools).toHaveLength(1);
+        expect(googleTools![0] as Tool).toEqual({ googleSearch: {} });
+      });
     });
 
     describe('convertOAIMessagesToGoogleMessage', () => {

package/src/libs/model-runtime/google/index.ts

@@ -1,14 +1,13 @@
-import type { VertexAI } from '@google-cloud/vertexai';
 import {
   Content,
-  FunctionCallPart,
   FunctionDeclaration,
+  GenerateContentConfig,
   Tool as GoogleFunctionCallTool,
-  GoogleGenerativeAI,
-  GoogleSearchRetrievalTool,
+  GoogleGenAI,
   Part,
-  SchemaType,
-} from '@google/generative-ai';
+  Type as SchemaType,
+  ThinkingConfig,
+} from '@google/genai';
 
 import { imageUrlToBase64 } from '@/utils/imageToBase64';
 import { safeParseJSON } from '@/utils/safeParseJSON';
@@ -77,16 +76,11 @@ const DEFAULT_BASE_URL = 'https://generativelanguage.googleapis.com';
 interface LobeGoogleAIParams {
   apiKey?: string;
   baseURL?: string;
-  client?: GoogleGenerativeAI | VertexAI;
+  client?: GoogleGenAI;
   id?: string;
   isVertexAi?: boolean;
 }
 
-interface GoogleAIThinkingConfig {
-  includeThoughts?: boolean;
-  thinkingBudget?: number;
-}
-
 const isAbortError = (error: Error): boolean => {
   const message = error.message.toLowerCase();
   return (
@@ -99,7 +93,7 @@ const isAbortError = (error: Error): boolean => {
 };
 
 export class LobeGoogleAI implements LobeRuntimeAI {
-  private client: GoogleGenerativeAI;
+  private client: GoogleGenAI;
   private isVertexAi: boolean;
   baseURL?: string;
   apiKey?: string;
@@ -108,9 +102,10 @@ export class LobeGoogleAI implements LobeRuntimeAI {
   constructor({ apiKey, baseURL, client, isVertexAi, id }: LobeGoogleAIParams = {}) {
     if (!apiKey) throw AgentRuntimeError.createError(AgentRuntimeErrorType.InvalidProviderAPIKey);
 
-    this.client = new GoogleGenerativeAI(apiKey);
+    const httpOptions = baseURL ? { baseUrl: baseURL } : undefined;
+
     this.apiKey = apiKey;
-    this.client = client ? (client as GoogleGenerativeAI) : new GoogleGenerativeAI(apiKey);
+    this.client = client ? client : new GoogleGenAI({ apiKey, httpOptions });
     this.baseURL = client ? undefined : baseURL || DEFAULT_BASE_URL;
     this.isVertexAi = isVertexAi || false;
 
@@ -122,7 +117,7 @@ export class LobeGoogleAI implements LobeRuntimeAI {
       const payload = this.buildPayload(rawPayload);
       const { model, thinkingBudget } = payload;
 
-      const thinkingConfig: GoogleAIThinkingConfig = {
+      const thinkingConfig: ThinkingConfig = {
         includeThoughts:
           !!thinkingBudget ||
           (!thinkingBudget && model && (model.includes('-2.5-') || model.includes('thinking')))
@@ -155,8 +150,6 @@ export class LobeGoogleAI implements LobeRuntimeAI {
 
       const contents = await this.buildGoogleMessages(payload.messages);
 
-      const inputStartAt = Date.now();
-
       const controller = new AbortController();
       const originalSignal = options?.signal;
 
@@ -170,57 +163,50 @@ export class LobeGoogleAI implements LobeRuntimeAI {
         }
       }
 
-      const geminiStreamResult = await this.client
-        .getGenerativeModel(
+      const config: GenerateContentConfig = {
+        abortSignal: originalSignal,
+        maxOutputTokens: payload.max_tokens,
+        responseModalities: modelsWithModalities.has(model) ? ['Text', 'Image'] : undefined,
+        // avoid wide sensitive words
+        // refs: https://github.com/lobehub/lobe-chat/pull/1418
+        safetySettings: [
           {
-            generationConfig: {
-              maxOutputTokens: payload.max_tokens,
-              // @ts-expect-error - Google SDK 0.24.0 doesn't have this property for now with
-              response_modalities: modelsWithModalities.has(model) ? ['Text', 'Image'] : undefined,
-              temperature: payload.temperature,
-              topP: payload.top_p,
-              ...(modelsDisableInstuction.has(model) || model.toLowerCase().includes('learnlm')
-                ? {}
-                : { thinkingConfig }),
-            },
-            model,
-            // avoid wide sensitive words
-            // refs: https://github.com/lobehub/lobe-chat/pull/1418
-            safetySettings: [
-              {
-                category: HarmCategory.HARM_CATEGORY_HATE_SPEECH,
-                threshold: getThreshold(model),
-              },
-              {
-                category: HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT,
-                threshold: getThreshold(model),
-              },
-              {
-                category: HarmCategory.HARM_CATEGORY_HARASSMENT,
-                threshold: getThreshold(model),
-              },
-              {
-                category: HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT,
-                threshold: getThreshold(model),
-              },
-            ],
+            category: HarmCategory.HARM_CATEGORY_HATE_SPEECH,
+            threshold: getThreshold(model),
+          },
+          {
+            category: HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT,
+            threshold: getThreshold(model),
           },
-          { apiVersion: 'v1beta', baseUrl: this.baseURL },
-        )
-        .generateContentStream(
           {
-            contents,
-            systemInstruction: modelsDisableInstuction.has(model)
-              ? undefined
-              : (payload.system as string),
-            tools: this.buildGoogleTools(payload.tools, payload),
+            category: HarmCategory.HARM_CATEGORY_HARASSMENT,
+            threshold: getThreshold(model),
           },
           {
-            signal: controller.signal,
+            category: HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT,
+            threshold: getThreshold(model),
           },
-        );
+        ],
+        systemInstruction: modelsDisableInstuction.has(model)
+          ? undefined
+          : (payload.system as string),
+        temperature: payload.temperature,
+        thinkingConfig:
+          modelsDisableInstuction.has(model) || model.toLowerCase().includes('learnlm')
+            ? undefined
+            : thinkingConfig,
+        tools: this.buildGoogleTools(payload.tools, payload),
+        topP: payload.top_p,
+      };
+
+      const inputStartAt = Date.now();
+      const geminiStreamResponse = await this.client.models.generateContentStream({
+        config,
+        contents,
+        model,
+      });
 
-      const googleStream = this.createEnhancedStream(geminiStreamResult.stream, controller.signal);
+      const googleStream = this.createEnhancedStream(geminiStreamResponse, controller.signal);
       const [prod, useForDebug] = googleStream.tee();
 
       const key = this.isVertexAi
@@ -405,7 +391,7 @@ export class LobeGoogleAI implements LobeRuntimeAI {
     const content = message.content as string | UserMessageContentPart[];
     if (!!message.tool_calls) {
       return {
-        parts: message.tool_calls.map<FunctionCallPart>((tool) => ({
+        parts: message.tool_calls.map<Part>((tool) => ({
           functionCall: {
             args: safeParseJSON(tool.function.arguments)!,
             name: tool.function.name,
@@ -527,7 +513,7 @@ export class LobeGoogleAI implements LobeRuntimeAI {
       return this.buildFunctionDeclarations(tools);
     }
     if (payload?.enabledSearch) {
-      return [{ googleSearch: {} } as GoogleSearchRetrievalTool];
+      return [{ googleSearch: {} }];
     }
 
     return this.buildFunctionDeclarations(tools);