@lobehub/chat 1.73.2 → 1.74.1

package/src/config/modelProviders/infiniai.ts

@@ -0,0 +1,184 @@
+import { ModelProviderCard } from '@/types/llm';
+
+// https://cloud.infini-ai.com/genstudio/model
+// All models are currently free
+const InfiniAI: ModelProviderCard = {
+  chatModels: [
+    {
+      contextWindowTokens: 65_536,
+      description:
+        'DeepSeek-R1 是一个专注于推理能力的大语言模型，通过创新的训练流程实现了与 OpenAI-o1 相当的数学、代码和推理任务表现。该模型采用了冷启动数据和大规模强化学习相结合的方式进行训练。',
+      displayName: 'DeepSeek R1',
+      enabled: true,
+      id: 'deepseek-r1',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 65_536,
+      description:
+        'DeepSeek-V3 是一个强大的专家混合（MoE）语言模型，总参数量为 671B，每个 Token 激活 37B 参数。该模型采用多头潜在注意力（MLA）和 DeepSeekMoE 架构，实现了高效推理和经济训练。',
+      displayName: 'DeepSeek V3',
+      enabled: true,
+      id: 'deepseek-v3',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 65_536,
+      description:
+        'QwQ 是 Qwen 系列的推理模型，相比传统指令调优模型，QwQ 具备思考和推理能力，在下游任务尤其是难题上能取得显著性能提升。QwQ-32B 是一款中等规模的推理模型，其性能可与最先进的推理模型相媲美，例如 DeepSeek-R1 和 o1-mini。',
+      displayName: 'QwQ',
+      enabled: true,
+      id: 'qwq-32b',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 32_768,
+      description:
+        'DeepSeek-R1-Distill-Qwen-32B 是基于 DeepSeek-R1 蒸馏而来的模型，在 Qwen2.5-32B 的基础上使用 DeepSeek-R1 生成的样本进行微调。该模型在各种基准测试中表现出色，保持了强大的推理能力。',
+      displayName: 'DeepSeek R1 Distill Qwen 32B',
+      enabled: true,
+      id: 'deepseek-r1-distill-qwen-32b',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 32_768,
+      description:
+        'Qwen2.5 是 Qwen 大型语言模型系列的最新成果。Qwen2.5 发布了从 0.5 到 720 亿参数不等的基础语言模型及指令调优语言模型。Qwen2.5 相比 Qwen2 带来了以下改进：\n显著增加知识量，在编程与数学领域的能力得到极大提升。\n在遵循指令、生成长文本、理解结构化数据 (例如，表格) 以及生成结构化输出特别是 JSON 方面有显著提升。对系统提示的多样性更具韧性，增强了聊天机器人中的角色扮演实现和条件设定。\n支持长上下文处理。\n支持超过 29 种语言的多语言功能，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。',
+      displayName: 'Qwen2.5 72B Instruct',
+      enabled: true,
+      id: 'qwen2.5-72b-instruct',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 32_768,
+      description:
+        'Qwen2.5 是 Qwen 大型语言模型系列的最新成果。Qwen2.5 发布了从 0.5 到 720 亿参数不等的基础语言模型及指令调优语言模型。Qwen2.5 相比 Qwen2 带来了以下改进：\n显著增加知识量，在编程与数学领域的能力得到极大提升。\n在遵循指令、生成长文本、理解结构化数据 (例如，表格) 以及生成结构化输出特别是 JSON 方面有显著提升。对系统提示的多样性更具韧性，增强了聊天机器人中的角色扮演实现和条件设定。\n支持长上下文处理。\n支持超过 29 种语言的多语言功能，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。',
+      displayName: 'Qwen2.5 32B Instruct',
+      enabled: true,
+      id: 'qwen2.5-32b-instruct',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 32_768,
+      description:
+        'Qwen2.5-Coder 是最新的代码专用 Qwen 大型语言模型系列。Qwen2.5-Coder 在 CodeQwen1.5 的基础上带来了以下改进：\n显著提升代码生成、代码推理和代码修复能力。\n支持真实世界应用，例如代码代理，增强编码能力和数学及一般能力。\n支持长上下文处理。',
+      displayName: 'Qwen2.5 Coder 32B Instruct',
+      enabled: true,
+      id: 'qwen2.5-coder-32b-instruct',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 32_768,
+      description:
+        'Qwen2.5 是 Qwen 大型语言模型系列的最新成果。Qwen2.5 发布了从 0.5 到 720 亿参数不等的基础语言模型及指令调优语言模型。Qwen2.5 相比 Qwen2 带来了以下改进：\n显著增加知识量，在编程与数学领域的能力得到极大提升。\n在遵循指令、生成长文本、理解结构化数据 (例如，表格) 以及生成结构化输出特别是 JSON 方面有显著提升。对系统提示的多样性更具韧性，增强了聊天机器人中的角色扮演实现和条件设定。\n支持长上下文处理。\n支持超过 29 种语言的多语言功能，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。',
+      displayName: 'Qwen2.5 14B Instruct',
+      enabled: true,
+      id: 'qwen2.5-14b-instruct',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 32_768,
+      description:
+        'Qwen2.5 是 Qwen 大型语言模型系列的最新成果。Qwen2.5 发布了从 0.5 到 720 亿参数不等的基础语言模型及指令调优语言模型。Qwen2.5 相比 Qwen2 带来了以下改进：\n显著增加知识量，在编程与数学领域的能力得到极大提升。\n在遵循指令、生成长文本、理解结构化数据 (例如，表格) 以及生成结构化输出特别是 JSON 方面有显著提升。对系统提示的多样性更具韧性，增强了聊天机器人中的角色扮演实现和条件设定。\n支持长上下文处理。\n支持超过 29 种语言的多语言功能，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。',
+      displayName: 'Qwen2.5 7B Instruct',
+      enabled: true,
+      id: 'qwen2.5-7b-instruct',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 32_768,
+      description:
+        'Qwen2 是 Qwen 团队推出的新一代大型语言模型系列。它基于 Transformer 架构，并采用 SwiGLU 激活函数、注意力 QKV 偏置(attention QKV bias)、群组查询注意力(group query attention)、滑动窗口注意力(mixture of sliding window attention)与全注意力的混合等技术。此外，Qwen 团队还改进了适应多种自然语言和代码的分词器。',
+      displayName: 'Qwen 2 72B Instruct',
+      enabled: true,
+      id: 'qwen2-72b-instruct',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 32_768,
+      description:
+        'Qwen2 是 Qwen 团队推出的新一代大型语言模型系列。它基于 Transformer 架构，并采用 SwiGLU 激活函数、注意力 QKV 偏置(attention QKV bias)、群组查询注意力(group query attention)、滑动窗口注意力(mixture of sliding window attention)与全注意力的混合等技术。此外，Qwen 团队还改进了适应多种自然语言和代码的分词器。',
+      displayName: 'Qwen 2 7B Instruct',
+      enabled: true,
+      id: 'qwen2-7b-instruct',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+    {
+      contextWindowTokens: 4096,
+      description:
+        'Yi-1.5 是 Yi 的升级版本。 它使用 500B Tokens 的高质量语料库在 Yi 上持续进行预训练，并在 3M 个多样化的微调样本上进行微调。',
+      displayName: 'Yi-1.5 34B Chat',
+      enabled: true,
+      id: 'yi-1.5-34b-chat',
+      pricing: {
+        currency: 'CNY',
+        input: 0,
+        output: 0,
+      },
+    },
+  ],
+  checkModel: 'qwen2.5-7b-instruct',
+  description:
+    '为应用开发者提供高性能、易上手、安全可靠的大模型服务，覆盖从大模型开发到大模型服务化部署的全流程。',
+  id: 'infiniai',
+  modelList: { showModelFetcher: true },
+  modelsUrl: 'https://cloud.infini-ai.com/genstudio/model',
+  name: 'InfiniAI',
+  proxyUrl: {
+    placeholder: 'https://cloud.infini-ai.com/maas/v1',
+  },
+  settings: {
+    proxyUrl: {
+      placeholder: 'https://cloud.infini-ai.com/maas/v1',
+    },
+    sdkType: 'openai',
+    showModelFetcher: true,
+  },
+  url: 'https://cloud.infini-ai.com/genstudio',
+};
+
+export default InfiniAI;

package/src/config/modelProviders/search1api.ts

@@ -0,0 +1,58 @@
+import { ModelProviderCard } from '@/types/llm';
+
+const Search1API: ModelProviderCard = {
+  chatModels: [
+    {
+      contextWindowTokens: 65_536,
+      description:
+        'DeepSeek R1 70B 标准版，支持实时联网搜索，适合需要最新信息的对话和文本处理任务。',
+      displayName: 'DeepSeek R1 70B',
+      enabled: true,
+      id: 'deepseek-r1-70b-online',
+    },
+    {
+      contextWindowTokens: 65_536,
+      description:
+        'DeepSeek R1 满血版，拥有 671B 参数，支持实时联网搜索，具有更强大的理解和生成能力。',
+      displayName: 'DeepSeek R1',
+      enabled: true,
+      id: 'deepseek-r1-online',
+    },
+    {
+      contextWindowTokens: 131_072,
+      description:
+        'DeepSeek R1 70B 快速版，支持实时联网搜索，在保持模型性能的同时提供更快的响应速度。',
+      displayName: 'DeepSeek R1 70B Fast',
+      enabled: true,
+      id: 'deepseek-r1-70b-fast-online',
+    },
+    {
+      contextWindowTokens: 163_840,
+      description:
+        'DeepSeek R1 满血快速版，支持实时联网搜索，结合了 671B 参数的强大能力和更快的响应速度。',
+      displayName: 'DeepSeek R1 Fast',
+      enabled: false,
+      id: 'deepseek-r1-fast-online',
+    },
+  ],
+  checkModel: 'deepseek-r1-70b-fast-online',
+  description:
+    'Search1API 提供可根据需要自行联网的 DeepSeek 系列模型的访问，包括标准版和快速版本，支持多种参数规模的模型选择。',
+  id: 'search1api',
+  modelList: { showModelFetcher: true },
+  name: 'Search1API',
+  settings: {
+    proxyUrl: {
+      placeholder: 'https://api.search1api.com/v1',
+    },
+    sdkType: 'openai',
+    showModelFetcher: true,
+    smoothing: {
+      speed: 2,
+      text: true,
+    },
+  },
+  url: 'https://www.search1api.com',
+};
+
+export default Search1API;

package/src/database/models/__tests__/knowledgeBase.test.ts

@@ -3,6 +3,7 @@ import { and, eq } from 'drizzle-orm/expressions';
 import { afterEach, beforeEach, describe, expect, it } from 'vitest';
 
 import { LobeChatDatabase } from '@/database/type';
+import { sleep } from '@/utils/sleep';
 
 import {
   NewKnowledgeBase,
@@ -93,6 +94,7 @@ describe('KnowledgeBaseModel', () => {
   describe('query', () => {
     it('should query knowledge bases for the user', async () => {
       await knowledgeBaseModel.create({ name: 'Test Group 1' });
+      await sleep(50);
       await knowledgeBaseModel.create({ name: 'Test Group 2' });
 
       const userGroups = await knowledgeBaseModel.query();

package/src/libs/agent-runtime/ai21/index.test.ts

@@ -1,255 +1,13 @@
 // @vitest-environment node
-import OpenAI from 'openai';
-import { Mock, afterEach, beforeEach, describe, expect, it, vi } from 'vitest';
+import { ModelProvider } from '@/libs/agent-runtime';
+import { testProvider } from '@/libs/agent-runtime/providerTestUtils';
 
-import {
-  ChatStreamCallbacks,
-  LobeOpenAICompatibleRuntime,
-  ModelProvider,
-} from '@/libs/agent-runtime';
-
-import * as debugStreamModule from '../utils/debugStream';
 import { LobeAi21AI } from './index';
 
-const provider = ModelProvider.Ai21;
-const defaultBaseURL = 'https://api.ai21.com/studio/v1';
-
-const bizErrorType = 'ProviderBizError';
-const invalidErrorType = 'InvalidProviderAPIKey';
-
-// Mock the console.error to avoid polluting test output
-vi.spyOn(console, 'error').mockImplementation(() => {});
-
-let instance: LobeOpenAICompatibleRuntime;
-
-beforeEach(() => {
-  instance = new LobeAi21AI({ apiKey: 'test' });
-
-  // 使用 vi.spyOn 来模拟 chat.completions.create 方法
-  vi.spyOn(instance['client'].chat.completions, 'create').mockResolvedValue(
-    new ReadableStream() as any,
-  );
-});
-
-afterEach(() => {
-  vi.clearAllMocks();
-});
-
-describe('LobeAi21AI', () => {
-  describe('init', () => {
-    it('should correctly initialize with an API key', async () => {
-      const instance = new LobeAi21AI({ apiKey: 'test_api_key' });
-      expect(instance).toBeInstanceOf(LobeAi21AI);
-      expect(instance.baseURL).toEqual(defaultBaseURL);
-    });
-  });
-
-  describe('chat', () => {
-    describe('Error', () => {
-      it('should return OpenAIBizError with an openai error response when OpenAI.APIError is thrown', async () => {
-        // Arrange
-        const apiError = new OpenAI.APIError(
-          400,
-          {
-            status: 400,
-            error: {
-              message: 'Bad Request',
-            },
-          },
-          'Error message',
-          {},
-        );
-
-        vi.spyOn(instance['client'].chat.completions, 'create').mockRejectedValue(apiError);
-
-        // Act
-        try {
-          await instance.chat({
-            messages: [{ content: 'Hello', role: 'user' }],
-            model: 'jamba-1.5-mini',
-            temperature: 0,
-          });
-        } catch (e) {
-          expect(e).toEqual({
-            endpoint: defaultBaseURL,
-            error: {
-              error: { message: 'Bad Request' },
-              status: 400,
-            },
-            errorType: bizErrorType,
-            provider,
-          });
-        }
-      });
-
-      it('should throw AgentRuntimeError with NoOpenAIAPIKey if no apiKey is provided', async () => {
-        try {
-          new LobeAi21AI({});
-        } catch (e) {
-          expect(e).toEqual({ errorType: invalidErrorType });
-        }
-      });
-
-      it('should return OpenAIBizError with the cause when OpenAI.APIError is thrown with cause', async () => {
-        // Arrange
-        const errorInfo = {
-          stack: 'abc',
-          cause: {
-            message: 'api is undefined',
-          },
-        };
-        const apiError = new OpenAI.APIError(400, errorInfo, 'module error', {});
-
-        vi.spyOn(instance['client'].chat.completions, 'create').mockRejectedValue(apiError);
-
-        // Act
-        try {
-          await instance.chat({
-            messages: [{ content: 'Hello', role: 'user' }],
-            model: 'jamba-1.5-mini',
-            temperature: 0,
-          });
-        } catch (e) {
-          expect(e).toEqual({
-            endpoint: defaultBaseURL,
-            error: {
-              cause: { message: 'api is undefined' },
-              stack: 'abc',
-            },
-            errorType: bizErrorType,
-            provider,
-          });
-        }
-      });
-
-      it('should return OpenAIBizError with an cause response with desensitize Url', async () => {
-        // Arrange
-        const errorInfo = {
-          stack: 'abc',
-          cause: { message: 'api is undefined' },
-        };
-        const apiError = new OpenAI.APIError(400, errorInfo, 'module error', {});
-
-        instance = new LobeAi21AI({
-          apiKey: 'test',
-
-          baseURL: 'https://api.abc.com/v1',
-        });
-
-        vi.spyOn(instance['client'].chat.completions, 'create').mockRejectedValue(apiError);
-
-        // Act
-        try {
-          await instance.chat({
-            messages: [{ content: 'Hello', role: 'user' }],
-            model: 'jamba-1.5-mini',
-            temperature: 0,
-          });
-        } catch (e) {
-          expect(e).toEqual({
-            endpoint: 'https://api.***.com/v1',
-            error: {
-              cause: { message: 'api is undefined' },
-              stack: 'abc',
-            },
-            errorType: bizErrorType,
-            provider,
-          });
-        }
-      });
-
-      it('should throw an InvalidAi21APIKey error type on 401 status code', async () => {
-        // Mock the API call to simulate a 401 error
-        const error = new Error('Unauthorized') as any;
-        error.status = 401;
-        vi.mocked(instance['client'].chat.completions.create).mockRejectedValue(error);
-
-        try {
-          await instance.chat({
-            messages: [{ content: 'Hello', role: 'user' }],
-            model: 'jamba-1.5-mini',
-            temperature: 0,
-          });
-        } catch (e) {
-          // Expect the chat method to throw an error with InvalidAi21APIKey
-          expect(e).toEqual({
-            endpoint: defaultBaseURL,
-            error: new Error('Unauthorized'),
-            errorType: invalidErrorType,
-            provider,
-          });
-        }
-      });
-
-      it('should return AgentRuntimeError for non-OpenAI errors', async () => {
-        // Arrange
-        const genericError = new Error('Generic Error');
-
-        vi.spyOn(instance['client'].chat.completions, 'create').mockRejectedValue(genericError);
-
-        // Act
-        try {
-          await instance.chat({
-            messages: [{ content: 'Hello', role: 'user' }],
-            model: 'jamba-1.5-mini',
-            temperature: 0,
-          });
-        } catch (e) {
-          expect(e).toEqual({
-            endpoint: defaultBaseURL,
-            errorType: 'AgentRuntimeError',
-            provider,
-            error: {
-              name: genericError.name,
-              cause: genericError.cause,
-              message: genericError.message,
-              stack: genericError.stack,
-            },
-          });
-        }
-      });
-    });
-
-    describe('DEBUG', () => {
-      it('should call debugStream and return StreamingTextResponse when DEBUG_AI21_CHAT_COMPLETION is 1', async () => {
-        // Arrange
-        const mockProdStream = new ReadableStream() as any; // 模拟的 prod 流
-        const mockDebugStream = new ReadableStream({
-          start(controller) {
-            controller.enqueue('Debug stream content');
-            controller.close();
-          },
-        }) as any;
-        mockDebugStream.toReadableStream = () => mockDebugStream; // 添加 toReadableStream 方法
-
-        // 模拟 chat.completions.create 返回值，包括模拟的 tee 方法
-        (instance['client'].chat.completions.create as Mock).mockResolvedValue({
-          tee: () => [mockProdStream, { toReadableStream: () => mockDebugStream }],
-        });
-
-        // 保存原始环境变量值
-        const originalDebugValue = process.env.DEBUG_AI21_CHAT_COMPLETION;
-
-        // 模拟环境变量
-        process.env.DEBUG_AI21_CHAT_COMPLETION = '1';
-        vi.spyOn(debugStreamModule, 'debugStream').mockImplementation(() => Promise.resolve());
-
-        // 执行测试
-        // 运行你的测试函数，确保它会在条件满足时调用 debugStream
-        // 假设的测试函数调用，你可能需要根据实际情况调整
-        await instance.chat({
-          messages: [{ content: 'Hello', role: 'user' }],
-          model: 'jamba-1.5-mini',
-          stream: true,
-          temperature: 0,
-        });
-
-        // 验证 debugStream 被调用
-        expect(debugStreamModule.debugStream).toHaveBeenCalled();
-
-        // 恢复原始环境变量值
-        process.env.DEBUG_AI21_CHAT_COMPLETION = originalDebugValue;
-      });
-    });
-  });
+testProvider({
+  Runtime: LobeAi21AI,
+  provider: ModelProvider.Ai21,
+  defaultBaseURL: 'https://api.ai21.com/studio/v1',
+  chatDebugEnv: 'DEBUG_AI21_CHAT_COMPLETION',
+  chatModel: 'deepseek-r1',
 });