@lobehub/chat 1.40.0 → 1.40.2

package/src/config/modelProviders/github.ts

@@ -5,26 +5,28 @@ import { ModelProviderCard } from '@/types/llm';
 const Github: ModelProviderCard = {
   chatModels: [
     {
-      description: '专注于高级推理和解决复杂问题，包括数学和科学任务。非常适合需要深入上下文理解和代理工作流程的应用程序。',
+      contextWindowTokens: 200_000,
+      description:
+        '专注于高级推理和解决复杂问题，包括数学和科学任务。非常适合需要深入上下文理解和代理工作流程的应用程序。',
       displayName: 'OpenAI o1',
       enabled: true,
       functionCall: false,
       id: 'o1',
       maxOutput: 100_000,
-      tokens: 200_000,
       vision: true,
     },
     {
+      contextWindowTokens: 128_000,
       description: '比 o1-preview 更小、更快，成本低80%，在代码生成和小上下文操作方面表现良好。',
       displayName: 'OpenAI o1-mini',
       enabled: true,
       functionCall: false,
       id: 'o1-mini',
       maxOutput: 65_536,
-      tokens: 128_000,
       vision: true,
     },
     {
+      contextWindowTokens: 128_000,
       description:
         '专注于高级推理和解决复杂问题，包括数学和科学任务。非常适合需要深度上下文理解和自主工作流程的应用。',
       displayName: 'OpenAI o1-preview',
@@ -32,195 +34,194 @@ const Github: ModelProviderCard = {
       functionCall: false,
       id: 'o1-preview',
       maxOutput: 32_768,
-      tokens: 128_000,
       vision: true,
     },
     {
+      contextWindowTokens: 128_000,
       description: '一种经济高效的AI解决方案，适用于多种文本和图像任务。',
       displayName: 'OpenAI GPT-4o mini',
       enabled: true,
       functionCall: true,
       id: 'gpt-4o-mini',
       maxOutput: 4096,
-      tokens: 128_000,
       vision: true,
     },
     {
+      contextWindowTokens: 128_000,
       description: 'OpenAI GPT-4系列中最先进的多模态模型，可以处理文本和图像输入。',
       displayName: 'OpenAI GPT-4o',
       enabled: true,
       functionCall: true,
       id: 'gpt-4o',
       maxOutput: 4096,
-      tokens: 128_000,
       vision: true,
     },
     {
+      contextWindowTokens: 262_144,
       description:
         '一个52B参数（12B活跃）的多语言模型，提供256K长上下文窗口、函数调用、结构化输出和基于事实的生成。',
       displayName: 'AI21 Jamba 1.5 Mini',
       functionCall: true,
       id: 'ai21-jamba-1.5-mini',
       maxOutput: 4096,
-      tokens: 262_144,
     },
     {
+      contextWindowTokens: 262_144,
       description:
         '一个398B参数（94B活跃）的多语言模型，提供256K长上下文窗口、函数调用、结构化输出和基于事实的生成。',
       displayName: 'AI21 Jamba 1.5 Large',
       functionCall: true,
       id: 'ai21-jamba-1.5-large',
       maxOutput: 4096,
-      tokens: 262_144,
     },
     {
+      contextWindowTokens: 131_072,
       description:
         'Command R是一个可扩展的生成模型，旨在针对RAG和工具使用，使企业能够实现生产级AI。',
       displayName: 'Cohere Command R',
       id: 'cohere-command-r',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description: 'Command R+是一个最先进的RAG优化模型，旨在应对企业级工作负载。',
       displayName: 'Cohere Command R+',
       id: 'cohere-command-r-plus',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description:
         'Mistral Nemo是一种尖端的语言模型（LLM），在其尺寸类别中拥有最先进的推理、世界知识和编码能力。',
       displayName: 'Mistral Nemo',
       id: 'mistral-nemo',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description: 'Mistral Small可用于任何需要高效率和低延迟的基于语言的任务。',
       displayName: 'Mistral Small',
       id: 'mistral-small',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description:
         'Mistral的旗舰模型，适合需要大规模推理能力或高度专业化的复杂任务（合成文本生成、代码生成、RAG或代理）。',
       displayName: 'Mistral Large',
       id: 'mistral-large',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description: '在高分辨率图像上表现出色的图像推理能力，适用于视觉理解应用。',
       displayName: 'Llama 3.2 11B Vision',
       id: 'llama-3.2-11b-vision-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
       vision: true,
     },
     {
+      contextWindowTokens: 131_072,
       description: '适用于视觉理解代理应用的高级图像推理能力。',
       displayName: 'Llama 3.2 90B Vision',
       id: 'llama-3.2-90b-vision-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
       vision: true,
     },
     {
+      contextWindowTokens: 131_072,
       description:
         'Llama 3.1指令调优的文本模型，针对多语言对话用例进行了优化，在许多可用的开源和封闭聊天模型中，在常见行业基准上表现优异。',
       displayName: 'Meta Llama 3.1 8B',
       id: 'meta-llama-3.1-8b-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description:
         'Llama 3.1指令调优的文本模型，针对多语言对话用例进行了优化，在许多可用的开源和封闭聊天模型中，在常见行业基准上表现优异。',
       displayName: 'Meta Llama 3.1 70B',
       id: 'meta-llama-3.1-70b-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description:
         'Llama 3.1指令调优的文本模型，针对多语言对话用例进行了优化，在许多可用的开源和封闭聊天模型中，在常见行业基准上表现优异。',
       displayName: 'Meta Llama 3.1 405B',
       id: 'meta-llama-3.1-405b-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 8192,
       description: '一个多功能的80亿参数模型，针对对话和文本生成任务进行了优化。',
       displayName: 'Meta Llama 3 8B',
       id: 'meta-llama-3-8b-instruct',
       maxOutput: 4096,
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 8192,
       description: '一个强大的700亿参数模型，在推理、编码和广泛的语言应用方面表现出色。',
       displayName: 'Meta Llama 3 70B',
       id: 'meta-llama-3-70b-instruct',
       maxOutput: 4096,
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 131_072,
       description: 'Phi-3-mini模型的更新版。',
       displayName: 'Phi-3.5-mini 128K',
       id: 'Phi-3.5-mini-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description: 'Phi-3-vision模型的更新版。',
       displayName: 'Phi-3.5-vision 128K',
       id: 'Phi-3.5-vision-instrust',
       maxOutput: 4096,
-      tokens: 131_072,
       vision: true,
     },
     {
+      contextWindowTokens: 4096,
       description: 'Phi-3家族中最小的成员，针对质量和低延迟进行了优化。',
       displayName: 'Phi-3-mini 4K',
       id: 'Phi-3-mini-4k-instruct',
       maxOutput: 4096,
-      tokens: 4096,
     },
     {
+      contextWindowTokens: 131_072,
       description: '相同的Phi-3-mini模型，但具有更大的上下文大小，适用于RAG或少量提示。',
       displayName: 'Phi-3-mini 128K',
       id: 'Phi-3-mini-128k-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 8192,
       description: '一个70亿参数模型，质量优于Phi-3-mini，重点关注高质量、推理密集型数据。',
       displayName: 'Phi-3-small 8K',
       id: 'Phi-3-small-8k-instruct',
       maxOutput: 4096,
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 131_072,
       description: '相同的Phi-3-small模型，但具有更大的上下文大小，适用于RAG或少量提示。',
       displayName: 'Phi-3-small 128K',
       id: 'Phi-3-small-128k-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 4096,
       description: '一个140亿参数模型，质量优于Phi-3-mini，重点关注高质量、推理密集型数据。',
       displayName: 'Phi-3-medium 4K',
       id: 'Phi-3-medium-4k-instruct',
       maxOutput: 4096,
-      tokens: 4096,
     },
     {
+      contextWindowTokens: 131_072,
       description: '相同的Phi-3-medium模型，但具有更大的上下文大小，适用于RAG或少量提示。',
       displayName: 'Phi-3-medium 128K',
       id: 'Phi-3-medium-128k-instruct',
       maxOutput: 4096,
-      tokens: 131_072,
     },
   ],
   checkModel: 'Phi-3-mini-4k-instruct',

package/src/config/modelProviders/google.ts

@@ -4,6 +4,7 @@ import { ModelProviderCard } from '@/types/llm';
 const Google: ModelProviderCard = {
   chatModels: [
     {
+      contextWindowTokens: 32_767 + 8192,
       description:
         'Gemini 2.0 Flash Exp 是 Google 最新的实验性多模态AI模型，拥有下一代特性，卓越的速度，原生工具调用以及多模态生成。',
       displayName: 'Gemini 2.0 Flash Thinking Experimental 1219',
@@ -17,10 +18,10 @@ const Google: ModelProviderCard = {
         output: 0,
       },
       releasedAt: '2024-12-19',
-      tokens: 32_767 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 1_048_576 + 8192,
       description:
         'Gemini 2.0 Flash Exp 是 Google 最新的实验性多模态AI模型，拥有下一代特性，卓越的速度，原生工具调用以及多模态生成。',
       displayName: 'Gemini 2.0 Flash Experimental',
@@ -34,10 +35,10 @@ const Google: ModelProviderCard = {
         output: 0,
       },
       releasedAt: '2024-12-11',
-      tokens: 1_048_576 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 2_097_152 + 8192,
       description:
         'Gemini Exp 1206 是 Google 最新的实验性多模态AI模型，与历史版本相比有一定的质量提升。',
       displayName: 'Gemini Experimental 1206',
@@ -51,10 +52,10 @@ const Google: ModelProviderCard = {
         output: 0,
       },
       releasedAt: '2024-12-06',
-      tokens: 2_097_152 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 32_767 + 8192,
       description:
         'Gemini Exp 1121 是 Google 的实验性多模态AI模型，拥有改进的编码、推理和视觉能力。',
       displayName: 'Gemini Experimental 1121',
@@ -67,12 +68,11 @@ const Google: ModelProviderCard = {
         output: 0,
       },
       releasedAt: '2024-11-21',
-      tokens: 32_767 + 8192,
       vision: true,
     },
     {
-      description:
-        'Gemini Exp 1114 是 Google 的实验性多模态AI模型，对输出质量有一定改进。',
+      contextWindowTokens: 32_767 + 8192,
+      description: 'Gemini Exp 1114 是 Google 的实验性多模态AI模型，对输出质量有一定改进。',
       displayName: 'Gemini Experimental 1114',
       functionCall: true,
       id: 'gemini-exp-1114',
@@ -83,10 +83,10 @@ const Google: ModelProviderCard = {
         output: 0,
       },
       releasedAt: '2024-11-14',
-      tokens: 32_767 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 32_767 + 8192,
       description:
         'LearnLM 是一个实验性的、特定于任务的语言模型，经过训练以符合学习科学原则，可在教学和学习场景中遵循系统指令，充当专家导师等。',
       displayName: 'LearnLM 1.5 Pro Experimental',
@@ -99,10 +99,10 @@ const Google: ModelProviderCard = {
         output: 0,
       },
       releasedAt: '2024-11-19',
-      tokens: 32_767 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 1_000_000 + 8192,
       description:
         'Gemini 1.5 Flash 是 Google 最新的多模态AI模型，具备快速处理能力，支持文本、图像和视频输入，适用于多种任务的高效扩展。',
       displayName: 'Gemini 1.5 Flash',
@@ -115,10 +115,10 @@ const Google: ModelProviderCard = {
         input: 0.075,
         output: 0.3,
       },
-      tokens: 1_000_000 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 1_000_000 + 8192,
       description: 'Gemini 1.5 Flash 002 是一款高效的多模态模型，支持广泛应用的扩展。',
       displayName: 'Gemini 1.5 Flash 002',
       enabled: true,
@@ -131,10 +131,10 @@ const Google: ModelProviderCard = {
         output: 0.3,
       },
       releasedAt: '2024-09-25',
-      tokens: 1_000_000 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 1_000_000 + 8192,
       description: 'Gemini 1.5 Flash 001 是一款高效的多模态模型，支持广泛应用的扩展。',
       displayName: 'Gemini 1.5 Flash 001',
       functionCall: true,
@@ -145,10 +145,10 @@ const Google: ModelProviderCard = {
         input: 0.075,
         output: 0.3,
       },
-      tokens: 1_000_000 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 2_000_000 + 8192,
       description:
         'Gemini 1.5 Pro 支持高达200万个tokens，是中型多模态模型的理想选择，适用于复杂任务的多方面支持。',
       displayName: 'Gemini 1.5 Pro',
@@ -162,10 +162,10 @@ const Google: ModelProviderCard = {
         output: 10.5,
       },
       releasedAt: '2024-02-15',
-      tokens: 2_000_000 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 2_000_000 + 8192,
       description:
         'Gemini 1.5 Pro 002 是最新的生产就绪模型，提供更高质量的输出，特别在数学、长上下文和视觉任务方面有显著提升。',
       displayName: 'Gemini 1.5 Pro 002',
@@ -179,10 +179,10 @@ const Google: ModelProviderCard = {
         output: 2.5,
       },
       releasedAt: '2024-09-24',
-      tokens: 2_000_000 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 2_000_000 + 8192,
       description: 'Gemini 1.5 Pro 001 是可扩展的多模态AI解决方案，支持广泛的复杂任务。',
       displayName: 'Gemini 1.5 Pro 001',
       functionCall: true,
@@ -194,10 +194,10 @@ const Google: ModelProviderCard = {
         output: 10.5,
       },
       releasedAt: '2024-02-15',
-      tokens: 2_000_000 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 1_000_000 + 8192,
       description: 'Gemini 1.5 Flash 8B 是一款高效的多模态模型，支持广泛应用的扩展。',
       displayName: 'Gemini 1.5 Flash 8B',
       enabled: true,
@@ -210,10 +210,10 @@ const Google: ModelProviderCard = {
         output: 0.3,
       },
       releasedAt: '2024-10-03',
-      tokens: 1_000_000 + 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 1_000_000 + 8192,
       description:
         'Gemini 1.5 Flash 8B 0924 是最新的实验性模型，在文本和多模态用例中都有显著的性能提升。',
       displayName: 'Gemini 1.5 Flash 8B 0924',
@@ -226,11 +226,11 @@ const Google: ModelProviderCard = {
         output: 0.3,
       },
       releasedAt: '2024-09-24',
-      tokens: 1_000_000 + 8192,
       vision: true,
     },
     // Gemini 1.0 Pro will be removed on 2025.02.15
     {
+      contextWindowTokens: 30_720 + 2048,
       description: 'Gemini 1.0 Pro 是Google的高性能AI模型，专为广泛任务扩展而设计。',
       displayName: 'Gemini 1.0 Pro',
       id: 'gemini-1.0-pro-latest',
@@ -240,9 +240,9 @@ const Google: ModelProviderCard = {
         output: 1.5,
       },
       releasedAt: '2023-12-06',
-      tokens: 30_720 + 2048,
     },
     {
+      contextWindowTokens: 30_720 + 2048,
       description:
         'Gemini 1.0 Pro 001 (Tuning) 提供稳定并可调优的性能，是复杂任务解决方案的理想选择。',
       displayName: 'Gemini 1.0 Pro 001 (Tuning)',
@@ -254,9 +254,9 @@ const Google: ModelProviderCard = {
         output: 1.5,
       },
       releasedAt: '2023-12-06',
-      tokens: 30_720 + 2048,
     },
     {
+      contextWindowTokens: 30_720 + 2048,
       description: 'Gemini 1.0 Pro 002 (Tuning) 提供出色的多模态支持，专注于复杂任务的有效解决。',
       displayName: 'Gemini 1.0 Pro 002 (Tuning)',
       id: 'gemini-1.0-pro-002',
@@ -266,7 +266,6 @@ const Google: ModelProviderCard = {
         output: 1.5,
       },
       releasedAt: '2023-12-06',
-      tokens: 30_720 + 2048,
     },
   ],
   checkModel: 'gemini-1.5-flash-latest',

package/src/config/modelProviders/groq.ts

@@ -5,6 +5,7 @@ const Groq: ModelProviderCard = {
   chatModels: [
     // TODO: During preview launch, Groq is limiting 3.2 models to max_tokens of 8k.
     {
+      contextWindowTokens: 131_072,
       description:
         'Meta Llama 3.3 多语言大语言模型 ( LLM ) 是 70B（文本输入/文本输出）中的预训练和指令调整生成模型。 Llama 3.3 指令调整的纯文本模型针对多语言对话用例进行了优化，并且在常见行业基准上优于许多可用的开源和封闭式聊天模型。',
       displayName: 'Llama 3.3 70B',
@@ -16,9 +17,9 @@ const Groq: ModelProviderCard = {
         input: 0.05,
         output: 0.08,
       },
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 8192,
       description:
         'Llama 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色，跨越了语言生成和视觉推理之间的鸿沟。',
       displayName: 'Llama 3.2 11B Vision (Preview)',
@@ -29,10 +30,10 @@ const Groq: ModelProviderCard = {
         input: 0.05,
         output: 0.08,
       },
-      tokens: 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 8192,
       description:
         'Llama 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色，跨越了语言生成和视觉推理之间的鸿沟。',
       displayName: 'Llama 3.2 90B Vision (Preview)',
@@ -43,10 +44,10 @@ const Groq: ModelProviderCard = {
         input: 0.59,
         output: 0.79,
       },
-      tokens: 8192,
       vision: true,
     },
     {
+      contextWindowTokens: 131_072,
       description:
         'Llama 3.1 8B 是一款高效能模型，提供了快速的文本生成能力，非常适合需要大规模效率和成本效益的应用场景。',
       displayName: 'Llama 3.1 8B',
@@ -58,9 +59,9 @@ const Groq: ModelProviderCard = {
         input: 0.05,
         output: 0.08,
       },
-      tokens: 131_072,
     },
     {
+      contextWindowTokens: 131_072,
       description:
         'Llama 3.1 70B 提供更强大的AI推理能力，适合复杂应用，支持超多的计算处理并保证高效和准确率。',
       displayName: 'Llama 3.1 70B',
@@ -72,7 +73,6 @@ const Groq: ModelProviderCard = {
         input: 0.59,
         output: 0.79,
       },
-      tokens: 131_072,
     },
     /*
     // Offline due to overwhelming demand! Stay tuned for updates.
@@ -84,6 +84,7 @@ const Groq: ModelProviderCard = {
     },
 */
     {
+      contextWindowTokens: 8192,
       description: 'Llama 3 Groq 8B Tool Use 是针对高效工具使用优化的模型，支持快速并行计算。',
       displayName: 'Llama 3 Groq 8B Tool Use (Preview)',
       functionCall: true,
@@ -92,9 +93,9 @@ const Groq: ModelProviderCard = {
         input: 0.19,
         output: 0.19,
       },
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 8192,
       description: 'Llama 3 Groq 70B Tool Use 提供强大的工具调用能力，支持复杂任务的高效处理。',
       displayName: 'Llama 3 Groq 70B Tool Use (Preview)',
       functionCall: true,
@@ -103,9 +104,9 @@ const Groq: ModelProviderCard = {
         input: 0.89,
         output: 0.89,
       },
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 8192,
       description: 'Meta Llama 3 8B 带来优质的推理效能，适合多场景应用需求。',
       displayName: 'Meta Llama 3 8B',
       functionCall: true,
@@ -114,9 +115,9 @@ const Groq: ModelProviderCard = {
         input: 0.05,
         output: 0.08,
       },
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 8192,
       description: 'Meta Llama 3 70B 提供无与伦比的复杂性处理能力，为高要求项目量身定制。',
       displayName: 'Meta Llama 3 70B',
       functionCall: true,
@@ -125,9 +126,9 @@ const Groq: ModelProviderCard = {
         input: 0.59,
         output: 0.79,
       },
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 8192,
       description: 'Gemma 2 9B 是一款优化用于特定任务和工具整合的模型。',
       displayName: 'Gemma 2 9B',
       enabled: true,
@@ -137,9 +138,9 @@ const Groq: ModelProviderCard = {
         input: 0.2,
         output: 0.2,
       },
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 8192,
       description: 'Gemma 7B 适合中小规模任务处理，兼具成本效益。',
       displayName: 'Gemma 7B',
       functionCall: true,
@@ -148,9 +149,9 @@ const Groq: ModelProviderCard = {
         input: 0.07,
         output: 0.07,
       },
-      tokens: 8192,
     },
     {
+      contextWindowTokens: 32_768,
       description: 'Mixtral 8x7B 提供高容错的并行计算能力，适合复杂任务。',
       displayName: 'Mixtral 8x7B',
       functionCall: true,
@@ -159,13 +160,12 @@ const Groq: ModelProviderCard = {
         input: 0.24,
         output: 0.24,
       },
-      tokens: 32_768,
     },
     {
+      contextWindowTokens: 4096,
       description: 'LLaVA 1.5 7B 提供视觉处理能力融合，通过视觉信息输入生成复杂输出。',
       displayName: 'LLaVA 1.5 7B',
       id: 'llava-v1.5-7b-4096-preview',
-      tokens: 4096,
       vision: true,
     },
   ],