@lobehub/chat 1.40.0 → 1.40.2

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (110) hide show
  1. package/CHANGELOG.md +50 -0
  2. package/changelog/v1.json +18 -0
  3. package/package.json +1 -1
  4. package/src/app/(main)/chat/(workspace)/_layout/Desktop/HotKeys.tsx +7 -0
  5. package/src/app/(main)/discover/(detail)/model/[...slugs]/features/Actions.tsx +1 -1
  6. package/src/app/(main)/discover/(detail)/model/[...slugs]/features/Header.tsx +1 -1
  7. package/src/app/(main)/discover/(detail)/model/[...slugs]/features/InfoSidebar/SuggestionItem.tsx +2 -2
  8. package/src/app/(main)/discover/(detail)/model/[...slugs]/features/ProviderList/ProviderItem.tsx +1 -1
  9. package/src/app/(main)/discover/(detail)/provider/[slug]/features/ModelList/ModelItem.tsx +3 -3
  10. package/src/app/(main)/discover/(list)/models/features/Card.tsx +6 -2
  11. package/src/app/(main)/settings/llm/ProviderList/Cloudflare/index.tsx +1 -5
  12. package/src/app/(main)/settings/llm/components/ProviderModelList/ModelFetcher.tsx +2 -2
  13. package/src/components/ModelSelect/index.tsx +7 -4
  14. package/src/config/__tests__/app.test.ts +6 -2
  15. package/src/config/app.ts +1 -2
  16. package/src/config/modelProviders/ai21.ts +2 -2
  17. package/src/config/modelProviders/ai360.ts +4 -4
  18. package/src/config/modelProviders/anthropic.ts +8 -8
  19. package/src/config/modelProviders/azure.ts +5 -5
  20. package/src/config/modelProviders/baichuan.ts +6 -6
  21. package/src/config/modelProviders/bedrock.ts +14 -14
  22. package/src/config/modelProviders/cloudflare.ts +12 -11
  23. package/src/config/modelProviders/deepseek.ts +1 -1
  24. package/src/config/modelProviders/fireworksai.ts +29 -27
  25. package/src/config/modelProviders/giteeai.ts +7 -7
  26. package/src/config/modelProviders/github.ts +29 -28
  27. package/src/config/modelProviders/google.ts +18 -19
  28. package/src/config/modelProviders/groq.ts +13 -13
  29. package/src/config/modelProviders/higress.ts +195 -194
  30. package/src/config/modelProviders/huggingface.ts +7 -7
  31. package/src/config/modelProviders/hunyuan.ts +25 -17
  32. package/src/config/modelProviders/internlm.ts +6 -4
  33. package/src/config/modelProviders/minimax.ts +5 -5
  34. package/src/config/modelProviders/mistral.ts +14 -16
  35. package/src/config/modelProviders/moonshot.ts +3 -3
  36. package/src/config/modelProviders/novita.ts +15 -15
  37. package/src/config/modelProviders/ollama.ts +46 -46
  38. package/src/config/modelProviders/openai.ts +23 -22
  39. package/src/config/modelProviders/openrouter.ts +20 -18
  40. package/src/config/modelProviders/perplexity.ts +7 -7
  41. package/src/config/modelProviders/qwen.ts +23 -25
  42. package/src/config/modelProviders/sensenova.ts +8 -8
  43. package/src/config/modelProviders/siliconcloud.ts +138 -92
  44. package/src/config/modelProviders/spark.ts +6 -6
  45. package/src/config/modelProviders/stepfun.ts +9 -9
  46. package/src/config/modelProviders/taichu.ts +2 -3
  47. package/src/config/modelProviders/togetherai.ts +57 -48
  48. package/src/config/modelProviders/upstage.ts +3 -3
  49. package/src/config/modelProviders/wenxin.ts +12 -12
  50. package/src/config/modelProviders/xai.ts +4 -4
  51. package/src/config/modelProviders/zeroone.ts +11 -11
  52. package/src/config/modelProviders/zhipu.ts +17 -16
  53. package/src/const/hotkeys.ts +1 -0
  54. package/src/database/_deprecated/core/model.ts +1 -1
  55. package/src/database/_deprecated/models/sessionGroup.ts +4 -1
  56. package/src/database/client/migrations.json +2 -5
  57. package/src/database/migrations/meta/0012_snapshot.json +176 -518
  58. package/src/database/schemas/agent.ts +1 -1
  59. package/src/database/schemas/message.ts +1 -0
  60. package/src/database/schemas/session.ts +1 -0
  61. package/src/database/server/models/topic.ts +19 -17
  62. package/src/features/DebugUI/Content.tsx +0 -1
  63. package/src/features/PluginStore/index.tsx +2 -2
  64. package/src/layout/GlobalProvider/AntdV5MonkeyPatch.tsx +4 -4
  65. package/src/libs/agent-runtime/google/index.ts +4 -3
  66. package/src/libs/agent-runtime/higress/index.ts +1 -1
  67. package/src/libs/agent-runtime/huggingface/index.ts +2 -4
  68. package/src/libs/agent-runtime/minimax/index.ts +5 -10
  69. package/src/libs/agent-runtime/mistral/index.ts +3 -6
  70. package/src/libs/agent-runtime/moonshot/index.ts +3 -6
  71. package/src/libs/agent-runtime/novita/__snapshots__/index.test.ts.snap +18 -18
  72. package/src/libs/agent-runtime/novita/index.ts +1 -1
  73. package/src/libs/agent-runtime/openai/__snapshots__/index.test.ts.snap +10 -10
  74. package/src/libs/agent-runtime/openai/index.ts +2 -0
  75. package/src/libs/agent-runtime/openrouter/__snapshots__/index.test.ts.snap +168 -168
  76. package/src/libs/agent-runtime/openrouter/index.ts +1 -1
  77. package/src/libs/agent-runtime/perplexity/index.ts +4 -4
  78. package/src/libs/agent-runtime/sensenova/index.ts +9 -3
  79. package/src/libs/agent-runtime/taichu/index.ts +4 -10
  80. package/src/libs/agent-runtime/utils/streams/minimax.test.ts +5 -2
  81. package/src/libs/agent-runtime/utils/streams/minimax.ts +4 -1
  82. package/src/libs/agent-runtime/zhipu/index.ts +12 -13
  83. package/src/libs/langchain/loaders/index.ts +2 -2
  84. package/src/libs/langchain/types.ts +9 -1
  85. package/src/locales/default/modelProvider.ts +1 -1
  86. package/src/migrations/FromV3ToV4/fixtures/ollama-output-v4.json +1 -1
  87. package/src/migrations/FromV6ToV7/types/v7.ts +0 -2
  88. package/src/server/globalConfig/genServerLLMConfig.test.ts +4 -4
  89. package/src/server/globalConfig/genServerLLMConfig.ts +29 -24
  90. package/src/server/globalConfig/index.ts +1 -2
  91. package/src/server/routers/edge/config/__snapshots__/index.test.ts.snap +9 -9
  92. package/src/server/routers/lambda/_template.ts +1 -1
  93. package/src/server/routers/lambda/knowledgeBase.ts +1 -1
  94. package/src/server/routers/lambda/session.ts +1 -1
  95. package/src/server/routers/lambda/sessionGroup.ts +1 -1
  96. package/src/server/routers/lambda/thread.ts +1 -1
  97. package/src/server/services/nextAuthUser/index.ts +1 -1
  98. package/src/store/user/slices/modelList/__snapshots__/action.test.ts.snap +1 -1
  99. package/src/store/user/slices/modelList/action.test.ts +4 -4
  100. package/src/store/user/slices/modelList/reducers/customModelCard.test.ts +6 -6
  101. package/src/store/user/slices/modelList/selectors/modelProvider.ts +3 -2
  102. package/src/tools/dalle/Render/Item/index.tsx +1 -1
  103. package/src/types/files/index.ts +0 -1
  104. package/src/types/llm.ts +4 -5
  105. package/src/utils/__snapshots__/parseModels.test.ts.snap +2 -2
  106. package/src/utils/genUserLLMConfig.test.ts +4 -4
  107. package/src/utils/genUserLLMConfig.ts +6 -4
  108. package/src/utils/parseModels.test.ts +16 -16
  109. package/src/utils/parseModels.ts +1 -1
  110. package/src/utils/server/jwt.ts +2 -6
@@ -27,6 +27,7 @@ const Bedrock: ModelProviderCard = {
27
27
  },
28
28
  */
29
29
  {
30
+ contextWindowTokens: 200_000,
30
31
  description:
31
32
  'Claude 3.5 Sonnet 提升了行业标准,性能超过竞争对手模型和 Claude 3 Opus,在广泛的评估中表现出色,同时具有我们中等层级模型的速度和成本。',
32
33
  displayName: 'Claude 3.5 Sonnet',
@@ -37,10 +38,10 @@ const Bedrock: ModelProviderCard = {
37
38
  input: 3,
38
39
  output: 15,
39
40
  },
40
- tokens: 200_000,
41
41
  vision: true,
42
42
  },
43
43
  {
44
+ contextWindowTokens: 200_000,
44
45
  description:
45
46
  'Claude 3.5 Sonnet 提升了行业标准,性能超过竞争对手模型和 Claude 3 Opus,在广泛的评估中表现出色,同时具有我们中等层级模型的速度和成本。',
46
47
  displayName: 'Claude 3.5 Sonnet v2 (Inference profile)',
@@ -51,10 +52,10 @@ const Bedrock: ModelProviderCard = {
51
52
  input: 3,
52
53
  output: 15,
53
54
  },
54
- tokens: 200_000,
55
55
  vision: true,
56
56
  },
57
57
  {
58
+ contextWindowTokens: 200_000,
58
59
  description:
59
60
  'Claude 3.5 Sonnet 提升了行业标准,性能超过竞争对手模型和 Claude 3 Opus,在广泛的评估中表现出色,同时具有我们中等层级模型的速度和成本。',
60
61
  displayName: 'Claude 3.5 Sonnet 0620',
@@ -65,10 +66,10 @@ const Bedrock: ModelProviderCard = {
65
66
  input: 3,
66
67
  output: 15,
67
68
  },
68
- tokens: 200_000,
69
69
  vision: true,
70
70
  },
71
71
  {
72
+ contextWindowTokens: 200_000,
72
73
  description:
73
74
  'Claude 3 Haiku 是 Anthropic 最快、最紧凑的模型,提供近乎即时的响应速度。它可以快速回答简单的查询和请求。客户将能够构建模仿人类互动的无缝 AI 体验。Claude 3 Haiku 可以处理图像并返回文本输出,具有 200K 的上下文窗口。',
74
75
  displayName: 'Claude 3 Haiku',
@@ -79,10 +80,10 @@ const Bedrock: ModelProviderCard = {
79
80
  input: 0.25,
80
81
  output: 1.25,
81
82
  },
82
- tokens: 200_000,
83
83
  vision: true,
84
84
  },
85
85
  {
86
+ contextWindowTokens: 200_000,
86
87
  description:
87
88
  'Anthropic 的 Claude 3 Sonnet 在智能和速度之间达到了理想的平衡——特别适合企业工作负载。它以低于竞争对手的价格提供最大的效用,并被设计成为可靠的、高耐用的主力机,适用于规模化的 AI 部署。Claude 3 Sonnet 可以处理图像并返回文本输出,具有 200K 的上下文窗口。',
88
89
  displayName: 'Claude 3 Sonnet',
@@ -93,10 +94,10 @@ const Bedrock: ModelProviderCard = {
93
94
  input: 3,
94
95
  output: 15,
95
96
  },
96
- tokens: 200_000,
97
97
  vision: true,
98
98
  },
99
99
  {
100
+ contextWindowTokens: 200_000,
100
101
  description:
101
102
  'Claude 3 Opus 是 Anthropic 最强大的 AI 模型,具有在高度复杂任务上的最先进性能。它可以处理开放式提示和未见过的场景,具有出色的流畅性和类人的理解能力。Claude 3 Opus 展示了生成 AI 可能性的前沿。Claude 3 Opus 可以处理图像并返回文本输出,具有 200K 的上下文窗口。',
102
103
  displayName: 'Claude 3 Opus',
@@ -107,10 +108,10 @@ const Bedrock: ModelProviderCard = {
107
108
  input: 15,
108
109
  output: 75,
109
110
  },
110
- tokens: 200_000,
111
111
  vision: true,
112
112
  },
113
113
  {
114
+ contextWindowTokens: 200_000,
114
115
  description:
115
116
  'Claude 2 的更新版,具有双倍的上下文窗口,以及在长文档和 RAG 上下文中的可靠性、幻觉率和基于证据的准确性的改进。',
116
117
  displayName: 'Claude 2.1',
@@ -119,9 +120,9 @@ const Bedrock: ModelProviderCard = {
119
120
  input: 8,
120
121
  output: 24,
121
122
  },
122
- tokens: 200_000,
123
123
  },
124
124
  {
125
+ contextWindowTokens: 100_000,
125
126
  description:
126
127
  'Anthropic 在从复杂对话和创意内容生成到详细指令跟随的广泛任务中都表现出高度能力的模型。',
127
128
  displayName: 'Claude 2.0',
@@ -130,9 +131,9 @@ const Bedrock: ModelProviderCard = {
130
131
  input: 8,
131
132
  output: 24,
132
133
  },
133
- tokens: 100_000,
134
134
  },
135
135
  {
136
+ contextWindowTokens: 100_000,
136
137
  description:
137
138
  '一款快速、经济且仍然非常有能力的模型,可以处理包括日常对话、文本分析、总结和文档问答在内的一系列任务。',
138
139
  displayName: 'Claude Instant',
@@ -141,9 +142,9 @@ const Bedrock: ModelProviderCard = {
141
142
  input: 0.8,
142
143
  output: 2.4,
143
144
  },
144
- tokens: 100_000,
145
145
  },
146
146
  {
147
+ contextWindowTokens: 128_000,
147
148
  description:
148
149
  'Meta Llama 3.1 8B Instruct 的更新版,包括扩展的 128K 上下文长度、多语言性和改进的推理能力。Llama 3.1 提供的多语言大型语言模型 (LLMs) 是一组预训练的、指令调整的生成模型,包括 8B、70B 和 405B 大小 (文本输入/输出)。Llama 3.1 指令调整的文本模型 (8B、70B、405B) 专为多语言对话用例进行了优化,并在常见的行业基准测试中超过了许多可用的开源聊天模型。Llama 3.1 旨在用于多种语言的商业和研究用途。指令调整的文本模型适用于类似助手的聊天,而预训练模型可以适应各种自然语言生成任务。Llama 3.1 模型还支持利用其模型的输出来改进其他模型,包括合成数据生成和精炼。Llama 3.1 是使用优化的变压器架构的自回归语言模型。调整版本使用监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF) 来符合人类对帮助性和安全性的偏好。',
149
150
  displayName: 'Llama 3.1 8B Instruct',
@@ -154,9 +155,9 @@ const Bedrock: ModelProviderCard = {
154
155
  input: 0.22,
155
156
  output: 0.22,
156
157
  },
157
- tokens: 128_000,
158
158
  },
159
159
  {
160
+ contextWindowTokens: 128_000,
160
161
  description:
161
162
  'Meta Llama 3.1 70B Instruct 的更新版,包括扩展的 128K 上下文长度、多语言性和改进的推理能力。Llama 3.1 提供的多语言大型语言模型 (LLMs) 是一组预训练的、指令调整的生成模型,包括 8B、70B 和 405B 大小 (文本输入/输出)。Llama 3.1 指令调整的文本模型 (8B、70B、405B) 专为多语言对话用例进行了优化,并在常见的行业基准测试中超过了许多可用的开源聊天模型。Llama 3.1 旨在用于多种语言的商业和研究用途。指令调整的文本模型适用于类似助手的聊天,而预训练模型可以适应各种自然语言生成任务。Llama 3.1 模型还支持利用其模型的输出来改进其他模型,包括合成数据生成和精炼。Llama 3.1 是使用优化的变压器架构的自回归语言模型。调整版本使用监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF) 来符合人类对帮助性和安全性的偏好。',
162
163
  displayName: 'Llama 3.1 70B Instruct',
@@ -167,9 +168,9 @@ const Bedrock: ModelProviderCard = {
167
168
  input: 0.99,
168
169
  output: 0.99,
169
170
  },
170
- tokens: 128_000,
171
171
  },
172
172
  {
173
+ contextWindowTokens: 128_000,
173
174
  description:
174
175
  'Meta Llama 3.1 405B Instruct 是 Llama 3.1 Instruct 模型中最大、最强大的模型,是一款高度先进的对话推理和合成数据生成模型,也可以用作在特定领域进行专业持续预训练或微调的基础。Llama 3.1 提供的多语言大型语言模型 (LLMs) 是一组预训练的、指令调整的生成模型,包括 8B、70B 和 405B 大小 (文本输入/输出)。Llama 3.1 指令调整的文本模型 (8B、70B、405B) 专为多语言对话用例进行了优化,并在常见的行业基准测试中超过了许多可用的开源聊天模型。Llama 3.1 旨在用于多种语言的商业和研究用途。指令调整的文本模型适用于类似助手的聊天,而预训练模型可以适应各种自然语言生成任务。Llama 3.1 模型还支持利用其模型的输出来改进其他模型,包括合成数据生成和精炼。Llama 3.1 是使用优化的变压器架构的自回归语言模型。调整版本使用监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF) 来符合人类对帮助性和安全性的偏好。',
175
176
  displayName: 'Llama 3.1 405B Instruct',
@@ -180,9 +181,9 @@ const Bedrock: ModelProviderCard = {
180
181
  input: 5.32,
181
182
  output: 16,
182
183
  },
183
- tokens: 128_000,
184
184
  },
185
185
  {
186
+ contextWindowTokens: 8000,
186
187
  description:
187
188
  'Meta Llama 3 是一款面向开发者、研究人员和企业的开放大型语言模型 (LLM),旨在帮助他们构建、实验并负责任地扩展他们的生成 AI 想法。作为全球社区创新的基础系统的一部分,它非常适合计算能力和资源有限、边缘设备和更快的训练时间。',
188
189
  displayName: 'Llama 3 8B Instruct',
@@ -191,9 +192,9 @@ const Bedrock: ModelProviderCard = {
191
192
  input: 0.3,
192
193
  output: 0.6,
193
194
  },
194
- tokens: 8000,
195
195
  },
196
196
  {
197
+ contextWindowTokens: 8000,
197
198
  description:
198
199
  'Meta Llama 3 是一款面向开发者、研究人员和企业的开放大型语言模型 (LLM),旨在帮助他们构建、实验并负责任地扩展他们的生成 AI 想法。作为全球社区创新的基础系统的一部分,它非常适合内容创建、对话 AI、语言理解、研发和企业应用。',
199
200
  displayName: 'Llama 3 70B Instruct',
@@ -202,7 +203,6 @@ const Bedrock: ModelProviderCard = {
202
203
  input: 2.65,
203
204
  output: 3.5,
204
205
  },
205
- tokens: 8000,
206
206
  },
207
207
  /*
208
208
  // TODO: Not support for now
@@ -5,68 +5,69 @@ import { ModelProviderCard } from '@/types/llm';
5
5
  const Cloudflare: ModelProviderCard = {
6
6
  chatModels: [
7
7
  {
8
+ contextWindowTokens: 16_384,
8
9
  displayName: 'deepseek-coder-6.7b-instruct-awq',
9
10
  enabled: true,
10
11
  id: '@hf/thebloke/deepseek-coder-6.7b-instruct-awq',
11
- tokens: 16_384,
12
12
  },
13
13
  {
14
+ contextWindowTokens: 2048,
14
15
  displayName: 'gemma-7b-it',
15
16
  enabled: true,
16
17
  id: '@hf/google/gemma-7b-it',
17
- tokens: 2048,
18
18
  },
19
19
  {
20
+ contextWindowTokens: 4096,
20
21
  displayName: 'hermes-2-pro-mistral-7b',
22
+
21
23
  enabled: true,
22
24
  // functionCall: true,
23
25
  id: '@hf/nousresearch/hermes-2-pro-mistral-7b',
24
- tokens: 4096,
25
26
  },
26
27
  {
28
+ contextWindowTokens: 8192,
27
29
  displayName: 'llama-3-8b-instruct-awq',
28
30
  id: '@cf/meta/llama-3-8b-instruct-awq',
29
- tokens: 8192,
30
31
  },
31
32
  {
33
+ contextWindowTokens: 4096,
32
34
  displayName: 'mistral-7b-instruct-v0.2',
33
35
  id: '@hf/mistral/mistral-7b-instruct-v0.2',
34
- tokens: 4096,
35
36
  },
36
37
  {
38
+ contextWindowTokens: 32_768,
37
39
  displayName: 'neural-chat-7b-v3-1-awq',
38
40
  enabled: true,
39
41
  id: '@hf/thebloke/neural-chat-7b-v3-1-awq',
40
- tokens: 32_768,
41
42
  },
42
43
  {
44
+ contextWindowTokens: 8192,
43
45
  displayName: 'openchat-3.5-0106',
44
46
  id: '@cf/openchat/openchat-3.5-0106',
45
- tokens: 8192,
46
47
  },
47
48
  {
49
+ contextWindowTokens: 32_768,
48
50
  displayName: 'openhermes-2.5-mistral-7b-awq',
49
51
  enabled: true,
50
52
  id: '@hf/thebloke/openhermes-2.5-mistral-7b-awq',
51
- tokens: 32_768,
52
53
  },
53
54
  {
55
+ contextWindowTokens: 32_768,
54
56
  displayName: 'qwen1.5-14b-chat-awq',
55
57
  enabled: true,
56
58
  id: '@cf/qwen/qwen1.5-14b-chat-awq',
57
- tokens: 32_768,
58
59
  },
59
60
  {
61
+ contextWindowTokens: 4096,
60
62
  displayName: 'starling-lm-7b-beta',
61
63
  enabled: true,
62
64
  id: '@hf/nexusflow/starling-lm-7b-beta',
63
- tokens: 4096,
64
65
  },
65
66
  {
67
+ contextWindowTokens: 32_768,
66
68
  displayName: 'zephyr-7b-beta-awq',
67
69
  enabled: true,
68
70
  id: '@hf/thebloke/zephyr-7b-beta-awq',
69
- tokens: 32_768,
70
71
  },
71
72
  {
72
73
  displayName: 'meta-llama-3-8b-instruct',
@@ -4,6 +4,7 @@ import { ModelProviderCard } from '@/types/llm';
4
4
  const DeepSeek: ModelProviderCard = {
5
5
  chatModels: [
6
6
  {
7
+ contextWindowTokens: 65_536,
7
8
  description:
8
9
  '融合通用与代码能力的全新开源模型, 不仅保留了原有 Chat 模型的通用对话能力和 Coder 模型的强大代码处理能力,还更好地对齐了人类偏好。此外,DeepSeek-V2.5 在写作任务、指令跟随等多个方面也实现了大幅提升。',
9
10
  displayName: 'DeepSeek V2.5',
@@ -17,7 +18,6 @@ const DeepSeek: ModelProviderCard = {
17
18
  output: 2,
18
19
  },
19
20
  releasedAt: '2024-09-05',
20
- tokens: 65_536,
21
21
  },
22
22
  ],
23
23
  checkModel: 'deepseek-chat',
@@ -5,208 +5,210 @@ import { ModelProviderCard } from '@/types/llm';
5
5
  const FireworksAI: ModelProviderCard = {
6
6
  chatModels: [
7
7
  {
8
+ contextWindowTokens: 8192,
8
9
  description:
9
10
  'Fireworks 公司最新推出的 Firefunction-v2 是一款性能卓越的函数调用模型,基于 Llama-3 开发,并通过大量优化,特别适用于函数调用、对话及指令跟随等场景。',
10
11
  displayName: 'Firefunction V2',
11
12
  enabled: true,
12
13
  functionCall: true,
13
14
  id: 'accounts/fireworks/models/firefunction-v2',
14
- tokens: 8192,
15
15
  },
16
16
  {
17
+ contextWindowTokens: 32_768,
17
18
  description: 'Fireworks 开源函数调用模型,提供卓越的指令执行能力和开放可定制的特性。',
18
19
  displayName: 'Firefunction V1',
19
20
  functionCall: true,
20
21
  id: 'accounts/fireworks/models/firefunction-v1',
21
- tokens: 32_768,
22
22
  },
23
23
  {
24
+ contextWindowTokens: 4096,
24
25
  description:
25
26
  'fireworks-ai/FireLLaVA-13b 是一款视觉语言模型,可以同时接收图像和文本输入,经过高质量数据训练,适合多模态任务。',
26
27
  displayName: 'FireLLaVA-13B',
27
28
  enabled: true,
28
29
  functionCall: false,
29
30
  id: 'accounts/fireworks/models/firellava-13b',
30
- tokens: 4096,
31
31
  vision: true,
32
32
  },
33
33
  {
34
+ contextWindowTokens: 131_072,
34
35
  description:
35
36
  'Llama 3.2 1B 指令模型是Meta推出的一款轻量级多语言模型。该模型旨在提高效率,与更大型的模型相比,在延迟和成本方面提供了显著的改进。该模型的示例用例包括检索和摘要。',
36
37
  displayName: 'Llama 3.2 1B Instruct',
37
38
  enabled: true,
38
39
  id: 'accounts/fireworks/models/llama-v3p2-1b-instruct',
39
- tokens: 131_072,
40
40
  },
41
41
  {
42
+ contextWindowTokens: 131_072,
42
43
  description:
43
44
  'Llama 3.2 3B 指令模型是Meta推出的一款轻量级多语言模型。该模型旨在提高效率,与更大型的模型相比,在延迟和成本方面提供了显著的改进。该模型的示例用例包括查询和提示重写以及写作辅助。',
44
45
  displayName: 'Llama 3.2 3B Instruct',
45
46
  enabled: true,
46
47
  id: 'accounts/fireworks/models/llama-v3p2-3b-instruct',
47
- tokens: 131_072,
48
48
  },
49
49
  {
50
+ contextWindowTokens: 131_072,
50
51
  description:
51
52
  'Meta的11B参数指令调整图像推理模型。该模型针对视觉识别、图像推理、图像描述和回答关于图像的一般性问题进行了优化。该模型能够理解视觉数据,如图表和图形,并通过生成文本描述图像细节来弥合视觉与语言之间的差距。',
52
53
  displayName: 'Llama 3.2 11B Vision Instruct',
53
54
  enabled: true,
54
55
  id: 'accounts/fireworks/models/llama-v3p2-11b-vision-instruct',
55
- tokens: 131_072,
56
56
  vision: true,
57
57
  },
58
58
  {
59
+ contextWindowTokens: 131_072,
59
60
  description:
60
61
  'Meta的90B参数指令调整图像推理模型。该模型针对视觉识别、图像推理、图像描述和回答关于图像的一般性问题进行了优化。该模型能够理解视觉数据,如图表和图形,并通过生成文本描述图像细节来弥合视觉与语言之间的差距。',
61
62
  displayName: 'Llama 3.2 90B Vision Instruct',
62
63
  enabled: true,
63
64
  id: 'accounts/fireworks/models/llama-v3p2-90b-vision-instruct',
64
- tokens: 131_072,
65
65
  vision: true,
66
66
  },
67
67
  {
68
+ contextWindowTokens: 131_072,
68
69
  description:
69
70
  'Llama 3.1 8B 指令模型,专为多语言对话优化,能够在常见行业基准上超越多数开源及闭源模型。',
70
71
  displayName: 'Llama 3.1 8B Instruct',
71
72
  enabled: true,
72
73
  functionCall: false,
73
74
  id: 'accounts/fireworks/models/llama-v3p1-8b-instruct',
74
- tokens: 131_072,
75
75
  },
76
76
  {
77
+ contextWindowTokens: 131_072,
77
78
  description:
78
79
  'Llama 3.1 70B 指令模型,提供卓越的自然语言理解和生成能力,是对话及分析任务的理想选择。',
79
80
  displayName: 'Llama 3.1 70B Instruct',
80
81
  enabled: true,
81
82
  functionCall: false,
82
83
  id: 'accounts/fireworks/models/llama-v3p1-70b-instruct',
83
- tokens: 131_072,
84
84
  },
85
85
  {
86
+ contextWindowTokens: 131_072,
86
87
  description:
87
88
  'Llama 3.1 405B 指令模型,具备超大规模参数,适合复杂任务和高负载场景下的指令跟随。',
88
89
  displayName: 'Llama 3.1 405B Instruct',
89
90
  enabled: true,
90
91
  functionCall: false,
91
92
  id: 'accounts/fireworks/models/llama-v3p1-405b-instruct',
92
- tokens: 131_072,
93
93
  },
94
94
  {
95
+ contextWindowTokens: 8192,
95
96
  description: 'Llama 3 8B 指令模型,优化用于对话及多语言任务,表现卓越且高效。',
96
97
  displayName: 'Llama 3 8B Instruct',
97
98
  functionCall: false,
98
99
  id: 'accounts/fireworks/models/llama-v3-8b-instruct',
99
- tokens: 8192,
100
100
  },
101
101
  {
102
+ contextWindowTokens: 8192,
102
103
  description: 'Llama 3 70B 指令模型,专为多语言对话和自然语言理解优化,性能优于多数竞争模型。',
103
104
  displayName: 'Llama 3 70B Instruct',
104
105
  functionCall: false,
105
106
  id: 'accounts/fireworks/models/llama-v3-70b-instruct',
106
- tokens: 8192,
107
107
  },
108
108
  {
109
+ contextWindowTokens: 8192,
109
110
  description:
110
111
  'Llama 3 8B 指令模型(HF 版本),与官方实现结果一致,具备高度一致性和跨平台兼容性。',
111
112
  displayName: 'Llama 3 8B Instruct (HF version)',
112
113
  functionCall: false,
113
114
  id: 'accounts/fireworks/models/llama-v3-8b-instruct-hf',
114
- tokens: 8192,
115
115
  },
116
116
  {
117
+ contextWindowTokens: 8192,
117
118
  description:
118
119
  'Llama 3 70B 指令模型(HF 版本),与官方实现结果保持一致,适合高质量的指令跟随任务。',
119
120
  displayName: 'Llama 3 70B Instruct (HF version)',
120
121
  functionCall: false,
121
122
  id: 'accounts/fireworks/models/llama-v3-70b-instruct-hf',
122
- tokens: 8192,
123
123
  },
124
124
  {
125
+ contextWindowTokens: 32_768,
125
126
  description: 'Mixtral MoE 8x7B 指令模型,多专家架构提供高效的指令跟随及执行。',
126
127
  displayName: 'Mixtral MoE 8x7B Instruct',
127
128
  enabled: true,
128
129
  functionCall: false,
129
130
  id: 'accounts/fireworks/models/mixtral-8x7b-instruct',
130
- tokens: 32_768,
131
131
  },
132
132
  {
133
+ contextWindowTokens: 65_536,
133
134
  description:
134
135
  'Mixtral MoE 8x22B 指令模型,大规模参数和多专家架构,全方位支持复杂任务的高效处理。',
135
136
  displayName: 'Mixtral MoE 8x22B Instruct',
136
137
  enabled: true,
137
138
  functionCall: false,
138
139
  id: 'accounts/fireworks/models/mixtral-8x22b-instruct',
139
- tokens: 65_536,
140
140
  },
141
141
  {
142
+ contextWindowTokens: 32_768,
142
143
  description:
143
144
  'Mixtral MoE 8x7B 指令模型(HF 版本),性能与官方实现一致,适合多种高效任务场景。',
144
145
  displayName: 'Mixtral MoE 8x7B Instruct (HF version)',
145
146
  functionCall: false,
146
147
  id: 'accounts/fireworks/models/mixtral-8x7b-instruct-hf',
147
- tokens: 32_768,
148
148
  },
149
149
  {
150
+ contextWindowTokens: 32_064,
150
151
  description:
151
152
  'Phi-3-Vision-128K-Instruct 是一个轻量级的、最先进的开放多模态模型,它基于包括合成数据和经过筛选的公开网站在内的数据集构建,专注于非常高质量、推理密集型的数据,这些数据既包括文本也包括视觉。该模型属于 Phi-3 模型系列,其多模态版本支持 128K 的上下文长度(以标记为单位)。该模型经过严格的增强过程,结合了监督微调和直接偏好优化,以确保精确遵循指令和强大的安全措施。',
152
153
  displayName: 'Phi 3.5 Vision Instruct',
153
154
  enabled: true,
154
155
  functionCall: false,
155
156
  id: 'accounts/fireworks/models/phi-3-vision-128k-instruct',
156
- tokens: 32_064,
157
157
  vision: true,
158
158
  },
159
159
  {
160
+ contextWindowTokens: 32_768,
160
161
  description: 'QwQ模型是由 Qwen 团队开发的实验性研究模型,专注于增强 AI 推理能力。',
161
162
  displayName: 'QwQ 32B Preview',
162
163
  enabled: true,
163
164
  id: 'accounts/fireworks/models/qwen-qwq-32b-preview',
164
- tokens: 32_768,
165
165
  },
166
166
  {
167
- description: 'Qwen2.5 是由阿里云 Qwen 团队开发的一系列仅包含解码器的语言模型。这些模型提供不同的大小,包括 0.5B、1.5B、3B、7B、14B、32B 和 72B,并且有基础版(base)和指令版(instruct)两种变体。',
167
+ contextWindowTokens: 32_768,
168
+ description:
169
+ 'Qwen2.5 是由阿里云 Qwen 团队开发的一系列仅包含解码器的语言模型。这些模型提供不同的大小,包括 0.5B、1.5B、3B、7B、14B、32B 和 72B,并且有基础版(base)和指令版(instruct)两种变体。',
168
170
  displayName: 'Qwen2.5 72B Instruct',
169
171
  enabled: true,
170
172
  functionCall: false,
171
173
  id: 'accounts/fireworks/models/qwen2p5-72b-instruct',
172
- tokens: 32_768,
173
174
  },
174
175
  {
175
- description: 'Qwen2.5 Coder 32B Instruct 是阿里云发布的代码特定大语言模型系列的最新版本。该模型在 Qwen2.5 的基础上,通过 5.5 万亿个 tokens 的训练,显著提升了代码生成、推理和修复能力。它不仅增强了编码能力,还保持了数学和通用能力的优势。模型为代码智能体等实际应用提供了更全面的基础',
176
+ contextWindowTokens: 32_768,
177
+ description:
178
+ 'Qwen2.5 Coder 32B Instruct 是阿里云发布的代码特定大语言模型系列的最新版本。该模型在 Qwen2.5 的基础上,通过 5.5 万亿个 tokens 的训练,显著提升了代码生成、推理和修复能力。它不仅增强了编码能力,还保持了数学和通用能力的优势。模型为代码智能体等实际应用提供了更全面的基础',
176
179
  displayName: 'Qwen2.5 Coder 32B Instruct',
177
180
  enabled: false,
178
181
  id: 'accounts/fireworks/models/qwen2p5-coder-32b-instruct',
179
- tokens: 32_768,
180
182
  },
181
183
  {
184
+ contextWindowTokens: 32_768,
182
185
  description: 'Yi-Large 模型,具备卓越的多语言处理能力,可用于各类语言生成和理解任务。',
183
186
  displayName: 'Yi-Large',
184
187
  enabled: true,
185
188
  functionCall: false,
186
189
  id: 'accounts/yi-01-ai/models/yi-large',
187
- tokens: 32_768,
188
190
  },
189
191
  {
192
+ contextWindowTokens: 8192,
190
193
  description: 'StarCoder 7B 模型,针对80多种编程语言训练,拥有出色的编程填充能力和语境理解。',
191
194
  displayName: 'StarCoder 7B',
192
195
  functionCall: false,
193
196
  id: 'accounts/fireworks/models/starcoder-7b',
194
- tokens: 8192,
195
197
  },
196
198
  {
199
+ contextWindowTokens: 8192,
197
200
  description:
198
201
  'StarCoder 15.5B 模型,支持高级编程任务,多语言能力增强,适合复杂代码生成和理解。',
199
202
  displayName: 'StarCoder 15.5B',
200
203
  functionCall: false,
201
204
  id: 'accounts/fireworks/models/starcoder-16b',
202
- tokens: 8192,
203
205
  },
204
206
  {
207
+ contextWindowTokens: 4096,
205
208
  description: 'MythoMax L2 13B 模型,结合新颖的合并技术,擅长叙事和角色扮演。',
206
209
  displayName: 'MythoMax L2 13b',
207
210
  functionCall: false,
208
211
  id: 'accounts/fireworks/models/mythomax-l2-13b',
209
- tokens: 4096,
210
212
  },
211
213
  ],
212
214
  checkModel: 'accounts/fireworks/models/firefunction-v2',
@@ -4,13 +4,13 @@ import { ModelProviderCard } from '@/types/llm';
4
4
  const GiteeAI: ModelProviderCard = {
5
5
  chatModels: [
6
6
  {
7
+ contextWindowTokens: 16_000,
7
8
  description:
8
9
  'Qwen2.5-72B-Instruct 支持 16k 上下文, 生成长文本超过 8K 。支持 function call 与外部系统无缝交互,极大提升了灵活性和扩展性。模型知识明显增加,并且大大提高了编码和数学能力, 多语言支持超过 29 种',
9
10
  displayName: 'Qwen2.5 72B Instruct',
10
11
  enabled: true,
11
12
  functionCall: true,
12
13
  id: 'Qwen2.5-72B-Instruct',
13
- tokens: 16_000,
14
14
  },
15
15
  {
16
16
  description:
@@ -42,18 +42,18 @@ const GiteeAI: ModelProviderCard = {
42
42
  id: 'Qwen2.5-14B-Instruct',
43
43
  },
44
44
  {
45
+ contextWindowTokens: 6000,
45
46
  description:
46
47
  'Qwen2 是 Qwen 模型的最新系列,支持 128k 上下文,对比当前最优的开源模型,Qwen2-72B 在自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型。',
47
48
  displayName: 'Qwen2 72B Instruct',
48
49
  id: 'Qwen2-72B-Instruct',
49
- tokens: 6000,
50
50
  },
51
51
  {
52
+ contextWindowTokens: 32_000,
52
53
  description:
53
54
  'Qwen2 是 Qwen 模型的最新系列,能够超越同等规模的最优开源模型甚至更大规模的模型,Qwen2 7B 在多个评测上取得显著的优势,尤其是代码及中文理解上。',
54
55
  displayName: 'Qwen2 7B Instruct',
55
56
  id: 'Qwen2-7B-Instruct',
56
- tokens: 32_000,
57
57
  },
58
58
  {
59
59
  description:
@@ -72,28 +72,28 @@ const GiteeAI: ModelProviderCard = {
72
72
  vision: true,
73
73
  },
74
74
  {
75
+ contextWindowTokens: 32_000,
75
76
  description:
76
77
  'GLM-4-9B-Chat 在语义、数学、推理、代码和知识等多方面均表现出较高性能。还具备网页浏览、代码执行、自定义工具调用和长文本推理。 支持包括日语,韩语,德语在内的 26 种语言。',
77
78
  displayName: 'GLM4 9B Chat',
78
79
  enabled: true,
79
80
  id: 'glm-4-9b-chat',
80
- tokens: 32_000,
81
81
  },
82
82
  {
83
+ contextWindowTokens: 4000,
83
84
  description:
84
85
  'Yi-1.5-34B 在保持原系列模型优秀的通用语言能力的前提下,通过增量训练 5 千亿高质量 token,大幅提高了数学逻辑、代码能力。',
85
86
  displayName: 'Yi 34B Chat',
86
87
  enabled: true,
87
88
  id: 'Yi-34B-Chat',
88
- tokens: 4000,
89
89
  },
90
90
  {
91
+ contextWindowTokens: 8000,
91
92
  description:
92
93
  'DeepSeek Coder 33B 是一个代码语言模型, 基于 2 万亿数据训练而成,其中 87% 为代码, 13% 为中英文语言。模型引入 16K 窗口大小和填空任务,提供项目级别的代码补全和片段填充功能。',
93
94
  displayName: 'DeepSeek Coder 33B Instruct',
94
95
  enabled: true,
95
96
  id: 'deepseek-coder-33B-instruct',
96
- tokens: 8000,
97
97
  },
98
98
  {
99
99
  description:
@@ -103,12 +103,12 @@ const GiteeAI: ModelProviderCard = {
103
103
  id: 'code-raccoon-v1',
104
104
  },
105
105
  {
106
+ contextWindowTokens: 40_000,
106
107
  description:
107
108
  'CodeGeeX4-ALL-9B 是一个多语言代码生成模型,支持包括代码补全和生成、代码解释器、网络搜索、函数调用、仓库级代码问答在内的全面功能,覆盖软件开发的各种场景。是参数少于 10B 的顶尖代码生成模型。',
108
109
  displayName: 'CodeGeeX4 All 9B',
109
110
  enabled: true,
110
111
  id: 'codegeex4-all-9b',
111
- tokens: 40_000,
112
112
  },
113
113
  ],
114
114
  checkModel: 'Qwen2.5-72B-Instruct',