@lobehub/chat 1.40.1 → 1.40.3

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (118) hide show
  1. package/CHANGELOG.md +50 -0
  2. package/changelog/v1.json +18 -0
  3. package/package.json +1 -1
  4. package/src/app/(main)/changelog/page.tsx +3 -1
  5. package/src/app/(main)/chat/(workspace)/features/ChangelogModal.tsx +11 -0
  6. package/src/app/(main)/chat/(workspace)/page.tsx +8 -5
  7. package/src/app/(main)/discover/(detail)/model/[...slugs]/features/Actions.tsx +1 -1
  8. package/src/app/(main)/discover/(detail)/model/[...slugs]/features/Header.tsx +1 -1
  9. package/src/app/(main)/discover/(detail)/model/[...slugs]/features/InfoSidebar/SuggestionItem.tsx +2 -2
  10. package/src/app/(main)/discover/(detail)/model/[...slugs]/features/ProviderList/ProviderItem.tsx +1 -1
  11. package/src/app/(main)/discover/(detail)/provider/[slug]/features/ModelList/ModelItem.tsx +3 -3
  12. package/src/app/(main)/discover/(list)/models/features/Card.tsx +6 -2
  13. package/src/app/(main)/settings/llm/ProviderList/Cloudflare/index.tsx +1 -5
  14. package/src/app/(main)/settings/llm/components/ProviderModelList/ModelFetcher.tsx +2 -2
  15. package/src/app/@modal/(.)changelog/modal/page.tsx +3 -1
  16. package/src/components/Loading/BrandTextLoading/index.tsx +5 -0
  17. package/src/components/ModelSelect/index.tsx +7 -4
  18. package/src/config/__tests__/app.test.ts +6 -2
  19. package/src/config/app.ts +1 -2
  20. package/src/config/featureFlags/schema.ts +3 -0
  21. package/src/config/modelProviders/ai21.ts +2 -2
  22. package/src/config/modelProviders/ai360.ts +4 -4
  23. package/src/config/modelProviders/anthropic.ts +8 -8
  24. package/src/config/modelProviders/azure.ts +5 -5
  25. package/src/config/modelProviders/baichuan.ts +6 -6
  26. package/src/config/modelProviders/bedrock.ts +14 -14
  27. package/src/config/modelProviders/cloudflare.ts +12 -11
  28. package/src/config/modelProviders/deepseek.ts +1 -1
  29. package/src/config/modelProviders/fireworksai.ts +29 -27
  30. package/src/config/modelProviders/giteeai.ts +7 -7
  31. package/src/config/modelProviders/github.ts +29 -28
  32. package/src/config/modelProviders/google.ts +18 -19
  33. package/src/config/modelProviders/groq.ts +13 -13
  34. package/src/config/modelProviders/higress.ts +195 -194
  35. package/src/config/modelProviders/huggingface.ts +7 -7
  36. package/src/config/modelProviders/hunyuan.ts +25 -17
  37. package/src/config/modelProviders/internlm.ts +6 -4
  38. package/src/config/modelProviders/minimax.ts +5 -5
  39. package/src/config/modelProviders/mistral.ts +14 -16
  40. package/src/config/modelProviders/moonshot.ts +3 -3
  41. package/src/config/modelProviders/novita.ts +15 -15
  42. package/src/config/modelProviders/ollama.ts +46 -46
  43. package/src/config/modelProviders/openai.ts +23 -22
  44. package/src/config/modelProviders/openrouter.ts +20 -18
  45. package/src/config/modelProviders/perplexity.ts +7 -7
  46. package/src/config/modelProviders/qwen.ts +23 -25
  47. package/src/config/modelProviders/sensenova.ts +8 -8
  48. package/src/config/modelProviders/siliconcloud.ts +138 -92
  49. package/src/config/modelProviders/spark.ts +6 -6
  50. package/src/config/modelProviders/stepfun.ts +9 -9
  51. package/src/config/modelProviders/taichu.ts +2 -3
  52. package/src/config/modelProviders/togetherai.ts +57 -48
  53. package/src/config/modelProviders/upstage.ts +3 -3
  54. package/src/config/modelProviders/wenxin.ts +12 -12
  55. package/src/config/modelProviders/xai.ts +4 -4
  56. package/src/config/modelProviders/zeroone.ts +11 -11
  57. package/src/config/modelProviders/zhipu.ts +17 -16
  58. package/src/database/_deprecated/core/model.ts +1 -1
  59. package/src/database/_deprecated/models/sessionGroup.ts +4 -1
  60. package/src/database/client/migrations.json +2 -5
  61. package/src/database/migrations/meta/0012_snapshot.json +176 -518
  62. package/src/database/schemas/agent.ts +1 -1
  63. package/src/database/schemas/message.ts +1 -0
  64. package/src/database/schemas/session.ts +1 -0
  65. package/src/database/server/models/topic.ts +19 -17
  66. package/src/features/ChangelogModal/index.tsx +8 -2
  67. package/src/features/DebugUI/Content.tsx +0 -1
  68. package/src/features/PluginStore/index.tsx +2 -2
  69. package/src/features/User/UserPanel/useMenu.tsx +1 -1
  70. package/src/layout/GlobalProvider/AntdV5MonkeyPatch.tsx +4 -4
  71. package/src/libs/agent-runtime/google/index.ts +4 -3
  72. package/src/libs/agent-runtime/higress/index.ts +1 -1
  73. package/src/libs/agent-runtime/huggingface/index.ts +2 -4
  74. package/src/libs/agent-runtime/minimax/index.ts +5 -10
  75. package/src/libs/agent-runtime/mistral/index.ts +3 -6
  76. package/src/libs/agent-runtime/moonshot/index.ts +3 -6
  77. package/src/libs/agent-runtime/novita/__snapshots__/index.test.ts.snap +18 -18
  78. package/src/libs/agent-runtime/novita/index.ts +1 -1
  79. package/src/libs/agent-runtime/openai/__snapshots__/index.test.ts.snap +10 -10
  80. package/src/libs/agent-runtime/openrouter/__snapshots__/index.test.ts.snap +168 -168
  81. package/src/libs/agent-runtime/openrouter/index.ts +1 -1
  82. package/src/libs/agent-runtime/perplexity/index.ts +4 -4
  83. package/src/libs/agent-runtime/sensenova/index.ts +9 -3
  84. package/src/libs/agent-runtime/taichu/index.ts +4 -10
  85. package/src/libs/agent-runtime/utils/streams/minimax.test.ts +5 -2
  86. package/src/libs/agent-runtime/utils/streams/minimax.ts +4 -1
  87. package/src/libs/agent-runtime/zhipu/index.ts +12 -13
  88. package/src/libs/langchain/loaders/index.ts +2 -2
  89. package/src/libs/langchain/types.ts +9 -1
  90. package/src/locales/default/modelProvider.ts +1 -1
  91. package/src/migrations/FromV3ToV4/fixtures/ollama-output-v4.json +1 -1
  92. package/src/migrations/FromV6ToV7/types/v7.ts +0 -2
  93. package/src/server/globalConfig/genServerLLMConfig.test.ts +4 -4
  94. package/src/server/globalConfig/genServerLLMConfig.ts +29 -24
  95. package/src/server/globalConfig/index.ts +1 -2
  96. package/src/server/routers/edge/config/__snapshots__/index.test.ts.snap +9 -9
  97. package/src/server/routers/lambda/_template.ts +1 -1
  98. package/src/server/routers/lambda/knowledgeBase.ts +1 -1
  99. package/src/server/routers/lambda/session.ts +1 -1
  100. package/src/server/routers/lambda/sessionGroup.ts +1 -1
  101. package/src/server/routers/lambda/thread.ts +1 -1
  102. package/src/server/services/changelog/index.test.ts +4 -2
  103. package/src/server/services/changelog/index.ts +10 -2
  104. package/src/server/services/nextAuthUser/index.ts +1 -1
  105. package/src/store/serverConfig/selectors.test.ts +1 -0
  106. package/src/store/user/slices/modelList/__snapshots__/action.test.ts.snap +1 -1
  107. package/src/store/user/slices/modelList/action.test.ts +4 -4
  108. package/src/store/user/slices/modelList/reducers/customModelCard.test.ts +6 -6
  109. package/src/store/user/slices/modelList/selectors/modelProvider.ts +3 -2
  110. package/src/tools/dalle/Render/Item/index.tsx +1 -1
  111. package/src/types/files/index.ts +0 -1
  112. package/src/types/llm.ts +4 -5
  113. package/src/utils/__snapshots__/parseModels.test.ts.snap +2 -2
  114. package/src/utils/genUserLLMConfig.test.ts +4 -4
  115. package/src/utils/genUserLLMConfig.ts +6 -4
  116. package/src/utils/parseModels.test.ts +16 -16
  117. package/src/utils/parseModels.ts +1 -1
  118. package/src/utils/server/jwt.ts +2 -6
@@ -5,6 +5,7 @@ import { ModelProviderCard } from '@/types/llm';
5
5
  const Spark: ModelProviderCard = {
6
6
  chatModels: [
7
7
  {
8
+ contextWindowTokens: 8192,
8
9
  description:
9
10
  'Spark Lite 是一款轻量级大语言模型,具备极低的延迟与高效的处理能力,完全免费开放,支持实时在线搜索功能。其快速响应的特性使其在低算力设备上的推理应用和模型微调中表现出色,为用户带来出色的成本效益和智能体验,尤其在知识问答、内容生成及搜索场景下表现不俗。',
10
11
  displayName: 'Spark Lite',
@@ -12,9 +13,9 @@ const Spark: ModelProviderCard = {
12
13
  functionCall: false,
13
14
  id: 'lite',
14
15
  maxOutput: 4096,
15
- tokens: 8192,
16
16
  },
17
17
  {
18
+ contextWindowTokens: 8192,
18
19
  description:
19
20
  'Spark Pro 是一款为专业领域优化的高性能大语言模型,专注数学、编程、医疗、教育等多个领域,并支持联网搜索及内置天气、日期等插件。其优化后模型在复杂知识问答、语言理解及高层次文本创作中展现出色表现和高效性能,是适合专业应用场景的理想选择。',
20
21
  displayName: 'Spark Pro',
@@ -22,9 +23,9 @@ const Spark: ModelProviderCard = {
22
23
  functionCall: false,
23
24
  id: 'generalv3',
24
25
  maxOutput: 8192,
25
- tokens: 8192,
26
26
  },
27
27
  {
28
+ contextWindowTokens: 131_072,
28
29
  description:
29
30
  'Spark Pro 128K 配置了特大上下文处理能力,能够处理多达128K的上下文信息,特别适合需通篇分析和长期逻辑关联处理的长文内容,可在复杂文本沟通中提供流畅一致的逻辑与多样的引用支持。',
30
31
  displayName: 'Spark Pro 128K',
@@ -32,9 +33,9 @@ const Spark: ModelProviderCard = {
32
33
  functionCall: false,
33
34
  id: 'pro-128k',
34
35
  maxOutput: 4096,
35
- tokens: 131_072,
36
36
  },
37
37
  {
38
+ contextWindowTokens: 8192,
38
39
  description:
39
40
  'Spark Max 为功能最为全面的版本,支持联网搜索及众多内置插件。其全面优化的核心能力以及系统角色设定和函数调用功能,使其在各种复杂应用场景中的表现极为优异和出色。',
40
41
  displayName: 'Spark Max',
@@ -42,9 +43,9 @@ const Spark: ModelProviderCard = {
42
43
  functionCall: false,
43
44
  id: 'generalv3.5',
44
45
  maxOutput: 8192,
45
- tokens: 8192,
46
46
  },
47
47
  {
48
+ contextWindowTokens: 32_768,
48
49
  description:
49
50
  'Spark Max 32K 配置了大上下文处理能力,更强的上下文理解和逻辑推理能力,支持32K tokens的文本输入,适用于长文档阅读、私有知识问答等场景',
50
51
  displayName: 'Spark Max 32K',
@@ -52,9 +53,9 @@ const Spark: ModelProviderCard = {
52
53
  functionCall: false,
53
54
  id: 'max-32k',
54
55
  maxOutput: 8192,
55
- tokens: 32_768,
56
56
  },
57
57
  {
58
+ contextWindowTokens: 8192,
58
59
  description:
59
60
  'Spark Ultra 是星火大模型系列中最为强大的版本,在升级联网搜索链路同时,提升对文本内容的理解和总结能力。它是用于提升办公生产力和准确响应需求的全方位解决方案,是引领行业的智能产品。',
60
61
  displayName: 'Spark 4.0 Ultra',
@@ -62,7 +63,6 @@ const Spark: ModelProviderCard = {
62
63
  functionCall: false,
63
64
  id: '4.0Ultra',
64
65
  maxOutput: 8192,
65
- tokens: 8192,
66
66
  },
67
67
  ],
68
68
  checkModel: 'lite',
@@ -5,6 +5,7 @@ import { ModelProviderCard } from '@/types/llm';
5
5
  const Stepfun: ModelProviderCard = {
6
6
  chatModels: [
7
7
  {
8
+ contextWindowTokens: 8000,
8
9
  description: '高速模型,适合实时对话。',
9
10
  displayName: 'Step 1 Flash',
10
11
  enabled: true,
@@ -15,9 +16,9 @@ const Stepfun: ModelProviderCard = {
15
16
  input: 1,
16
17
  output: 4,
17
18
  },
18
- tokens: 8000,
19
19
  },
20
20
  {
21
+ contextWindowTokens: 8000,
21
22
  description: '小型模型,适合轻量级任务。',
22
23
  displayName: 'Step 1 8K',
23
24
  enabled: true,
@@ -28,9 +29,9 @@ const Stepfun: ModelProviderCard = {
28
29
  input: 5,
29
30
  output: 20,
30
31
  },
31
- tokens: 8000,
32
32
  },
33
33
  {
34
+ contextWindowTokens: 32_000,
34
35
  description: '支持中等长度的对话,适用于多种应用场景。',
35
36
  displayName: 'Step 1 32K',
36
37
  enabled: true,
@@ -41,9 +42,9 @@ const Stepfun: ModelProviderCard = {
41
42
  input: 15,
42
43
  output: 70,
43
44
  },
44
- tokens: 32_000,
45
45
  },
46
46
  {
47
+ contextWindowTokens: 128_000,
47
48
  description: '平衡性能与成本,适合一般场景。',
48
49
  displayName: 'Step 1 128K',
49
50
  enabled: true,
@@ -54,9 +55,9 @@ const Stepfun: ModelProviderCard = {
54
55
  input: 40,
55
56
  output: 200,
56
57
  },
57
- tokens: 128_000,
58
58
  },
59
59
  {
60
+ contextWindowTokens: 256_000,
60
61
  description: '具备超长上下文处理能力,尤其适合长文档分析。',
61
62
  displayName: 'Step 1 256K',
62
63
  functionCall: true,
@@ -66,9 +67,9 @@ const Stepfun: ModelProviderCard = {
66
67
  input: 95,
67
68
  output: 300,
68
69
  },
69
- tokens: 256_000,
70
70
  },
71
71
  {
72
+ contextWindowTokens: 16_000,
72
73
  description: '支持大规模上下文交互,适合复杂对话场景。',
73
74
  displayName: 'Step 2 16K',
74
75
  enabled: true,
@@ -79,9 +80,9 @@ const Stepfun: ModelProviderCard = {
79
80
  input: 38,
80
81
  output: 120,
81
82
  },
82
- tokens: 16_000,
83
83
  },
84
84
  {
85
+ contextWindowTokens: 8000,
85
86
  description: '小型视觉模型,适合基本的图文任务。',
86
87
  displayName: 'Step 1V 8K',
87
88
  enabled: true,
@@ -92,10 +93,10 @@ const Stepfun: ModelProviderCard = {
92
93
  input: 5,
93
94
  output: 20,
94
95
  },
95
- tokens: 8000,
96
96
  vision: true,
97
97
  },
98
98
  {
99
+ contextWindowTokens: 32_000,
99
100
  description: '支持视觉输入,增强多模态交互体验。',
100
101
  displayName: 'Step 1V 32K',
101
102
  enabled: true,
@@ -106,10 +107,10 @@ const Stepfun: ModelProviderCard = {
106
107
  input: 15,
107
108
  output: 70,
108
109
  },
109
- tokens: 32_000,
110
110
  vision: true,
111
111
  },
112
112
  {
113
+ contextWindowTokens: 32_000,
113
114
  description: '该模型拥有强大的视频理解能力。',
114
115
  displayName: 'Step 1.5V Mini',
115
116
  enabled: true,
@@ -119,7 +120,6 @@ const Stepfun: ModelProviderCard = {
119
120
  input: 8,
120
121
  output: 35,
121
122
  },
122
- tokens: 32_000,
123
123
  vision: true,
124
124
  },
125
125
  ],
@@ -4,13 +4,12 @@ import { ModelProviderCard } from '@/types/llm';
4
4
  const Taichu: ModelProviderCard = {
5
5
  chatModels: [
6
6
  {
7
- description:
8
- 'Taichu 2.0 基于海量高质数据训练,具有更强的文本理解、内容创作、对话问答等能力',
7
+ contextWindowTokens: 32_768,
8
+ description: 'Taichu 2.0 基于海量高质数据训练,具有更强的文本理解、内容创作、对话问答等能力',
9
9
  displayName: 'Taichu 2.0',
10
10
  enabled: true,
11
11
  functionCall: true,
12
12
  id: 'taichu_llm',
13
- tokens: 32_768,
14
13
  },
15
14
  /*
16
15
  // TODO: Not support for now
@@ -5,267 +5,276 @@ import { ModelProviderCard } from '@/types/llm';
5
5
  const TogetherAI: ModelProviderCard = {
6
6
  chatModels: [
7
7
  {
8
- description: 'LLaMA 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色,跨越了语言生成和视觉推理之间的鸿沟。',
8
+ contextWindowTokens: 131_072,
9
+ description:
10
+ 'LLaMA 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色,跨越了语言生成和视觉推理之间的鸿沟。',
9
11
  displayName: 'Llama 3.2 3B Instruct Turbo',
10
12
  enabled: true,
11
13
  id: 'meta-llama/Llama-3.2-3B-Instruct-Turbo',
12
- tokens: 131_072,
13
14
  },
14
15
  {
15
- description: 'LLaMA 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色,跨越了语言生成和视觉推理之间的鸿沟。',
16
+ contextWindowTokens: 131_072,
17
+ description:
18
+ 'LLaMA 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色,跨越了语言生成和视觉推理之间的鸿沟。',
16
19
  displayName: 'Llama 3.2 11B Vision Instruct Turbo (Free)',
17
20
  enabled: true,
18
21
  id: 'meta-llama/Llama-Vision-Free',
19
- tokens: 131_072,
20
22
  vision: true,
21
23
  },
22
24
  {
23
- description: 'LLaMA 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色,跨越了语言生成和视觉推理之间的鸿沟。',
25
+ contextWindowTokens: 131_072,
26
+ description:
27
+ 'LLaMA 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色,跨越了语言生成和视觉推理之间的鸿沟。',
24
28
  displayName: 'Llama 3.2 11B Vision Instruct Turbo',
25
29
  id: 'meta-llama/Llama-3.2-11B-Vision-Instruct-Turbo',
26
- tokens: 131_072,
27
30
  vision: true,
28
31
  },
29
32
  {
30
- description: 'LLaMA 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色,跨越了语言生成和视觉推理之间的鸿沟。',
33
+ contextWindowTokens: 131_072,
34
+ description:
35
+ 'LLaMA 3.2 旨在处理结合视觉和文本数据的任务。它在图像描述和视觉问答等任务中表现出色,跨越了语言生成和视觉推理之间的鸿沟。',
31
36
  displayName: 'Llama 3.2 90B Vision Instruct Turbo',
32
37
  enabled: true,
33
38
  id: 'meta-llama/Llama-3.2-90B-Vision-Instruct-Turbo',
34
- tokens: 131_072,
35
39
  vision: true,
36
40
  },
37
41
  {
42
+ contextWindowTokens: 131_072,
38
43
  description:
39
44
  'Llama 3.1 8B 模型采用FP8量化,支持高达131,072个上下文标记,是开源模型中的佼佼者,适合复杂任务,表现优异于许多行业基准。',
40
45
  displayName: 'Llama 3.1 8B Instruct Turbo',
41
46
  enabled: true,
42
47
  functionCall: true,
43
48
  id: 'meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo',
44
- tokens: 131_072,
45
49
  },
46
50
  {
51
+ contextWindowTokens: 131_072,
47
52
  description:
48
53
  'Llama 3.1 70B 模型经过精细调整,适用于高负载应用,量化至FP8提供更高效的计算能力和准确性,确保在复杂场景中的卓越表现。',
49
54
  displayName: 'Llama 3.1 70B Instruct Turbo',
50
55
  enabled: true,
51
56
  functionCall: true,
52
57
  id: 'meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo',
53
- tokens: 131_072,
54
58
  },
55
59
  {
60
+ contextWindowTokens: 130_815,
56
61
  description:
57
62
  '405B 的 Llama 3.1 Turbo 模型,为大数据处理提供超大容量的上下文支持,在超大规模的人工智能应用中表现突出。',
58
63
  displayName: 'Llama 3.1 405B Instruct Turbo',
59
64
  enabled: true,
60
65
  functionCall: true,
61
66
  id: 'meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo',
62
- tokens: 130_815,
63
67
  },
64
68
  {
69
+ contextWindowTokens: 32_768,
65
70
  description:
66
71
  'Llama 3.1 Nemotron 70B 是由 NVIDIA 定制的大型语言模型,旨在提高 LLM 生成的响应对用户查询的帮助程度。该模型在 Arena Hard、AlpacaEval 2 LC 和 GPT-4-Turbo MT-Bench 等基准测试中表现出色,截至 2024 年 10 月 1 日,在所有三个自动对齐基准测试中排名第一。该模型使用 RLHF(特别是 REINFORCE)、Llama-3.1-Nemotron-70B-Reward 和 HelpSteer2-Preference 提示在 Llama-3.1-70B-Instruct 模型基础上进行训练',
67
72
  displayName: 'Llama 3.1 Nemotron 70B',
68
73
  enabled: true,
69
74
  id: 'nvidia/Llama-3.1-Nemotron-70B-Instruct-HF',
70
- tokens: 32_768,
71
75
  },
72
76
  {
77
+ contextWindowTokens: 8192,
73
78
  description: 'Llama 3 8B Instruct Turbo 是一款高效能的大语言模型,支持广泛的应用场景。',
74
79
  displayName: 'Llama 3 8B Instruct Turbo',
75
80
  id: 'meta-llama/Meta-Llama-3-8B-Instruct-Turbo',
76
- tokens: 8192,
77
81
  },
78
82
  {
83
+ contextWindowTokens: 8192,
79
84
  description:
80
85
  'Llama 3 70B Instruct Turbo 提供卓越的语言理解和生成能力,适合最苛刻的计算任务。',
81
86
  displayName: 'Llama 3 70B Instruct Turbo',
82
87
  id: 'meta-llama/Meta-Llama-3-70B-Instruct-Turbo',
83
- tokens: 8192,
84
88
  },
85
89
  {
90
+ contextWindowTokens: 8192,
86
91
  description: 'Llama 3 8B Instruct Lite 适合资源受限的环境,提供出色的平衡性能。',
87
92
  displayName: 'Llama 3 8B Instruct Lite',
88
93
  id: 'meta-llama/Meta-Llama-3-8B-Instruct-Lite',
89
- tokens: 8192,
90
94
  },
91
95
  {
96
+ contextWindowTokens: 8192,
92
97
  description: 'Llama 3 70B Instruct Lite 适合需要高效能和低延迟的环境。',
93
98
  displayName: 'Llama 3 70B Instruct Lite',
94
99
  id: 'meta-llama/Meta-Llama-3-70B-Instruct-Lite',
95
- tokens: 8192,
96
100
  },
97
101
  {
102
+ contextWindowTokens: 8192,
98
103
  description: 'Llama 3 8B Instruct Reference 提供多语言支持,涵盖丰富的领域知识。',
99
104
  displayName: 'Llama 3 8B Instruct Reference',
100
105
  id: 'meta-llama/Llama-3-8b-chat-hf',
101
- tokens: 8192,
102
106
  },
103
107
  {
108
+ contextWindowTokens: 8192,
104
109
  description: 'Llama 3 70B Instruct Reference 是功能强大的聊天模型,支持复杂的对话需求。',
105
110
  displayName: 'Llama 3 70B Instruct Reference',
106
111
  id: 'meta-llama/Llama-3-70b-chat-hf',
107
- tokens: 8192,
108
112
  },
109
113
  {
114
+ contextWindowTokens: 4096,
110
115
  description: 'LLaMA-2 Chat (13B) 提供优秀的语言处理能力和出色的交互体验。',
111
116
  displayName: 'LLaMA-2 Chat (13B)',
112
117
  id: 'meta-llama/Llama-2-13b-chat-hf',
113
- tokens: 4096,
114
118
  },
115
119
  {
120
+ contextWindowTokens: 4096,
116
121
  description: 'LLaMA-2 提供优秀的语言处理能力和出色的交互体验。',
117
122
  displayName: 'LLaMA-2 (70B)',
118
123
  id: 'meta-llama/Llama-2-70b-hf',
119
- tokens: 4096,
120
124
  },
121
125
  {
122
- description: 'Code Llama 是一款专注于代码生成和讨论的 LLM,结合广泛的编程语言支持,适用于开发者环境。',
126
+ contextWindowTokens: 16_384,
127
+ description:
128
+ 'Code Llama 是一款专注于代码生成和讨论的 LLM,结合广泛的编程语言支持,适用于开发者环境。',
123
129
  displayName: 'CodeLlama 34B Instruct',
124
130
  id: 'codellama/CodeLlama-34b-Instruct-hf',
125
- tokens: 16_384,
126
131
  },
127
132
  {
133
+ contextWindowTokens: 8192,
128
134
  description: 'Gemma 2 9B 由Google开发,提供高效的指令响应和综合能力。',
129
135
  displayName: 'Gemma 2 9B',
130
136
  enabled: true,
131
137
  id: 'google/gemma-2-9b-it',
132
- tokens: 8192,
133
138
  },
134
139
  {
140
+ contextWindowTokens: 8192,
135
141
  description: 'Gemma 2 27B 是一款通用大语言模型,具有优异的性能和广泛的应用场景。',
136
142
  displayName: 'Gemma 2 27B',
137
143
  enabled: true,
138
144
  id: 'google/gemma-2-27b-it',
139
- tokens: 8192,
140
145
  },
141
146
  {
147
+ contextWindowTokens: 8192,
142
148
  description: 'Gemma Instruct (2B) 提供基本的指令处理能力,适合轻量级应用。',
143
149
  displayName: 'Gemma Instruct (2B)',
144
150
  id: 'google/gemma-2b-it',
145
- tokens: 8192,
146
151
  },
147
152
  {
153
+ contextWindowTokens: 32_768,
148
154
  description: 'Mistral (7B) Instruct v0.3 提供高效的计算能力和自然语言理解,适合广泛的应用。',
149
155
  displayName: 'Mistral (7B) Instruct v0.3',
150
156
  enabled: true,
151
157
  id: 'mistralai/Mistral-7B-Instruct-v0.3',
152
- tokens: 32_768,
153
158
  },
154
159
  {
160
+ contextWindowTokens: 32_768,
155
161
  description: 'Mistral (7B) Instruct v0.2 提供改进的指令处理能力和更精确的结果。',
156
162
  displayName: 'Mistral (7B) Instruct v0.2',
157
163
  id: 'mistralai/Mistral-7B-Instruct-v0.2',
158
- tokens: 32_768,
159
164
  },
160
165
  {
166
+ contextWindowTokens: 8192,
161
167
  description: 'Mistral (7B) Instruct 以高性能著称,适用于多种语言任务。',
162
168
  displayName: 'Mistral (7B) Instruct',
163
169
  functionCall: true,
164
170
  id: 'mistralai/Mistral-7B-Instruct-v0.1',
165
- tokens: 8192,
166
171
  },
167
172
  {
168
- description: 'Mistral 7B是一款紧凑但高性能的模型,擅长批量处理和简单任务,如分类和文本生成,具有良好的推理能力。',
173
+ contextWindowTokens: 8192,
174
+ description:
175
+ 'Mistral 7B是一款紧凑但高性能的模型,擅长批量处理和简单任务,如分类和文本生成,具有良好的推理能力。',
169
176
  displayName: 'Mistral (7B)',
170
177
  id: 'mistralai/Mistral-7B-v0.1',
171
- tokens: 8192,
172
178
  },
173
179
  {
180
+ contextWindowTokens: 32_768,
174
181
  description: 'Mixtral-8x7B Instruct (46.7B) 提供高容量的计算框架,适合大规模数据处理。',
175
182
  displayName: 'Mixtral-8x7B Instruct (46.7B)',
176
183
  enabled: true,
177
184
  functionCall: true,
178
185
  id: 'mistralai/Mixtral-8x7B-Instruct-v0.1',
179
- tokens: 32_768,
180
186
  },
181
187
  {
182
- description: 'Mixtral 8x7B是一个稀疏专家模型,利用多个参数提高推理速度,适合处理多语言和代码生成任务。',
188
+ contextWindowTokens: 32_768,
189
+ description:
190
+ 'Mixtral 8x7B是一个稀疏专家模型,利用多个参数提高推理速度,适合处理多语言和代码生成任务。',
183
191
  displayName: 'Mixtral-8x7B (46.7B)',
184
192
  id: 'mistralai/Mixtral-8x7B-v0.1',
185
- tokens: 32_768,
186
193
  },
187
194
  {
195
+ contextWindowTokens: 65_536,
188
196
  description: 'Mixtral-8x22B Instruct (141B) 是一款超级大语言模型,支持极高的处理需求。',
189
197
  displayName: 'Mixtral-8x22B Instruct (141B)',
190
198
  enabled: true,
191
199
  id: 'mistralai/Mixtral-8x22B-Instruct-v0.1',
192
- tokens: 65_536,
193
200
  },
194
201
  {
195
- description: 'WizardLM 2 是微软AI提供的语言模型,在复杂对话、多语言、推理和智能助手领域表现尤为出色。',
202
+ contextWindowTokens: 65_536,
203
+ description:
204
+ 'WizardLM 2 是微软AI提供的语言模型,在复杂对话、多语言、推理和智能助手领域表现尤为出色。',
196
205
  displayName: 'WizardLM-2 8x22B',
197
206
  id: 'microsoft/WizardLM-2-8x22B',
198
- tokens: 65_536,
199
207
  },
200
208
  {
209
+ contextWindowTokens: 4096,
201
210
  description: 'DeepSeek LLM Chat (67B) 是创新的 AI 模型 提供深度语言理解和互动能力。',
202
211
  displayName: 'DeepSeek LLM Chat (67B)',
203
212
  enabled: true,
204
213
  id: 'deepseek-ai/deepseek-llm-67b-chat',
205
- tokens: 4096,
206
214
  },
207
215
  {
216
+ contextWindowTokens: 32_768,
208
217
  description: 'QwQ模型是由 Qwen 团队开发的实验性研究模型,专注于增强 AI 推理能力。',
209
218
  displayName: 'QwQ 32B Preview',
210
219
  enabled: true,
211
220
  id: 'Qwen/QwQ-32B-Preview',
212
- tokens: 32_768,
213
221
  },
214
222
  {
223
+ contextWindowTokens: 32_768,
215
224
  description: 'Qwen2.5 是全新的大型语言模型系列,旨在优化指令式任务的处理。',
216
225
  displayName: 'Qwen 2.5 7B Instruct Turbo',
217
226
  enabled: true,
218
227
  id: 'Qwen/Qwen2.5-7B-Instruct-Turbo',
219
- tokens: 32_768,
220
228
  },
221
229
  {
230
+ contextWindowTokens: 32_768,
222
231
  description: 'Qwen2.5 是全新的大型语言模型系列,旨在优化指令式任务的处理。',
223
232
  displayName: 'Qwen 2.5 72B Instruct Turbo',
224
233
  enabled: true,
225
234
  id: 'Qwen/Qwen2.5-72B-Instruct-Turbo',
226
- tokens: 32_768,
227
235
  },
228
236
  {
229
- description: 'Qwen2.5 Coder 32B Instruct 是阿里云发布的代码特定大语言模型系列的最新版本。该模型在 Qwen2.5 的基础上,通过 5.5 万亿个 tokens 的训练,显著提升了代码生成、推理和修复能力。它不仅增强了编码能力,还保持了数学和通用能力的优势。模型为代码智能体等实际应用提供了更全面的基础',
237
+ contextWindowTokens: 32_768,
238
+ description:
239
+ 'Qwen2.5 Coder 32B Instruct 是阿里云发布的代码特定大语言模型系列的最新版本。该模型在 Qwen2.5 的基础上,通过 5.5 万亿个 tokens 的训练,显著提升了代码生成、推理和修复能力。它不仅增强了编码能力,还保持了数学和通用能力的优势。模型为代码智能体等实际应用提供了更全面的基础',
230
240
  displayName: 'Qwen 2.5 Coder 32B Instruct',
231
241
  id: 'Qwen/Qwen2.5-Coder-32B-Instruct',
232
- tokens: 32_768,
233
242
  },
234
243
  {
244
+ contextWindowTokens: 32_768,
235
245
  description: 'Qwen 2 Instruct (72B) 为企业级应用提供精准的指令理解和响应。',
236
246
  displayName: 'Qwen 2 Instruct (72B)',
237
247
  id: 'Qwen/Qwen2-72B-Instruct',
238
- tokens: 32_768,
239
248
  },
240
249
  {
250
+ contextWindowTokens: 32_768,
241
251
  description: 'DBRX Instruct 提供高可靠性的指令处理能力,支持多行业应用。',
242
252
  displayName: 'DBRX Instruct',
243
253
  id: 'databricks/dbrx-instruct',
244
- tokens: 32_768,
245
254
  },
246
255
  {
256
+ contextWindowTokens: 4096,
247
257
  description: 'Upstage SOLAR Instruct v1 (11B) 适用于精细化指令任务,提供出色的语言处理能力。',
248
258
  displayName: 'Upstage SOLAR Instruct v1 (11B)',
249
259
  id: 'upstage/SOLAR-10.7B-Instruct-v1.0',
250
- tokens: 4096,
251
260
  },
252
261
  {
262
+ contextWindowTokens: 32_768,
253
263
  description: 'Nous Hermes 2 - Mixtral 8x7B-DPO (46.7B) 是高精度的指令模型,适用于复杂计算。',
254
264
  displayName: 'Nous Hermes 2 - Mixtral 8x7B-DPO (46.7B)',
255
265
  id: 'NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO',
256
- tokens: 32_768,
257
266
  },
258
267
  {
268
+ contextWindowTokens: 4096,
259
269
  description: 'MythoMax-L2 (13B) 是一种创新模型,适合多领域应用和复杂任务。',
260
270
  displayName: 'MythoMax-L2 (13B)',
261
271
  id: 'Gryphe/MythoMax-L2-13b',
262
- tokens: 4096,
263
272
  },
264
273
  {
274
+ contextWindowTokens: 32_768,
265
275
  description: 'StripedHyena Nous (7B) 通过高效的策略和模型架构,提供增强的计算能力。',
266
276
  displayName: 'StripedHyena Nous (7B)',
267
277
  id: 'togethercomputer/StripedHyena-Nous-7B',
268
- tokens: 32_768,
269
278
  },
270
279
  ],
271
280
  checkModel: 'meta-llama/Llama-Vision-Free',
@@ -4,30 +4,30 @@ import { ModelProviderCard } from '@/types/llm';
4
4
  const Upstage: ModelProviderCard = {
5
5
  chatModels: [
6
6
  {
7
+ contextWindowTokens: 32_768,
7
8
  description:
8
9
  'Solar Mini 是一种紧凑型 LLM,性能优于 GPT-3.5,具备强大的多语言能力,支持英语和韩语,提供高效小巧的解决方案。',
9
10
  displayName: 'Solar Mini',
10
11
  enabled: true,
11
12
  functionCall: true,
12
13
  id: 'solar-1-mini-chat',
13
- tokens: 32_768,
14
14
  },
15
15
  {
16
+ contextWindowTokens: 32_768,
16
17
  description:
17
18
  'Solar Mini (Ja) 扩展了 Solar Mini 的能力,专注于日语,同时在英语和韩语的使用中保持高效和卓越性能。',
18
19
  displayName: 'Solar Mini (Ja)',
19
20
  functionCall: false,
20
21
  id: 'solar-1-mini-chat-ja',
21
- tokens: 32_768,
22
22
  },
23
23
  {
24
+ contextWindowTokens: 4096,
24
25
  description:
25
26
  'Solar Pro 是 Upstage 推出的一款高智能LLM,专注于单GPU的指令跟随能力,IFEval得分80以上。目前支持英语,正式版本计划于2024年11月推出,将扩展语言支持和上下文长度。',
26
27
  displayName: 'Solar Pro',
27
28
  enabled: true,
28
29
  functionCall: false,
29
30
  id: 'solar-pro',
30
- tokens: 4096,
31
31
  },
32
32
  ],
33
33
  checkModel: 'solar-1-mini-chat',
@@ -4,6 +4,7 @@ import { ModelProviderCard } from '@/types/llm';
4
4
  const BaiduWenxin: ModelProviderCard = {
5
5
  chatModels: [
6
6
  {
7
+ contextWindowTokens: 8192,
7
8
  description:
8
9
  '百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。',
9
10
  displayName: 'ERNIE 3.5 8K',
@@ -14,9 +15,9 @@ const BaiduWenxin: ModelProviderCard = {
14
15
  input: 0.8,
15
16
  output: 2,
16
17
  },
17
- tokens: 8192,
18
18
  },
19
19
  {
20
+ contextWindowTokens: 8192,
20
21
  description:
21
22
  '百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。',
22
23
  displayName: 'ERNIE 3.5 8K Preview',
@@ -26,9 +27,9 @@ const BaiduWenxin: ModelProviderCard = {
26
27
  input: 0.8,
27
28
  output: 2,
28
29
  },
29
- tokens: 8192,
30
30
  },
31
31
  {
32
+ contextWindowTokens: 128_000,
32
33
  description:
33
34
  '百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。',
34
35
  displayName: 'ERNIE 3.5 128K',
@@ -39,9 +40,9 @@ const BaiduWenxin: ModelProviderCard = {
39
40
  input: 0.8,
40
41
  output: 2,
41
42
  },
42
- tokens: 128_000,
43
43
  },
44
44
  {
45
+ contextWindowTokens: 8192,
45
46
  description:
46
47
  '百度自研的旗舰级超大规模⼤语⾔模型,相较ERNIE 3.5实现了模型能力全面升级,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。',
47
48
  displayName: 'ERNIE 4.0 8K',
@@ -52,9 +53,9 @@ const BaiduWenxin: ModelProviderCard = {
52
53
  input: 30,
53
54
  output: 90,
54
55
  },
55
- tokens: 8192,
56
56
  },
57
57
  {
58
+ contextWindowTokens: 8192,
58
59
  description:
59
60
  '百度自研的旗舰级超大规模⼤语⾔模型,相较ERNIE 3.5实现了模型能力全面升级,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。',
60
61
  displayName: 'ERNIE 4.0 8K Preview',
@@ -64,9 +65,9 @@ const BaiduWenxin: ModelProviderCard = {
64
65
  input: 30,
65
66
  output: 90,
66
67
  },
67
- tokens: 8192,
68
68
  },
69
69
  {
70
+ contextWindowTokens: 8192,
70
71
  description:
71
72
  '百度自研的旗舰级超大规模⼤语⾔模型,综合效果表现出色,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀',
72
73
  displayName: 'ERNIE 4.0 Turbo 8K',
@@ -77,9 +78,9 @@ const BaiduWenxin: ModelProviderCard = {
77
78
  input: 20,
78
79
  output: 60,
79
80
  },
80
- tokens: 8192,
81
81
  },
82
82
  {
83
+ contextWindowTokens: 128_000,
83
84
  description:
84
85
  '百度自研的旗舰级超大规模⼤语⾔模型,综合效果表现出色,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀',
85
86
  displayName: 'ERNIE 4.0 Turbo 128K',
@@ -90,9 +91,9 @@ const BaiduWenxin: ModelProviderCard = {
90
91
  input: 20,
91
92
  output: 60,
92
93
  },
93
- tokens: 128_000,
94
94
  },
95
95
  {
96
+ contextWindowTokens: 8192,
96
97
  description:
97
98
  '百度自研的旗舰级超大规模⼤语⾔模型,综合效果表现出色,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀',
98
99
  displayName: 'ERNIE 4.0 Turbo 8K Preview',
@@ -102,9 +103,9 @@ const BaiduWenxin: ModelProviderCard = {
102
103
  input: 20,
103
104
  output: 60,
104
105
  },
105
- tokens: 8192,
106
106
  },
107
107
  {
108
+ contextWindowTokens: 128_000,
108
109
  description:
109
110
  '百度自研的轻量级大语言模型,兼顾优异的模型效果与推理性能,效果比ERNIE Lite更优,适合低算力AI加速卡推理使用。',
110
111
  displayName: 'ERNIE Lite Pro 128K',
@@ -115,9 +116,9 @@ const BaiduWenxin: ModelProviderCard = {
115
116
  input: 0.2,
116
117
  output: 0.4,
117
118
  },
118
- tokens: 128_000,
119
119
  },
120
120
  {
121
+ contextWindowTokens: 128_000,
121
122
  description:
122
123
  '百度2024年最新发布的自研高性能大语言模型,通用能力优异,效果比ERNIE Speed更优,适合作为基座模型进行精调,更好地处理特定场景问题,同时具备极佳的推理性能。',
123
124
  displayName: 'ERNIE Speed Pro 128K',
@@ -128,9 +129,9 @@ const BaiduWenxin: ModelProviderCard = {
128
129
  input: 0.3,
129
130
  output: 0.6,
130
131
  },
131
- tokens: 128_000,
132
132
  },
133
133
  {
134
+ contextWindowTokens: 128_000,
134
135
  description:
135
136
  '百度2024年最新发布的自研高性能大语言模型,通用能力优异,适合作为基座模型进行精调,更好地处理特定场景问题,同时具备极佳的推理性能。',
136
137
  displayName: 'ERNIE Speed 128K',
@@ -140,9 +141,9 @@ const BaiduWenxin: ModelProviderCard = {
140
141
  input: 0,
141
142
  output: 0,
142
143
  },
143
- tokens: 128_000,
144
144
  },
145
145
  {
146
+ contextWindowTokens: 8192,
146
147
  description:
147
148
  '百度自研的垂直场景大语言模型,适合游戏NPC、客服对话、对话角色扮演等应用场景,人设风格更为鲜明、一致,指令遵循能力更强,推理性能更优。',
148
149
  displayName: 'ERNIE Character 8K',
@@ -152,7 +153,6 @@ const BaiduWenxin: ModelProviderCard = {
152
153
  input: 4,
153
154
  output: 8,
154
155
  },
155
- tokens: 8192,
156
156
  },
157
157
  ],
158
158
  checkModel: 'ERNIE-Speed-128K',