@lobehub/chat 1.54.0 → 1.55.0

package/CHANGELOG.md

@@ -2,6 +2,31 @@
 
 # Changelog
 
+## [Version 1.55.0](https://github.com/lobehub/lobe-chat/compare/v1.54.0...v1.55.0)
+
+<sup>Released on **2025-02-14**</sup>
+
+#### ✨ Features
+
+- **misc**: Add vLLM provider support.
+
+<br/>
+
+<details>
+<summary><kbd>Improvements and Fixes</kbd></summary>
+
+#### What's improved
+
+- **misc**: Add vLLM provider support, closes [#6154](https://github.com/lobehub/lobe-chat/issues/6154) ([1708e32](https://github.com/lobehub/lobe-chat/commit/1708e32))
+
+</details>
+
+<div align="right">
+
+[![](https://img.shields.io/badge/-BACK_TO_TOP-151515?style=flat-square)](#readme-top)
+
+</div>
+
 ## [Version 1.54.0](https://github.com/lobehub/lobe-chat/compare/v1.53.12...v1.54.0)
 
 <sup>Released on **2025-02-14**</sup>

package/Dockerfile

@@ -217,6 +217,8 @@ ENV \
     TOGETHERAI_API_KEY="" TOGETHERAI_MODEL_LIST="" \
     # Upstage
     UPSTAGE_API_KEY="" UPSTAGE_MODEL_LIST="" \
+    # vLLM
+    VLLM_API_KEY="" VLLM_MODEL_LIST="" VLLM_PROXY_URL="" \
     # Wenxin
     WENXIN_API_KEY="" WENXIN_MODEL_LIST="" \
     # xAI

package/Dockerfile.database

@@ -254,6 +254,8 @@ ENV \
     TOGETHERAI_API_KEY="" TOGETHERAI_MODEL_LIST="" \
     # Upstage
     UPSTAGE_API_KEY="" UPSTAGE_MODEL_LIST="" \
+    # vLLM
+    VLLM_API_KEY="" VLLM_MODEL_LIST="" VLLM_PROXY_URL="" \
     # Wenxin
     WENXIN_API_KEY="" WENXIN_MODEL_LIST="" \
     # xAI

package/README.ja-JP.md

@@ -170,7 +170,7 @@ LobeChat の継続的な開発において、AI 会話サービスを提供す
 
  <!-- PROVIDER LIST -->
 
-同時に、私たちはさらに多くのモデルサービスプロバイダーをサポートする計画を立てており、サービスプロバイダーのライブラリをさらに充実させる予定です。 LobeChat があなたのお気に入りのサービスプロバイダーをサポートすることを希望する場合は、[💬 コミュニティディスカッション](https://github.com/lobehub/lobe-chat/discussions/1284)に参加してください。
+同時に、私たちはさらに多くのモデルサービスプロバイダーをサポートする計画を立てており、サービスプロバイダーのライブラリをさらに充実させる予定です。 LobeChat があなたのお気に入りのサービスプロバイダーをサポートすることを希望する場合は、[💬 コミュニティディスカッション](https://github.com/lobehub/lobe-chat/discussions/6157)に参加してください。
 
 <div align="right">
 

package/README.md

@@ -189,7 +189,7 @@ We have implemented support for the following model service providers:
 
  <!-- PROVIDER LIST -->
 
-At the same time, we are also planning to support more model service providers. If you would like LobeChat to support your favorite service provider, feel free to join our [💬 community discussion](https://github.com/lobehub/lobe-chat/discussions/1284).
+At the same time, we are also planning to support more model service providers. If you would like LobeChat to support your favorite service provider, feel free to join our [💬 community discussion](https://github.com/lobehub/lobe-chat/discussions/6157).
 
 <div align="right">
 

package/README.zh-CN.md

@@ -189,7 +189,7 @@ LobeChat 支持文件上传与知识库功能，你可以上传文件、图片
 
  <!-- PROVIDER LIST -->
 
-同时，我们也在计划支持更多的模型服务商，以进一步丰富我们的服务商库。如果你希望让 LobeChat 支持你喜爱的服务商，欢迎加入我们的 [💬 社区讨论](https://github.com/lobehub/lobe-chat/discussions/1284)。
+同时，我们也在计划支持更多的模型服务商，以进一步丰富我们的服务商库。如果你希望让 LobeChat 支持你喜爱的服务商，欢迎加入我们的 [💬 社区讨论](https://github.com/lobehub/lobe-chat/discussions/6157)。
 
 <div align="right">
 

package/README.zh-TW.md

@@ -4,8 +4,8 @@
 
 <h1>Lobe Chat</h1>
 
-現代風格的開源 ChatGPT/LLMs 使用介面/框架  
-支持語音合成、多模態、可擴展的（[function call][docs-functionc-call]）插件系統  
+現代風格的開源 ChatGPT/LLMs 使用介面 / 框架\
+支持語音合成、多模態、可擴展的（[function call][docs-functionc-call]）插件系統\
 一鍵**免費**部署私人的 OpenAI ChatGPT/Claude/Gemini/Groq/Ollama 聊天應用
 
 [English](./README.md) · **繁體中文** · [簡體中文](./README.zh-CN.md) · [日本語](./README.ja-JP.md) · [官網][official-site] · [更新日誌][changelog] · [文檔][docs] · [部落格][blog] · [反饋問題][github-issues-link]
@@ -50,14 +50,13 @@
 
 #### TOC
 
-- [👋🏻 開始使用 \& 交流](#-開始使用--交流)
+- [👋🏻 開始使用 & 交流](#-開始使用--交流)
 - [✨ 特性一覽](#-特性一覽)
   - [`1` 文件上傳 / 知識庫](#1-文件上傳--知識庫)
   - [`2` 多模型服務商支持](#2-多模型服務商支持)
-    - [已支持的模型服務商](#已支持的模型服務商)
   - [`3` 支持本地大型語言模型 (LLM)](#3-支持本地大型語言模型-llm)
   - [`4` 模型視覺識別 (Model Visual)](#4-模型視覺識別-model-visual)
-  - [`5` TTS \& STT 語音轉化](#5-tts--stt-語音轉化)
+  - [`5` TTS & STT 語音轉化](#5-tts--stt-語音轉化)
   - [`6` Text to Image 文生圖](#6-text-to-image-文生圖)
   - [`7` 插件系統 (Tools Calling)](#7-插件系統-tools-calling)
   - [`8` 助手市集 (GPTs)](#8-助手市集-gpts)
@@ -70,13 +69,9 @@
 - [⚡️ 性能測試](#️-性能測試)
 - [🛳 開箱即用](#-開箱即用)
   - [`A` 使用 Vercel、Zeabur 、Sealos 或 Alibaba Cloud 部署](#a-使用-vercelzeabur-sealos-或-alibaba-cloud-部署)
-    - [Fork 之後](#fork-之後)
-    - [保持更新](#保持更新)
   - [`B` 使用 Docker 部署](#b-使用-docker-部署)
   - [環境變量](#環境變量)
   - [獲取 OpenAI API Key](#獲取-openai-api-key)
-    - [`A` 通過 OpenAI 官方渠道](#a-通過-openai-官方渠道)
-    - [`B` 通過 OpenAI 第三方代理商](#b-通過-openai-第三方代理商)
 - [📦 生態系統](#-生態系統)
 - [🧩 插件體系](#-插件體系)
 - [⌨️ 本地開發](#️-本地開發)
@@ -93,12 +88,12 @@
 ## 👋🏻 開始使用 & 交流
 
 我們是一群充滿熱情的設計工程師，希望為 AIGC 提供現代化的設計組件和工具，並以開源的方式分享。
-透過採用Bootstrapping 的方式，我們的目標是為開發人員和使用者提供一個更加開放、透明和使用者友好的產品生態系統。
+透過採用 Bootstrapping 的方式，我們的目標是為開發人員和使用者提供一個更加開放、透明和使用者友好的產品生態系統。
 
 LobeHub 旨在成為普通用戶與專業開發者測試 AI 助手的場所。LobeChat 目前正在積極開發中，有任何需求或者問題，歡迎提交 [issues][issues-link]
 
-| [![][vercel-shield-badge]][vercel-link]   | 無需安裝或註冊！訪問我們的網站立刻體驗                                     |
-| :---------------------------------------- | :--------------------------------------------------------------------------- |
+| [![][vercel-shield-badge]][vercel-link]   | 無需安裝或註冊！訪問我們的網站立刻體驗                  |
+| :---------------------------------------- | :------------------------------------------------------ |
 | [![][discord-shield-badge]][discord-link] | 加入我們的 Discord 和開發者交流，和其他用戶們分享心得！ |
 
 > \[!IMPORTANT]
@@ -194,7 +189,7 @@ LobeChat 支持文件上傳與知識庫功能，你可以上傳文件、圖片
 
  <!-- PROVIDER LIST -->
 
-同時，我們也在計劃支持更多的模型服務商，以進一步豐富我們的服務商庫。如果你希望讓 LobeChat 支持你喜愛的服務商，歡迎加入我們的 [💬 社區討論](https://github.com/lobehub/lobe-chat/discussions/1284)。
+同時，我們也在計劃支持更多的模型服務商，以進一步豐富我們的服務商庫。如果你希望讓 LobeChat 支持你喜愛的服務商，歡迎加入我們的 [💬 社區討論](https://github.com/lobehub/lobe-chat/discussions/6157)。
 
 <div align="right">
 
@@ -477,7 +472,7 @@ LobeChat 提供了 Vercel 的 自托管版本 和 [Docker 鏡像][docker-release
 
 <div align="center">
 
-|            使用 Vercel 部署             |                      使用 Zeabur 部署                       |                      使用 Sealos 部署                       |                           使用 Alibaba Cloud 部署                            |
+|            使用 Vercel 部署             |                      使用 Zeabur 部署                       |                      使用 Sealos 部署                       |                          使用 Alibaba Cloud 部署                          |
 | :-------------------------------------: | :---------------------------------------------------------: | :---------------------------------------------------------: | :-----------------------------------------------------------------------: |
 | [![][deploy-button-image]][deploy-link] | [![][deploy-on-zeabur-button-image]][deploy-on-zeabur-link] | [![][deploy-on-sealos-button-image]][deploy-on-sealos-link] | [![][deploy-on-alibaba-cloud-button-image]][deploy-on-alibaba-cloud-link] |
 

package/changelog/v1.json

@@ -1,4 +1,13 @@
 [
+  {
+    "children": {
+      "features": [
+        "Add vLLM provider support."
+      ]
+    },
+    "date": "2025-02-14",
+    "version": "1.55.0"
+  },
   {
     "children": {
       "features": [

package/docs/changelog/2024-11-25-november-providers.mdx

@@ -23,4 +23,4 @@ We're excited to announce that LobeChat has expanded its AI model support with t
 
 ## Need More Model Providers?
 
-Feel free to submit your requests at [More Model Provider Support](https://github.com/lobehub/lobe-chat/discussions/1284).
+Feel free to submit your requests at [More Model Provider Support](https://github.com/lobehub/lobe-chat/discussions/6157).

package/docs/changelog/2024-11-25-november-providers.zh-CN.mdx

@@ -21,4 +21,4 @@ tags:
 
 ## 需要更多模型服务？
 
-欢迎在 [更多模型服务商支持](https://github.com/lobehub/lobe-chat/discussions/1284) 提交您的需求。
+欢迎在 [更多模型服务商支持](https://github.com/lobehub/lobe-chat/discussions/6157) 提交您的需求。

package/docs/usage/features/multi-ai-providers.mdx

@@ -43,7 +43,7 @@ We have implemented support for the following model service providers:
 - **DeepSeek**: Integrated with the DeepSeek series models, an innovative AI startup from China, The product has been designed to provide a model that balances performance with price. [Learn more](https://www.deepseek.com/)
 - **Qwen**: Integrated with the Qwen series models, including the latest **qwen-turbo**, **qwen-plus** and **qwen-max**. [Learn more](https://help.aliyun.com/zh/dashscope/developer-reference/model-introduction)
 
-At the same time, we are also planning to support more model service providers, such as Replicate and Perplexity, to further enrich our service provider library. If you would like LobeChat to support your favorite service provider, feel free to join our [community discussion](https://github.com/lobehub/lobe-chat/discussions/1284).
+At the same time, we are also planning to support more model service providers, such as Replicate and Perplexity, to further enrich our service provider library. If you would like LobeChat to support your favorite service provider, feel free to join our [community discussion](https://github.com/lobehub/lobe-chat/discussions/6157).
 
 ## Local Model Support
 

package/docs/usage/features/multi-ai-providers.zh-CN.mdx

@@ -43,7 +43,7 @@ tags:
 - **DeepSeek**: 接入了 DeepSeek 的 AI 模型，包括最新的 **DeepSeek-V2**，提供兼顾性能与价格的模型。[了解更多](https://www.deepseek.com/)
 - **Qwen (通义千问)**: 接入了 Qwen 的 AI 模型，包括最新的 **qwen-turbo**，**qwen-plus** 和 **qwen-max** 等模型。[了解更多](https://help.aliyun.com/zh/dashscope/developer-reference/model-introduction)
 
-同时，我们也在计划支持更多的模型服务商，如 Replicate 和 Perplexity 等，以进一步丰富我们的服务商库。如果你希望让 LobeChat 支持你喜爱的服务商，欢迎加入我们的[社区讨论](https://github.com/lobehub/lobe-chat/discussions/1284)。
+同时，我们也在计划支持更多的模型服务商，如 Replicate 和 Perplexity 等，以进一步丰富我们的服务商库。如果你希望让 LobeChat 支持你喜爱的服务商，欢迎加入我们的[社区讨论](https://github.com/lobehub/lobe-chat/discussions/6157)。
 
 ## 本地模型支持
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@lobehub/chat",
-  "version": "1.54.0",
+  "version": "1.55.0",
   "description": "Lobe Chat - an open-source, high-performance chatbot framework that supports speech synthesis, multimodal, and extensible Function Call plugin system. Supports one-click free deployment of your private ChatGPT/LLM web application.",
   "keywords": [
     "framework",

package/src/app/[variants]/(main)/settings/llm/ProviderList/providers.tsx

@@ -28,6 +28,7 @@ import {
   TaichuProviderCard,
   TogetherAIProviderCard,
   UpstageProviderCard,
+  VLLMProviderCard,
   WenxinProviderCard,
   XAIProviderCard,
   ZeroOneProviderCard,
@@ -57,6 +58,7 @@ export const useProviderList = (): ProviderItem[] => {
       OpenAIProvider,
       AzureProvider,
       OllamaProvider,
+      VLLMProviderCard,
       AnthropicProviderCard,
       BedrockProvider,
       GoogleProviderCard,

package/src/config/aiModels/index.ts

@@ -37,6 +37,7 @@ import { default as taichu } from './taichu';
 import { default as tencentcloud } from './tencentcloud';
 import { default as togetherai } from './togetherai';
 import { default as upstage } from './upstage';
+import { default as vllm } from './vllm';
 import { default as wenxin } from './wenxin';
 import { default as xai } from './xai';
 import { default as zeroone } from './zeroone';
@@ -99,6 +100,7 @@ export const LOBE_DEFAULT_MODEL_LIST = buildDefaultModelList({
   tencentcloud,
   togetherai,
   upstage,
+  vllm,
   wenxin,
   xai,
   zeroone,
@@ -142,6 +144,7 @@ export { default as taichu } from './taichu';
 export { default as tencentcloud } from './tencentcloud';
 export { default as togetherai } from './togetherai';
 export { default as upstage } from './upstage';
+export { default as vllm } from './vllm';
 export { default as wenxin } from './wenxin';
 export { default as xai } from './xai';
 export { default as zeroone } from './zeroone';

package/src/config/aiModels/vllm.ts

@@ -0,0 +1,94 @@
+import { AIChatModelCard } from '@/types/aiModel';
+
+const vllmChatModels: AIChatModelCard[] = [
+  {
+    abilities: {
+      functionCall: true
+    },
+    contextWindowTokens: 128_000,
+    description:
+      'Llama 3.1 是 Meta 推出的领先模型，支持高达 405B 参数，可应用于复杂对话、多语言翻译和数据分析领域。',
+    displayName: 'Llama 3.1 70B',
+    enabled: true,
+    id: 'meta-llama/Meta-Llama-3.1-70B',
+    type: 'chat',
+  },
+  {
+    abilities: {
+      functionCall: true
+    },
+    contextWindowTokens: 128_000,
+    description:
+      'Llama 3.1 是 Meta 推出的领先模型，支持高达 405B 参数，可应用于复杂对话、多语言翻译和数据分析领域。',
+    displayName: 'Llama 3.1 405B Instruct',
+    id: 'meta-llama/Meta-Llama-3.1-405B-Instruct',
+    type: 'chat',
+  },
+  {
+    contextWindowTokens: 8192,
+    description:
+      'Gemma 2 是 Google 推出的高效模型，涵盖从小型应用到复杂数据处理的多种应用场景。',
+    displayName: 'Gemma 2 9B',
+    id: 'google/gemma-2-9b',
+    type: 'chat',
+  },
+  {
+    contextWindowTokens: 8192,
+    description:
+      'Gemma 2 是 Google 推出的高效模型，涵盖从小型应用到复杂数据处理的多种应用场景。',
+    displayName: 'Gemma 2 27B',
+    id: 'google/gemma-2-27b',
+    type: 'chat',
+  },
+  {
+    contextWindowTokens: 8192,
+    description:
+      'Mistral (7B) Instruct 以高性能著称，适用于多种语言任务。',
+    displayName: 'Mistral 7B Instruct v0.1',
+    id: 'mistralai/Mistral-7B-Instruct-v0.1',
+    type: 'chat',
+  },
+  {
+    contextWindowTokens: 32_768,
+    description:
+      'Mixtral-8x7B Instruct (46.7B) 提供高容量的计算框架，适合大规模数据处理。',
+    displayName: 'Mistral 8x7B Instruct v0.1',
+    id: 'mistralai/Mixtral-8x7B-Instruct-v0.1',
+    type: 'chat',
+  },
+  {
+    abilities: {
+      functionCall: true
+    },
+    contextWindowTokens: 65_536,
+    description:
+      'DeepSeek-V3 是一款拥有 6710 亿参数的混合专家（MoE）语言模型，采用多头潜在注意力（MLA）和 DeepSeekMoE 架构，结合无辅助损失的负载平衡策略，优化推理和训练效率。通过在 14.8 万亿高质量tokens上预训练，并进行监督微调和强化学习，DeepSeek-V3 在性能上超越其他开源模型，接近领先闭源模型。',
+    displayName: 'DeepSeek V3',
+    enabled: true,
+    id: 'deepseek-ai/DeepSeek-V3',
+    type: 'chat',
+  },
+  {
+    abilities: {
+      reasoning: true
+    },
+    contextWindowTokens: 32_768,
+    description: 'Qwen QwQ 是由 Qwen 团队开发的实验研究模型，专注于提升AI推理能力。',
+    displayName: 'QwQ 32B Preview',
+    enabled: true,
+    id: 'Qwen/QwQ-32B-Preview',
+    type: 'chat',
+  },
+  {
+    contextWindowTokens: 32_768,
+    description: 'Qwen2-7B-Instruct 是 Qwen2 系列中的指令微调大语言模型，参数规模为 7B。该模型基于 Transformer 架构，采用了 SwiGLU 激活函数、注意力 QKV 偏置和组查询注意力等技术。它能够处理大规模输入。该模型在语言理解、生成、多语言能力、编码、数学和推理等多个基准测试中表现出色，超越了大多数开源模型，并在某些任务上展现出与专有模型相当的竞争力。Qwen2-7B-Instruct 在多项评测中均优于 Qwen1.5-7B-Chat，显示出显著的性能提升',
+    displayName: 'Qwen2 7B Instruct',
+    enabled: true,
+    id: 'Qwen/Qwen2-7B-Instruct',
+    type: 'chat',
+  },
+]
+
+export const allModels = [...vllmChatModels];
+
+export default allModels;

package/src/config/llm.ts

@@ -68,6 +68,9 @@ export const getLLMConfig = () => {
 
       ENABLED_OLLAMA: z.boolean(),
 
+      ENABLED_VLLM: z.boolean(),
+      VLLM_API_KEY: z.string().optional(),
+
       ENABLED_QWEN: z.boolean(),
       QWEN_API_KEY: z.string().optional(),
 
@@ -196,6 +199,9 @@ export const getLLMConfig = () => {
 
       ENABLED_OLLAMA: process.env.ENABLED_OLLAMA !== '0',
 
+      ENABLED_VLLM: !!process.env.VLLM_API_KEY,
+      VLLM_API_KEY: process.env.VLLM_API_KEY,
+
       ENABLED_QWEN: !!process.env.QWEN_API_KEY,
       QWEN_API_KEY: process.env.QWEN_API_KEY,
 

package/src/config/modelProviders/index.ts

@@ -37,6 +37,7 @@ import TaichuProvider from './taichu';
 import TencentcloudProvider from './tencentcloud';
 import TogetherAIProvider from './togetherai';
 import UpstageProvider from './upstage';
+import VLLMProvider from './vllm';
 import WenxinProvider from './wenxin';
 import XAIProvider from './xai';
 import ZeroOneProvider from './zeroone';
@@ -58,6 +59,7 @@ export const LOBE_DEFAULT_MODEL_LIST: ChatModelCard[] = [
   MistralProvider.chatModels,
   MoonshotProvider.chatModels,
   OllamaProvider.chatModels,
+  VLLMProvider.chatModels,
   OpenRouterProvider.chatModels,
   TogetherAIProvider.chatModels,
   FireworksAIProvider.chatModels,
@@ -89,6 +91,7 @@ export const DEFAULT_MODEL_PROVIDER_LIST = [
   OpenAIProvider,
   { ...AzureProvider, chatModels: [] },
   OllamaProvider,
+  VLLMProvider,
   AnthropicProvider,
   BedrockProvider,
   GoogleProvider,
@@ -175,6 +178,7 @@ export { default as TaichuProviderCard } from './taichu';
 export { default as TencentCloudProviderCard } from './tencentcloud';
 export { default as TogetherAIProviderCard } from './togetherai';
 export { default as UpstageProviderCard } from './upstage';
+export { default as VLLMProviderCard } from './vllm';
 export { default as WenxinProviderCard } from './wenxin';
 export { default as XAIProviderCard } from './xai';
 export { default as ZeroOneProviderCard } from './zeroone';

package/src/config/modelProviders/vllm.ts

@@ -0,0 +1,20 @@
+import { ModelProviderCard } from '@/types/llm';
+
+const VLLM: ModelProviderCard = {
+  chatModels: [],
+  description: 'vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务。',
+  id: 'vllm',
+  modelList: { showModelFetcher: true },
+  modelsUrl: 'https://docs.vllm.ai/en/latest/models/supported_models.html#supported-models',
+  name: 'vLLM',
+  settings: {
+    proxyUrl: {
+      placeholder: 'http://localhost:8000/v1',
+    },
+    sdkType: 'openai',
+    showModelFetcher: true,
+  },
+  url: 'https://docs.vllm.ai',
+};
+
+export default VLLM; 

package/src/const/url.ts

@@ -44,7 +44,7 @@ export const TERMS_URL = urlJoin(OFFICIAL_SITE, '/terms');
 export const PLUGINS_INDEX_URL = 'https://chat-plugins.lobehub.com';
 
 export const MORE_MODEL_PROVIDER_REQUEST_URL =
-  'https://github.com/lobehub/lobe-chat/discussions/1284';
+  'https://github.com/lobehub/lobe-chat/discussions/6157';
 
 export const MORE_FILE_PREVIEW_REQUEST_URL =
   'https://github.com/lobehub/lobe-chat/discussions/3684';

package/src/libs/agent-runtime/AgentRuntime.ts

@@ -49,6 +49,7 @@ import {
   TextToSpeechPayload,
 } from './types';
 import { LobeUpstageAI } from './upstage';
+import { LobeVLLMAI } from './vllm';
 import { LobeWenxinAI } from './wenxin';
 import { LobeXAI } from './xai';
 import { LobeZeroOneAI } from './zeroone';
@@ -172,6 +173,7 @@ class AgentRuntime {
       tencentcloud: Partial<ClientOptions>;
       togetherai: Partial<ClientOptions>;
       upstage: Partial<ClientOptions>;
+      vllm: Partial<ClientOptions>;
       wenxin: Partial<ClientOptions>;
       xai: Partial<ClientOptions>;
       zeroone: Partial<ClientOptions>;
@@ -227,6 +229,11 @@ class AgentRuntime {
         break;
       }
 
+      case ModelProvider.VLLM: {
+        runtimeModel = new LobeVLLMAI(params.vllm);
+        break;
+      }
+
       case ModelProvider.Perplexity: {
         runtimeModel = new LobePerplexityAI(params.perplexity);
         break;

package/src/libs/agent-runtime/types/type.ts

@@ -59,6 +59,7 @@ export enum ModelProvider {
   TencentCloud = 'tencentcloud',
   TogetherAI = 'togetherai',
   Upstage = 'upstage',
+  VLLM = 'vllm',
   Wenxin = 'wenxin',
   XAI = 'xai',
   ZeroOne = 'zeroone',

package/src/libs/agent-runtime/vllm/index.ts

@@ -0,0 +1,44 @@
+import { ModelProvider } from '../types';
+import { LobeOpenAICompatibleFactory } from '../utils/openaiCompatibleFactory';
+
+import type { ChatModelCard } from '@/types/llm';
+
+export interface VLLMModelCard {
+  id: string;
+}
+
+export const LobeVLLMAI = LobeOpenAICompatibleFactory({
+  baseURL: 'http://localhost:8000/v1',
+  debug: {
+    chatCompletion: () => process.env.DEBUG_VLLM_CHAT_COMPLETION === '1',
+  },
+  models: async ({ client }) => {
+    const { LOBE_DEFAULT_MODEL_LIST } = await import('@/config/aiModels');
+
+    const modelsPage = await client.models.list() as any;
+    const modelList: VLLMModelCard[] = modelsPage.data;
+
+    return modelList
+      .map((model) => {
+        const knownModel = LOBE_DEFAULT_MODEL_LIST.find((m) => model.id.toLowerCase() === m.id.toLowerCase());
+
+        return {
+          contextWindowTokens: knownModel?.contextWindowTokens ?? undefined,
+          displayName: knownModel?.displayName ?? undefined,
+          enabled: knownModel?.enabled || false,
+          functionCall:
+            knownModel?.abilities?.functionCall
+            || false,
+          id: model.id,
+          reasoning:
+            knownModel?.abilities?.reasoning
+            || false,
+          vision:
+            knownModel?.abilities?.vision
+            || false,
+        };
+      })
+      .filter(Boolean) as ChatModelCard[];
+  },
+  provider: ModelProvider.VLLM,
+});

package/src/types/user/settings/keyVaults.ts

@@ -65,6 +65,7 @@ export interface UserKeyVaults {
   tencentcloud?: OpenAICompatibleKeyVault;
   togetherai?: OpenAICompatibleKeyVault;
   upstage?: OpenAICompatibleKeyVault;
+  vllm?: OpenAICompatibleKeyVault;
   wenxin?: OpenAICompatibleKeyVault;
   xai?: OpenAICompatibleKeyVault;
   zeroone?: OpenAICompatibleKeyVault;