better-dsh 0.2.4 → 0.2.5

package/docs/80_upstream-docs-and-skills/hermes-dev-skill/src/i18n/zh-Hans/user-guide/skills/bundled/mlops/mlops-inference-llama-cpp.md

@@ -0,0 +1,267 @@
+---
+title: "Llama Cpp — llama"
+sidebar_label: "Llama Cpp"
+description: "llama"
+---
+
+{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}
+
+# Llama Cpp
+
+llama.cpp 本地 GGUF 推理 + HF Hub 模型发现。
+
+## Skill 元数据
+
+| | |
+|---|---|
+| 来源 | 内置（默认安装） |
+| 路径 | `skills/mlops/inference/llama-cpp` |
+| 版本 | `2.1.2` |
+| 作者 | Orchestra Research |
+| 许可证 | MIT |
+| 依赖 | `llama-cpp-python>=0.2.0` |
+| 平台 | linux, macos, windows |
+| 标签 | `llama.cpp`, `GGUF`, `Quantization`, `Hugging Face Hub`, `CPU Inference`, `Apple Silicon`, `Edge Deployment`, `AMD GPUs`, `Intel GPUs`, `NVIDIA`, `URL-first` |
+
+## 参考：完整 SKILL.md
+
+:::info
+以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 agent 在 skill 激活时所看到的指令内容。
+:::
+
+# llama.cpp + GGUF
+
+本 skill 用于本地 GGUF 推理、量化（Quantization）选择，以及 Hugging Face 仓库发现（用于 llama.cpp）。
+
+## 使用场景
+
+- 在 CPU、Apple Silicon、CUDA、ROCm 或 Intel GPU 上运行本地模型
+- 为特定 Hugging Face 仓库找到合适的 GGUF 文件
+- 从 Hub 构建 `llama-server` 或 `llama-cli` 命令
+- 在 Hub 上搜索已支持 llama.cpp 的模型
+- 枚举某个仓库中可用的 `.gguf` 文件及其大小
+- 根据用户的 RAM 或 VRAM 在 Q4/Q5/Q6/IQ 变体之间做出选择
+
+## 模型发现工作流
+
+优先使用 URL 工作流，再考虑 `hf`、Python 或自定义脚本。
+
+1. 在 Hub 上搜索候选仓库：
+   - 基础地址：`https://huggingface.co/models?apps=llama.cpp&sort=trending`
+   - 添加 `search=<term>` 以搜索特定模型系列
+   - 当用户有参数量限制时，添加 `num_parameters=min:0,max:24B` 或类似参数
+2. 使用 llama.cpp 本地应用视图打开仓库：
+   - `https://huggingface.co/<repo>?local-app=llama.cpp`
+3. 当 local-app 代码片段可见时，将其作为权威来源：
+   - 复制完整的 `llama-server` 或 `llama-cli` 命令
+   - 严格按照 HF 显示的推荐量化标签进行报告
+4. 将同一 `?local-app=llama.cpp` URL 作为页面文本或 HTML 读取，并提取 `Hardware compatibility` 部分：
+   - 优先使用其中的精确量化标签和大小，而非通用表格
+   - 保留仓库特有的标签，如 `UD-Q4_K_M` 或 `IQ4_NL_XL`
+   - 如果该部分在获取的页面源码中不可见，请说明并回退到 tree API 加通用量化指导
+5. 查询 tree API 以确认实际存在的文件：
+   - `https://huggingface.co/api/models/<repo>/tree/main?recursive=true`
+   - 保留 `type` 为 `file` 且 `path` 以 `.gguf` 结尾的条目
+   - 以 `path` 和 `size` 作为文件名和字节大小的权威来源
+   - 将量化检查点与 `mmproj-*.gguf` 投影文件及 `BF16/` 分片文件分开处理
+   - 仅将 `https://huggingface.co/<repo>/tree/main` 作为人工备用方案
+6. 如果 local-app 代码片段不可见，则从仓库和所选量化重建命令：
+   - 简写量化选择：`llama-server -hf <repo>:<QUANT>`
+   - 精确文件备用：`llama-server --hf-repo <repo> --hf-file <filename.gguf>`
+7. 仅当仓库未暴露 GGUF 文件时，才建议从 Transformers 权重进行转换。
+
+## 快速开始
+
+### 安装 llama.cpp
+
+```bash
+# macOS / Linux（最简方式）
+brew install llama.cpp
+```
+
+```bash
+winget install llama.cpp
+```
+
+```bash
+git clone https://github.com/ggml-org/llama.cpp
+cd llama.cpp
+cmake -B build
+cmake --build build --config Release
+```
+
+### 直接从 Hugging Face Hub 运行
+
+```bash
+llama-cli -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0
+```
+
+```bash
+llama-server -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0
+```
+
+### 从 Hub 运行精确的 GGUF 文件
+
+当 tree API 显示自定义文件命名或缺少精确 HF 代码片段时使用此方式。
+
+```bash
+llama-server \
+    --hf-repo microsoft/Phi-3-mini-4k-instruct-gguf \
+    --hf-file Phi-3-mini-4k-instruct-q4.gguf \
+    -c 4096
+```
+
+### OpenAI 兼容服务器检查
+
+```bash
+curl http://localhost:8080/v1/chat/completions \
+  -H "Content-Type: application/json" \
+  -d '{
+    "messages": [
+      {"role": "user", "content": "Write a limerick about Python exceptions"}
+    ]
+  }'
+```
+
+## Python 绑定（llama-cpp-python）
+
+`pip install llama-cpp-python`（CUDA：`CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python --force-reinstall --no-cache-dir`；Metal：`CMAKE_ARGS="-DGGML_METAL=on" ...`）。
+
+### 基础生成
+
+```python
+from llama_cpp import Llama
+
+llm = Llama(
+    model_path="./model-q4_k_m.gguf",
+    n_ctx=4096,
+    n_gpu_layers=35,     # 0 为 CPU，99 为全部卸载到 GPU
+    n_threads=8,
+)
+
+out = llm("What is machine learning?", max_tokens=256, temperature=0.7)
+print(out["choices"][0]["text"])
+```
+
+### 对话 + 流式输出
+
+```python
+llm = Llama(
+    model_path="./model-q4_k_m.gguf",
+    n_ctx=4096,
+    n_gpu_layers=35,
+    chat_format="llama-3",   # 或 "chatml"、"mistral" 等
+)
+
+resp = llm.create_chat_completion(
+    messages=[
+        {"role": "system", "content": "You are a helpful assistant."},
+        {"role": "user", "content": "What is Python?"},
+    ],
+    max_tokens=256,
+)
+print(resp["choices"][0]["message"]["content"])
+
+# 流式输出
+for chunk in llm("Explain quantum computing:", max_tokens=256, stream=True):
+    print(chunk["choices"][0]["text"], end="", flush=True)
+```
+
+### Embedding（嵌入向量）
+
+```python
+llm = Llama(model_path="./model-q4_k_m.gguf", embedding=True, n_gpu_layers=35)
+vec = llm.embed("This is a test sentence.")
+print(f"Embedding dimension: {len(vec)}")
+```
+
+也可以直接从 Hub 加载 GGUF：
+
+```python
+llm = Llama.from_pretrained(
+    repo_id="bartowski/Llama-3.2-3B-Instruct-GGUF",
+    filename="*Q4_K_M.gguf",
+    n_gpu_layers=35,
+)
+```
+
+## 选择量化方案
+
+优先参考 Hub 页面，其次使用通用启发式规则。
+
+- 优先使用 HF 标记为与用户硬件配置兼容的精确量化方案。
+- 一般对话场景，从 `Q4_K_M` 开始。
+- 代码或技术工作，若内存允许，优先选择 `Q5_K_M` 或 `Q6_K`。
+- RAM 非常紧张时，仅在用户明确将适配性置于质量之上时，才考虑 `Q3_K_M`、`IQ` 变体或 `Q2` 变体。
+- 对于多模态仓库，单独说明 `mmproj-*.gguf`。投影文件不是主模型文件。
+- 不要规范化仓库原生标签。如果页面显示 `UD-Q4_K_M`，就报告 `UD-Q4_K_M`。
+
+## 从仓库提取可用的 GGUF 文件
+
+当用户询问存在哪些 GGUF 时，返回：
+
+- 文件名
+- 文件大小
+- 量化标签
+- 是否为主模型或辅助投影文件
+
+除非被要求，否则忽略：
+
+- README
+- BF16 分片文件
+- imatrix blob 或校准产物
+
+此步骤使用 tree API：
+
+- `https://huggingface.co/api/models/<repo>/tree/main?recursive=true`
+
+对于 `unsloth/Qwen3.6-35B-A3B-GGUF` 这样的仓库，local-app 页面可显示 `UD-Q4_K_M`、`UD-Q5_K_M`、`UD-Q6_K` 和 `Q8_0` 等量化标签，而 tree API 则暴露精确文件路径（如 `Qwen3.6-35B-A3B-UD-Q4_K_M.gguf` 和 `Qwen3.6-35B-A3B-Q8_0.gguf`）及字节大小。使用 tree API 将量化标签转换为精确文件名。
+
+## 搜索模式
+
+直接使用以下 URL 格式：
+
+```text
+https://huggingface.co/models?apps=llama.cpp&sort=trending
+https://huggingface.co/models?search=<term>&apps=llama.cpp&sort=trending
+https://huggingface.co/models?search=<term>&apps=llama.cpp&num_parameters=min:0,max:24B&sort=trending
+https://huggingface.co/<repo>?local-app=llama.cpp
+https://huggingface.co/api/models/<repo>/tree/main?recursive=true
+https://huggingface.co/<repo>/tree/main
+```
+
+## 输出格式
+
+回答发现请求时，优先使用如下紧凑结构化结果：
+
+```text
+Repo: <repo>
+Recommended quant from HF: <label> (<size>)
+llama-server: <command>
+Other GGUFs:
+- <filename> - <size>
+- <filename> - <size>
+Source URLs:
+- <local-app URL>
+- <tree API URL>
+```
+
+## 参考资料
+
+- **[hub-discovery.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/llama-cpp/references/hub-discovery.md)** — 纯 URL Hugging Face 工作流、搜索模式、GGUF 提取及命令重建
+- **[advanced-usage.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/llama-cpp/references/advanced-usage.md)** — 推测解码、批量推理、语法约束生成、LoRA、多 GPU、自定义构建、基准脚本
+- **[quantization.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/llama-cpp/references/quantization.md)** — 量化质量权衡、何时使用 Q4/Q5/Q6/IQ、模型大小缩放、imatrix
+- **[server.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/llama-cpp/references/server.md)** — 直接从 Hub 启动服务器、OpenAI API 端点、Docker 部署、NGINX 负载均衡、监控
+- **[optimization.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/llama-cpp/references/optimization.md)** — CPU 线程、BLAS、GPU 卸载启发式、批处理调优、基准测试
+- **[troubleshooting.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/llama-cpp/references/troubleshooting.md)** — 安装/转换/量化/推理/服务器问题、Apple Silicon、调试
+
+## 资源
+
+- **GitHub**：https://github.com/ggml-org/llama.cpp
+- **Hugging Face GGUF + llama.cpp 文档**：https://huggingface.co/docs/hub/gguf-llamacpp
+- **Hugging Face 本地应用文档**：https://huggingface.co/docs/hub/main/local-apps
+- **Hugging Face 本地 Agent 文档**：https://huggingface.co/docs/hub/agents-local
+- **local-app 页面示例**：https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF?local-app=llama.cpp
+- **tree API 示例**：https://huggingface.co/api/models/unsloth/Qwen3.6-35B-A3B-GGUF/tree/main?recursive=true
+- **llama.cpp 搜索示例**：https://huggingface.co/models?num_parameters=min:0,max:24B&apps=llama.cpp&sort=trending
+- **许可证**：MIT

package/docs/80_upstream-docs-and-skills/hermes-dev-skill/src/i18n/zh-Hans/user-guide/skills/bundled/mlops/mlops-inference-serving-llms-vllm.md

@@ -0,0 +1,386 @@
+---
+title: "Serving Llms Vllm — vLLM：高吞吐量 LLM 服务、OpenAI API、量化"
+sidebar_label: "Serving Llms Vllm"
+description: "vLLM：高吞吐量 LLM 服务、OpenAI API、量化"
+---
+
+{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}
+
+# Serving Llms Vllm
+
+vLLM：高吞吐量 LLM 服务、OpenAI API、量化。
+
+## Skill 元数据
+
+| | |
+|---|---|
+| 来源 | 内置（默认安装） |
+| 路径 | `skills/mlops/inference/serving-llms-vllm` |
+| 版本 | `1.0.0` |
+| 作者 | Orchestra Research |
+| 许可证 | MIT |
+| 依赖 | `vllm`, `torch`, `transformers` |
+| 平台 | linux, macos |
+| 标签 | `vLLM`, `Inference Serving`, `PagedAttention`, `Continuous Batching`, `High Throughput`, `Production`, `OpenAI API`, `Quantization`, `Tensor Parallelism` |
+
+## 参考：完整 SKILL.md
+
+:::info
+以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 agent 在 skill 激活时所看到的指令内容。
+:::
+
+# vLLM - 高性能 LLM 服务
+
+## 适用场景
+
+在部署生产级 LLM API、优化推理延迟/吞吐量，或在 GPU 显存有限的情况下服务模型时使用。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）以及张量并行。
+
+## 快速开始
+
+vLLM 通过 PagedAttention（基于块的 KV 缓存）和 continuous batching（混合 prefill/decode 请求）实现比标准 transformers 高 24 倍的吞吐量。
+
+**安装**：
+```bash
+pip install vllm
+```
+
+**基础离线推理**：
+```python
+from vllm import LLM, SamplingParams
+
+llm = LLM(model="meta-llama/Llama-3-8B-Instruct")
+sampling = SamplingParams(temperature=0.7, max_tokens=256)
+
+outputs = llm.generate(["Explain quantum computing"], sampling)
+print(outputs[0].outputs[0].text)
+```
+
+**OpenAI 兼容服务器**：
+```bash
+vllm serve meta-llama/Llama-3-8B-Instruct
+
+# Query with OpenAI SDK
+python -c "
+from openai import OpenAI
+client = OpenAI(base_url='http://localhost:8000/v1', api_key='EMPTY')
+print(client.chat.completions.create(
+    model='meta-llama/Llama-3-8B-Instruct',
+    messages=[{'role': 'user', 'content': 'Hello!'}]
+).choices[0].message.content)
+"
+```
+
+## 常见工作流
+
+### 工作流 1：生产 API 部署
+
+复制此清单并跟踪进度：
+
+```
+Deployment Progress:
+- [ ] Step 1: Configure server settings
+- [ ] Step 2: Test with limited traffic
+- [ ] Step 3: Enable monitoring
+- [ ] Step 4: Deploy to production
+- [ ] Step 5: Verify performance metrics
+```
+
+**步骤 1：配置服务器设置**
+
+根据模型大小选择配置：
+
+```bash
+# For 7B-13B models on single GPU
+vllm serve meta-llama/Llama-3-8B-Instruct \
+  --gpu-memory-utilization 0.9 \
+  --max-model-len 8192 \
+  --port 8000
+
+# For 30B-70B models with tensor parallelism
+vllm serve meta-llama/Llama-2-70b-hf \
+  --tensor-parallel-size 4 \
+  --gpu-memory-utilization 0.9 \
+  --quantization awq \
+  --port 8000
+
+# For production with caching and metrics
+vllm serve meta-llama/Llama-3-8B-Instruct \
+  --gpu-memory-utilization 0.9 \
+  --enable-prefix-caching \
+  --enable-metrics \
+  --metrics-port 9090 \
+  --port 8000 \
+  --host 0.0.0.0
+```
+
+**步骤 2：使用有限流量测试**
+
+在生产前运行负载测试：
+
+```bash
+# Install load testing tool
+pip install locust
+
+# Create test_load.py with sample requests
+# Run: locust -f test_load.py --host http://localhost:8000
+```
+
+验证 TTFT（首 token 时间）< 500ms，吞吐量 > 100 req/sec。
+
+**步骤 3：启用监控**
+
+vLLM 在端口 9090 上暴露 Prometheus 指标：
+
+```bash
+curl http://localhost:9090/metrics | grep vllm
+```
+
+需监控的关键指标：
+- `vllm:time_to_first_token_seconds` - 延迟
+- `vllm:num_requests_running` - 活跃请求数
+- `vllm:gpu_cache_usage_perc` - KV 缓存利用率
+
+**步骤 4：部署到生产环境**
+
+使用 Docker 实现一致性部署：
+
+```bash
+# Run vLLM in Docker
+docker run --gpus all -p 8000:8000 \
+  vllm/vllm-openai:latest \
+  --model meta-llama/Llama-3-8B-Instruct \
+  --gpu-memory-utilization 0.9 \
+  --enable-prefix-caching
+```
+
+**步骤 5：验证性能指标**
+
+检查部署是否达到目标：
+- TTFT < 500ms（短 prompt 情况下）
+- 吞吐量 > 目标 req/sec
+- GPU 利用率 > 80%
+- 日志中无 OOM 错误
+
+### 工作流 2：离线批量推理
+
+用于处理大型数据集，无需服务器开销。
+
+复制此清单：
+
+```
+Batch Processing:
+- [ ] Step 1: Prepare input data
+- [ ] Step 2: Configure LLM engine
+- [ ] Step 3: Run batch inference
+- [ ] Step 4: Process results
+```
+
+**步骤 1：准备输入数据**
+
+```python
+# Load prompts from file
+prompts = []
+with open("prompts.txt") as f:
+    prompts = [line.strip() for line in f]
+
+print(f"Loaded {len(prompts)} prompts")
+```
+
+**步骤 2：配置 LLM 引擎**
+
+```python
+from vllm import LLM, SamplingParams
+
+llm = LLM(
+    model="meta-llama/Llama-3-8B-Instruct",
+    tensor_parallel_size=2,  # Use 2 GPUs
+    gpu_memory_utilization=0.9,
+    max_model_len=4096
+)
+
+sampling = SamplingParams(
+    temperature=0.7,
+    top_p=0.95,
+    max_tokens=512,
+    stop=["</s>", "\n\n"]
+)
+```
+
+**步骤 3：运行批量推理**
+
+vLLM 自动对请求进行批处理以提升效率：
+
+```python
+# Process all prompts in one call
+outputs = llm.generate(prompts, sampling)
+
+# vLLM handles batching internally
+# No need to manually chunk prompts
+```
+
+**步骤 4：处理结果**
+
+```python
+# Extract generated text
+results = []
+for output in outputs:
+    prompt = output.prompt
+    generated = output.outputs[0].text
+    results.append({
+        "prompt": prompt,
+        "generated": generated,
+        "tokens": len(output.outputs[0].token_ids)
+    })
+
+# Save to file
+import json
+with open("results.jsonl", "w") as f:
+    for result in results:
+        f.write(json.dumps(result) + "\n")
+
+print(f"Processed {len(results)} prompts")
+```
+
+### 工作流 3：量化模型服务
+
+在有限 GPU 显存中运行大型模型。
+
+```
+Quantization Setup:
+- [ ] Step 1: Choose quantization method
+- [ ] Step 2: Find or create quantized model
+- [ ] Step 3: Launch with quantization flag
+- [ ] Step 4: Verify accuracy
+```
+
+**步骤 1：选择量化方法**
+
+- **AWQ**：最适合 70B 模型，精度损失极小
+- **GPTQ**：模型支持范围广，压缩效果好
+- **FP8**：在 H100 GPU 上速度最快
+
+**步骤 2：查找或创建量化模型**
+
+使用 HuggingFace 上的预量化模型：
+
+```bash
+# Search for AWQ models
+# Example: TheBloke/Llama-2-70B-AWQ
+```
+
+**步骤 3：使用量化标志启动**
+
+```bash
+# Using pre-quantized model
+vllm serve TheBloke/Llama-2-70B-AWQ \
+  --quantization awq \
+  --tensor-parallel-size 1 \
+  --gpu-memory-utilization 0.95
+
+# Results: 70B model in ~40GB VRAM
+```
+
+**步骤 4：验证精度**
+
+测试输出是否符合预期质量：
+
+```python
+# Compare quantized vs non-quantized responses
+# Verify task-specific performance unchanged
+```
+
+## 与替代方案的对比
+
+**使用 vLLM 的场景：**
+- 部署生产级 LLM API（100+ req/sec）
+- 提供 OpenAI 兼容端点
+- GPU 显存有限但需要运行大型模型
+- 多用户应用（聊天机器人、助手）
+- 需要低延迟与高吞吐量并存
+
+**改用替代方案的场景：**
+- **llama.cpp**：CPU/边缘推理，单用户场景
+- **HuggingFace transformers**：研究、原型开发、一次性生成
+- **TensorRT-LLM**：仅限 NVIDIA，追求绝对最高性能
+- **Text-Generation-Inference**：已在 HuggingFace 生态系统中
+
+## 常见问题
+
+**问题：模型加载时内存不足**
+
+减少内存使用：
+```bash
+vllm serve MODEL \
+  --gpu-memory-utilization 0.7 \
+  --max-model-len 4096
+```
+
+或使用量化：
+```bash
+vllm serve MODEL --quantization awq
+```
+
+**问题：首 token 速度慢（TTFT > 1 秒）**
+
+对重复 prompt 启用前缀缓存：
+```bash
+vllm serve MODEL --enable-prefix-caching
+```
+
+对长 prompt，启用分块 prefill：
+```bash
+vllm serve MODEL --enable-chunked-prefill
+```
+
+**问题：模型未找到错误**
+
+对自定义模型使用 `--trust-remote-code`：
+```bash
+vllm serve MODEL --trust-remote-code
+```
+
+**问题：吞吐量低（&lt;50 req/sec）**
+
+增加并发序列数：
+```bash
+vllm serve MODEL --max-num-seqs 512
+```
+
+使用 `nvidia-smi` 检查 GPU 利用率——应高于 80%。
+
+**问题：推理速度低于预期**
+
+验证张量并行使用的 GPU 数量为 2 的幂次：
+```bash
+vllm serve MODEL --tensor-parallel-size 4  # Not 3
+```
+
+启用推测解码以加速生成：
+```bash
+vllm serve MODEL --speculative-model DRAFT_MODEL
+```
+
+## 高级主题
+
+**服务器部署模式**：参见 [references/server-deployment.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/serving-llms-vllm/references/server-deployment.md)，了解 Docker、Kubernetes 和负载均衡配置。
+
+**性能优化**：参见 [references/optimization.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/serving-llms-vllm/references/optimization.md)，了解 PagedAttention 调优、continuous batching 详情及基准测试结果。
+
+**量化指南**：参见 [references/quantization.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/serving-llms-vllm/references/quantization.md)，了解 AWQ/GPTQ/FP8 配置、模型准备及精度对比。
+
+**故障排查**：参见 [references/troubleshooting.md](https://github.com/NousResearch/hermes-agent/blob/main/skills/mlops/inference/serving-llms-vllm/references/troubleshooting.md)，了解详细错误信息、调试步骤及性能诊断。
+
+## 硬件要求
+
+- **小型模型（7B-13B）**：1x A10（24GB）或 A100（40GB）
+- **中型模型（30B-40B）**：2x A100（40GB），使用张量并行
+- **大型模型（70B+）**：4x A100（40GB）或 2x A100（80GB），使用 AWQ/GPTQ
+
+支持平台：NVIDIA（主要）、AMD ROCm、Intel GPU、TPU
+
+## 资源
+
+- 官方文档：https://docs.vllm.ai
+- GitHub：https://github.com/vllm-project/vllm
+- 论文："Efficient Memory Management for Large Language Model Serving with PagedAttention"（SOSP 2023）
+- 社区：https://discuss.vllm.ai