@baimingtao/lbs-agent 1.0.0

package/extensions/skills/optional/mlops/training/unsloth/references/llms-txt.md

@@ -0,0 +1,382 @@
+# Unsloth - Llms-Txt
+
+**页面：** 136
+
+---
+
+## !pip install huggingface_hub hf_transfer
+
+**URL:** llms-txt#!pip-install-huggingface_hub-hf_transfer
+
+import os
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+from huggingface_hub import snapshot_download
+snapshot_download(
+    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
+    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
+    allow_patterns = ["*IQ2_XXS*"],
+)
+bash
+./llama.cpp/llama-cli \
+    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
+    --threads 32 \
+    --ctx-size 16384 \
+    --n-gpu-layers 99 \
+    -ot ".ffn_.*_exps.=CPU" \
+    --seed 3407 \
+    --prio 3 \
+    --temp 0.6 \
+    --min-p 0.01 \
+    --top-p 0.9 \
+    -no-cnv \
+    --prompt "<| header_start | >user< | header_end | >\n\nCreate a Flappy Bird game.< | eot | >< | header_start | >assistant< | header_end |>\n\n"
+```
+
+{% hint style="success" %}
+在此处阅读有关运行 Llama 4 的更多信息：<https://docs.unsloth.ai/basics/tutorial-how-to-run-and-fine-tune-llama-4>
+{% endhint %}
+
+**示例：**
+
+示例 1 (unknown):
+```unknown
+And let's do inference!
+
+{% code overflow="wrap" %}
+```
+
+---
+
+## 首先卸载之前库安装的 xformers
+
+**URL:** llms-txt#first-uninstall-xformers-installed-by-previous-libraries
+
+pip uninstall xformers -y
+
+---
+
+## (1) 保存为 GGUF / 合并为 16bit 以用于 vLLM
+
+**URL:** llms-txt#(1)-saving-to-gguf-/-merging-to-16bit-for-vllm
+
+---
+
+## Qwen3-Coder：如何在本地运行
+
+**URL:** llms-txt#qwen3-coder:-how-to-run-locally
+
+**内容：**
+- 🖥️ **运行 Qwen3-Coder**
+  - :gear: 推荐设置
+  - 运行 Qwen3-Coder-30B-A3B-Instruct：
+
+使用 Unsloth Dynamic 量化在本地运行 Qwen3-Coder-30B-A3B-Instruct 和 480B-A35B。
+
+Qwen3-Coder 是 Qwen 全新的编码智能体模型系列，包含 30B (**Qwen3-Coder-Flash**) 和 480B 参数版本。**Qwen3-480B-A35B-Instruct** 实现了可媲美 Claude Sonnet-4、GPT-4.1 和 [Kimi K2](https://docs.unsloth.ai/models/tutorials-how-to-fine-tune-and-run-llms/kimi-k2-how-to-run-locally) 的 SOTA 编码性能，在 Aider Polygot 上得分 61.8%，并支持 256K（可扩展至 1M）token 上下文。
+
+我们还上传了由 YaRN 扩展的原生 <mark style="background-color:purple;">**1M 上下文长度**</mark> 版本的 Qwen3-Coder，以及全精度 8bit 和 16bit 版本。[Unsloth](https://github.com/unslothai/unsloth) 现在也支持 Qwen3-Coder 的微调和 [RL](https://docs.unsloth.ai/get-started/reinforcement-learning-rl-guide)。
+
+{% hint style="success" %}
+[**更新：** 我们修复了 Qwen3-Coder 的 tool-calling！ ](#tool-calling-fixes)你现在可以在 llama.cpp、Ollama、LMStudio、Open WebUI、Jan 等环境中无缝使用 tool-calling。这个问题是普遍存在的，影响了所有上传的版本（不仅仅是 Unsloth），我们已经与 Qwen 团队就我们的修复方案进行了沟通！[了解更多](#tool-calling-fixes)
+{% endhint %}
+
+<a href="#run-qwen3-coder-30b-a3b-instruct" class="button secondary">运行 30B-A3B</a><a href="#run-qwen3-coder-480b-a35b-instruct" class="button secondary">运行 480B-A35B</a>
+
+{% hint style="success" %}
+**[**Unsloth Dynamic Quants**](https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs) 有效吗？** 是的，而且效果非常好。在 Aider Polyglot 基准的第三方测试中，**UD-Q4\_K\_XL (276GB)** 动态量化版本几乎匹敌了 **全精度 bf16 (960GB)** 的 Qwen3-coder 模型，得分分别为 60.9% 和 61.8%。[更多详情请见此处。](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF/discussions/8)
+{% endhint %}
+
+#### **Qwen3 Coder - Unsloth Dynamic 2.0 GGUFs**:
+
+| Dynamic 2.0 GGUF (用于运行) | 1M Context Dynamic 2.0 GGUF |
+| ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| <ul><li><a href="https://huggingface.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF">30B-A3B-Instruct</a></li><li><a href="https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF">480B-A35B-Instruct</a></li></ul> | <ul><li><a href="https://huggingface.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF">30B-A3B-Instruct</a></li><li><a href="https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-1M-GGUF">480B-A35B-Instruct</a></li></ul> |
+
+## 🖥️ **运行 Qwen3-Coder**
+
+以下是在本地运行该模型的 [**30B-A3B**](#run-qwen3-coder-30b-a3b-instruct) 和 [**480B-A35B**](#run-qwen3-coder-480b-a35b-instruct) 变体指南。
+
+### :gear: 推荐设置
+
+Qwen 为这两个模型推荐了以下推理设置：
+
+`temperature=0.7`, `top_p=0.8`, `top_k=20`, `repetition_penalty=1.05`
+
+* <mark style="background-color:green;">**Temperature 为 0.7**</mark>
+* Top\_K 为 20
+* Min\_P 为 0.00（可选，但 0.01 效果很好，llama.cpp 默认值为 0.1）
+* Top\_P 为 0.8
+* <mark style="background-color:green;">**Repetition Penalty 为 1.05**</mark>
+* Chat template:&#x20;
+
+{% code overflow="wrap" %}
+
+{% endcode %}
+* 推荐上下文输出：65,536 tokens（可以增加）。详情请见此处。
+
+**带有未渲染换行符的 Chat template/prompt 格式**
+
+{% code overflow="wrap" %}
+
+<mark style="background-color:yellow;">**用于 tool calling 的 Chat template**</mark>（获取旧金山当前温度）。有关如何格式化 tool calls 的更多详情请见此处。
+
+{% hint style="info" %}
+提醒，该模型仅支持非思考模式（non-thinking mode），在其输出中不会生成 `<think></think>` 块。同时，也不再需要指定 `enable_thinking=False`。
+{% endhint %}
+
+### 运行 Qwen3-Coder-30B-A3B-Instruct：
+
+要使我们的动态 4-bit 量化达到每秒 6+ tokens 的推理速度，请至少拥有 **18GB 的统一内存**（VRAM 和 RAM 之和）或仅 **18GB 的系统 RAM**。根据经验，您的可用内存应与所使用模型的大小相匹配或超过它。例如，UD\_Q8\_K\_XL 量化版本（全精度）大小为 32.5GB，将至少需要 **33GB 的统一内存**（VRAM + RAM）或 **33GB 的 RAM** 才能达到最佳性能。
+
+**注意：** 该模型可以在低于其总大小的内存下运行，但这会减慢推理速度。只有需要最快速度时才需要最大内存。
+
+鉴于这是一个非思考模型，无需设置 `thinking=False`，并且模型不会生成 `<think> </think>` 块。
+
+{% hint style="info" %}
+请遵循 [**上述最佳实践**](#recommended-settings)。它们与 480B 模型的设置相同。
+{% endhint %}
+
+#### 🦙 Ollama：运行 Qwen3-Coder-30B-A3B-Instruct 教程
+
+1. 如果你还没有安装 `ollama`，请先安装！你只能运行最大 32B 大小的模型。
+
+2. 运行模型！注意，如果失败，你可以在另一个终端调用 `ollama serve`！我们在 Hugging Face 上传的 `params` 中包含了所有的修复和建议参数（temperature 等）！
+
+#### :sparkles: Llama.cpp：运行 Qwen3-Coder-30B-A3B-Instruct 教程
+
+1. 在 [GitHub 此处](https://github.com/ggml-org/llama.cpp) 获取最新的 `llama.cpp`。你也可以按照下方的构建说明进行操作。如果你没有 GPU 或只想使用 CPU 推理，请将 `-DGGML_CUDA=ON` 更改为 `-DGGML_CUDA=OFF`。
+
+2. 你可以通过以下方式直接从 HuggingFace 拉取：
+
+3. 通过以下命令下载模型（在安装 `pip install huggingface_hub hf_transfer` 之后）。你可以选择 UD\_Q4\_K\_XL 或其他量化版本。
+
+**示例:**
+
+示例 1 (unknown):
+```unknown
+<|im_start|>user
+  Hey there!<|im_end|>
+  <|im_start|>assistant
+  What is 1+1?<|im_end|>
+  <|im_start|>user
+  2<|im_end|>
+  <|im_start|>assistant
+```
+
+示例 2 (unknown):
+```unknown
+<|im_start|>user\nHey there!<|im_end|>\n<|im_start|>assistant\nWhat is 1+1?<|im_end|>\n<|im_start|>user\n2<|im_end|>\n<|im_start|>assistant\n
+```
+
+示例 3 (unknown):
+```unknown
+<|im_start|>user
+What's the temperature in San Francisco now? How about tomorrow?<|im_end|>
+<|im_start|>assistant
+<tool_call>\n<function=get_current_temperature>\n<parameter=location>\nSan Francisco, CA, USA
+</parameter>\n</function>\n</tool_call><|im_end|>
+<|im_start|>user
+<tool_response>
+{"temperature": 26.1, "location": "San Francisco, CA, USA", "unit": "celsius"}
+</tool_response>\n<|im_end|>
+```
+
+示例 4 (bash):
+```bash
+apt-get update
+apt-get install pciutils -y
+curl -fsSL https://ollama.com/install.sh | sh
+```
+
+---
+
+## 确保所有音频的采样率为 24 kHz（Orpheus 预期的速率）
+
+**URL:** llms-txt#ensure-all-audio-is-at-24-khz-sampling-rate-(orpheus’s-expected-rate)
+
+**内容:**
+  - 使用 Unsloth 微调 TTS
+
+dataset = dataset.cast_column("audio", Audio(sampling_rate=24000))
+
+filename,text
+  0001.wav,Hello there!
+  0002.wav,<sigh> I am very tired.
+  python
+  from datasets import Audio
+  dataset = load_dataset("csv", data_files="mydata.csv", split="train")
+  dataset = dataset.cast_column("filename", Audio(sampling_rate=24000))
+  python
+from unsloth import FastLanguageModel
+import torch
+dtype = None # None 为自动检测。Tesla T4, V100 为 Float16，Ampere+ 为 Bfloat16
+load_in_4bit = False # 使用 4bit 量化以减少内存使用。可以是 False。
+
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name = "unsloth/orpheus-3b-0.1-ft",
+    max_seq_length= 2048, # 为长上下文选择任意长度！
+    dtype = dtype,
+    load_in_4bit = load_in_4bit,
+    #token = "hf_...", # 如果使用像 meta-llama/Llama-2-7b-hf 这样的受限模型，请使用此项
+)
+
+from datasets import load_dataset
+dataset = load_dataset("MrDragonFox/Elise", split = "train")
+python
+
+**示例:**
+
+示例 1 (unknown):
+```unknown
+这将下载该数据集（约 1.2k 个样本，大小为 ~328 MB）。`dataset` 中的每一项都是一个字典，至少包含：
+
+* `"audio"`: 音频剪辑（波形数组和诸如采样率之类的元数据），以及
+* `"text"`: 转录文本字符串
+
+Orpheus 支持像 `<laugh>`、`<chuckle>`、`<sigh>`、`<cough>`、`<sniffle>`、`<groan>`、`<yawn>`、`<gasp>` 等标签。例如：`"I missed you <laugh> so much!"`。这些标签被包含在尖括号中，将被模型视为特殊 token（它们与 [Orpheus 预期的标签](https://github.com/canopyai/Orpheus-TTS) 相匹配，如 `<laugh>` 和 `<sigh>`）。在训练期间，模型将学习将这些标签与相应的音频模式关联起来。带有标签的 Elise 数据集已经包含了许多此类标签（例如，其数据卡片中列出了 336 次“laughs”、156 次“sighs”等）。如果你的数据集缺少此类标签，但你希望加入它们，可以在音频包含这些表达的转录文本中手动进行标注。
+
+**选项 2：准备自定义数据集** – 如果你有自己的音频文件和转录文本：
+
+* 将音频剪辑（WAV/FLAC 文件）整理到一个文件夹中。
+* 创建一个 CSV 或 TSV 文件，包含文件路径和转录文本的列。例如：
+```
+
+示例 2 (unknown):
+```unknown
+* 使用 `load_dataset("csv", data_files="mydata.csv", split="train")` 来加载它。你可能需要告诉数据集加载器如何处理音频路径。另一种方法是使用 `datasets.Audio` 特征来即时加载音频数据：
+```
+
+示例 3 (unknown):
+```unknown
+然后 `dataset[i]["audio"]` 将包含音频数组。
+* **确保转录文本已规范化**（除了使用的情感标签外，没有分词器可能无法识别的异常字符）。同时，确保所有音频具有一致的采样率（如有必要，将其重采样为模型预期的目标速率，例如 Orpheus 预期的 24kHz）。
+
+总而言之，对于**数据集准备**：
+
+* 你需要一个 **(audio, text) 对的列表**。
+* 使用 HF `datasets` 库来处理加载和可选的预处理（如重采样）。
+* 在文本中包含任何你希望模型学习的**特殊标签**（确保它们采用 `<angle_brackets>` 格式，以便模型将其视为独立的 token）。
+* （可选）如果是多说话人场景，你可以在文本中包含说话人 ID token 或使用单独的说话人嵌入方法，但这超出了本基础指南的范围（Elise 是单说话人数据集）。
+
+### 使用 Unsloth 微调 TTS
+
+现在，让我们开始微调！我们将使用 Python 代码进行说明（你可以在 Jupyter notebook、Colab 等环境中运行）。
+
+**第 1 步：加载模型和数据集**
+
+在我们所有的 TTS notebook 中，我们启用了 LoRA（16-bit）训练并禁用了 QLoRA（4-bit）训练：`load_in_4bit = False`。这是因为模型通常能更好地学习你的数据集并具有更高的准确性。
+```
+
+示例 4 (unknown):
+```unknown
+{% hint style="info" %}
+如果内存非常有限或数据集很大，你可以进行流式传输或分块加载。在这里，3 小时的音频可以轻松放入 RAM。如果你使用自己的数据集 CSV，以类似方式加载即可。
+{% endhint %}
+
+**第 2 步：进阶 - 为训练预处理数据（可选）**
+
+我们需要为 Trainer 准备输入。对于文本转语音，一种方法是按因果方式训练模型：将文本和音频 token ID 连接作为目标序列。然而，由于 Orpheus 是一个输出音频的纯 decoder LLM，我们可以将文本作为输入（上下文），并将音频 token ID 作为标签。在实践中，如果模型配置识别其为文本转语音，Unsloth 的集成可能会自动完成此操作。如果没有，我们可以执行类似以下的操作：
+```
+
+---
+
+## 我们的所有模型
+
+**URL:** llms-txt#all-our-models
+
+**内容:**
+  - 新的 & 推荐模型：
+  - DeepSeek 模型：
+  - Llama 模型：
+  - Gemma 模型：
+  - Qwen 模型：
+  - Mistral 模型：
+  - Phi 模型：
+  - 其他（GLM、Orpheus、Smol、Llava 等）模型：
+  - 新模型：
+  - DeepSeek 模型
+
+位于 Hugging Face 上的所有 [Dynamic](https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs) GGUF、4-bit、16-bit Unsloth 模型目录。
+
+{% tabs %}
+{% tab title="• GGUF + 4-bit" %} <a href="#deepseek-models" class="button secondary">DeepSeek</a><a href="#llama-models" class="button secondary">Llama</a><a href="#gemma-models" class="button secondary">Gemma</a><a href="#qwen-models" class="button secondary">Qwen</a><a href="#mistral-models" class="button secondary">Mistral</a><a href="#phi-models" class="button secondary">Phi</a>
+
+**GGUFs** 让你可以在 Ollama、Open WebUI 和 llama.cpp 等工具中运行模型。\
+**Instruct (4-bit)** safetensors 可用于推理或微调。
+
+### 新的 & 推荐模型：
+
+| 模型 | 变体 | GGUF | Instruct (4-bit) |
+| ------------------------------------------------------------------------------------------ | ---------------------- | ------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------- |
+| [**gpt-oss** ](https://docs.unsloth.ai/models/gpt-oss-how-to-run-and-fine-tune) | 120b | [链接](https://huggingface.co/unsloth/gpt-oss-120b-GGUF) | [链接](https://huggingface.co/unsloth/gpt-oss-120b-unsloth-bnb-4bit) |
+|  | 20b | [链接](https://huggingface.co/unsloth/gpt-oss-20b-GGUF) | [链接](https://huggingface.co/unsloth/gpt-oss-20b-unsloth-bnb-4bit) |
+| [**DeepSeek-V3.1**](https://docs.unsloth.ai/models/deepseek-v3.1-how-to-run-locally) | Terminus | [链接](https://huggingface.co/unsloth/DeepSeek-V3.1-Terminus-GGUF) | — |
+|  | V3.1 | [链接](https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF) | — |
+| [**Qwen3-VL**](https://docs.unsloth.ai/models/qwen3-vl-how-to-run-and-fine-tune) | 2B-Instruct | [链接](https://huggingface.co/unsloth/Qwen3-VL-2B-Instruct-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit) |
+|  | 2B-Thinking | [链接](https://huggingface.co/unsloth/Qwen3-VL-2B-Thinking-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-VL-2B-Thinking-unsloth-bnb-4bit) |
+|  | 4B-Instruct | [链接](https://huggingface.co/unsloth/Qwen3-VL-4B-Instruct-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-VL-4B-Instruct-unsloth-bnb-4bit) |
+|  | 4B-Thinking | [链接](https://huggingface.co/unsloth/Qwen3-VL-4B-Thinking-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-VL-4B-Thinking-unsloth-bnb-4bit) |
+|  | 8B-Instruct | [链接](https://huggingface.co/unsloth/Qwen3-VL-8B-Instruct-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-VL-8B-Instruct-unsloth-bnb-4bit) |
+|  | 8B-Thinking | [链接](https://huggingface.co/unsloth/Qwen3-VL-8B-Thinking-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-VL-8B-Thinking-unsloth-bnb-4bit) |
+|  | 30B-A3B-Instruct | [链接](https://huggingface.co/unsloth/Qwen3-VL-30B-A3B-Instruct-GGUF) | — |
+|  | 30B-A3B-Thinking | [链接](https://huggingface.co/unsloth/Qwen3-VL-30B-A3B-Thinking-GGUF) | — |
+|  | 32B-Instruct | [链接](https://huggingface.co/unsloth/Qwen3-VL-32B-Instruct-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-VL-32B-Instruct-unsloth-bnb-4bit) |
+|  | 32B-Thinking | [链接](https://huggingface.co/unsloth/Qwen3-VL-32B-Thinking-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-VL-32B-Thinking-unsloth-bnb-4bit) |
+|  | 235B-A22B-Instruct | [链接](https://huggingface.co/unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF) | — |
+|  | 235B-A22B-Thinking | [链接](https://huggingface.co/unsloth/Qwen3-VL-235B-A22B-Thinking-GGUF) | — |
+| [**Qwen3-2507**](https://docs.unsloth.ai/models/qwen3-how-to-run-and-fine-tune/qwen3-2507) | 30B-A3B-Instruct | [链接](https://huggingface.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF) | — |
+|  | 30B-A3B-Thinking | [链接](https://huggingface.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF) | — |
+|  | 235B-A22B-Thinking | [链接](https://huggingface.co/unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF/) | — |
+|  | 235B-A22B-Instruct | [链接](https://huggingface.co/unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF/) | — |
+| **Qwen3-Coder** | 30B-A3B | [链接](https://huggingface.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF) | — |
+|  | 480B-A35B | [链接](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF) | — |
+| **Granite-4.0 (new)** | H-Small | [链接](https://huggingface.co/unsloth/granite-4.0-h-small-GGUF) | [链接](https://huggingface.co/unsloth/granite-4.0-h-small-unsloth-bnb-4bit) |
+| **GLM (new)** | 4.6 | [链接](https://huggingface.co/unsloth/GLM-4.6-GGUF) | — |
+|  | 4.5-Air | [链接](https://huggingface.co/unsloth/GLM-4.5-Air-GGUF) | — |
+| **Kimi-K2-0905** | 1T | [链接](https://huggingface.co/unsloth/Kimi-K2-Instruct-0905-GGUF) | — |
+| **Gemma 3n** | E2B | [链接](https://huggingface.co/unsloth/gemma-3n-E2B-it-GGUF) | [链接](https://huggingface.co/unsloth/gemma-3n-E2B-it-unsloth-bnb-4bit) |
+|  | E4B | [链接](https://huggingface.co/unsloth/gemma-3n-E4B-it-GGUF) | [链接](https://huggingface.co/unsloth/gemma-3n-E4B-it-unsloth-bnb-4bit) |
+| **DeepSeek-R1-0528** | R1-0528-Qwen3-8B | [链接](https://huggingface.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF) | [链接](https://huggingface.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit) |
+|  | R1-0528 | [链接](https://huggingface.co/unsloth/DeepSeek-R1-0528-GGUF) | — |
+| **Mistral** | Magistral Small (2509) | [链接](https://huggingface.co/unsloth/Magistral-Small-2509-GGUF) | [链接](https://huggingface.co/unsloth/Magistral-Small-2509-unsloth-bnb-4bit) |
+|  | Magistral Small (2507) | [链接](https://huggingface.co/unsloth/Magistral-Small-2507-GGUF) | [链接](https://huggingface.co/unsloth/Magistral-Small-2507-unsloth-bnb-4bit) |
+|  | Small 3.2 24B (2506) | [链接](https://huggingface.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF) | [链接](https://huggingface.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-unsloth-bnb-4bit) |
+| FLUX.1 | Kontext-dev | [链接](https://huggingface.co/unsloth/FLUX.1-Kontext-dev-GGUF) | — |
+| **Qwen3** | 0.6 B | [链接](https://huggingface.co/unsloth/Qwen3-0.6B-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-0.6B-unsloth-bnb-4bit) |
+|  | 1.7 B | [链接](https://huggingface.co/unsloth/Qwen3-1.7B-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-1.7B-unsloth-bnb-4bit) |
+|  | 4 B | [链接](https://huggingface.co/unsloth/Qwen3-4B-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-4B-unsloth-bnb-4bit) |
+|  | 8 B | [链接](https://huggingface.co/unsloth/Qwen3-8B-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-8B-unsloth-bnb-4bit) |
+|  | 14 B | [链接](https://huggingface.co/unsloth/Qwen3-14B-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-14B-unsloth-bnb-4bit) |
+|  | 30B-A3B | [链接](https://huggingface.co/unsloth/Qwen3-30B-A3B-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-30B-A3B-bnb-4bit) |
+|  | 32 B | [链接](https://huggingface.co/unsloth/Qwen3-32B-GGUF) | [链接](https://huggingface.co/unsloth/Qwen3-32B-unsloth-bnb-4bit) |
+|  | 235B-A22B | [链接](https://huggingface.co/unsloth/Qwen3-235B-A22B-GGUF) | — |
+| **Llama 4** | Scout 17B 16E | [链接](https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF) | [链接](https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit) |
+|  | Maverick 17B 128E | [链接](https://huggingface.co/unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF) | — |
+| **Grok 2** | 270B | [链接](https://huggingface.co/unsloth/grok-2-GGUF) | — |
+| **Qwen-2.5 Omni** | 3 B | [链接](https://huggingface.co/unsloth/Qwen2.5-Omni-3B-GGUF) | — |
+|  | 7 B | [链接](https://huggingface.co/unsloth/Qwen2.5-Omni-7B-GGUF) | — |
+| **Phi-4** | Reasoning-plus | [链接](https://huggingface.co/unsloth/Phi-4-reasoning-plus-GGUF) | [链接](https://huggingface.co/unsloth/Phi-4-reasoning-plus-unsloth-bnb-4bit) |
+|  | Reasoning | [链接](https://huggingface.co/unsloth/Phi-4-reasoning-GGUF) | [链接](https://huggingface.co/unsloth/phi-4-reasoning-unsloth-bnb-4bit) |
+
+| 模型 | 变体 | GGUF | Instruct (4-bit) |
+| ----------------- | ---------------------- | ------------------------------------------------------------------------- | ------------------------------------------------------------------------------------- |
+| **DeepSeek-V3.1** | Terminus | [链接](https://huggingface.co/unsloth/DeepSeek-V3.1-Terminus-GGUF) |  |
+|  | V3.1 | [链接](https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF) |  |
+| **DeepSeek-V3** | V3-0324 | [链接](https://huggingface.co/unsloth/DeepSeek-V3-0324-GGUF) | — |
+|  | V3 | [链接](https://huggingface.co/unsloth/DeepSeek-V3-GGUF) | — |
+| **DeepSeek-R1** | R1-0528 | [链接](https://huggingface.co/unsloth/DeepSeek-R1-0528-GGUF) | — |
+|  | R1-0528-Qwen3-8B | [链接](https://huggingface.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF) | [链接](https://huggingface.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit) |
+|  | R1 | [链接](https://huggingface.co/unsloth/DeepSeek-R1-GGUF) | — |
+|  | R1 Zero | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Zero-GGUF) | — |
+|  | Distill Llama 3 8 B | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF) | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit) |
+|  | Distill Llama 3.3 70 B | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF) | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-70B-bnb-4bit) |
+|  | Distill Qwen 2.5 1.5 B | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF) | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-unsloth-bnb-4bit) |
+|  | Distill Qwen 2.5 7 B | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF) | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-unsloth-bnb-4bit) |
+|  | Distill Qwen 2.5 14 B | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF) | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-unsloth-bnb-4bit) |
+|  | Distill Qwen 2.5 32 B | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF) | [链接](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-bnb-4bit) |
+
+| 模型 | 变体 | GGUF | Instruct (4-bit) |
+| ------------- | ------------------- | ------------------------------------------------------------------------------ | -------------------------------------------------------------------------------------- |
+| **Llama 4** | Scout 17 B-16 E | [链接](https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF) | [链接](https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit) |
+|  | Maverick 17 B-128 E | [链接](https://huggingface.co/unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF) | — |
+| **Llama 3.3** | 70 B | [链接](https://huggingface.co/unsloth/Llama-3.3-70B-Instruct-GGUF) | [链接](https://huggingface.co/unsloth/Llama-3.3-70B-Instruct-b

package/extensions/skills/optional/mlops/training/unsloth/references/llms.md

@@ -0,0 +1,82 @@
+# Unsloth 文档
+
+## Unsloth 文档
+
+- [Unsloth 文档](/get-started/unsloth-docs.md)：使用 Unsloth 训练你自己的模型，这是一个用于 LLM 微调和强化学习的开源框架。
+- [初学者？从这里开始！](/get-started/beginner-start-here.md)
+- [Unsloth 环境要求](/get-started/beginner-start-here/unsloth-requirements.md)：以下是 Unsloth 的环境要求，包括系统和 GPU VRAM 需求。
+- [常见问题解答 + 微调适合我吗？](/get-started/beginner-start-here/faq-+-is-fine-tuning-right-for-me.md)：如果你在犹豫微调是否适合你，请看这里！了解关于微调的误区、它与 RAG 的对比等等：
+- [Unsloth Notebooks](/get-started/unsloth-notebooks.md)：探索我们的 Unsloth notebooks 目录：
+- [我们所有的模型](/get-started/all-our-models.md)
+- [安装与更新](/get-started/install-and-update.md)：了解如何在本地或在线安装 Unsloth。
+- [更新](/get-started/install-and-update/updating.md)：要更新或使用旧版本的 Unsloth，请按照以下步骤操作：
+- [Pip 安装](/get-started/install-and-update/pip-install.md)：要通过 Pip 在本地安装 Unsloth，请按照以下步骤操作：
+- [Docker](/get-started/install-and-update/docker.md)：使用我们的官方 Docker 容器安装 Unsloth
+- [Windows 安装](/get-started/install-and-update/windows-installation.md)：了解如何在使用或不使用 WSL 的情况下在 Windows 上安装 Unsloth。
+- [AMD](/get-started/install-and-update/amd.md)：在 AMD GPU 上使用 Unsloth 进行微调。
+- [Conda 安装](/get-started/install-and-update/conda-install.md)：要在 Conda 上本地安装 Unsloth，请按照以下步骤操作：
+- [Google Colab](/get-started/install-and-update/google-colab.md)：要在 Google Colab 上安装并运行 Unsloth，请按照以下步骤操作：
+- [LLM 微调指南](/get-started/fine-tuning-llms-guide.md)：了解微调的所有基础知识和最佳实践。适合初学者。
+- [我应该使用什么模型？](/get-started/fine-tuning-llms-guide/what-model-should-i-use.md)
+- [数据集指南](/get-started/fine-tuning-llms-guide/datasets-guide.md)：了解如何为微调创建和准备数据集。
+- [LoRA 超参数指南](/get-started/fine-tuning-llms-guide/lora-hyperparameters-guide.md)：最优的 lora rank、alpha、epoch 数量、batch size 和 gradient accumulation，QLoRA 与 LoRA 的对比、target modules 等等！
+- [教程：如何微调 Llama-3 并在 Ollama 中使用](/get-started/fine-tuning-llms-guide/tutorial-how-to-finetune-llama-3-and-use-in-ollama.md)：创建定制化个人助手（如 ChatGPT）以在本地 Ollama 上运行的初学者指南
+- [强化学习 (RL) 指南](/get-started/reinforcement-learning-rl-guide.md)：全面了解强化学习 (RL) 以及如何使用 Unsloth 和 GRPO 训练你自己的 DeepSeek-R1 推理模型。一份从入门到精通的完整指南。
+- [教程：使用 GRPO 训练你自己的推理模型](/get-started/reinforcement-learning-rl-guide/tutorial-train-your-own-reasoning-model-with-grpo.md)：使用 Unsloth 和 GRPO 将 Llama 3.1 (8B) 等模型转化为推理模型的初学者指南。
+- [高级 RL 文档](/get-started/reinforcement-learning-rl-guide/advanced-rl-documentation.md)：在 Unsloth 中结合 GRPO 使用时的高级文档配置。
+- [内存高效的 RL](/get-started/reinforcement-learning-rl-guide/memory-efficient-rl.md)
+- [RL Reward Hacking](/get-started/reinforcement-learning-rl-guide/rl-reward-hacking.md)：了解强化学习中的 Reward Hacking 是什么以及如何应对。
+- [GSPO 强化学习](/get-started/reinforcement-learning-rl-guide/gspo-reinforcement-learning.md)：在 Unsloth 中使用 GSPO (Group Sequence Policy Optimization) RL 进行训练。
+- [强化学习 - DPO、ORPO 和 KTO](/get-started/reinforcement-learning-rl-guide/reinforcement-learning-dpo-orpo-and-kto.md)：要在 Unsloth 中使用 DPO、GRPO、ORPO 或 KTO 的奖励建模函数，请按照以下步骤操作：
+- [DeepSeek-OCR：如何运行和微调](/new/deepseek-ocr-how-to-run-and-fine-tune.md)：关于如何在本地运行和微调 DeepSeek-OCR 的指南。
+- [如何使用 Unsloth 和 Docker 微调 LLM](/new/how-to-fine-tune-llms-with-unsloth-and-docker.md)：了解如何使用 Unsloth 的 Docker 镜像微调 LLM 或进行强化学习 (RL)。
+- [视觉强化学习 (VLM RL)](/new/vision-reinforcement-learning-vlm-rl.md)：在 Unsloth 中通过 GRPO 和 RL 训练视觉/多模态模型！
+- [gpt-oss 强化学习](/new/gpt-oss-reinforcement-learning.md)
+- [教程：如何使用 RL 训练 gpt-oss](/new/gpt-oss-reinforcement-learning/tutorial-how-to-train-gpt-oss-with-rl.md)：学习使用 GRPO 训练 OpenAI gpt-oss，在本地或 Colab 上自主通关 2048。
+- [Unsloth Dynamic GGUFs 在 Aider Polyglot 上的表现](/new/unsloth-dynamic-ggufs-on-aider-polyglot.md)：Unsloth Dynamic GGUFs 在 Aider Polyglot 基准测试中的性能
+- [Qwen3-VL：如何运行和微调](/models/qwen3-vl-how-to-run-and-fine-tune.md)：学习使用 Unsloth 在本地微调并运行 Qwen3-VL。
+- [gpt-oss：如何运行和微调](/models/gpt-oss-how-to-run-and-fine-tune.md)：运行并微调 OpenAI 的新开源模型！
+- [教程：如何微调 gpt-oss](/models/gpt-oss-how-to-run-and-fine-tune/tutorial-how-to-fine-tune-gpt-oss.md)：逐步学习如何使用 Unsloth 在本地训练 OpenAI gpt-oss。
+- [长上下文 gpt-oss 训练](/models/gpt-oss-how-to-run-and-fine-tune/long-context-gpt-oss-training.md)
+- [GLM-4.6：如何在本地运行](/models/glm-4.6-how-to-run-locally.md)：关于如何在你自己的本地设备上运行 Z.ai 的新 GLM-4.6 模型的指南！
+- [IBM Granite 4.0](/models/ibm-granite-4.0.md)：如何在 llama.cpp、Ollama 上使用 Unsloth GGUFs 运行 IBM Granite-4.0 以及如何进行微调！
+- [DeepSeek-V3.1：如何在本地运行](/models/deepseek-v3.1-how-to-run-locally.md)：关于如何在你自己的本地设备上运行 DeepSeek-V3.1 和 Terminus 的指南！
+- [Qwen3-Coder：如何在本地运行](/models/qwen3-coder-how-to-run-locally.md)：使用 Unsloth 的 Dynamic quants 在本地运行 Qwen3-Coder-30B-A3B-Instruct 和 480B-A35B。
+- [Gemma 3：如何运行和微调](/models/gemma-3-how-to-run-and-fine-tune.md)：如何在 llama.cpp、Ollama、Open WebUI 上通过我们的 GGUFs 高效运行 Gemma 3，以及如何使用 Unsloth 进行微调！
+- [Gemma 3n：如何运行和微调](/models/gemma-3-how-to-run-and-fine-tune/gemma-3n-how-to-run-and-fine-tune.md)：在 llama.cpp、Ollama、Open WebUI 上通过 Dynamic GGUFs 在本地运行 Google 的新 Gemma 3n，并使用 Unsloth 进行微调！
+- [Qwen3：如何运行和微调](/models/qwen3-how-to-run-and-fine-tune.md)：学习使用 Unsloth 和我们的 Dynamic 2.0 quants 在本地运行和微调 Qwen3
+- [Qwen3-2507](/models/qwen3-how-to-run-and-fine-tune/qwen3-2507.md)：在你的本地设备上运行 Qwen3-30B-A3B-2507 和 235B-A22B 的 Thinking 和 Instruct 版本！
+- [教程：如何微调和运行 LLM](/models/tutorials-how-to-fine-tune-and-run-llms.md)：了解如何使用 Unsloth 实现 100% 本地化的最佳模型运行和微调性能。
+- [DeepSeek-R1-0528：如何在本地运行](/models/tutorials-how-to-fine-tune-and-run-llms/deepseek-r1-0528-how-to-run-locally.md)：关于如何在你自己的本地设备上运行 DeepSeek-R1-0528（包括 Qwen3）的指南！
+- [Magistral：如何运行和微调](/models/tutorials-how-to-fine-tune-and-run-llms/magistral-how-to-run-and-fine-tune.md)：认识 Magistral —— Mistral 的新推理模型。
+- [Llama 4：如何运行和微调](/models/tutorials-how-to-fine-tune-and-run-llms/llama-4-how-to-run-and-fine-tune.md)：如何使用我们的 dynamic GGUFs 在本地运行 Llama 4，与标准量化相比可恢复精度。
+- [Kimi K2：如何在本地运行](/models/tutorials-how-to-fine-tune-and-run-llms/kimi-k2-how-to-run-locally.md)：关于在你自己的本地设备上运行 Kimi K2 和 Kimi-K2-Instruct-0905 的指南！
+- [Grok 2](/models/tutorials-how-to-fine-tune-and-run-llms/grok-2.md)：在本地运行 xAI 的 Grok 2 模型！
+- [Devstral：如何运行和微调](/models/tutorials-how-to-fine-tune-and-run-llms/devstral-how-to-run-and-fine-tune.md)：运行并微调 Mistral Devstral 1.1，包括 Small-2507 和 2505 版本。
+- [DeepSeek-V3-0324：如何在本地运行](/models/tutorials-how-to-fine-tune-and-run-llms/deepseek-v3-0324-how-to-run-locally.md)：如何使用我们的 dynamic quants 在本地运行 DeepSeek-V3-0324 以恢复精度
+- [DeepSeek-R1：如何在本地运行](/models/tutorials-how-to-fine-tune-and-run-llms/deepseek-r1-how-to-run-locally.md)：关于如何使用 llama.cpp 运行我们为 DeepSeek-R1 提供的 1.58-bit Dynamic Quants 的指南。
+- [DeepSeek-R1 Dynamic 1.58-bit](/models/tutorials-how-to-fine-tune-and-run-llms/deepseek-r1-how-to-run-locally/deepseek-r1-dynamic-1.58-bit.md)：查看 Unsloth 的 Dynamic GGUF Quants 与标准 IMatrix Quants 的性能对比表。
+- [QwQ-32B：如何高效运行](/models/tutorials-how-to-fine-tune-and-run-llms/qwq-32b-how-to-run-effectively.md)：如何通过我们的错误修复以及消除无限生成问题来高效运行 QwQ-32B + GGUFs。
+- [Phi-4 Reasoning：如何运行和微调](/models/tutorials-how-to-fine-tune-and-run-llms/phi-4-reasoning-how-to-run-and-fine-tune.md)：学习使用 Unsloth 和我们的 Dynamic 2.0 quants 在本地运行和微调 Phi-4 推理模型
+- [运行和保存模型](/basics/running-and-saving-models.md)：了解如何保存你微调后的模型，以便你可以在喜欢的推理引擎中运行它。
+- [保存为 GGUF](/basics/running-and-saving-models/saving-to-gguf.md)：将模型保存为 16 位 GGUF 格式，这样你就可以在 Ollama、Jan AI、Open WebUI 等平台上使用它！
+- [保存到 Ollama](/basics/running-and-saving-models/saving-to-ollama.md)
+- [保存到 vLLM 进行部署](/basics/running-and-saving-models/saving-to-vllm-for-deployment.md)：将模型保存为 16 位，用于 vLLM 的部署和服务提供
+- [保存到 SGLang 进行部署](/basics/running-and-saving-models/saving-to-sglang-for-deployment.md)：将模型保存为 16 位，用于 SGLang 的部署和服务提供
+- [Unsloth 推理](/basics/running-and-saving-models/unsloth-inference.md)：了解如何使用 Unsloth 更快的推理速度运行你微调后的模型。
+- [推理故障排除](/basics/running-and-saving-models/troubleshooting-inference.md)：如果你在运行或保存模型时遇到问题。
+- [vLLM 引擎参数](/basics/running-and-saving-models/vllm-engine-arguments.md)
+- [LoRA 热替换指南](/basics/running-and-saving-models/lora-hot-swapping-guide.md)
+- [文本转语音 (TTS) 微调](/basics/text-to-speech-tts-fine-tuning.md)：了解如何使用 Unsloth 微调 TTS 和 STT 语音模型。
+- [Unsloth Dynamic 2.0 GGUFs](/basics/unsloth-dynamic-2.0-ggufs.md)：我们的 Dynamic Quants 迎来了一次重大升级！
+- [视觉微调](/basics/vision-fine-tuning.md)：了解如何使用 Unsloth 微调视觉/多模态 LLM
+- [使用 NVIDIA DGX Spark 和 Unsloth 微调 LLM](/basics/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth.md)：关于在 NVIDIA DGX Spark 上微调 OpenAI gpt-oss 并进行强化学习 (RL) 的教程。
+- [使用 Blackwell、RTX 50 系列和 Unsloth 微调 LLM](/basics/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md)：通过我们的分步指南，了解如何在 NVIDIA 的 Blackwell RTX 50 系列和 B200 GPU 上微调 LLM。
+- [使用 Unsloth 进行多 GPU 训练](/basics/multi-gpu-training-with-unsloth.md)：了解如何使用 Unsloth 在多 GPU 和并行环境下微调 LLM。
+- [从最后保存的 Checkpoint 继续微调](/basics/finetuning-from-last-checkpoint.md)：Checkpoint 功能允许你保存微调进度，以便随时暂停并继续训练。
+- [故障排除和常见问题解答](/basics/troubleshooting-and-faqs.md)：解决问题的提示和常见问题解答。
+- [Chat Templates](/basics/chat-templates.md)：了解 chat templates 的基础知识与自定义选项，包括 Conversational、ChatML、ShareGPT、Alpaca 等格式！
+- [量化感知训练 (QAT)](/basics/quantization-aware-training-qat.md)：使用 Unsloth 和 PyTorch 将模型量化为 4 位以恢复精度。
+- [Unsloth 环境变量标志](/basics/unsloth-environment-flags.md)：如果你遇到微调报错或想要关闭某些功能时，可能会用到的高级环境变量标志。
+- [继续预训练](/basics/continued-pretraining.md)：又称继续微调（Continued Finetuning）。Unsloth 允许你持续预训练模型，以便模型能够学习一门新语言。
+- [Unsloth 基准测试](/basics/unsloth-benchmarks.md)：Unsloth 在 NVIDIA GPU 上的记录基准测试。