@baimingtao/lbs-agent 1.0.0

package/extensions/skills/optional/mlops/training/unsloth/references/llms-full.md

@@ -0,0 +1,381 @@
+# Unsloth 文档
+
+使用 Unsloth 训练你自己的模型，这是一个用于 LLM 微调和强化学习的开源框架。
+
+在 [Unsloth](https://app.gitbook.com/o/HpyELzcNe0topgVLGCZY/s/xhOjnexMCB3dmuQFQ2Zq/)，我们的使命是让 AI 尽可能准确且易于获取。以 2 倍的速度和减少 70% 的 VRAM 来训练、运行、评估和保存 gpt-oss、Llama、DeepSeek、TTS、Qwen、Mistral、Gemma LLMs。
+
+我们的文档将指导你在本地运行和训练自己的模型。
+
+...
+# Unsloth 要求
+
+以下是 Unsloth 的要求，包括系统和 GPU VRAM 要求。
+
+## 系统要求
+
+* **操作系统**：支持 Linux 和 Windows。
+* 支持 2018 年及以后的 NVIDIA GPU，包括 [Blackwell RTX 50](https://docs.unsloth.ai/basics/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth) 和 [**DGX Spark**](https://docs.unsloth.ai/basics/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth)。\
+  最低 CUDA 计算能力为 7.0 (V100, T4, Titan V, RTX 20 & 50, A100, H100, L40 等)[检查你的 GPU！](https://developer.nvidia.com/cuda-gpus) GTX 1070、1080 也可以运行，但速度较慢。
+* 官方 [Unsloth Docker image](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` 可在 Docker Hub 上获取。
+* Unsloth 可以在 [AMD](https://docs.unsloth.ai/new/fine-tuning-llms-on-amd-gpus-with-unsloth) 和 [Intel](https://github.com/unslothai/unsloth/pull/2621) GPU 上运行！Apple/Silicon/MLX 支持正在开发中。
+* 如果你有不同版本的 torch、transformers 等，`pip install unsloth` 会自动安装所有这些库的最新版本，因此你不必担心版本兼容性问题。
+* 你的设备应该支持 `xformers`、`torch`、`BitsandBytes` 和 `triton`。
+...
+# 更新
+
+要更新或使用旧版本的 Unsloth，请按照以下步骤操作：
+
+## 标准更新（推荐）：
+
+...
+## 使用旧版本的 Unsloth：
+
+...
+'2025.1.5' 是 Unsloth 的一个旧版本。将其更改为我们的 [Github 上](https://github.com/unslothai/unsloth/releases)列出的特定版本。
+...
+# Pip 安装
+
+要在本地通过 Pip 安装 Unsloth，请按照以下步骤操作：
+
+...
+## **推荐的安装方式：**
+
+**使用 pip 安装（推荐），获取最新的 pip 版本：**
+
+...
+**安装 Unsloth 的最新主分支：**
+
+...
+如果你在 Jupyter、Colab 或其他 notebook 中安装 Unsloth，请务必在命令前加上 `!`。在终端中使用时则不需要。
+
+{% hint style="info" %}
+现已支持 Python 3.13！
+{% endhint %}
+
+## 卸载 + 重新安装
+
+如果你仍然遇到 Unsloth 的依赖项问题，许多用户通过强制卸载并重新安装 Unsloth 解决了这些问题：
+...
+# Docker
+
+使用我们的官方 Docker 容器安装 Unsloth。
+
+了解如何使用我们的 Docker 容器，所有依赖项均已预装，安装立即可用。无需设置，只需运行并开始训练！
+
+Unsloth Docker image: [**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth)
+
+{% hint style="success" %}
+你现在可以为 Blackwell 和 50 系列 GPU 使用我们的主 Docker image `unsloth/unsloth` —— 无需单独的 image。
+{% endhint %}
+
+### ⚡ 快速开始
+...
+#### 📂 容器结构
+
+* `/workspace/work/` — 你挂载的工作目录
+* `/workspace/unsloth-notebooks/` — 微调 notebook 示例
+* `/home/unsloth/` — 用户主目录
+
+### 📖 用法示例
+...
+### 🦥为什么要使用 Unsloth 容器？
+
+* **可靠**：精选的环境，包含稳定且维护的包版本。压缩后仅 7 GB（其他地方为 10–11 GB）
+* **即用型**：在 `/workspace/unsloth-notebooks/` 中预装了 notebook
+* **安全**：以非 root 用户安全运行
+* **通用**：兼容所有基于 transformer 的模型（TTS、BERT 等）
+
+...
+### **🔒 安全说明**
+
+* 容器默认以非 root 的 `unsloth` 用户运行
+* 在容器内使用 `USER_PASSWORD` 进行 sudo 操作
+* SSH 访问需要公钥身份验证
+...
+# Windows 安装
+
+了解如何在 Windows 上使用或不使用 WSL 安装 Unsloth。
+
+对于 Windows，`pip install unsloth` 现在可以正常工作，但你必须事先安装 Pytorch。
+
+## 方法 #1 - Docker：
+
+对于 Windows 用户来说，Docker 可能是开始使用 Unsloth 最简单的方法，因为不需要任何设置，也没有依赖项问题。[**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) 是 Unsloth 唯一的 Docker image。对于 [Blackwell](https://docs.unsloth.ai/basics/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth) 和 50 系列 GPU，使用这个相同的 image —— 不需要单独的 image。
+...
+## 方法 #2 - Windows 直接安装：
+
+{% hint style="info" %}
+Python 3.13 现在可以与 Unsloth 一起使用！
+{% endhint %}
+...
+### **说明**
+
+要在 Windows 上直接运行 Unsloth：
+
+* 从这个 Windows fork 安装 Triton 并按照[此处的](https://github.com/woct0rdho/triton-windows)说明操作（请注意，Windows fork 需要 PyTorch >= 2.4 和 CUDA 12）
+* 在 SFTTrainer 中，设置 `dataset_num_proc=1` 以避免崩溃问题：
+...
+### **高级/故障排查**
+
+有关**高级安装说明**，或者在安装过程中看到奇怪的错误：
+...
+## 方法 #3 - 使用 PowerShell 的 Windows：
+...
+## 方法 #4 - 通过 WSL 的 Windows：
+...
+# AMD
+
+在 AMD GPU 上使用 Unsloth 进行微调。
+
+Unsloth 支持 Radeon RX、MI300X's (192GB) GPU 等。
+...
+# Conda 安装
+
+要在本地通过 Conda 安装 Unsloth，请按照以下步骤操作：
+...
+# Google Colab
+
+要在 Google Colab 上安装和运行 Unsloth，请按照以下步骤操作：
+...
+# Fine-tuning LLMs 指南
+
+学习微调的所有基础知识和最佳实践。适合初学者。
+...
+# 我应该使用什么模型？
+
+## Llama、Qwen、Mistral、Phi 还是其他？
+
+在准备微调时，你将面临的首要决定之一是选择合适的模型。以下是帮助你做出选择的分步指南：
+...
+# 数据集指南
+
+学习如何为微调创建和准备数据集。
+...
+# LoRA 超参数指南
+
+最佳的 lora rank、alpha、epoch 数量、batch size 和 gradient accumulation，QLoRA 与 LoRA 的对比，target modules 等等！
+...
+# 教程：如何微调 Llama-3 并在 Ollama 中使用
+
+初学者指南，创建一个定制的个人助手（如 ChatGPT），以便在本地通过 Ollama 运行。
+...
+# 强化学习 (RL) 指南
+
+全面了解强化学习 (RL)，以及如何使用 Unsloth 和 GRPO 训练你自己的 DeepSeek-R1 推理模型。一份从初学者到高级的完整指南。
+...
+# 教程：使用 GRPO 训练你自己的推理模型
+
+初学者指南，使用 Unsloth 和 GRPO 将 Llama 3.1 (8B) 等模型转变为推理模型。
+...
+# 高级 RL 文档
+
+在 Unsloth 中使用 GRPO 时的高级文档设置。
+...
+# 内存高效的 RL
+
+我们很高兴在 Unsloth 中通过多项算法进步引入更高效的强化学习 (RL)：
+...
+# GSPO 强化学习
+
+在 Unsloth 中使用 GSPO（Group Sequence Policy Optimization）RL 进行训练。
+...
+# 强化学习 - DPO、ORPO 和 KTO
+
+要在 Unsloth 中将奖励建模函数用于 DPO、GRPO、ORPO 或 KTO，请按照以下步骤操作：
+...
+# DeepSeek-OCR：如何运行和微调
+
+关于如何在本地运行和微调 DeepSeek-OCR 的指南。
+...
+# 如何使用 Unsloth 和 Docker 微调 LLMs
+
+了解如何使用 Unsloth 的 Docker image 微调 LLM 或进行强化学习 (RL)。
+...
+# 视觉强化学习 (VLM RL)
+
+使用 Unsloth 通过 GRPO 和 RL 训练视觉/多模态模型！
+...
+# gpt-oss 强化学习
+
+你现在可以通过 [Unsloth](https://github.com/unslothai/unsloth) 使用 RL 和 GRPO 训练 OpenAI [gpt-oss](https://docs.unsloth.ai/models/gpt-oss-how-to-run-and-fine-tune)。
+...
+# Aider Polyglot 上的 Unsloth Dynamic GGUFs
+
+Unsloth Dynamic GGUFs 在 Aider Polyglot 基准测试上的性能。
+...
+# Qwen3-VL：如何运行和微调
+
+学习使用 Unsloth 在本地微调和运行 Qwen3-VL。
+...
+# gpt-oss：如何运行和微调
+
+运行和微调 OpenAI 的新开源模型！
+...
+# 长上下文 gpt-oss 训练
+
+...
+# GLM-4.6：如何在本地运行
+
+关于如何在本地设备上运行 Z.ai 的新 GLM-4.6 模型的指南！
+...
+# IBM Granite 4.0
+
+如何使用 llama.cpp、Ollama 上的 Unsloth GGUFs 运行 IBM Granite-4.0 以及如何微调！
+...
+# DeepSeek-V3.1：如何在本地运行
+
+关于如何在本地设备上运行 DeepSeek-V3.1 和 Terminus 的指南！
+...
+# Qwen3-Coder：如何在本地运行
+
+使用 Unsloth Dynamic quants 在本地运行 Qwen3-Coder-30B-A3B-Instruct 和 480B-A35B。
+...
+# Gemma 3：如何运行和微调
+
+如何使用我们在 llama.cpp、Ollama、Open WebUI 上的 GGUFs 有效地运行 Gemma 3，以及如何使用 Unsloth 进行微调！
+...
+# Gemma 3n：如何运行和微调
+
+使用 llama.cpp、Ollama、Open WebUI 上的 Dynamic GGUFs 在本地运行 Google 的新 Gemma 3n，并使用 Unsloth 进行微调！
+...
+# Qwen3：如何运行和微调
+
+学习使用 Unsloth + 我们的 Dynamic 2.0 quants 在本地运行和微调 Qwen3。
+...
+# Qwen3-2507
+
+在你的设备上本地运行 Qwen3-30B-A3B-2507 和 235B-A22B 的 Thinking 和 Instruct 版本！
+...
+# 教程：如何微调和运行 LLMs
+
+了解如何使用 Unsloth 100% 在本地以最佳性能运行和微调模型。
+...
+# DeepSeek-R1-0528：如何在本地运行
+
+关于如何在本地设备上运行 DeepSeek-R1-0528（包括 Qwen3）的指南！
+...
+# Magistral：如何运行和微调
+
+认识 Magistral —— Mistral 的新推理模型。
+...
+# Llama 4：如何运行和微调
+
+如何使用我们的 dynamic GGUFs 在本地运行 Llama 4，与标准量化相比，它恢复了准确性。
+...
+# Kimi K2：如何在本地运行
+
+关于在本地设备上运行 Kimi K2 和 Kimi-K2-Instruct-0905 的指南！
+...
+# Grok 2
+
+在本地运行 xAI 的 Grok 2 模型！
+...
+# Devstral：如何运行和微调
+
+运行和微调 Mistral Devstral 1.1，包括 Small-2507 和 2505。
+...
+# DeepSeek-V3-0324：如何在本地运行
+
+如何使用我们的 dynamic quants 在本地运行 DeepSeek-V3-0324，该量化恢复了准确性
+...
+# DeepSeek-R1：如何在本地运行
+
+一份指南，介绍如何使用 llama.cpp 运行我们为 DeepSeek-R1 提供的 1.58-bit Dynamic Quants。
+...
+# DeepSeek-R1 Dynamic 1.58-bit
+
+查看 Unsloth 的 Dynamic GGUF Quants 与标准 IMatrix Quants 的性能比较表。
+...
+# QwQ-32B：如何有效运行
+
+如何通过我们的错误修复且没有无尽生成 + GGUFs 来有效运行 QwQ-32B。
+...
+# Phi-4 Reasoning：如何运行和微调
+
+学习使用 Unsloth + 我们的 Dynamic 2.0 quants 在本地运行和微调 Phi-4 推理模型。
+...
+# 运行和保存模型
+
+了解如何保存你微调的模型，以便你可以在喜欢的推理引擎中运行它。
+...
+# 保存到 GGUF
+
+将模型保存为 16bit 用于 GGUF，这样你就可以将其用于 Ollama、Jan AI、Open WebUI 等等！
+...
+# 保存到 Ollama
+
+请参阅下面的指南，了解保存到 [Ollama](https://github.com/ollama/ollama) 的完整过程：
+...
+# 保存到 vLLM 进行部署
+
+将模型保存为 16bit 用于 vLLM 部署和服务
+...
+# 保存到 SGLang 进行部署
+
+将模型保存为 16bit 用于 SGLang 部署和服务
+...
+# Unsloth 推理
+
+了解如何使用 Unsloth 更快的推理来运行你微调的模型。
+...
+# 故障排查 推理
+
+如果你在运行或保存模型时遇到问题。
+...
+# vLLM 引擎参数
+
+用于在 vLLM 上服务模型的 vLLM 引擎参数、标志、选项。
+...
+# LoRA 热插拔指南
+...
+# 语音合成 (TTS) 微调
+
+了解如何使用 Unsloth 微调 TTS 和 STT 语音模型。
+...
+# Unsloth Dynamic 2.0 GGUFs
+
+我们的 Dynamic Quants 的一项重大新升级！
+...
+# 视觉微调
+
+了解如何使用 Unsloth 微调视觉/多模态 LLM
+...
+# 使用 NVIDIA DGX Spark 和 Unsloth 微调 LLMs
+
+关于在 NVIDIA DGX Spark 上使用 OpenAI gpt-oss 进行微调和强化学习 (RL) 的教程。
+...
+# 使用 Blackwell、RTX 50 系列和 Unsloth 微调 LLMs
+
+通过我们的分步指南，了解如何在 NVIDIA 的 Blackwell RTX 50 系列和 B200 GPU 上微调 LLM。
+...
+# 使用 Unsloth 进行多 GPU 训练
+
+了解如何在多 GPU 和并行环境下使用 Unsloth 微调 LLM。
+...
+# 从最后的 Checkpoint 继续微调
+
+Checkpointing 允许你保存微调进度，这样你就可以暂停它然后继续。
+...
+# 故障排查和常见问题解答
+
+解决问题的提示和常见问题解答。
+...
+# 聊天模板
+
+学习聊天模板的基础知识和自定义选项，包括会话式、ChatML、ShareGPT、Alpaca 格式等等！
+...
+# 量化感知训练 (QAT)
+
+使用 Unsloth 和 PyTorch 将模型量化为 4-bit 以恢复准确性。
+...
+# Unsloth 环境变量
+
+如果你遇到中断的微调，或者想要关闭某些功能，可能会有用的高级标志。
+...
+# 持续预训练
+
+又称为持续微调。Unsloth 允许你持续预训练，以便模型可以学习一门新语言。
+...
+# Unsloth 基准测试
+
+Unsloth 在 NVIDIA GPU 上记录的基准测试。