@baimingtao/lbs-agent 1.0.0

package/extensions/skills/optional/mlops/training/axolotl/references/dataset-formats.md

@@ -0,0 +1,843 @@
+# Axolotl - Dataset-Formats
+
+**页数：** 9
+
+---
+
+## Custom Pre-Tokenized Dataset
+
+**URL:** https://docs.axolotl.ai/docs/dataset-formats/tokenized.html
+
+**内容：**
+- Custom Pre-Tokenized Dataset
+
+**示例:**
+
+示例 1 (yaml):
+```yaml
+datasets:
+  - path: /path/to/your/file.jsonl
+    ds_type: json
+    type:
+```
+
+示例 2 (json):
+```json
+{"input_ids":[271,299,99],"attention_mask":[1,1,1],"labels":[271,-100,99]}
+{"input_ids":[87,227,8383,12],"attention_mask":[1,1,1,1],"labels":[87,227,8383,12]}
+```
+
+---
+
+## Dataset Formats
+
+**URL:** https://docs.axolotl.ai/docs/dataset-formats/index.html
+
+**内容：**
+- Dataset Formats
+- Pre-training
+  - 从 Hugging Face hub 数据集进行 Pre-training
+  - 从本地数据集文件进行 Pre-training
+  - 不使用流式传输的 Pre-training
+  - Pre-training 数据集配置提示
+    - 设置 max_steps
+    - Group_by_length
+  - 参考
+- Supervised fine-tuning (SFT)
+
+Axolotl 是一个训练框架，旨在通过简单地传递一个 yaml 配置文件，让用户的操作过程既便捷又灵活。
+
+由于 Axolotl 中有很多可用的选项，本指南旨在简化用户体验，帮助您做出正确的选择。
+
+Axolotl 支持 3 种训练方法：pre-training、supervised fine-tuning 和 preference-based post-training（例如 DPO、ORPO、PRMs）。每种方法都有各自的数据集格式，具体说明如下。
+
+本指南将主要使用 JSONL 作为入门介绍。请参阅数据集加载文档，以了解如何从其他来源加载数据集。
+
+特别是关于 pretraining_dataset:，请参阅 Pre-training 部分。
+
+当旨在基于庞大的文本数据集语料库进行训练时，pre-training 是您的首选。由于这些数据集的规模庞大，在开始训练之前下载整个数据集会极其耗时。Axolotl 支持流式传输，一次只将批次加载到内存中。
+
+pre-training 数据集的示例格式如下：
+
+通常建议将您的数据集保存为 .jsonl，因为它具有很高的灵活性和简单性。
+
+Axolotl 支持从 Hugging Face hub 仓库或从本地文件加载数据。
+
+例如，要使用 Hugging Face 数据集 hf_org/name 进行训练，您可以传递以下配置：
+
+假设有几个语料库文件：A.jsonl、B.jsonl 和 C.jsonl，您的配置将如下所示：
+
+虽然我们推荐使用 .jsonl，但您也可以使用 Dataset.load_dataset 支持的其他格式（csv、parquet、arrow、SQL、Webdataset）
+
+如果数据集较小并且可以完全加载到内存中，运行 pre-training 的另一种方法是使用 completion 格式。这意味着整个数据集是预先进行 tokenize 的，而不是在流式传输时按需处理。
+
+这样做的一个好处是，tokenization 可以单独在一台仅有 CPU 的机器上执行，然后再传输到 GPU 机器上进行训练，从而节省成本。
+
+仅对于 completion，如果文本超过了上下文长度，Axolotl 会将其拆分为多个较小的 prompt。如果您希望 pretraining_dataset 也具有此功能，请告诉我们或帮助提交一个 PR！
+
+当对大型数据集使用流式传输时，Axolotl 无法预先知道数据集有多大，也不知道何时停止。
+
+因此，必须在您的配置中设置 max_steps: int 才能运行 pre-training，以便 Axolotl 知道何时停止训练。
+
+一个 step 等于 sequence_len * micro_batch_size * gradient_accumulation_steps * total_num_gpus 个 token。
+
+如果从 Hugging Face hub 下载，建议关闭此选项，因为这会下载可能非常庞大的整个数据集。
+
+请在此处查看文档。
+
+Supervised fine-tuning 是训练模型以响应指令或聊天输入的过程。
+
+由于数据集格式多种多样，Axolotl 尝试支持公共数据集中可用的大多数格式。
+
+Axolotl 提供了四种加载数据集的方法，但是，从您现有的数据集反推以找出使用哪种方法会更容易。
+
+流程图如下：
+
+您是否已经对数据集进行了 tokenize？如果是，请查看 Pre-Tokenized Dataset。
+
+您是否想自己格式化数据集并手动选择要 mask 的每个部分？如果是，请查看 Template Free Dataset
+
+您的数据集是否为包含 list[messages] 的“conversation”格式？如果是，请查看 Conversation Dataset
+
+您的数据集是否为包含 { instruction, response } 的“instruct”格式？如果是，请查看 Instruction Dataset
+
+如果您经历了流程图但没有找到匹配的格式，建议您将数据集预处理为上述格式之一，或者在 Github Discussion 上创建一个话题。
+
+您可以在每种方法内部或跨方法混合搭配，以基于多种数据集训练模型。
+
+当您想要引入自己的 tokenized 数据集时，我们建议使用这种方法。
+
+Axolotl 期望数据集具有三个键：
+
+确保将 BOS/EOS token 添加到您的 prompt 中，并对其进行适当的 mask。
+
+针对此的配置如下所示：
+
+参考：Pre-Tokenized Dataset 文档。
+
+当您想要对 prompt 格式、特殊 token 和 mask 进行精细控制，同时让 Axolotl 处理 tokenization 时，我们推荐这种方法。如果您的数据集具有在不同样本间差异很大的独特 prompt，并且单一通用模板无法满足需求时，这非常有用。
+
+在下面的示例中，您可以看到没有固定的结构。同时，它非常灵活，因为对 prompt 的形式没有任何约束。
+
+每个 prompt 必须有一个名为 segments 的键，它是一个 { text, label } 的列表。
+
+参考：Template Free 文档。
+
+conversation messages 是一个消息列表，通常包含 role 和 content 键。
+
+趣闻：Axolotl 将“chat”消息同义地称为 conversation messages，这是因为在 chat_templates 创建之前，FastChat 最初如何使用此术语构建了一种广泛使用的 fastchat 对话方法来格式化聊天消息。
+
+当前最流行且便捷的推理方法是使用 chat_templates 来格式化 prompt。Axolotl 支持在训练中使用 chat_templates，以确保模型在与推理相同的环境中运行。
+
+以下是关于 chat_template 的简要说明：chat_template 是一个 Jinja2 模板，它将消息列表格式化为一个 prompt。
+
+下面是一个格式化为名为 ChatML 的流行模板的 prompt 示例：
+
+单个 prompt（美观打印）：
+
+ChatML 模板如下所示：
+
+上述 prompt 格式化为该模板后将得到：
+
+通过使用分隔符（<| im_start | > 和 < | im_end |>），prompt 分隔了不同的说话者，这有助于模型识别哪一部分属于谁。
+
+采用以下格式的较旧对话数据集通常被通俗地称为 sharegpt 数据集。
+
+较新的对话数据集通常遵循 OpenAI 格式。
+
+Axolotl 支持这两种格式，并允许自定义任何类型的键。
+
+要正确使用此方法，确定三件事很重要：
+
+您将使用哪个 chat_template？
+
+您的数据集中的键是什么，以及可能的角色有哪些？例如，在 OpenAI 格式中，键分别是 messages、role 和 content，而可能的角色是 system、user 和 assistant。
+
+您想 mask 什么？例如，仅 assistant 消息、仅最后一条消息，或什么都不 mask。
+
+市面上有很多 chat_templates。Axolotl 支持常见的模板：supported chat templates。例如，要使用 ChatML，就是 chat_template: chatml。
+
+但是，也可以通过指定 chat_template: tokenizer_default 来使用 tokenizer 中已经配置好的模板。如果您想要一个后备方案（以防某些 tokenizer 没有预先配置它），您可以使用 chat_template: tokenizer_default_fallback_chatml，在找不到 tokenizer 模板时回退到 ChatML 模板。
+
+最后一种但非常强大的方法是引入您自己的模板。这可以通过以下方式设置：
+
+目前，我们默认将数据集键设置为 OpenAI 格式，因此如果这是您当前的数据集格式，则无需在此处进行任何操作。
+
+如果您的数据集格式不同，以下是您应该检查的键（带有默认值）：
+
+在某些 chat_templates（例如 Gemma）中，角色被硬编码为 user 和 assistant。因此，您可能会发现有必要将数据集中的角色映射到上述角色。我们目前有一些适用于常见数据集的默认值，但如果您遇到 KeyError，则需要为您的角色添加映射。以下是其示例如下：
+
+在上面的示例中，所有的 gpt 和 model 值都被转换为 assistant。所有的 human 值都被转换为 user。
+
+chat_template 的常见用例是用于聊天消息，因此，通常会 mask 所有非 assistant 消息。Assistant 消息是指您希望模型学习的机器人消息。
+
+要在所有 assistant 消息上进行训练，您需要设置以下配置。
+
+train_on_eos 配置意味着它将 mask 所有非 assistant 轮次的 EOS token。其他选项有：all 和 last，用于选择训练哪个 EOS。
+
+也许您想在 assistant 和 narrator 角色上进行训练，您可以简单地将 narrator 添加到 roles_to_train 列表中。您还需要将其添加到上面的角色映射中。
+
+由于 chat_templates 可能使用与 tokenizer 的 EOS 不同的硬编码 EOS/EOT token，因此强烈建议设置它们。例如，ChatML 使用 <| im_end |> 来结束轮次。
+
+完成上述所有步骤后，您可以将所有这些配置组合在一起，为您的自定义数据集形成量身定制的配置。
+
+如果将此配置应用于上面的示例数据集，输出将如下所示（可以通过 axolotl preprocess config.yaml --debug 检索）：
+
+第一个数字指的是 label，第二个指的是 token_id。例如，-100 的标签出现在非 assistant 部分，这意味着它们在训练期间被 mask。对于 assistant 部分，标签与 token_id 相同。
+
+如果在预处理期间出现大量关于 Could not find content __ boundary 的警告，请查看 chat_templates 的 FAQ 部分。
+
+请在此处查看文档。
+
+Instruction 数据集用于训练遵循指令的模型，包含一个带有指令的 prompt 和一个单一的回答。与可能是多轮的聊天数据集相比，instruct 数据集通常是单轮的。
+
+一个名为 Alpaca 的常见格式示例：
+
+使用这些键，可以基于此构建一个 prompt。
+
+可以这样配置：
+
+Axolotl 支持多种 instruction 数据集。都可以在 Instruction Dataset 文档中找到它们及其各自的 type 和示例行格式。
+
+由于指令格式可能有无数种可能，Axolotl 允许您自定义自己的指令格式，而无需直接深入研究代码。
+
+在下面的示例中，使用了一行示例数据以输出为 mistral_v1 格式。
+
+配置设置了 field_instruction 实际上命名为 input，而 field_input 为空，因为我们在本示例中没有 input。通常，instruction 可以被视为向模型提出的问题，而 input 作为附加信息，output 则是回答。不一定需要有 input 或 system。最后，最重要的部分是了解您希望它呈现什么格式，以及如何针对您的用例进行自定义。
+
+参考：Custom Instruct Prompt Format 文档。
+
+由于有多个 RLHF 方法及其各自的数据集要求。请参阅 RLHF 文档了解更多详情。
+
+**示例:**
+
+示例 1 (json):
+```json
+{"text": "first row"}
+{"text": "second row"}
+...
+```
+
+示例 2 (yaml):
+```yaml
+pretraining_dataset: hf_org/name
+```
+
+示例 3 (yaml):
+```yaml
+pretraining_dataset:
+  - path: json
+    data_files:
+      - A.jsonl
+      - B.jsonl
+      - C.jsonl
+```
+
+示例 4 (yaml):
+```yaml
+datasets:
+  - path: hf_org/name
+    type: completion
+```
+
+---
+
+## Conversation
+
+**URL:** https://docs.axolotl.ai/docs/dataset-formats/conversation.html
+
+**内容：**
+- Conversation
+- chat_template
+  - 从 sharegpt 迁移
+  - 示例
+    - 在最后一条消息上训练
+    - 覆盖默认聊天模板
+    - 使用带有后备机制的默认聊天模板
+    - 自定义 Jinja 模板
+    - 使用具有不同 EOT 和 EOS token 的模板
+    - 使用工具调用
+
+Chat Template 策略使用 jinja2 模板，将消息列表转换为 prompt。支持使用 tokenizer 的模板、受支持的模板或自定义 jinja2。
+
+有关完整的配置和支持的模板，请参见 configs。
+
+大多数配置可以如下进行调整：
+
+我们建议查看以下示例以了解其他用例。
+
+（旧版）在 OpenAI messages 格式上使用 tokenizer_config.json 中的默认 chat template，仅在最后一条消息上进行训练。
+
+如果您收到类似 “chat_template choice is tokenizer_default but tokenizer’s chat_template is null.” 的错误，这意味着 tokenizer 没有默认的 chat_template。请按照下面的示例设置自定义 chat_template。
+
+在 OpenAI messages 格式上使用 gemma chat template 覆盖 tokenizer_config.json 的 chat template，在所有 assistant 消息上进行训练。
+
+如果您想使用内置的 chat_template，请使用 chat_template: tokenizer_default（默认设置）。
+
+在 OpenAI messages 格式上，如果前者的 chat template 不存在，则使用 tokenizer_config.json 的 chat template 或 chatml 作为后备，在所有 assistant 消息上进行训练。
+
+在 OpenAI messages 格式上使用自定义 jinja 模板，在所有 assistant 消息上进行训练。
+
+请确保您的 tokenizer.eos_token 与模板中的 EOS（End-of-Sequence）token 相同。否则，请在 special_tokens: 下设置 eos_token。
+
+有关在 token 上进行训练时“turn”、“last”和“all”选项的详细解释，请参见 config 文档。
+
+使用 eot_tokens 要求 chat_template 中存在的每个 token 在 tokenizer 中都是单个 token。否则，tokenizer 将拆分该 token 并导致意外行为。
+
+您可以在 tokens: 下将这些 token 作为新 token 添加，或者（推荐）通过 added_tokens_overrides: 覆盖未使用的 added_tokens。有关更多详细信息，请参见 config。
+
+如果 EOS token 仅出现在 prompt 的末尾，则 train_on_eos: last 等同于 train_on_eos: turn。因此，通常您可以将它们保留为默认值并省略它们。
+
+除了通过 system prompt 传递 tools 之外，另一种方法是将 tools 放在一个单独的列中，并通过 chat_template 加载，以让模板动态构建它。
+
+工具需要遵循 JSON schema。
+
+如果您的工具参数具有相同的名称但 dtypes 不同（比如 "time": string 和 "time": number），请将 arguments: 保存为 JSON 字符串，以防止数据集出现类型转换问题。
+
+针对 Llama4 的示例 config：
+
+查看您正在使用的 chat_template 以了解它是否支持工具，以及工具回答所需的角色是什么。在上面的示例中，对于 llama4 模板，工具回答预期在 tool 或 ipython 角色中。
+
+（高级）在对话中使用对 token 和 turn 的精细控制进行训练
+
+对于如下所示的数据样本：
+
+配置如下所示：
+
+无需同时设置 message_field_training 和 message_field_training_detail。
+
+（仅适用于 Qwen3 模板）启用 reasoning split，其中 reasoning 从 content 中分离出来，并作为单独的字段传递到模板中。
+
+例如，一个 content 可能如下所示：
+
+拆分后，它将如下所示：
+
+ShareGPT 已弃用！。请参见 chat_template 部分。
+
+**示例:**
+
+示例 1 (json):
+```json
+{"messages": [{"role": "...", "content": "..."}, {"role": "...", "content": "..."}, ...]}
+```
+
+示例 2 (yaml):
+```yaml
+# old
+chat_template: chatml
+datasets:
+  - path: ...
+    type: sharegpt
+    conversation: chatml
+
+# new (if using tokenizer's chat_template)
+datasets:
+  - path: ...
+    type: chat_template
+
+    field_messages: conversations
+    message_property_mappings:
+      role: from
+      content: value
+
+# new (if setting a new chat_template like chatml, gemma, etc)
+chat_template: chatml
+datasets:
+  - path: ...
+    type: chat_template
+
+    field_messages: conversations
+    message_property_mappings:
+      role: from
+      content: value
+```
+
+示例 3 (yaml):
+```yaml
+datasets:
+  - path: ...
+    type: chat_template
+    roles_to_train:
+    train_on_eos:
+```
+
+示例 4 (yaml):
+```yaml
+chat_template: gemma # this overwrites the tokenizer's chat_template
+datasets:
+  - path: ...
+    type: chat_template
+    roles_to_train: ["assistant"]  # default value
+```
+
+---
+
+## Pre-training
+
+**URL:** https://docs.axolotl.ai/docs/dataset-formats/pretraining.html
+
+**内容：**
+- Pre-training
+
+对于 pretraining，没有 prompt template 或角色。唯一必需的字段是 text：
+
+Axolotl 通常会将整个数据集加载到内存中。这对于大型数据集来说是个挑战。使用以下配置启用流式传输：
+
+**示例:**
+
+示例 1 (json):
+```json
+{"text": "first row"}
+{"text": "second row"}
+...
+```
+
+示例 2 (yaml):
+```yaml
+pretraining_dataset:
+  - name:
+    path:
+    split:
+    text_column: # column in dataset with the data, usually `text`
+    type: pretrain
+    trust_remote_code:
+    skip: # number of rows of data to skip over from the beginning
+```
+
+---
+
+## Template-Free
+
+**URL:** https://docs.axolotl.ai/docs/dataset-formats/template_free.html
+
+**内容：**
+- Template-Free
+- 背景
+  - Masking Inputs
+  - 您可能不需要 prompt 模板
+  - input_output 格式
+- 用法
+  - 1. 准备数据
+  - 2. 使用 type: input_output
+  - 3. 检查 prompt
+
+Axolotl 最受欢迎的功能之一是设置以下配置值：
+
+如果您声明了诸如 alpaca 或 chatml 的数据集格式，Axolotl 就会知道什么是输入（即 human）什么是输出（即 assistant），并 mask 输入标签，以便您的模型可以专注于仅预测输出。
+
+然而，在许多情况下，您可能不想使用这些格式或模板之一。这是因为它们可能会：
+
+您可以通过在配置文件中设置 type: input_output，使用 input_output 格式来构建没有模板的 prompt，如下所示：
+
+与同样是 template-free 的 type: completion 不同，type: input_output 允许您 mask 文本的某些部分。有关其工作原理的更多详细信息如下所述。
+
+您可以这样使用 input_output 格式：
+
+要使用 input_output 格式，请将您的数据收集为以下格式并存入一个 jsonl 文件（以下是文件 output.jsonl` 美观打印的第一行）：
+
+当您想 mask 一段文本以便模型不对其进行训练时，请设置 label:false。需要注意的一些事项：
+
+[!IMPORTANT] 1. EOS、BOS、空格、换行符等完全由您自己决定。Axolotl 按原样拼接所有片段。tokenizer 不会添加任何额外内容。注意我是如何自己添加空格、换行符、<s> (BOS) 和 </s> (EOS) 的。2. 确保检查物化后的输出，以验证 prompt 是否按照您喜欢的方式组装。
+
+通过在我们的 axolotl 配置中设置 type: input_output，让我们用 output.jsonl 文件物化数据：
+
+您可以使用以下命令来物化您的数据。--debug 标志将打印 token 以及标签，以便您可以验证是否正确地忽略了相应的项目：
+
+格式为 decoded_token(label, token_id)，例如，<s>(1, 1) 表示 token 为 <s>，标签为 1，token_id 为 1。当标签为 -100 时，该 token 在训练中会被忽略。
+
+这是检查物化输出的另一种方法：
+
+我们可以通过将标签与每个 token 进行比较，来检查是否忽略了正确的 token：
+
+如果我们查看输入数据，上面的表格似乎是正确的！（为供参考，下面重复了 jsonl 版本）：
+
+**示例:**
+
+示例 1 (yaml):
+```yaml
+train_on_inputs: false
+```
+
+示例 2 (yaml):
+```yaml
+train_on_inputs: false # Mask segments of your data
+datasets:
+  - path: output.jsonl
+    type: input_output  # use template free prompt construction
+```
+
+示例 3 (bash):
+```bash
+$ head -n1 output.jsonl | python -m json.tool
+```
+
+示例 4 (unknown):
+```unknown
+{
+    "segments": [
+        {
+            "label": true,
+            "text": "<s>Hello\n"
+        },
+        {
+            "label": true,
+            "text": "hi there!. "
+        },
+        {
+            "label": false,
+            "text": "goodbye "
+        },
+        {
+            "label": true,
+            "text": "farewell</s>"
+        }
+    ]
+}
+```
+
+---
+
+## Dataset Formats
+
+**URL:** https://docs.axolotl.ai/docs/dataset-formats/
+
+**内容：**
+- Dataset Formats
+- Pre-training
+  - 从 Hugging Face hub 数据集进行 Pre-training
+  - 从本地数据集文件进行 Pre-training
+  - 不使用流式传输的 Pre-training
+  - Pre-training 数据集配置提示
+    - 设置 max_steps
+    - Group_by_length
+  - 参考
+- Supervised fine-tuning (SFT)
+
+Axolotl 是一个训练框架，旨在通过简单地传递一个 yaml 配置文件，让用户的操作过程既便捷又灵活。
+
+由于 Axolotl 中有很多可用的选项，本指南旨在简化用户体验，帮助您做出正确的选择。
+
+Axolotl 支持 3 种训练方法：pre-training、supervised fine-tuning 和 preference-based post-training（例如 DPO、ORPO、PRMs）。每种方法都有各自的数据集格式，具体说明如下。
+
+本指南将主要使用 JSONL 作为入门介绍。请参阅数据集加载文档，以了解如何从其他来源加载数据集。
+
+特别是关于 pretraining_dataset:，请参阅 Pre-training 部分。
+
+当旨在基于庞大的文本数据集语料库进行训练时，pre-training 是您的首选。由于这些数据集的规模庞大，在开始训练之前下载整个数据集会极其耗时。Axolotl 支持流式传输，一次只将批次加载到内存中。
+
+pre-training 数据集的示例格式如下：
+
+通常建议将您的数据集保存为 .jsonl，因为它具有很高的灵活性和简单性。
+
+Axolotl 支持从 Hugging Face hub 仓库或从本地文件加载数据。
+
+例如，要使用 Hugging Face 数据集 hf_org/name 进行训练，您可以传递以下配置：
+
+假设有几个语料库文件：A.jsonl、B.jsonl 和 C.jsonl，您的配置将如下所示：
+
+虽然我们推荐使用 .jsonl，但您也可以使用 Dataset.load_dataset 支持的其他格式（csv、parquet、arrow、SQL、Webdataset）
+
+如果数据集较小并且可以完全加载到内存中，运行 pre-training 的另一种方法是使用 completion 格式。这意味着整个数据集是预先进行 tokenize 的，而不是在流式传输时按需处理。
+
+这样做的一个好处是，tokenization 可以单独在一台仅有 CPU 的机器上执行，然后再传输到 GPU 机器上进行训练，从而节省成本。
+
+仅对于 completion，如果文本超过了上下文长度，Axolotl 会将其拆分为多个较小的 prompt。如果您希望 pretraining_dataset 也具有此功能，请告诉我们或帮助提交一个 PR！
+
+当对大型数据集使用流式传输时，Axolotl 无法预先知道数据集有多大，也不知道何时停止。
+
+因此，必须在您的配置中设置 max_steps: int 才能运行 pre-training，以便 Axolotl 知道何时停止训练。
+
+一个 step 等于 sequence_len * micro_batch_size * gradient_accumulation_steps * total_num_gpus 个 token。
+
+如果从 Hugging Face hub 下载，建议关闭此选项，因为这会下载可能非常庞大的整个数据集。
+
+请在此处查看文档。
+
+Supervised fine-tuning 是训练模型以响应指令或聊天输入的过程。
+
+由于数据集格式多种多样，Axolotl 尝试支持公共数据集中可用的大多数格式。
+
+Axolotl 提供了四种加载数据集的方法，但是，从您现有的数据集反推以找出使用哪种方法会更容易。
+
+流程图如下：
+
+您是否已经对数据集进行了 tokenize？如果是，请查看 Pre-Tokenized Dataset。
+
+您是否想自己格式化数据集并手动选择要 mask 的每个部分？如果是，请查看 Template Free Dataset
+
+您的数据集是否为包含 list[messages] 的“conversation”格式？如果是，请查看 Conversation Dataset
+
+您的数据集是否为包含 { instruction, response } 的“instruct”格式？如果是，请查看 Instruction Dataset
+
+如果您经历了流程图但没有找到匹配的格式，建议您将数据集预处理为上述格式之一，或者在 Github Discussion 上创建一个话题。
+
+您可以在每种方法内部或跨方法混合搭配，以基于多种数据集训练模型。
+
+当您想要引入自己的 tokenized 数据集时，我们建议使用这种方法。
+
+Axolotl 期望数据集具有三个键：
+
+确保将 BOS/EOS token 添加到您的 prompt 中，并对其进行适当的 mask。
+
+针对此的配置如下所示：
+
+参考：Pre-Tokenized Dataset 文档。
+
+当您想要对 prompt 格式、特殊 token 和 mask 进行精细控制，同时让 Axolotl 处理 tokenization 时，我们推荐这种方法。如果您的数据集具有在不同样本间差异很大的独特 prompt，并且单一通用模板无法满足需求时，这非常有用。
+
+在下面的示例中，您可以看到没有固定的结构。同时，它非常灵活，因为对 prompt 的形式没有任何约束。
+
+每个 prompt 必须有一个名为 segments 的键，它是一个 { text, label } 的列表。
+
+参考：Template Free 文档。
+
+conversation messages 是一个消息列表，通常包含 role 和 content 键。
+
+趣闻：Axolotl 将“chat”消息同义地称为 conversation messages，这是因为在 chat_templates 创建之前，FastChat 最初如何使用此术语构建了一种广泛使用的 fastchat 对话方法来格式化聊天消息。
+
+当前最流行且便捷的推理方法是使用 chat_templates 来格式化 prompt。Axolotl 支持在训练中使用 chat_templates，以确保模型在与推理相同的环境中运行。
+
+以下是关于 chat_template 的简要说明：chat_template 是一个 Jinja2 模板，它将消息列表格式化为一个 prompt。
+
+下面是一个格式化为名为 ChatML 的流行模板的 prompt 示例：
+
+单个 prompt（美观打印）：
+
+ChatML 模板如下所示：
+
+上述 prompt 格式化为该模板后将得到：
+
+通过使用分隔符（<| im_start | > 和 < | im_end |>），prompt 分隔了不同的说话者，这有助于模型识别哪一部分属于谁。
+
+采用以下格式的较旧对话数据集通常被通俗地称为 sharegpt 数据集。
+
+较新的对话数据集通常遵循 OpenAI 格式。
+
+Axolotl 支持这两种格式，并允许自定义任何类型的键。
+
+要正确使用此方法，确定三件事很重要：
+
+您将使用哪个 chat_template？
+
+您的数据集中的键是什么，以及可能的角色有哪些？例如，在 OpenAI 格式中，键分别是 messages、role 和 content，而可能的角色是 system、user 和 assistant。
+
+您想 mask 什么？例如，仅 assistant 消息、仅最后一条消息，或什么都不 mask。
+
+市面上有很多 chat_templates。Axolotl 支持常见的模板：supported chat templates。例如，要使用 ChatML，就是 chat_template: chatml。
+
+但是，也可以通过指定 chat_template: tokenizer_default 来使用 tokenizer 中已经配置好的模板。如果您想要一个后备方案（以防某些 tokenizer 没有预先配置它），您可以使用 chat_template: tokenizer_default_fallback_chatml，在找不到 tokenizer 模板时回退到 ChatML 模板。
+
+最后一种但非常强大的方法是引入您自己的模板。这可以通过以下方式设置：
+
+目前，我们默认将数据集键设置为 OpenAI 格式，因此如果这是您当前的数据集格式，则无需在此处进行任何操作。
+
+如果您的数据集格式不同，以下是您应该检查的键（带有默认值）：
+
+在某些 chat_templates（例如 Gemma）中，角色被硬编码为 user 和 assistant。因此，您可能会发现有必要将数据集中的角色映射到上述角色。我们目前有一些适用于常见数据集的默认值，但如果您遇到 KeyError，则需要为您的角色添加映射。以下是其示例如下：
+
+在上面的示例中，所有的 gpt 和 model 值都被转换为 assistant。所有的 human 值都被转换为 user。
+
+chat_template 的常见用例是用于聊天消息，因此，通常会 mask 所有非 assistant 消息。Assistant 消息是指您希望模型学习的机器人消息。
+
+要在所有 assistant 消息上进行训练，您需要设置以下配置。
+
+train_on_eos 配置意味着它将 mask 所有非 assistant 轮次的 EOS token。其他选项有：all 和 last，用于选择训练哪个 EOS。
+
+也许您想在 assistant 和 narrator 角色上进行训练，您可以简单地将 narrator 添加到 roles_to_train 列表中。您还需要将其添加到上面的角色映射中。
+
+由于 chat_templates 可能使用与 tokenizer 的 EOS 不同的硬编码 EOS/EOT token，因此强烈建议设置它们。例如，ChatML 使用 <| im_end |> 来结束轮次。
+
+完成上述所有步骤后，您可以将所有这些配置组合在一起，为您的自定义数据集形成量身定制的配置。
+
+如果将此配置应用于上面的示例数据集，输出将如下所示（可以通过 axolotl preprocess config.yaml --debug 检索）：
+
+第一个数字指的是 label，第二个指的是 token_id。例如，-100 的标签出现在非 assistant 部分，这意味着它们在训练期间被 mask。对于 assistant 部分，标签与 token_id 相同。
+
+如果在预处理期间出现大量关于 Could not find content __ boundary 的警告，请查看 chat_templates 的 FAQ 部分。
+
+请在此处查看文档。
+
+Instruction 数据集用于训练遵循指令的模型，包含一个带有指令的 prompt 和一个单一的回答。与可能是多轮的聊天数据集相比，instruct 数据集通常是单轮的。
+
+一个名为 Alpaca 的常见格式示例：
+
+使用这些键，可以基于此构建一个 prompt。
+
+可以这样配置：
+
+Axolotl 支持多种 instruction 数据集。都可以在 Instruction Dataset 文档中找到它们及其各自的 type 和示例行格式。
+
+由于指令格式可能有无数种可能，Axolotl 允许您自定义自己的指令格式，而无需直接深入研究代码。
+
+在下面的示例中，使用了一行示例数据以输出为 mistral_v1 格式。
+
+配置设置了 field_instruction 实际上命名为 input，而 field_input 为空，因为我们在本示例中没有 input。通常，instruction 可以被视为向模型提出的问题，而 input 作为附加信息，output 则是回答。不一定需要有 input 或 system。最后，最重要的部分是了解您希望它呈现什么格式，以及如何针对您的用例进行自定义。
+
+参考：Custom Instruct Prompt Format 文档。
+
+由于有多个 RLHF 方法及其各自的数据集要求。请参阅 RLHF 文档了解更多详情。
+
+**示例:**
+
+示例 1 (json):
+```json
+{"text": "first row"}
+{"text": "second row"}
+...
+```
+
+示例 2 (yaml):
+```yaml
+pretraining_dataset: hf_org/name
+```
+
+示例 3 (yaml):
+```yaml
+pretraining_dataset:
+  - path: json
+    data_files:
+      - A.jsonl
+      - B.jsonl
+      - C.jsonl
+```
+
+示例 4 (yaml):
+```yaml
+datasets:
+  - path: hf_org/name
+    type: completion
+```
+
+---
+
+## Dataset Formats
+
+**URL:** https://docs.axolotl.ai/docs/dataset-formats
+
+**内容：**
+- Dataset Formats
+- Pre-training
+  - 从 Hugging Face hub 数据集进行 Pre-training
+  - 从本地数据集文件进行 Pre-training
+  - 不使用流式传输的 Pre-training
+  - Pre-training 数据集配置提示
+    - 设置 max_steps
+    - Group_by_length
+  - 参考
+- Supervised fine-tuning (SFT)
+
+Axolotl 是一个训练框架，旨在通过简单地传递一个 yaml 配置文件，让用户的操作过程既便捷又灵活。
+
+由于 Axolotl 中有很多可用的选项，本指南旨在简化用户体验，帮助您做出正确的选择。
+
+Axolotl 支持 3 种训练方法：pre-training、supervised fine-tuning 和 preference-based post-training（例如 DPO、ORPO、PRMs）。每种方法都有各自的数据集格式，具体说明如下。
+
+本指南将主要使用 JSONL 作为入门介绍。请参阅数据集加载文档，以了解如何从其他来源加载数据集。
+
+特别是关于 pretraining_dataset:，请参阅 Pre-training 部分。
+
+当旨在基于庞大的文本数据集语料库进行训练时，pre-training 是您的首选。由于这些数据集的规模庞大，在开始训练之前下载整个数据集会极其耗时。Axolotl 支持流式传输，一次只将批次加载到内存中。
+
+pre-training 数据集的示例格式如下：
+
+通常建议将您的数据集保存为 .jsonl，因为它具有很高的灵活性和简单性。
+
+Axolotl 支持从 Hugging Face hub 仓库或从本地文件加载数据。
+
+例如，要使用 Hugging Face 数据集 hf_org/name 进行训练，您可以传递以下配置：
+
+假设有几个语料库文件：A.jsonl、B.jsonl 和 C.jsonl，您的配置将如下所示：
+
+虽然我们推荐使用 .jsonl，但您也可以使用 Dataset.load_dataset 支持的其他格式（csv、parquet、arrow、SQL、Webdataset）
+
+如果数据集较小并且可以完全加载到内存中，运行 pre-training 的另一种方法是使用 completion 格式。这意味着整个数据集是预先进行 tokenize 的，而不是在流式传输时按需处理。
+
+这样做的一个好处是，tokenization 可以单独在一台仅有 CPU 的机器上执行，然后再传输到 GPU 机器上进行训练，从而节省成本。
+
+仅对于 completion，如果文本超过了上下文长度，Axolotl 会将其拆分为多个较小的 prompt。如果您希望 pretraining_dataset 也具有此功能，请告诉我们或帮助提交一个 PR！
+
+当对大型数据集使用流式传输时，Axolotl 无法预先知道数据集有多大，也不知道何时停止。
+
+因此，必须在您的配置中设置 max_steps: int 才能运行 pre-training，以便 Axolotl 知道何时停止训练。
+
+一个 step 等于 sequence_len * micro_batch_size * gradient_accumulation_steps * total_num_gpus 个 token。
+
+如果从 Hugging Face hub 下载，建议关闭此选项，因为这会下载可能非常庞大的整个数据集。
+
+请在此处查看文档。
+
+Supervised fine-tuning 是训练模型以响应指令或聊天输入的过程。
+
+由于数据集格式多种多样，Axolotl 尝试支持公共数据集中可用的大多数格式。
+
+Axolotl 提供了四种加载数据集的方法，但是，从您现有的数据集反推以找出使用哪种方法会更容易。
+
+流程图如下：
+
+您是否已经对数据集进行了 tokenize？如果是，请查看 Pre-Tokenized Dataset。
+
+您是否想自己格式化数据集并手动选择要 mask 的每个部分？如果是，请查看 Template Free Dataset
+
+您的数据集是否为包含 list[messages] 的“conversation”格式？如果是，请查看 Conversation Dataset
+
+您的数据集是否为包含 { instruction, response } 的“instruct”格式？如果是，请查看 Instruction Dataset
+
+如果您经历了流程图但没有找到匹配的格式，建议您将数据集预处理为上述格式之一，或者在 Github Discussion 上创建一个话题。
+
+您可以在每种方法内部或跨方法混合搭配，以基于多种数据集训练模型。
+
+当您想要引入自己的 tokenized 数据集时，我们建议使用这种方法。
+
+Axolotl 期望数据集具有三个键：
+
+确保将 BOS/EOS token 添加到您的 prompt 中，并对其进行适当的 mask。
+
+针对此的配置如下所示：
+
+参考：Pre-Tokenized Dataset 文档。
+
+当您想要对 prompt 格式、特殊 token 和 mask 进行精细控制，同时让 Axolotl 处理 tokenization 时，我们推荐这种方法。如果您的数据集具有在不同样本间差异很大的独特 prompt，并且单一通用模板无法满足需求时，这非常有用。
+
+在下面的示例中，您可以看到没有固定的结构。同时，它非常灵活，因为对 prompt 的形式没有任何约束。
+
+每个 prompt 必须有一个名为 segments 的键，它是一个 { text, label } 的列表。
+
+参考：Template Free 文档。
+
+conversation messages 是一个消息列表，通常包含 role 和 content 键。
+
+趣闻：Axolotl 将“chat”消息同义地称为 conversation messages，这是因为在 chat_templates 创建之前，FastChat 最初如何使用此术语构建了一种广泛使用的 fastchat 对话方法来格式化聊天消息。
+
+当前最流行且便捷的推理方法是使用 chat_templates 来格式化 prompt。Axolotl 支持在训练中使用 chat_templates，以确保模型在与推理相同的环境中运行。
+
+以下是关于 chat_template 的简要说明：chat_template 是一个 Jinja2 模板，它将消息列表格式化为一个 prompt。
+
+下面是一个格式化为名为 ChatML 的流行模板的 prompt 示例：
+
+单个 prompt（美观打印）：
+
+ChatML 模板如下所示：
+
+上述 prompt 格式化为该模板后将得到：
+
+通过使用分隔符（<| im_start | > 和 < | im_end |>），prompt 分隔了不同的说话者，这有助于模型识别哪一部分属于谁。
+
+采用以下格式的较旧对话数据集通常被通俗地称为 sharegpt 数据集。
+
+较新的对话数据集通常遵循 OpenAI 格式。
+
+Axolotl 支持这两种格式，并允许自定义任何类型的键。
+
+要正确使用此方法，确定三件事很重要：
+
+您将使用哪个 chat_template？
+
+您的数据集中的键是什么，以及可能的角色有哪些？例如，在 OpenAI 格式中，键分别是 messages、role 和 content，而可能的角色是 system、user 和 assistant。
+
+您想 mask 什么？例如，仅 assistant 消息、仅最后一条消息，或什么都不 mask。
+
+市面上有很多 chat_templates。Axolotl 支持常见的模板：supported chat templates。例如，要使用 ChatML，就是 chat_template: chatml。
+
+但是，也可以通过指定 chat_template: tokenizer_default 来使用 tokenizer 中已经配置好的模板。如果您想要一个后备方案（以防某些 tokenizer 没有预先配置它），您可以使用 chat_template: tokenizer_default_fallback_chatml，在找不到 tokenizer 模板时回退到 ChatML 模板。
+
+最后一种但非常强大的方法是引入