mindstudio-probe 1.2.2__py3-none-any.whl → 8.1.0__py3-none-any.whl

msprobe/docs/29.data_dump_MSAdapter.md

@@ -0,0 +1,229 @@
+# MSAdapter 场景的精度数据采集
+
+MSAdapter 是一款 MindSpore 生态适配工具，可以将 PyTorch 训练脚本高效迁移至 MindSpore 框架执行，以实现在不改变原有 PyTorch 用户开发习惯的情况下，使得 PyTorch 代码能在昇腾上获得高效性能。
+
+msprobe 工具主要通过在训练脚本内添加 dump 接口、启动训练的方式采集精度数据。
+
+本工具提供固定的 API 支持列表，若需要删除或增加 dump 的 API，可以在 msprobe/pytorch/hook_module/support_wrap_ops.yaml 文件内手动修改，如下示例：
+
+```yaml
+functional:  # functional为算子类别，找到对应的类别，在该类别下按照下列格式删除或添加API
+  - conv1d
+  - conv2d
+  - conv3d
+```
+
+删除 API 的场景：部分模型代码逻辑会存在 API 原生类型校验，工具执行dump操作时，对封装后的模型 API 可能与模型的原生 API 类型不一致，此时可能引发校验失败，详见《[FAQ](FAQ.md#33-异常情况)》中“异常情况”的第10和11条。
+
+## 1. 工具安装
+
+请参见[《msprobe 工具安装指南》](./01.installation.md)。
+
+## 2 接口介绍
+
+### 2.1 msprobe.mindspore.PrecisionDebugger
+
+**功能说明**：通过加载 dump 配置文件的方式来确定 dump 操作的详细配置。
+
+**原型**：
+
+```Python
+PrecisionDebugger(config_path=None, task=None, dump_path=None, level=None, step=None)
+```
+
+**参数说明**:
+
+1. config_path：指定 dump 配置文件路径，string 类型。参数示例："./config.json"。未配置该路径时，默认使用 [config.json](../config.json) 文件的默认配置，配置选项含义可见 [config.json 介绍](./02.config_introduction.md)。
+
+2. 其他参数与 [config.json](../config.json) 文件中的同名配置字段含义相同，具体可见 [config.json 介绍](./02.config_introduction.md)。当参数值非None时，优先级高于 [config.json](../config.json) 文件中的同名配置。
+
+#### 2.1.1 start
+
+**功能说明**：启动精度数据采集。需要与 [**stop**](#212-stop) 接口一起添加在训练迭代的 for 循环内。
+
+**原型**：
+
+```Python
+start(model=None)
+```
+
+**参数说明**:
+
+1. model：指定需要采集 Module 级数据的模型，支持传入 torch.nn.Module、list[torch.nn.Module]或Tuple[torch.nn.Module] 类型，默认未配置。level 配置为 "L0" 或 "mix" 时，必须在该接口中配置该参数。API级别（"L1" level）dump 时，传入 model 可以采集 model 内包含 primitive op 对象在内的所有 API 数据，若不传入 model 参数，则只采集非 primitive op 的 API 数据。
+
+#### 2.1.2 stop
+
+**功能说明**：停止精度数据采集。在 **start** 接口调用之后的任意位置添加。若 **stop** 接口添加在反向计算代码之后，则会采集 **start** 和该接口之间的前反向数据。
+若 **stop** 接口添加在反向计算代码之前，则需要将 [**step**](#213-step) 接口添加到反向计算代码之后，才能采集 **start** 和该接口之间的前反向数据。
+
+**注意**：**stop** 接口必须调用，否则可能导致精度数据落盘不全。
+
+**原型**：
+
+```Python
+stop()
+```
+
+#### 2.1.3 step
+
+**功能说明**：进行训练 step 数的自增，完成当前 step 所有数据的落盘并更新 dump 参数。在一个 step 训练结束的位置添加，且必须在 **stop** 接口之后的位置调用。该接口需要配合 **start** 和 **stop** 函数使用，尽量添加在反向计算代码之后，否则可能会导致反向数据丢失。
+
+**原型**：
+
+```Python
+step()
+```
+
+#### 2.1.4 forward_backward_dump_end
+
+**功能说明**：停止精度数据采集。与 **stop** 接口功能相同，该函数在将来会被移除，建议使用 **stop** 接口。
+
+**原型**：
+
+```Python
+forward_backward_dump_end()
+```
+
+#### 2.1.5 save
+
+**功能说明**：单点保存网络执行过程中正反向数值，并以统计值/张量文件落盘。
+
+**原型**：
+```python
+save(variable, name, save_backward=True)
+```
+
+**参数说明**:
+| 参数名称        | 参数含义          |        支持数据类型    |   是否必选|
+| ----------     | ------------------| ------------------- | ------------------- |
+| variable       | 需要保存的变量     |dict, list, tuple, torch.tensor, int, float, str |  是  |
+| name           | 指定的名称         | str                 | 是  |
+| save_backward  | 是否保存反向数据   | boolean             | 否 |
+
+### 2.2 msprobe.mindspore.seed_all
+
+**功能说明**：用于固定网络中的随机性和开启确定性计算。
+
+**原型**：
+```python
+seed_all(seed=1234, mode=False, rm_dropout=True)
+```
+
+**参数说明**:
+
+1. seed: 随机性种子，默认值：1234，非必选。参数示例: seed=1000。该参数用于 random、numpy.random, mindspore.common.Initializer、mindspore.nn.probability.distribution的随机数生成以及 Python 中 str、bytes、datetime 对象的 hash 算法。
+
+2. mode：确定性计算使能，可配置 True 或 False，默认值：False，非必选。参数示例：mode=True。该参数设置为 True 后，将会开启算子确定性运行模式与归约类通信算子（AllReduce、ReduceScatter、Reduce）的确定性计算。注意：确定性计算会导致 API 执行性能降低，建议在发现模型多次执行结果不同的情况下开启。
+
+3. rm_dropout：控制 dropout 失效的开关。可配置 True 或 False，默认值：True，非必选。参数示例：rm_dropout=True。该参数设置为 True 后，将会使 mindspore.ops.Dropout，mindspore.ops.Dropout2D，mindspore.ops.Dropout3D，mindspore.mint.nn.Dropout和mindspore.mint.nn.functional.dropout 失效，以避免因随机 dropout 造成的网络随机性。建议在采集数据前调用。
+
+**注意**：通过 rm_dropout 控制 dropout 失效或生效需要在初始化 Dropout 实例前调用才能生效。
+
+## 3 示例代码
+
+以下为添加了 msprobe 工具 dump 接口的示例训练脚本。
+
+```python
+import mindspore as ms
+import torch
+import torch.nn as nn
+import torch.nn.functional as F
+
+# 导入工具的数据采集接口
+from msprobe.mindspore import PrecisionDebugger
+
+# 在模型训练开始前实例化PrecisionDebugger
+debugger = PrecisionDebugger(config_path='./config.json')
+
+
+# 定义网络
+class Net(nn.Module):
+    def __init__(self) -> None:
+        super().__init__()
+        self.linear1 = nn.Linear(in_features=8, out_features=4)
+        self.linear2 = nn.Linear(in_features=4, out_features=2)
+
+    def forward(self, x):
+        x1 = self.linear1(x)
+        x2 = self.linear2(x1)
+        logits = F.relu(x2)
+        return logits
+
+
+net = Net()
+
+
+def train_step(inputs):
+    return net(inputs)
+
+
+if __name__ == "__main__":
+    data = (torch.randn(10, 8), torch.randn(10, 8), torch.randn(10, 8))
+    grad_fn = ms.value_and_grad(train_step, grad_position=0)
+
+    for inputs in data:
+        # 开启数据 dump
+        debugger.start(model=net)
+
+        out, grad = grad_fn(inputs)
+
+        # 停止数据 dump
+        debugger.stop()
+        # 更新 step 信息
+        debugger.step()
+```
+
+## 4 dump 结果文件介绍
+
+训练结束后，工具将 dump 的数据保存在 dump_path 参数指定的目录下。目录结构示例如下：
+
+```lua
+├── dump_path
+│   ├── step0
+│   |   ├── rank0
+│   |   │   ├── dump_tensor_data
+|   |   |   |    ├── Tensor.permute.1.forward.npy
+|   |   |   |    ├── Functional.linear.5.backward.output.npy    # 命名格式为{api_type}.{api_name}.{API调用次数}.{forward/backward}.{input/output}.{参数序号}, 其中，“参数序号”表示该API的第n个输入或输出，例如1，则为第一个参数，若该参数为list格式，则根据list继续排序，例如1.1，表示该API的第1个参数的第1个元素。
+|   |   |   |    ...
+|   |   |   |    ├── Module.conv1.Conv2d.forward.0.input.0.npy          # 命名格式为{Module}.{module_name}.{class_name}.{forward/backward}.{调用次数}.{input/output}.{参数序号}, 其中，“参数序号”表示该Module的第n个参数，例如1，则为第一个参数，若该参数为list格式，则根据list继续排序，例如1.1，表示该Module的第1个参数的第1个元素。
+|   |   |   |    ├── Module.conv1.Conv2D.forward.0.parameters.bias.npy  # 模块参数数据：命名格式为{Module}.{module_name}.{class_name}.forward.{调用次数}.parameters.{parameter_name}。
+|   |   |   |    └── Module.conv1.Conv2D.parameters_grad.weight.npy     # 模块参数梯度数据：命名格式为{Module}.{module_name}.{class_name}.parameters_grad.{parameter_name}。因为同一模块的参数使用同一梯度进行更新，所以参数梯度文件名不包含调用次数。
+|   |   |   |                                                          # 当dump时传入的model参数为List[torch.nn.Module]或Tuple[torch.nn.Module]时，模块级数据的命名中包含该模块在列表中的索引index，命名格式为{Module}.{index}.*，*表示以上三种模块级数据的命名格式，例如：Module.0.conv1.Conv2d.forward.0.input.0.npy。
+│   |   |   ├── dump.json
+│   |   |   ├── stack.json
+│   |   |   └── construct.json
+│   |   ├── rank1
+|   |   |   ├── dump_tensor_data
+|   |   |   |   └── ...
+│   |   |   ├── dump.json
+│   |   |   ├── stack.json
+|   |   |   └── construct.json
+│   |   ├── ...
+│   |   |
+|   |   └── rank7
+│   ├── step1
+│   |   ├── ...
+│   ├── step2
+```
+* `rank`：设备 ID，每张卡的数据保存在对应的 `rank{ID}` 目录下。非分布式场景下没有 rank ID，目录名称为 rank。
+* `dump_tensor_data`：保存采集到的张量数据。
+* `dump.json`： 保存 API 或 Module 前反向数据的统计量信息。包含 dump 数据的 API 名称或 Module 名称，各数据的 dtype、 shape、max、min、mean、L2norm（L2范数，平方根）统计信息以及当配置 summary_mode="md5" 时的 CRC-32 数据。具体介绍可参考[dump.json文件说明](./27.dump_json_instruction.md#3-msadapter-场景下的-dumpjson-文件)。
+* `stack.json`：API/Module 的调用栈信息。
+* `construct.json`：分层分级结构，level 为 L1 时，construct.json 内容为空。
+
+
+当 task 为 tensor 时，dump 过程中，npy 文件在对应算子或者模块被执行后就会落盘，而 json 文件则需要在正常执行 PrecisionDebugger.stop() 后才会写入完整数据。因此如果程序异常终止，终止前被执行算子的相关 npy 文件得以保存，但 json 文件中的数据可能丢失。
+
+其中 rank 为设备上各卡的 ID，每张卡上 dump 的数据会生成对应 dump 目录。非分布式场景下没有 rank ID，目录名称为 rank。
+
+npy 文件名的前缀含义如下：
+
+| 前缀        | 含义                          |
+| ----------- | ---------------------------- |
+| Tensor      | torch.Tensor API数据          |
+| Torch       | torch API数据                 |
+| Functional  | torch.nn.functional API数据   |
+| NPU         | NPU 亲和API数据               |
+| Distributed | torch.distributed API数据     |
+| Jit         | 被 "jit" 装饰的模块或函数数据   |
+| Module      | torch.nn.Module 类（模块）数据 |

msprobe/docs/30.overflow_check_MSAdapter.md

@@ -0,0 +1,31 @@
+# MSAdapter 场景的溢出检测
+
+msprobe 工具提供 MSAdapter 场景下的溢出检测功能。其检测对象为 **API** 级别(除 Primitive 和 Jit 类 API)或**模块**级别，分别对应 config.json 配置中的 **"L1"** 、**"L0"** level。
+
+需要注意，本工具仅支持在 INF/NAN 模式<sup>a</sup>下进行溢出检测。INF/NAN 模式的使能方式如下：
+
+```Shell
+# 使能 CANN 侧 INF/NAN 模式
+export INF_NAN_MODE_ENABLE=1
+# 使能 MindSpore 框架侧 INF/NAN 模式
+export MS_ASCEND_CHECK_OVERFLOW_MODE="INFNAN_MODE"
+```
+
+**a**：在处理浮点数计算溢出问题时，NPU 当前支持两种溢出模式：INF/NAN 模式与饱和模式。INF/NAN 模式遵循 IEEE 754 标准，根据定义输出 INF/NAN 的计算结果。与之对应的饱和模式在计算出现溢出时，饱和为浮点数极值（+-MAX）。对于 CANN 侧配置，Atlas 训练系列产品，默认为饱和模式，且不支持使用 INF/NAN 模式；Atlas A2训练系列产品，默认为 INF/NAN 模式，且不建议使用饱和模式。对于 MindSpore 框架侧配置，仅支持对 Atlas A2 训练系列产品进行设置，默认为 INF/NAN 模式。CANN 侧 与 MindSpore 框架侧配置须一致。
+
+溢出检测任务的配置示例见["**MindSpore 动态图场景 task 配置为 overflow_check**"](./03.config_examples.md#33-task-配置为-overflow_check)小节。
+
+
+## 1 接口介绍
+
+溢出检测功能提供的接口与数据采集任务一致，详见 MSAdapter 场景的精度数据采集中的["**2 接口介绍**"](./29.data_dump_MSAdapter.md#2-接口介绍)小节。
+
+需要注意，目前暂不支持 "L1" level 下 primitive op 的溢出检测。
+
+## 2 示例代码
+
+溢出检测功能使用方式与数据采集任务一致，详见 MSAdapter 场景的精度数据采集中的["**3 示例代码**"](./29.data_dump_MSAdapter.md#3-示例代码)小节。
+
+## 3 溢出检测结果文件介绍
+
+溢出检测结果文件目录结构与含义与数据采集任务一致，但仅保存溢出 API 或 模块 的真实数据或统计信息。详见 MSAdapter 场景的精度数据采集中的["**4 dump 结果文件介绍**"](./29.data_dump_MSAdapter.md#4-dump-结果文件介绍)小节。

msprobe/docs/31.config_check.md

@@ -0,0 +1,95 @@
+# config check
+
+## 介绍
+
+该工具主要适用于对比两个环境下可能影响训练精度的配置差异，支持mindspore和pytorch两个框架，包括：
+
+- 环境变量
+- 三方库版本
+- 训练超参
+- 权重
+- 数据集
+- 随机操作
+
+
+## 安装教程
+
+参见 msprobe [安装教程](./01.installation.md)
+
+## 使用说明
+
+用户需要在两个待比对的训练的环境上分别进行数据采集, 工具会采集两个环境下影响精度的配置，采集结果上传到同一机器进行比对。
+
+### 数据采集
+
+#### 静态数据采集
+
+静态数据采集仅支持环境变量，三方库版本及训练超参采集，其中环境变量，三方库版本默认采集，训练超参采集需要用户传入启动训练的 shell 脚本路径或 yaml 配置文件，
+支持多个输入，不传入表示不采集。
+
+启动命令如下
+```shell
+msprobe -f pytorch/mindspore config_check -d **.sh **.yaml -o output_path
+```
+-f 代表训练框架，传入pytorch或mindspore，必选。
+
+-d 代表数据采集模式，可传入启动训练的 shell 脚本路径或 yaml 配置文件路径，可选，不传入代表不采集。
+
+-o 代表输出路径，可选，默认为 config_check_pack.zip。
+
+#### 动态数据采集
+
+
+在训练流程执行到的第一个python脚本开始处插入如下代码：
+```
+from msprobe.core.config_check import ConfigChecker
+ConfigChecker.apply_patches(fmk)
+```
+
+说明：
+
+- fmk：训练框架。可选 pytorch 和 mindspore ，不传默认为 pytorch。
+
+在模型初始化好之后插入如下代码：
+```
+from msprobe.core.config_check import ConfigChecker
+ConfigChecker(model, shell_path, output_zip_path, fmk)
+```
+
+说明：
+
+- model：初始化好的模型。不传或缺省就不会采集权重和数据集。
+- shell_path：动态采集模式下支持 **megatron** 训练超参自动捕获，使用 **megatron** 时推荐不传入，其他情况下可传入训练脚本路径，类型为列表，传入一个或多个训练配置/启动脚本。不传或缺省就不会采集超参。
+- output_zip_path：输出zip包的路径，不传默认为"./config_check_pack.zip"。
+- fmk：当前是什么框架。可选 pytorch 和 mindspore ，不传默认为 pytorch。
+
+采集完成后会得到一个zip包，里面包括各项[影响精度的配置](#介绍)。会分rank和step存储，其中step为micro_step。
+
+在另一个环境上执行上述操作，得到另一个zip包
+
+### 数据比对
+
+将两个zip包传到同一个环境下，使用如下命令进行比对：
+
+```shell
+msprobe -f pytorch config_check -c bench_zip_path cmp_zip_path -o output_path
+```
+
+其中**bench_zip_path** 为标杆侧采集到的数据， **cmp_zip_path** 为待对比侧采集到的数据。
+
+**output_path 会被删掉再新建**，不传默认为"./config_check_result"， 在 **output_path** 里会生成2个目录和1个文件：
+- bench：bench_zip_path里打包的数据。
+- cmp：cmp_zip_path里打包的数据。
+- result.xlsx：比对结果。里面会有多个sheet页，其中**summary**总览通过情况，其余页是具体检查项的详情。其中step为micro_step。
+
+## 通过标准
+
+以下五项检查通过：
+
+- 环境变量
+- 三方库版本
+- 训练超参
+- 权重
+- 数据集
+
+这五项检查在**精度比对**前必须保证达成。

msprobe/docs/32.ckpt_compare.md

@@ -0,0 +1,69 @@
+# Checkpoint Compare
+
+## 介绍
+在模型训练过程中或结束后，可能保存一些检查点文件(checkpoint，简称ckpt)记录当前模型、优化器等训练状态, 工具支持比较两个不同的ckpt，评估模型相似度。
+
+当前支持Megatron-LM、MindSpeed(PyTorch/MindTorch)的ckpt比较。支持TP、PP、EP、VPP模型并行；支持megatron.core、megatron.legacy、TransformerEngine的模型实现。
+
+
+## 安装教程
+
+参见 msprobe [安装教程](./01.installation.md)
+
+## 使用说明
+Megatron、MindSpeed的ckpt加载依赖megatron，请确保megatron在python环境中或megatron在当前路径下。
+
+
+启动命令如下
+```shell
+msprobe --framework pytorch config_check --compare path1 path2 -o output_path.json
+```
+
+| 参数名 | 解释 | 是否必选 |
+|--------|-------|--------|
+| -f 或 --framework | 深度学习框架，str类型。支持参数：pytorch,mindspore，注意：msadaptor场景传入mindspore。 | 是 |
+| -c 或 --compare | 2个ckpt的路径 | 是 |
+| -o 或 --output | 比对结果输出路径，默认为 ./ckpt_similarity.json。输出路径存在时将报错终止。 | 否 |
+
+Megatron-LM 和 MindSpeed 的 ckpt 目录结构如下：
+
+```txt
+directory_name/
+├── iter_0000005/ # 某个iteration时的ckpt目录。
+│   └── mp_rank_xx_xxx/  # 单个rank的ckpt目录，xx_xxx为模型并行索引。
+│       └── model_optim_rng.pt   # 包含模型参数、随机状态等的PyTorch binary文件。
+├── iter_0000010/
+├── latest_checkpointed_iteration.txt  # 记录最后一个保存的ckpt的纯文本文件。
+```
+
+对于--compare参数的两个路径，为directory_name时，工具通过latest_checkpointed_iteration.txt自动选择latest checkpoint进行比对. 为directory_name/iter_xxxxxxx时, 工具使用指定iteration的ckpt进行比对。暂不支持单个rank的比对。
+
+## 输出示例
+Checkpoint比对结果以json文件输出，内容如下示例：
+```json
+{
+    "decoder.layers.0.input_layernorm.weight": {
+        "l2": 0.0, 
+        "cos": 0.999999,
+        "numel": 128,
+        "shape": [
+            128
+        ]
+    },
+    "decoder.layers.0.pre_mlp_layernorm.weight": {
+        "l2": 0.012, 
+        "cos": 0.98,
+        "numel": 128,
+        "shape": [
+            128
+        ]
+    }
+}
+```
+
+统计量 | 解释 |
+|-------|---------|
+| l2 | 欧式距离，$\|\|a-b\|\|_2$ |
+| cos | 余弦相似度， $\frac{<a,b>}{\|\|a\|\|_2\|\|b\|\|_2}$ |
+| numel | 参数的元素个数 |
+| shape | 参数的shape |

msprobe/docs/33.generate_operator_MindSpore.md

@@ -0,0 +1,190 @@
+# 单算子API自动生成脚本
+
+## 1 简介
+
+单算子API自动生成脚本通过提取dump数据中的可疑算子，对其进行单API复现，输出单API精度的比对结果。具体而言，该工具可以从dump数据中提取可疑API的前反向信息，根据前反向数据生成单API的前反向过程，最后通过**新精度标准比对法**<sup>a</sup>将 NPU 和 CPU 的结果进行比对，从而给出不同比对方法下的比对结果。本工具支持**随机生成模式和真实数据模式**<sup>b</sup>。
+
+a. 在生成单API脚本时可以选择由工具构造随机数获得 dump 数据或选择真实输入的数据进行单API复现。随机生成模式（对应 task: "statistics"）执行效率高，可以快速获得结果，但数据精度低，只能大致判断精度问题；真实数据模式（对应 task: "tensor"）执行效率略低于随机生成模式，但是数据精度高，可以准确判断精度问题。
+
+## 2 使用方式
+
+### 前提
+1. 安装 msprobe。详见[ msprobe 安装](./01.installation.md)章节。
+2. 已完成对训练过程的dump，获得dump.json文件。
+    [MindSpore 场景下的数据采集](./06.data_dump_MindSpore.md)章节或[Msadapter 场景下的数据采集](./29.data_dump_MSAdapter.md)章节，注意需要配置 level="L1"。
+
+3. 发现某个算子疑似存在精度问题，并得知算子名，如Mint.split.1、Functional.softmax.3、Tensor.add.0、Torch.matmul.5等,要求API入参与torch场景相同。
+
+4.（可选）当需要使用Msadapter时，由于需要环境中同时存在 Torch 与 Msadapter，所以只支持在**安装原生Torch**的场景下通过export PYTHONPATH="xx/msadapter/build/lib"等通过**环境变量使能Msadapter的方式**的环境中进行预检,预检工具能够自动索引得到所需的 Torch 与 Msadapter环境,环境安装详细参考:[msadapter官网](https://gitee.com/mindspore/msadapter)。
+
+### 2.1 dump.json 示例（由dump生成）
+```
+{
+    "task": "statistics",
+    "level": "L1",
+    "framework": "mindtorch",
+    "dump_data_dir": null,
+    "data": {
+        "Tensor.reshape.779.forward": {
+            "input_args": [
+             {
+              "type": "mindspore.Tensor",
+              "dtype": "BFloat16",
+              "shape": [
+               8192,
+               896
+              ],
+              "Max": 0.62890625,
+              "Min": -0.78515625,
+              "Mean": 0.00035858154296875,
+              "Norm": 105.0
+             },
+             {
+              "type": "int",
+              "value": -1
+             },
+             {
+              "type": "int",
+              "value": 896
+             }
+            ],
+            "input_kwargs": {},
+            "output": [
+             {
+              "type": "mindspore.Tensor",
+              "dtype": "BFloat16",
+              "shape": [
+               8192,
+               896
+              ],
+              "Max": 0.62890625,
+              "Min": -0.78515625,
+              "Mean": 0.00035858154296875,
+              "Norm": 105.0
+             }
+            ]
+           },
+           "Tensor.reshape.779.backward": {
+            "input": [
+             {
+              "type": "mindspore.Tensor",
+              "dtype": "BFloat16",
+              "shape": [
+               8192,
+               896
+              ],
+              "Max": 0.0,
+              "Min": 0.0,
+              "Mean": 0.0,
+              "Norm": 0.0
+             }
+            ],
+            "output": [
+             {
+              "type": "mindspore.Tensor",
+              "dtype": "BFloat16",
+              "shape": [
+               8192,
+               896
+              ],
+              "Max": 0.0,
+              "Min": 0.0,
+              "Mean": 0.0,
+              "Norm": 0.0
+             }
+            ]
+           }
+        }
+    }
+```
+
+### 2.2 配置config_op.json
+单API复现参数配置如下（以复现softmax算子为例）：
+```
+{
+    "dump_json_path": "./dump.json",
+    "api_name": "Tensor.reshape.779",
+    "extract_api_path": "Tensor.reshape.779",
+    "propagation": "backward",
+    "data_mode": "random_data",
+    "random_seed": 42,
+    "iter_times": 1
+}
+```
+**配置文件参数说明**
+
+   | 参数名称                     | 解释                                                                                                                | 
+   | ---------------------------- |-------------------------------------------------------------------------------------------------------------------| 
+   | dump_json_path   | dump.json的文件路径，包含所有dump算子的信息；如果已经提取了可疑算子并保存可以不指定。                                                                 |
+   | api_name             | 算子名（目前只支持Mint，Tensor，Functional，Torch类中可自动求导api），如Mint.split.1，Functional.softmax.3、Tensor.add.0、Torch.matmul.5等。 | 
+   | extract_api_path               | 提取可疑算子的json文件路径                                                                                                   | 
+   | propagation | 选择复现算子的forward还是backward，默认为forward                                                                               | 
+   | data_mode                 | 选择复现算子的随机数据（random_data）还是真实数据（real_data）模式，默认为random_data                                                        |
+   | random_seed | 仅random_data模式有效，表示手动设定的随机种子，默认为1234                                                                              | 
+   | iter_times             | 仅random_data模式有效，表示单API运行的次数，由于安全相关原因，最大支持设置为1000                                                                 |
+
+ ### 2.3 运行命令生成单API脚本
+config_op.json配置好后，运行如下命令：
+```
+msprobe -f mindspore op_generate -i ./config.json -o ./
+```
+或者
+
+进入到mstt的generate_op_script文件夹
+```
+cd mstt/debug/accuracy_tools/msprobe/mindspore/api_accuracy_checker/generate_op_script
+```
+运行
+```
+python op_generator.py -i ./config_op.json -o ./
+```
+**参数说明**
+   | 参数名称                     | 解释                                                         | 是否必选                           |
+   | ---------------------------- | ------------------------------------------------------------ | ---------------------------------- |
+   | -i 或 --config_input   | config_op.json的路径                                   | 是                                 |
+   | -o 或 --api_output_path             | 单API脚本的输出路径                            | 是                                 |
+ 
+### 2.4 运行单API脚本
+ 运行完op_generator.py后，会在指定路径下生成api_name.py的单API脚本，例如Mint.split.1.forward.py、Functional.softmax.3.backward.py、Tensor.add.0.forward.py、Torch.matmul.5.backward.py
+
+运行单API脚本即可获得不同比对方法下的比对结果
+```
+python api_name.py
+```
+
+**运行结果说明**
+
+单算子脚本生成到路径`./op_result_output`的 `accuracy_checking_result_{timestamp}.csv` 和 `accuracy_checking_details_{timestamp}.csv` 文件内容详情如下：
+
+`accuracy_checking_details_{timestamp}.csv`
+
+| 字段      | 含义       |
+| ------------------- | ------------------------------------------------------------ |
+| API Name            | API 名称。                                        |
+| Bench Dtype         | 标杆数据的 API 数据类型。      |
+| Tested Dtype        | 被检验数据的 API 数据类型。                                  |
+| Shape               | API 的 Shape 信息。       |
+| Cosine              | 被检验数据与标杆数据的余弦相似度。                         |
+| MaxAbsErr           | 被检验数据与标杆数据的最大绝对误差。                       |
+| MaxRelativeErr      | 被检验数据与标杆数据的最大相对误差。                     |
+| Status              | API 预检通过状态，pass 表示通过测试，error 表示未通过。 |
+| Message             | 提示信息。            |
+
+注意：PyTorch 无法对 dtype 为整数类型的 tensor 进行反向求导，而 MindSpore 支持。反向过程的预检仅比较 dtype 为浮点型的输出。
+
+`accuracy_checking_result_{timestamp}.csv`
+
+| 字段                  | 含义      |
+| --------------------- | ----------------- |
+| API Name              | API 名称。         |
+| Forward Test Success  | 前向 API 是否通过测试，pass 为通过，error 为错误。 |
+| Backward Test Success | 反向 API 是否通过测试，pass 为通过，error 为错误，如果是空白的话代表该 API 没有反向输出。 |
+| Message               | 提示信息。         |
+
+Forward Test Success 和 Backward Test Success 是否通过测试是由 `accuracy_checking_details_{timestamp}.csv` 中的余弦相似度、最大绝对误差判定结果决定的。具体规则详见 [4.1 API 预检指标](#41-api-预检指标)。
+需要注意的是 `accuracy_checking_details_{timestamp}.csv` 中可能存在一个 API 的前向（反向）有多个输出，那么每个输出记录一行，而在 `accuracy_checking_result_{timestamp}.csv` 中的结果需要该 API 的所有结果均为 pass 才能标记为 pass，只要存在一个 error 则标记 error。
+
+### 3.1 API 预检指标
+
+   - API 预检指标是通过对 `accuracy_checking_details_{timestamp}.csv` 中的余弦相似度、最大绝对误差的数值进行判断，得出该 API 是否符合精度标准的参考指标。
+   - 余弦相似度大于 0.99，并且最大绝对误差小于 0.0001，标记“pass”，否则标记为“error”。