mindstudio-probe 1.0.3__py3-none-any.whl → 1.1.0__py3-none-any.whl

msprobe/{doc/grad_probe/grad_probe.md → docs/17.grad_probe.md}

@@ -1,207 +1,205 @@
-# Ascend模型梯度状态监测工具
-
-梯度状态监测工具提供了两种能力：
-
-- 将模型权重的梯度数据导出。这种功能可以将模型权重的梯度值以统计量的形式采集出来，用以分析问题。
-- 将两份梯度数据进行相似度对比。在有标杆问题中，可以确认训练过程中精度问题出现的step，以及抓取反向过程中的问题。
-
-工具支持PyTorch版本：2.0/2.1/2.2；支持MindSpore版本：r2.3。
-
-## 工具特性
-
-- 使用便捷，无需在训练流程里插入代码
-- 可以精准定位问题出现的step
-
-## 使用方式
-
-### 梯度数据导出
-
-1. 创建配置文件config.json，样例如下：
-
-   ```json
-   {
-    "task": "grad_probe",
-    "dump_path": "./dump_path", 
-    "rank": [],  
-    "step": [],  
-    "grad_probe": {
-        "grad_level": "L1",
-        "param_list": [],
-        "bounds": [-1, 0, 1]
-    }
-   }
-   ```
-   > step指的是优化器被调用的次数（并非模型跑的step，某些step，例如loss为nan时，不会调用优化器）
-
-   **参数说明**
-
-   | 参数                       | 说明                          | 输入类型                     | 是否必选 |
-   |--------------------------------|-----------------------------------|-----------------|----------|
-   | task            | 填为"grad_probe"。 |  str | 是 |
-   | grad_level                  | 输出级别。决定导出数据的详细程度，级别越大导出数据越详细。可取值：L0, L1, L2|str  | 是     |
-   | param_list             | 权重名称列表，表示需要监控的权重。列表为空就表示监控所有权重。 | List[str] | 是       |
-   | rank                   | rank id列表，在多卡场景下，表示需要导出梯度数据的进程的rank id。列表为空就表示导出所有rank的数据。（MindSpore静态图模式下，当前暂不支持指定rank功能） | List[int] | 是       |
-   | step                   | step列表，表示需要导出数据的step列表。列表为空就表示导出所有step的数据。（MindSpore静态图模式下，当前暂不支持指定step功能） | List[int] | 是 |
-   | bounds                 | 区间列表，用来划分区间以统计数值的分布。需要保证由数据小到大排列。可以使用默认值[-1, 0, 1] | List[float] | 是  |
-   | dump_path            | 输出目录。如果不存在就会创建一个新目录。 |  str | 是 |
-
-   **不同级别的level的导出数据**
-
-
-   | 级别 | 特征数据表头                                                 | 是否有方向数据 |
-   | ---- | ------------------------------------------------------------ | -------------- |
-   | L0   | ("param_name", "MD5", "max", "min", "norm", "shape")         | 否             |
-   | L1   | ("param_name", "max", "min", "norm", "shape")         | 是             |
-   | L2   | ("param_name", *intervals, "=0", "max", "min", "norm", "shape") | 是             |
-   
-   intervals就是根据值分布bounds划分出的区间。
-   MindSpore静态图模式下，L0级别中暂不支持"MD5"
-   
-   **方向数据解释**
-   
-   因为模型的参数往往非常大，所以存储真实数据是不可接受的，这里折衷一下，只存储梯度数据的正负号（一个布尔值），也就是方向。
-   
-   **bounds和值分布解释**
-   
-   + 值分布：梯度数据落在各个区间的元素个数占总元素个数的比例。
-   + bounds：一个列表，用来划分出区间以统计值分布。例如传入bounds = [-10, 0, 10]，此时有一个 grad_value: Tensor = [9.3 , 5.4, -1.0, -12.3]，依据 bounds 划分出 (-inf, -10]、(-10, 0]、(0, 10]、(10, inf) 四个区间，然后统计grad_value里的数据落在每个区间内的个数，得到 1、1、2、0。如下图所示：   
-   ![Alt text](img/image-1.png)
-
-2. 插入代码。示例代码如下：
-
-- PyTorch框架：模型构造完成后，传入config.json的路径实例化一个GradientMonitor对象，然后调用gm.monitor并将`模型`作为参数传入。
-```python
-from msprobe.pytorch import PrecisionDebugger
-debugger = PrecisionDebugger("config_json_path")
-debugger.monitor(model)
-```
-- MindSpore框架：优化器构造完成后，传入config.json的路径实例化一个GradientMonitor对象，然后调用gm.monitor并将`优化器`作为参数传入。
-```python
-from msprobe.mindspore import PrecisionDebugger
-debugger = PrecisionDebugger("config_json_path")
-debugger.monitor(optimizer)
-```
-
-3. 结束监控（MindSpore静态图模式下需要）
-
-   在训练结束之后，调用stop接口
-
-```python
-gm.stop()
-```
-
-### 输出结果
-**输出目录结构**（以level配置L2为例）
-
-```bash
-{dump_path}
-      ├── rank{rank_id}
-      │        ├── grad_summary_{step}.csv
-      │        ├── step{step}
-      │        │        ├── {param_name}.npy
-```
-+ {timestamp}：梯度工具导出数据的时候会在output_path下生成一个时间戳目录，然后在这个时间戳目录下输出结果。
-+ rank_{rank_id}：在分布式场景下，会记录卡的rank_id。非分布式场景下，如果是CPU则记录进程号，如果是CPU或GPU则记录卡号
-+ grad_summary_{step}.csv：会分step记录每一步的梯度数据统计值。
-+ step_{step}：这个目录下会存放该step的梯度的方向数据。
-+ {param_name}.pt(npy)：模型参数的梯度方向数据，PyTorch保存的是pt文件，MindSpore是npy文件。
-
-**grad_summary_{step}.csv**
-
-样例如下：
-
-![Alt text](img/image.png)
-
-| 字段                  | 含义                                                         |
-| --------------------- | ------------------------------------------------------------|
-| Param_name            | 模型参数名称。                                                |
-| MD5                   | 梯度数据的MD5值。                                            |
-| (-inf, -0.01]...[0.01, inf) | 梯度值落在区间内的元素个数占总元素的比例。               |
-| =0                    | 梯度为0的元素个数占总元素的比例。                             |
-| Max                   | 最大值。                                                      |
-| Min                   | 最小值。                                                      |
-| Norm                  | L2norm值。                                                    |
-| Shape                 | 形状。                                                        |
-
-### 梯度相似度比对
-
-会根据所导出的权重，分step比对梯度相似度，输出每个权重的梯度相似度和总的梯度相似度。单个权重的梯度相似度为两份方向数据的重合度，总的梯度相似度为每个权重的梯度相似度按元素个数加权。
-
-#### 前提条件
-
-- 相同配置下，以Level为L1或L2分别采集npu和gpu环境下的梯度数据。
-- 将两份梯度数据传到同一环境下。
-
-#### 使用方式
-
-
-新建如下Python脚本，传入npu和gpu的dump_path以及输出目录，比对结果输出目录不存在的话会新建：
-
-```python
-from msprobe import *
-GradComparator.compare_distributed("配置文件里写的dump_path",
-                                    "配置文件里写的dump_path",
-                                    "比对结果输出目录")
-```
-   
-
-### 比对结果
-
-**输出目录结构**
-
-如下为多卡比对结果，单卡则没有rank_{rank_id}这一级目录。
-
-```bash
-比对结果输出目录
-      ├── rank{rank_id}
-      │         ├── similarities.csv
-      │         └── similarities_picture
-      │                     ├── {param_name}.png
-      │                     └── summary_similarities.png
-```
-
-**问题界定**
-
-原则：对于任意权重，第0步的梯度相似度低于0.97，或者某一步的梯度相似度下降超过0.03，认为这一步存在精度问题。例子如下：
-
-- 第0步相似度低于0.97
-
-![Alt text](img/image-3.png)
-
-- 第3步相似度下降超过0.03
-
-![Alt text](img/image-4.png)
-
-- 正常情况
-
-![Alt text](img/image-2.png)
-
-这个原则是一个经验性的指标，并不是严格的标注，还需要结合实际情况具体分析。
-
-## 公开接口
-
-**接口说明**
-
-```python
-PrecisionDebugger.monitor(module)
-```
-
-| 参数  | 说明                 | 是否必选 |
-| ----- | -------------------- | -------- |
-| module |Pytorch框架下传入模型，必须是torch.nn.Module；MindSpore框架下传入优化器。 | 是       |
-
-
-**接口说明**
-
-```python
-GradComparator.compare_distributed(dump_path1, dump_path2, output_path)
-```
-
-| 参数  | 说明                 | 是否必选 |
-| ----- | -------------------- | -------- |
-| dump_path1 |需要比对的其中一个dump目录，也就是配置文件里写的dump_path。 | 是       |
-| dump_path2 |需要比对的其中一个dump目录，也就是配置文件里写的dump_path，与dump_path1可以互换。 | 是       |
-| output_path |输出结果目录，不存在会新建。 | 是       |
-
-
-# FAQ 
+# Ascend模型梯度状态监测工具
+
+梯度状态监测工具提供了两种能力：
+
+- 将模型权重的梯度数据导出。这种功能可以将模型权重的梯度值以统计量的形式采集出来，用以分析问题。
+- 将两份梯度数据进行相似度对比。在有标杆问题中，可以确认训练过程中精度问题出现的step，以及抓取反向过程中的问题。
+
+工具支持PyTorch版本：2.0/2.1/2.2；支持MindSpore版本：r2.3。
+
+## 工具特性
+
+- 使用便捷，无需在训练流程里插入代码
+- 可以精准定位问题出现的step
+
+## 使用方式
+
+### 梯度数据导出
+
+1. 创建配置文件config.json，样例如下：
+
+   ```json
+   {
+    "task": "grad_probe",
+    "dump_path": "./dump_path",
+    "rank": [],
+    "step": [],
+    "grad_probe": {
+        "grad_level": "L1",
+        "param_list": [],
+        "bounds": [-1, 0, 1]
+    }
+   }
+   ```
+   > step指的是优化器被调用的次数（并非模型跑的step，某些step，例如loss为nan时，不会调用优化器）
+
+   **参数说明**
+
+   | 参数                       | 说明                          | 输入类型                     | 是否必选 |
+   |--------------------------------|-----------------------------------|-----------------|----------|
+   | task            | 填为"grad_probe"。 |  str | 是 |
+   | dump_path            | 输出目录。如果不存在就会创建一个新目录。 |  str | 是 |
+   | rank                   | rank id列表，在多卡场景下，表示需要导出梯度数据的进程的rank id。列表为空就表示导出所有rank的数据。默认为空。（MindSpore静态图模式下，当前暂不支持指定rank功能） | List[int] | 否       |
+   | step                   | step列表，表示需要导出数据的step列表。列表为空就表示导出所有step的数据。默认为空。（MindSpore静态图模式下，当前暂不支持指定step功能） | List[int] | 否 |
+   | grad_level                  | 输出级别。决定导出数据的详细程度，级别越大导出数据越详细。可取值：L0, L1, L2。默认L1。|str  | 否     |
+   | param_list             | 权重名称列表，表示需要监控的权重。列表为空就表示监控所有权重。默认为空。 | List[str] | 否       |
+   | bounds                 | 区间列表，用来划分区间以统计数值的分布。需要保证由数据小到大排列，并且列表中的元素需要在int64取值范围内。可以使用默认值[-1, 0, 1]。 | List[float, int] | 否  |
+
+   **不同级别的level的导出数据**
+
+
+   | 级别 | 特征数据表头                                                 | 是否有方向数据 |
+   | ---- | ------------------------------------------------------------ | -------------- |
+   | L0   | ("param_name", "MD5", "max", "min", "norm", "shape")         | 否             |
+   | L1   | ("param_name", "max", "min", "norm", "shape")         | 是             |
+   | L2   | ("param_name", *intervals, "=0", "max", "min", "norm", "shape") | 是             |
+
+   intervals就是根据值分布bounds划分出的区间。
+   MindSpore静态图模式下，L0级别中暂不支持"MD5"
+
+   **方向数据解释**
+
+   因为模型的参数往往非常大，所以存储真实数据是不可接受的，这里折衷一下，只存储梯度数据的正负号（一个布尔值），也就是方向。
+
+   **bounds和值分布解释**
+
+   + 值分布：梯度数据落在各个区间的元素个数占总元素个数的比例。
+   + bounds：一个列表，用来划分出区间以统计值分布。例如传入bounds = [-10, 0, 10]，此时有一个 grad_value: Tensor = [9.3 , 5.4, -1.0, -12.3]，依据 bounds 划分出 (-inf, -10]、(-10, 0]、(0, 10]、(10, inf) 四个区间，然后统计grad_value里的数据落在每个区间内的个数，得到 1、1、2、0。如下图所示：
+   ![Alt text](./img/grad_probe_image-1.png)
+
+2. 插入代码。示例代码如下：
+
+- PyTorch框架：模型构造完成后，传入config.json的路径实例化一个PrecisionDebugger对象，然后调用debugger.monitor并将`模型`作为参数传入。
+```python
+from msprobe.pytorch import PrecisionDebugger
+debugger = PrecisionDebugger("config_json_path")
+debugger.monitor(model)
+```
+- MindSpore框架：优化器构造完成后，传入config.json的路径实例化一个PrecisionDebugger对象，然后调用debugger.monitor并将`优化器`作为参数传入。
+```python
+from msprobe.mindspore import PrecisionDebugger
+debugger = PrecisionDebugger("config_json_path")
+debugger.monitor(optimizer)
+```
+
+3. 结束监控（MindSpore静态图模式下需要）
+
+   在训练结束之后，调用stop接口
+
+```python
+debugger.stop()
+```
+
+### 输出结果
+**输出目录结构**（以level配置L2为例）
+
+```bash
+{dump_path}
+      ├── rank{rank_id}
+      │        ├── grad_summary_{step}.csv
+      │        ├── step{step}
+      │        │        ├── {param_name}.npy
+```
++ {timestamp}：梯度工具导出数据的时候会在output_path下生成一个时间戳目录，然后在这个时间戳目录下输出结果。
++ rank_{rank_id}：在分布式场景下，会记录卡的rank_id。非分布式场景下，如果是CPU则记录进程号，如果是CPU或GPU则记录卡号
++ grad_summary_{step}.csv：会分step记录每一步的梯度数据统计值。
++ step_{step}：这个目录下会存放该step的梯度的方向数据。
++ {param_name}.pt(npy)：模型参数的梯度方向数据，PyTorch保存的是pt文件，MindSpore是npy文件。
+
+**grad_summary_{step}.csv**
+
+样例如下：
+
+![Alt text](./img/grad_probe_image.png)
+
+| 字段                  | 含义                                                         |
+| --------------------- | ------------------------------------------------------------|
+| Param_name            | 模型参数名称。                                                |
+| MD5                   | 梯度数据的MD5值。                                            |
+| (-inf, -0.01]...[0.01, inf) | 梯度值落在区间内的元素个数占总元素的比例。               |
+| =0                    | 梯度为0的元素个数占总元素的比例。                             |
+| Max                   | 最大值。                                                      |
+| Min                   | 最小值。                                                      |
+| Norm                  | L2norm值。                                                    |
+| Shape                 | 形状。                                                        |
+
+### 梯度相似度比对
+
+会根据所导出的权重，分step比对梯度相似度，输出每个权重的梯度相似度和总的梯度相似度。单个权重的梯度相似度为两份方向数据的重合度，总的梯度相似度为每个权重的梯度相似度按元素个数加权。
+
+#### 前提条件
+
+- 相同配置下，以Level为L1或L2分别采集npu和gpu环境下的梯度数据。
+- 将两份梯度数据传到同一环境下。
+
+#### 使用方式
+
+
+新建如下Python脚本，传入npu和gpu的dump_path以及输出目录，比对结果输出目录不存在的话会新建：
+
+```python
+from msprobe import *
+GradComparator.compare_distributed("配置文件里写的dump_path",
+                                    "配置文件里写的dump_path",
+                                    "比对结果输出目录")
+```
+
+
+### 比对结果
+
+**输出目录结构**
+
+如下为多卡比对结果，单卡则没有rank_{rank_id}这一级目录。
+
+```bash
+比对结果输出目录
+      ├── rank{rank_id}
+      │         ├── similarities.csv
+      │         └── similarities_picture
+      │                     ├── {param_name}.png
+      │                     └── summary_similarities.png
+```
+
+**问题界定**
+
+原则：对于任意权重，第0步的梯度相似度低于0.97，或者某一步的梯度相似度下降超过0.03，认为这一步存在精度问题。例子如下：
+
+- 第0步相似度低于0.97
+
+![Alt text](./img/grad_probe_image-3.png)
+
+- 第3步相似度下降超过0.03
+
+![Alt text](./img/grad_probe_image-4.png)
+
+- 正常情况
+
+![Alt text](./img/grad_probe_image-2.png)
+
+这个原则是一个经验性的指标，并不是严格的标注，还需要结合实际情况具体分析。
+
+## 公开接口
+
+**接口说明**
+
+```python
+PrecisionDebugger.monitor(module)
+```
+
+| 参数  | 说明                 | 是否必选 |
+| ----- | -------------------- | -------- |
+| module |Pytorch框架下传入模型，必须是torch.nn.Module；MindSpore框架下传入优化器。 | 是       |
+
+Pytorch场景，传入的模型不能被torch.jit.trace修饰。MindSpore动态图场景，传入的优化器不能被mindspore.jit修饰。
+
+**接口说明**
+
+```python
+GradComparator.compare_distributed(dump_path1, dump_path2, output_path)
+```
+
+| 参数  | 说明                 | 数据类型 | 是否必选 |
+| ----- | -------------------- | -------- | ----- |
+| dump_path1 |需要比对的其中一个dump目录，也就是配置文件里写的dump_path。 | str | 是       |
+| dump_path2 |需要比对的其中一个dump目录，也就是配置文件里写的dump_path，与dump_path1可以互换。 | str | 是       |
+| output_path |输出结果目录，不存在会新建。 | str | 是       |

msprobe/{pytorch/doc//321/205/320/254/320/270/321/207/342/225/221/342/224/220/321/207/342/226/223/342/225/233/321/205/342/225/221/320/266/321/206/320/277/320/244/321/205/320/277/342/225/243.md → docs/18.online_dispatch.md}

@@ -1,90 +1,89 @@
-# **PyTorch NPU在线精度比对工具使用指南**
-
-PyTorch NPU在线精度比对是ptdbg_ascend工具实现在PyTorch训练过程中直接完成精度比对并输出比对结果的功能。
-
-在线精度比对实现的是NPU与CPU之间的精度比对。
-
-## PyTorch NPU在线精度比对总体流程
-
-1. 准备NPU训练工程。
-
-2. 在NPU环境下安装ptdbg_ascend工具，参见《[PyTorch精度工具](https://gitee.com/ascend/mstt/blob/master/debug/accuracy_tools/ptdbg_ascend/README.md)》。
-
-3. 在训练脚本内插入ptdbg_ascend工具在线精度比对接口。
-
-4. 执行训练并获取在线精度比对NPU和CPU分别执行后的精度比对结果。
-
-5. 比对结果分析。
-
-##  PyTorch NPU在线精度比对
-### 总体说明
-- 本节主要介绍NPU精度比对所需要的函数以及示例。
-- 在线精度比对工具通过截获PyTorch框架中部分Aten Ir及其输入输出，并将输入数据转到CPU执行，最后将NPU和CPU的执行结果进行精度比对得到比对结果。
-
-### 约束
-
-- Pytorch 只支持2.0及其以上版本。
-- 只支持Aten Ir级在线精度比对，所有Aten Ir可以通过dir(torch.ops.aten)查看，其中部分IR不支持在线比对：Aten Ir无对应CPU实现、NPU和CPU同AtenIR实现逻辑不一致，导致同输入不同输出。
-- 正反向不支持同时在线精度比对，不支持跨step在线精度比对。
-
-
-### 场景示例
-1. 在NPU训练脚本中添加在线精度比对接口，示例如下：
-
-   ```python
-   from msprobe.pytorch.common.utils import seed_all
-   from msprobe.pytorch.online_dispatch import PtdbgDispatch
-      
-      # 在main函数开始前固定随机数
-      seed_all()
-      
-     
-      ...
-      
-      # 在需要调试精度的正向或反向代码前设置
-      # 正向示例
-      with PtdbgDispatch(dump_mode="auto", dump_path="/home/dump"):
-           output = model_cpu(inputs)
-      # 反向示例
-      with PtdbgDispatch(dump_mode="auto", dump_path="/home/dump"):
-       	loss.backward() 
-   ```
-
-2. 执行训练。
-
-3. 找出精度不达标的Aten IR。
-
-   执行过程中会打屏Failed，Failed在比对结果csv中的Accuracy Reached or Not列标记为No，并在Dump目录下存盘精度不达标Aten IR的输入输出。
-   ![图片说明](http://image.huawei.com/tiny-lts/v1/images/d83d564e337e80c7cfb557ca3600d0d4_1689x178.png@900-0-90-f.png)
-
-### 计算精度评价指标
-
-1. Cosine < 0.99 且 MaxAbsError > 0.001时，精度不达标；
-2. Cosine < 0.9，精度不达标；
-3. MaxAbsError > 1，精度不达标。
-
-### 在线精度比对参数设置说明
-
-| 参数名称 | 说明                                                                                              | 是否必选 |
-| -------- |-------------------------------------------------------------------------------------------------| -------- |
-| dump_mode| dump模式，可取值"all"、"list"、"auto"、"OFF"，默认值为OFF（表示不Dump数据）。                                         | 否       |
-| api_list | dump范围，dump_mode="list"时设置，需要Dump Aten Ir API名称，默认为None，Aten Ir API名称可以通过dir(torch.ops.aten)查看。 | 否       |
-| dump_path| dump文件生成的路径。                                                                                    | 是       |
-| tag      | 传入tag字符串，成为dump文件夹名一部分，默认为None。                                                                 | 否       |
-| process_num | 多进程并发数，默认为0。                                                                                    | 否       |
-| debug       | debug信息打印，默认为False。                                                                             | 否       |
-### dump数据存盘说明
-dump数据存盘目录名格式：`msprobe_tag_rankid_{timestamp}`。
-
-子目录下包含1个比对结果csv文件、cpu和npudump数据目录，npu目录下包含Aten IR在NPU上的输入输出的dump数据，由于CPU的输入是直接使用NPU的输入执行，因此cpu目录下只包含执行输出的dump数据。
-
-```bash
-msprobe_rank4_20230911170521
-├── compare_result_rank4_20230911170521.csv
-├── cpu
-│   ├── native_batch_norm_backward_10_output.0.npy
-│   ............
-└── npu
-    ├── native_batch_norm_backward_10_input.0.npy
-    ............
-```
+# **PyTorch NPU在线精度比对工具使用指南**
+
+PyTorch NPU在线精度比对是msprobe工具实现在PyTorch训练过程中直接完成精度比对并输出比对结果的功能。
+
+在线精度比对实现的是NPU与CPU之间的精度比对。
+
+## PyTorch NPU在线精度比对总体流程
+
+1. 准备NPU训练工程。
+
+2. 在NPU环境下安装msprobe工具。
+
+3. 在训练脚本内插入msprobe工具在线精度比对接口。
+
+4. 执行训练并获取在线精度比对NPU和CPU分别执行后的精度比对结果。
+
+5. 比对结果分析。
+
+##  PyTorch NPU在线精度比对
+### 总体说明
+- 本节主要介绍NPU精度比对所需要的函数以及示例。
+- 在线精度比对工具通过截获PyTorch框架中部分Aten Ir及其输入输出，并将输入数据转到CPU执行，最后将NPU和CPU的执行结果进行精度比对得到比对结果。
+
+### 约束
+
+- Pytorch 只支持2.0及其以上版本。
+- 只支持Aten Ir级在线精度比对，所有Aten Ir可以通过dir(torch.ops.aten)查看，其中部分IR不支持在线比对：Aten Ir无对应CPU实现、NPU和CPU同AtenIR实现逻辑不一致，导致同输入不同输出。
+- 正反向不支持同时在线精度比对，不支持跨step在线精度比对。
+
+
+### 场景示例
+1. 在NPU训练脚本中添加在线精度比对接口，示例如下：
+
+   ```python
+   from msprobe.pytorch.common import seed_all
+   from msprobe.pytorch.online_dispatch import PtdbgDispatch
+      
+      # 在main函数开始前固定随机数
+      seed_all()
+      
+     
+      ...
+      
+      # 在需要调试精度的正向或反向代码前设置
+      # 正向示例
+      with PtdbgDispatch(dump_mode="auto", dump_path="/home/dump"):
+           output = model_cpu(inputs)
+      # 反向示例
+      with PtdbgDispatch(dump_mode="auto", dump_path="/home/dump"):
+       	loss.backward() 
+   ```
+
+2. 执行训练。
+
+3. 找出精度不达标的Aten IR。
+
+   执行过程中会打屏Failed，Failed在比对结果csv中的Accuracy Reached or Not列标记为No，并在Dump目录下存盘精度不达标Aten IR的输入输出。
+
+### 计算精度评价指标
+
+1. Cosine < 0.99 且 MaxAbsError > 0.001时，精度不达标；
+2. Cosine < 0.9，精度不达标；
+3. MaxAbsError > 1，精度不达标。
+
+### 在线精度比对参数设置说明
+
+| 参数名称 | 说明                                                                                              | 是否必选 |
+| -------- |-------------------------------------------------------------------------------------------------| -------- |
+| dump_mode| dump模式，可取值"all"、"list"、"auto"、"OFF"，默认值为OFF（表示不Dump数据）。                                         | 否       |
+| api_list | dump范围，dump_mode="list"时设置，需要Dump Aten Ir API名称，默认为None，Aten Ir API名称可以通过dir(torch.ops.aten)查看。 | 否       |
+| dump_path| dump文件生成的路径。                                                                                    | 是       |
+| tag      | 传入tag字符串，成为dump文件夹名一部分，默认为None。                                                                 | 否       |
+| process_num | 多进程并发数，默认为0。                                                                                    | 否       |
+| debug       | debug信息打印，默认为False。                                                                             | 否       |
+### dump数据存盘说明
+dump数据存盘目录名格式：`atat_tag_rankid_{timestamp}`。
+
+子目录下包含1个比对结果csv文件、cpu和npudump数据目录，npu目录下包含Aten IR在NPU上的输入输出的dump数据，由于CPU的输入是直接使用NPU的输入执行，因此cpu目录下只包含执行输出的dump数据。
+
+```bash
+atat_rank4_20230911170521
+├── compare_result_rank4_20230911170521.csv
+├── cpu
+│   ├── native_batch_norm_backward_10_output.0.npy
+│   ............
+└── npu
+    ├── native_batch_norm_backward_10_input.0.npy
+    ............
+```