mindstudio-probe 8.3.3__py3-none-any.whl → 26.0.0a1__py3-none-any.whl

msprobe/docs/12.overflow_check_PyTorch.md

@@ -1,82 +0,0 @@
-# **PyTorch场景下的溢出检测**
-
-msprobe 工具在 PyTorch 场景下提供溢出数据采集功能和溢出数据解析功能，详细介绍见下方章节。
-
-## 1、溢出数据采集
-
-溢出数据采集能 dump 所有溢出的 API 或者 Module 的信息，包括前反向输入输出的统计值和实际运行数据信息。
-
-### 1.1 工具安装
-
-工具安装详见《[msprobe 使用手册](../README.md)》的“安装”章节
-
-### 1.2 接口介绍
-
-溢出检测功能提供的接口与数据采集任务一致，详见[ PyTorch 场景的精度数据采集](./05.data_dump_PyTorch.md)中的"**接口介绍**"章节。
-其中 PrecisionDebugger 中的 task 或是 config.json 中的 task 需要指定为 **overflow_check**，详见[配置文件介绍](./02.config_introduction.md)中的
-"**1.1 通用配置介绍**"和"**1.5 task 配置为 overflow_check**"章节。
-
-### 1.3 示例代码
-
-溢出检测功能使用方式与数据采集任务一致，详见[ PyTorch 场景的精度数据采集](./05.data_dump_PyTorch.md)中的"**示例代码**"章节。
-
-### 1.4 结果文件介绍
-
-溢出检测结果文件目录结构与含义与数据采集任务一致，详见[ PyTorch 场景的精度数据采集](./05.data_dump_PyTorch.md)中的"**3 dump 结果文件介绍**"章节。
-
-### 1.5 其他说明
-
-溢出数据采集功能在昇腾 NPU 上支持饱和模式（仅支持 Atlas 训练系列产品）和 INF/NAN 模式。
-
-INF/NAN 模式遵循 IEEE 754 标准，根据定义输出 INF/NAN 的计算结果。与之对应的饱和模式在计算出现溢出时，饱和为浮点数极值（+-MAX）。对于 CANN 侧配置，Atlas 训练系列产品，默认为饱和模式，且不支持使用 INF/NAN 模式；Atlas A2 训练系列产品，默认为 INF/NAN 模式，且不建议使用饱和模式。
-
-INF/NAN 模式的使能方式如下：
-
-```Shell
-# 使能 CANN 侧 INF/NAN 模式
-export INF_NAN_MODE_ENABLE=1
-```
-
-## 2、溢出数据解析
-
-注：溢出数据解析目前只支持分析前向 API 输入未溢出，但输出溢出的场景。
-
-在第一步中采集到溢出数据后，可以使用溢出解析功能快速判断输入未溢出而输出溢出的 API 是正常溢出还是非正常溢出，从而帮您快速分析是否由 API 执行异常导致的溢出问题。
-同一个 API 用相同的输入数据在 CPU 设备和昇腾 NPU 设备上执行，若 CPU 和 NPU 均出现溢出，则认为该溢出是**正常溢出**；若 NPU 有溢出, 而 CPU 没有溢出则认为该溢出是**非正常溢出**。
-
-工具支持的 PyTorch 版本：1.11/2.0/2.1/2.2。
-
-操作步骤如下：
-
-1. 安装工具。
-
-   详见《[msprobe 使用手册](../README.md)》的“安装”章节。
-
-2. 执行溢出 API 解析操作。
-
-   ```bash
-   msprobe -f pytorch run_overflow_check -api_info ./dump_path/step{step_number}/rank{rank_number}/dump.json
-   ```
-   
-| 参数名称                      | 说明                                 | 是否必选 |
-|---------------------------|------------------------------------| -------- |
-| -f 或 --framework          | 指定训练框架。pytorch。                    | 是       |
-| -api_info或--api_info_file | 指定采集下来的 API 信息文件 dump.json。        | 是       |
-| -j或--jit_compile          | 开启 jit 编译。                         | 否       |
-| -d或--device               | 指定 Device ID，选择 UT 代码运行所在的卡，默认值为0。 | 否       |
-
-3. 结果说明。
-
-   如果 API 是**正常溢出**，会打印以下信息：
-
-    ```bash
-   The {api_name} overflow is a normal overflow.
-   ```
-
-    **非正常溢出**则会打印以下信息：
-
-    ```bash
-   The {api_name} overflow is an abnormal overflow.
-   ```
-
-   其中 {api_name} 是对应溢出的 API 名称。

msprobe/docs/13.overflow_check_MindSpore.md

@@ -1,33 +0,0 @@
-# MindSpore 场景的溢出检测
-
-msprobe 工具提供静态图O2编译等级下与动态图场景下的溢出检测功能。其中前者检测对象为 **kernel** 级别，对应 config.json 配置中的 **"L2"** level，后者检测对象为 **API** 级别(支持的API类型为ops、Tensor、mint和mint.nn.functional，不支持Primitive和Jit类API)或 **cell** 级别，分别对应 config.json 配置中的 **"L1"** 、**"L0"** level。
-
-需要注意，本工具仅支持在 INF/NAN 模式<sup>a</sup>下进行溢出检测。INF/NAN 模式的使能方式如下：
-
-```Shell
-# 使能 CANN 侧 INF/NAN 模式
-export INF_NAN_MODE_ENABLE=1
-# 使能 MindSpore 框架侧 INF/NAN 模式
-export MS_ASCEND_CHECK_OVERFLOW_MODE="INFNAN_MODE"
-```
-
-**a**：在处理浮点数计算溢出问题时，NPU 当前支持两种溢出模式：INF/NAN 模式与饱和模式。INF/NAN 模式遵循 IEEE 754 标准，根据定义输出 INF/NAN 的计算结果。与之对应的饱和模式在计算出现溢出时，饱和为浮点数极值（+-MAX）。对于 CANN 侧配置，Atlas 训练系列产品，默认为饱和模式，且不支持使用 INF/NAN 模式；Atlas A2训练系列产品，默认为 INF/NAN 模式，且不建议使用饱和模式。对于 MindSpore 框架侧配置，仅支持对 Atlas A2 训练系列产品进行设置，默认为 INF/NAN 模式。CANN 侧 与 MindSpore 框架侧配置须一致。
-
-溢出检测任务的配置示例见[MindSpore 静态图场景下 task 配置为 overflow_check](03.config_examples.md#23-task-配置为-overflow_check)、[MindSpore 动态图场景下 task 配置为 overflow_check](03.config_examples.md#33-task-配置为-overflow_check)。
-
-
-## 1 接口介绍
-
-溢出检测功能提供的接口与数据采集任务一致，详见MindSpore 场景的精度数据采集中的["**接口介绍**"](./06.data_dump_MindSpore.md#6-接口介绍)章节。
-
-需要注意，目前暂不支持动态图 "L1" level 下 primitive op 的溢出检测。
-
-## 2 示例代码
-
-溢出检测功能使用方式与数据采集任务一致，详见MindSpore 场景的精度数据采集中的["**示例代码**"](./06.data_dump_MindSpore.md#7-示例代码)节。
-
-## 3 溢出检测结果文件介绍
-
-溢出检测结果文件目录结构与含义与数据采集任务一致，但仅保存溢出 API 或 kernel 的真实数据或统计信息。详见MindSpore 场景的精度数据采集中的["**8. dump 结果文件介绍**"](./06.data_dump_MindSpore.md#8-dump-结果文件介绍)章节。
-
-**说明**：在静态图 O2 编译等级下，若 MindSpore 版本为 2.4，或者 MindSpore 版本为 2.5，且未使用编包时添加了`--include-mod=adump`选项的 mindstudio-probe whl 包，则会产生 kernel_graph_overflow_check.json 中间文件，一般情况下无需关注。

msprobe/docs/14.data_parse_PyTorch.md

@@ -1,282 +0,0 @@
-# PyTorch 场景的数据解析
-
-## 1 简介
-
-数据解析功能提供命令行交互式界面，提供了更多的结果展示。
-
-使用场景：本工具主要用于精度比对前后两次 NPU kernel 层级 dump 数据的一致性。
-
-依赖：CANN 包中的 msaccucmp 工具，需要安装 Ascend-CANN-toolkit，详见《[CANN 软件安装指南](https://www.hiascend.com/document/detail/zh/canncommercial/700/envdeployment/instg/instg_0001.html)》。
-
-**安全注意事项**： 工具使用时传入的msaccucmp.py文件路径参数请务必确保为CANN中自带的msaccucmp.py原始路径且文件内容未被篡改，工具会在解析数据时直接执行该文件，用户需自行保证该文件内容安全性。
-
-## 2 数据解析操作指导
-
-### 2.1 进入 parse 交互式界面
-
-安装 msprobe 工具后，可以通过使用命令 `msprobe -f pytorch parse` 进入交互式界面，如下所示：
-
-```bash
-msprobe -f pytorch parse
-Parse >>>
-```
-| 参数名称                      | 说明                                 | 是否必选 |
-|---------------------------|------------------------------------| -------- |
-| -f 或 --framework          | 指定训练框架。pytorch。                    | 是       |
-
-可在 parse 的界面中执行 Shell 命令，以及如下场景的相关解析命令（详细介绍请参见以下章节。）：
-
-- 支持指定 kernel 层级算子数据比对。
-- 支持指定 kernel 层级算子数据转换及展示。
-- 支持交互式指定 pkl 文件中 API 对应 dump 数据查看。
-- 支持 API 进行可选层级比对和打印（统计级和像素级）。
-
-Ctrl+C 可以退出 parse 交互式界面。
-
-### 2.2 kernel 层级算子数据批量转换
-
-本功能会将原有待比对 dump 数据目录下的 dump 数据按照算子名和时间戳进行梳理并分类，之后再将 dump 数据转为 npy 文件。
-
-输入以下比对命令进行数据转换。
-
-```bash
-cad -m my_dump_path [-out output_path] [-asc msaccucmp_path]
-```
-
-| 参数名称                    | 说明                                                         | 是否必选 |
-|-------------------------| ------------------------------------------------------------ | -------- |
-| -m 或 --my_dump_path     | 待转换 kernel dump 数据目录。需要指定到 kernel dump 数据的 deviceid 级目录。 | 是       |
-| -out 或 --output_path    | 结果输出目录，须指定已存在的目录，默认为 ./parse_data/acl_batch_convert。未指定时保存在默认路径下，比对结束后会打印 log 提示输出结果存放路径。 | 否       |
-| -asc 或 --msaccucmp_path | 指定 msaccucmp 路径，默认路径为：/usr/local/Ascend/ascend-toolkit/latest/tools/operator_cmp/compare/msaccucmp.py。 | 否       |
-
-**示例代码**：
-
-```bash
-# 传入待比对数据目录
-Parse >>> cad -m /home/xxx/my_dump_path/20000124003856/0
-# 转换结果打印
-......
-╭──────────────────────────────────────────────────────────────────────────────────────────────────────────╮
-# 转换前的dump文件
-│ SrcFile: /home/xxx/my_dump_path/20000124003856/0/272/TransData.trans_TransData_22.112.21.948645536672764 │
-# 转换后的npy文件
-│ - TransData.trans_TransData_22.112.21.948645536672764.output.0.npy                                       │
-│ - TransData.trans_TransData_22.112.21.948645536672764.input.0.npy                                        │
-╰──────────────────────────────────────────────────────────────────────────────────────────────────────────╯
-......
-[INFO] The comparison result have been written to "./parse_data/acl_batch_convert".
-```
-
-**输出结果**：
-
-原 dump 数据目录：
-
-```
-├── /home/xxx/my_dump_path/20000124003856/0/
-│   ├── 272
-│   │   ├── {op_type}.{op_name}.{task_id}.{stream_id}.{timestamp}
-│   │   ...
-│   ├── 512
-│   ...
-```
-
-转换后：
-
-```
-├── ./parse_data/acl_batch_convert/{timestamp}
-│   ├── {op_name1}
-│   │   ├── {timestamp1}
-│   │   |   ├── {op_type}.{op_name}.{task_id}.{stream_id}.{timestamp}.{input/output}.{参数序号}.npy
-│   │   |   │   ...
-│   │   ├── {timestamp2}
-│   │   |   ...
-│   ├── {op_name2}
-│   ├── ...
-```
-
-### 2.3 kernel 层级算子数据比对
-
-本功能主要用于比对前后两次 NPU kernel 层级 dump 数据的一致性，并支持批量比对，比对时需要先将两份待比对的 NPU kernel 层级 dump 数据进行 [kernel 层级算子数据批量转换](#22-kernel-层级算子数据批量转换)，可以使两份数据更好的匹配；若直接进行 dump 数据的比对，建议只比对单个 dump 数据文件。
-
-输入以下比对命令进行数据比对。
-
-```bash
-vc -m my_dump_path -g golden_dump_path [-out output_path] [-cmp_path msaccucmp_path]
-```
-
-| 参数名称                         | 说明                                                         | 是否必选 |
-|------------------------------| ------------------------------------------------------------ | -------- |
-| -m 或 --my_dump_path          | 待比对 kernel dump 数据目录。如果比对单个算子，需要指定到 kernel dump 数据的 model_id 级目录；如果批量比对，则指定到 cad 转换后的 timestamp 级目录。 | 是       |
-| -g 或 --golden_dump_path      | 标杆 kernel dump 数据目录。如果比对单个算子，需要指定到 kernel dump 数据的 model_id 级目录；如果批量比对，则指定到 cad 转换后的 timestamp 级目录。 | 是       |
-| -out 或 --output_path         | 结果输出目录，须指定已存在的目录，默认为 ./parse_data/acl_batch_compare。未指定时保存在默认路径下，比对结束后会打印 log 提示输出结果存放路径。 | 否       |
-| -cmp_path 或 --msaccucmp_path | 指定 msaccucmp 路径，默认路径为：/usr/local/Ascend/ascend-toolkit/latest/tools/operator_cmp/compare/msaccucmp.py | 否       |
-
-输出结果：`batch_compare_{timestamp}.csv` 文件。
-
-**示例代码**：
-
-```bash
-# 传入待比对数据目录以及标杆数据目录
-Parse >>> vc -m ./my_dump_path -g ./golden_data_path
-[INFO]Compare result is saved in : parse_data/acl_batch_compare/batch_compare_1707271118.csv
-```
-
-### 2.3 kernel 算子数据的 npy 转换
-
-输入以下转换命令进行数据转换， 将 kernel 级别 dump 数据转为 npy 文件。
-
-```bash
-dc -n file_name/file_path [-f format] [-out output_path]
-```
-
-| 参数名称                    | 说明                                                         | 是否必选 |
-|-------------------------| ------------------------------------------------------------ | -------- |
-| -n 或 --name             | 需转换的 dump 数据文件或 dump 数据文件目录。                     | 是       |
-| -f 或 --format           | 开启 format 转换，指定该参数时需要配置 format 格式。当前内置的 Format 转换支持如下类型：<br/> FRACTAL_NZ 转换 NCHW； <br/>FRACTAL_NZ 转换成 NHWC； <br/>FRACTAL_NZ 转换 ND； <br/>HWCN 转换 FRACTAL_Z； <br/>HWCN 转换成 NCHW； <br/>HWCN 转换成 NHWC； <br/>NC1HWC0 转换成 HWCN； <br/>NC1HWC0 转换成 NCHW； <br/>NC1HWC0 转换成 NHWC； <br/>NCHW 转换成 FRACTAL_Z； <br/>NCHW转换成NHWC； <br/>NHWC转换成FRACTAL_Z；<br/> NHWC转换成HWCN； <br/>NHWC转换成NCHW；<br/>NDC1HWC0转换成NCDHW。 | 否       |
-| -out 或 --output_path    | 结果输出目录。                                               | 否       |
-| -cmp_path 或 --msaccucmp | 指定 msaccucmp 路径，默认路径为：/usr/local/Ascend/ascend-toolkit/latest/tools/operator_cmp/compare/msaccucmp.py | 否       |
-
-- 输出结果：npy 文件。
-
-- 若指定 -out 参数需要用户传入输出路径，并且路径需要已存在。
-
-- 若未指定输出目录， 则比对结束后将结果保存在默认目录 “./parse_data/convert_result” 中，比对结束后会打印 log 提示输出结果存放路径及转换结果。
-
-- 输入以下命令，展示 npy 数据统计信息。
-
-  ```bash
-  pt -n file_path
-  ```
-
-  | 参数名称        | 说明          | 是否必选 |
-  |-------------| ------------- | -------- |
-  | -n 或 --name | npy 文件路径。 | 是       |
-
-  打印统计信息：shape, dtype, max, min 和 mean。默认在 npy 文件路径下将该数据保存为 txt 文件。
-
-**示例代码1**：
-
-```bash
-# 传入需转换的dump文件目录
-Parse >>> dc -n ./dump_data/
-......
-# 转换结果
-╭──────────────────────────────────────────────────────────────────────────────────────────────────────╮
-│ SrcFile: ./dump_data/
-│  - Add.fp32_vars_add_2fp32_vars_Relu_9.31.5.1636595794731103.input.0.npy                             │
-│  - Add.fp32_vars_add_1fp32_vars_Relu_6.24.5.1636595794631347.output.0.npy                            │
-│  - Add.fp32_vars_add_2fp32_vars_Relu_9.31.5.1636595794731103.input.1.npy                             │
-│  - Add.fp32_vars_add_1fp32_vars_Relu_6.24.5.1636595794631347.input.1.npy                             │
-│  - Add.fp32_vars_add_3fp32_vars_Relu_12.40.5.1636595794846124.input.1.npy                            │
-│  - Add.fp32_vars_add_1fp32_vars_Relu_6.24.5.1636595794631347.input.0.npy                             │
-│  - Add.fp32_vars_add_3fp32_vars_Relu_12.40.5.1636595794846124.input.0.npy                            │
-│  - Add.fp32_vars_add_2fp32_vars_Relu_9.31.5.1636595794731103.output.0.npy                            │
-│  - Add.fp32_vars_add_3fp32_vars_Relu_12.40.5.1636595794846124.output.0.npy                           │
-╰──────────────────────────────────────────────────────────────────────────────────────────────────────╯
-```
-
-**示例代码2**：
-
-```bash
-# 查看某个dump数据块的数据信息
-# 默认会将数据中的tensor保存成 txt
-Parse >>> pt -n ./parse_data/dump_convert/Add.fp32_vars_add_1fp32_vars_Relu_6.24.5.1636595794631347.output.0.npy
-......
-# 打印统计信息
-[Shape: (1, 16, 56, 56, 16)] [Dtype: float16] [Max: 452.0] [Min: -408.5] [Mean: -3.809]
-Path: ./parse_data/dump_convert/Add.fp32_vars_add_1fp32_vars_Relu_6.24.5.1636595794631347.input.0.npy                           
-TextFile:./parse_data/dump_convert/Add.fp32_vars_add_1fp32_vars_Relu_6.24.5.1636595794631347.input.0.npy.txt
-```
-
-### 2.4 dump.json 文件中指定 API 的 dump 数据信息查看（暂不支持）
-
-输入以下命令，解析并输出 dump.json 文件中指定 API 的统计信息。
-
-```bash
-pk -f pkl_path -n api_name
-```
-
-| 参数名称        | 说明                    | 是否必选 |
-|-------------| ----------------------- | -------- |
-| -f 或 --file | 指定 dump.json 文件路径。 | 是       |
-| -n 或 --name | 指定 API 名称。           | 是       |
-
-- 输出结果：打印统计信息（shape, dtype, max和min mean）。
-- 若 pkl 文件中存在相应的堆栈信息，则会打印堆栈信息。
-
-**示例代码**：
-
-```bash
-# 传入pkl文件及api名称
-Parse >>> pk -f ./torch_dump/xxx/rank0/dump.json -n Functional_conv2d_0_forward
-......
-# 打印统计信息及堆栈（pkl文件不包含堆栈则不会打印堆栈）
-
-Statistic Info:
-  [Functional_conv2d_0_forward_input.0][dtype: torch.float32][shape: [2, 1, 2, 2]][max: 1.576936960220337][min: -0.9757485389709473][mean: 0.4961632490158081]
-  [Functional_conv2d_0_forward_input.1][dtype: torch.float32][shape: [2, 1, 2, 2]][max: 0.20064473152160645][min: -0.47102075815200806][mean: -0.20796933770179749]
-  [Functional_conv2d_0_forward_input.2][dtype: torch.float32][shape: [2]][max: 0.17380613088607788][min: -0.16853803396224976][mean: 0.0026340484619140625]
-  [Functional_conv2d_0_forward_output][dtype: torch.float32][shape: [2, 2, 1, 1]][max: 0.02364911139011383][min: -1.762906551361084][mean: -0.6710853576660156]
-```
-
-### 2.5 API 可选层级比对
-
-输入以下命令, 进行统计级和像素级比对。
-
-```bash
-cn -m my_data*.npy -g golden*.npy [-p num] [-al atol] [-rl rtol]
-```
-
-- 统计级比对：对 tensor 整体进行余弦值及相对误差的计算。
-- 像素级比对：对输入的两个 npy 文件进行逐元素比对。若两个 tensor 对应元素的相对误差或绝对误差大于**误差阈值**（-al 和 -rl 配置）则被标记为错误数据。
-
-| 参数名称                    | 说明                                            | 是否必选 |
-|-------------------------| ----------------------------------------------- | -------- |
-| -m 或 --my_dump_path     | 待比对数据。                                    | 是       |
-| -g 或 --golden_dump_path | 标杆数据。                                      | 是       |
-| -p 或 --print            | 设置比对结束后打印错误元素的个数，默认值 20。    | 否       |
-| -al 或 --atol            | 判定数据存在精度问题的绝对误差阈值，默认 0.001。 | 否       |
-| -rl 或 --rtol            | 判定数据存在精度问题的相对误差阈值，默认 0.001。 | 否       |
-| -s 或 --save             | 将 npy 文件保存成 txt 文件，用于查看，默认开启。    | 否       |
-
-输出结果：
-
-- 统计级比对结果。
-- 两个文件的统计信息（shape, dtype, max, min和mean）。
-- 错误数据打印表格。
-
-**示例代码**：
-
-```bash
-# 对比两个tensor的数据
-Parse >>> cn -m Add.InceptionV3_InceptionV3_Mixed_7a_Branch_0_add_3.323.1619494134703053.output.0.npy -g InceptionV3_InceptionV3_Mixed_7a_Branch_0_add_3.0.1619492699305998.npy -p 10 -s -al 0.002 -rl 0.005
-                  Error Item Table                                        Top Item Table
-┏━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┓ ┏━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┓
-┃ Index ┃ Left          ┃ Right        ┃ Diff         ┃ ┃ Index ┃ Left        ┃ Right       ┃ Diff          ┃
-┡━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━┩ ┡━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━┩
-│ 155   │ 0.024600908   │ 0.022271132  │ 0.002329776  │ │ 0     │ -0.9206961  │ -0.9222216  │ 0.0015255213  │
-│ 247   │ 0.015752593   │ 0.017937578  │ 0.0021849852 │ │ 1     │ -0.6416973  │ -0.64051837 │ 0.0011789203  │
-│ 282   │ -0.0101207765 │ -0.007852031 │ 0.0022687456 │ │ 2     │ -0.35383835 │ -0.35433492 │ 0.0004965663  │
-│ 292   │ 0.019581757   │ 0.02240482   │ 0.0028230622 │ │ 3     │ -0.18851271 │ -0.18883198 │ 0.00031927228 │
-│ 640   │ -0.06593232   │ -0.06874806  │ 0.0028157383 │ │ 4     │ -0.43508735 │ -0.43534422 │ 0.00025686622 │
-│ 1420  │ 0.09293677    │ 0.09586689   │ 0.0029301196 │ │ 5     │ 1.4447614   │ 1.4466647   │ 0.0019032955  │
-│ 1462  │ -0.085207745  │ -0.088047795 │ 0.0028400496 │ │ 6     │ -0.3455438  │ -0.3444429  │ 0.0011008978  │
-│ 1891  │ -0.03433288   │ -0.036525503 │ 0.002192624  │ │ 7     │ -0.6560242  │ -0.6564579  │ 0.0004336834  │
-│ 2033  │ 0.06828873    │ 0.07139922   │ 0.0031104907 │ │ 8     │ -2.6964858  │ -2.6975214  │ 0.0010356903  │
-│ 2246  │ -0.06376442   │ -0.06121233  │ 0.002552092  │ │ 9     │ -0.73746175 │ -0.73650354 │ 0.00095820427 │
-└───────┴───────────────┴──────────────┴──────────────┘ └───────┴─────────────┴─────────────┴───────────────┘
-╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
-│ Left:                                                                                                                                 |
-│  |- NpyFile: ./dump/temp/decode/Add.InceptionV3_InceptionV3_Mixed_7a_Branch_0_add_3.323.1619494134703053.output.0.npy                 |
-│  |- TxtFile: ./dump/temp/decode/Add.InceptionV3_InceptionV3_Mixed_7a_Branch_0_add_3.323.1619494134703053.output.0.npy.txt             |
-│  |- NpySpec: [Shape: (32, 8, 8, 320)] [Dtype: float32] [Max: 5.846897] [Min: -8.368301] [Mean: -0.72565556]                           |
-│ DstFile:                                                                                                                              │
-│  |- NpyFile: ./dump/cpu/InceptionV3_InceptionV3_Mixed_7a_Branch_0_add_3.0.1619492699305998.npy                                        |
-│  |- TxtFile: ./dump/cpu/InceptionV3_InceptionV3_Mixed_7a_Branch_0_add_3.0.1619492699305998.npy.txt                                    |
-│  |- NpySpec: [Shape: (32, 8, 8, 320)] [Dtype: float32] [Max: 5.8425903] [Min: -8.374472] [Mean: -0.7256237]                           │
-│ NumCnt:   655360                                                                                                                      │
-│ AllClose: False                                                                                                                       │
-│ CosSim:   0.99999493                                                                                                                  │
-│ ErrorPer: 0.023504638671875  (rl= 0.005, al= 0.002)                                                                                   │
-╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
-```

msprobe/docs/15.free_benchmarking_PyTorch.md

@@ -1,169 +0,0 @@
-# PyTorch 场景的无标杆比对
-
-## 1 简介
-* 本工具的目标是在不依赖标杆数据的情况下，检测模型训练中可能存在的精度问题API级别算子，并提供升精度和tocpu接口快速验证。
-* 工具基于**数值病态分析理论**：对算子的输入增加很小的扰动，从而放大输出值异常现象；检测算子原始输出和扰动后输出间误差是否符合精度标准。
-
-* 该工具的**特点**有：
-    * 不依赖标杆模型，不需要离线对比；
-    * 提供接口，对可疑算子升精度，tocpu进行快速验证。
-* 推荐使用场景（针对**算子精度问题**）：
-    * **暂无标杆数据**，模型Loss异常，要做精度问题算子排查；
-    * **验证可疑算子**，要做进一步确认，验证是否对模型Loss有影响；
-    * 低精度模型效果不如高精度，要做精度问题算子排查。
-* 该工具的约束
-    * 仅支持Pytorch2.x场景；
-    * 推荐限定算子范围使用（白名单，或脚本中工具启用范围），算子范围越大，性能和显存损耗越大；详情见[无标杆比对功能在 PyTorch 场景的性能基线报告](./S02.report_free_benchmarking_validation_performance_baseline.md)
-
-## 2 工具实现原理
-1. **扰动算子白名单**：根据算子名识别需要插桩算子范围。
-2. **扰动因子**：基于torch.nn.Module的hook机制，在注册的hook函数中对算子输入进行特定类型扰动。
-3. **误差分析**：
-    * **check**: 在hook函数中二次执行算子得到扰动后的算子输出，计算扰动后输出与原始输出的相对误差，查看是否符合精度标准；
-    * **fix**: 需要做验证时，可以选择将特定扰动类型（升精度，to cpu）的输出替换原始输出，观察对模型Loss是否有影响。
-4. **精度风险算子**：不达标精度标准的，最终会在输出件中展示
-
-![alt text](./img/free_benchmark_framework.png)
-
-
-## 3 操作指导
-
-```mermaid
-flowchart LR
-A0[安装msprobe工具]
-subgraph config.json配置
-A1[确定插桩范围]
-A2[选择扰动因子]
-A3[选择处理方式]
-A1-->A2
-A2-->A3
-end
-B(在模型脚本中开启工具)
-C(启动模型训练)
-D(查看精度风险算子\n观察模型loss曲线)
-
-A0-->
-config.json配置-->B
-B-->C
-C-->D
-D-->config.json配置
-```
-工具的推荐使用思路是：
-
-1. 配置config.json开启精度风险算子的排查；
-2. 根据精度风险算子输出件，修改config.json开启验证功能，观察模型loss曲线是否改善。
-
-### 3.1 安装msprobe工具
-参照[msprobe安装](./01.installation.md)
-### 3.2 config.json配置
-修改[config.json](../config.json) 的task类型为"**free_benchmark**"开启无标杆功能。支持的配置项详见[配置文件介绍](./02.config_introduction.md)，默认配置如下：
-```json
-{
-    "task": "free_benchmark",
-    "dump_path": "./dump_path", 
-    "rank": [],  
-    "step": [],  
-    "level": "L1", 
-
-    "free_benchmark": {
-        "scope": [], 
-        "list": [],
-        "fuzz_device": "npu",
-        "pert_mode": "improve_precision",
-        "handler_type": "check",
-        "fuzz_level": "L1",
-        "fuzz_stage": "forward",
-        "if_preheat": false,
-        "preheat_step": 15,
-        "max_sample": 20
-    }
-}
-```
-用户需根据自己的使用场景，对[工具实现原理](#2-工具实现原理)中几个关键步骤进行配置。
-#### 3.2.1 扰动算子白名单（确定插桩范围）
-
-<table>
-    <tr><th>参数</th><th>是否必选</th><th>可配置项</th><th>适用场景</th></tr>
-    <tr><td>scope</td><td>否</td><td>自定义</td><td>需要通过指定算子名来限制算子插桩范围 如：["Torch.matmul.0.forward", "Tensor.pow.4.forward"]。</td></tr>
-    <tr><td>list</td><td>否</td><td>自定义</td><td>需要通过指定算子类型来限制算子插桩范围 如：["relu"] 会匹配所有算子名中包含relu的算子。</td></tr>
-    <tr><td rowspan="2">fuzz_stage</td><td rowspan="2">否</td><td>"forward"（默认）</td><td>需要进行算子<b>前向</b>计算的精度问题排查或<b>验证可疑算子。</b></td></tr>
-    <tr><td>"backward"</td><td>需要进行算子<b>反向</b>计算的精度问题排查，不支持仅反向验证，前向验证包括反向。必须设置list参数指定需要检测的算子（详见3.2 config.json配置章节）, 指定的算子会暂存前向激活值，增加内存的占用。</td><td></td></tr>
-</table>
-
-#### 3.2.2 选择扰动因子
-
-<table>
-    <tr><th>参数</th><th>是否必选</th><th>可配置项</th><th>适用场景</th></tr>
-    <tr><td rowspan="6">pert_mode</td><td rowspan="6">否</td><td>"improve_precision" （默认）</td><td>（常用）(可做验证) 插桩算子可能在<b>低精度</b>下有精度问题，扰动因子会将输入的低精度向量升精度。</td></tr>
-    <tr><td>"bit_noise"</td><td>（常用）插桩算子可能在<b>轻微扰动</b>下暴露精度问题，扰动因子会将输入向量最后一个比特位翻转。</td></tr>
-    <tr><td>"add_noise"</td><td>插桩算子可能在<b>轻微扰动</b>下暴露精度问题，扰动因子会为输入向量增加一个极小值。</td></tr>
-    <tr><td>"change_value"</td><td>插桩算子可能存在<b>大数吃小数</b>问题，扰动因子会交换输入向量的首尾值。</td></tr>
-    <tr><td>"no_change"</td><td>插桩算子可能存在<b>数值稳定性</b>精度问题，扰动因子会复制原始输入。</td></tr>
-    <tr><td>"to_cpu"</td><td>(可做验证) 插桩算子可能在<b>同 CPU </b>精度表现不一致，扰动因子会将输入转至 CPU，需要配合 fuzz_device="cpu"使用。</td></tr>
-    <tr><td rowspan="2">fuzz_device</td><td rowspan="2">否</td><td>"npu" （默认）</td><td>pert_mode 不需要to cpu操作。</td></tr>
-    <tr><td>"cpu"</td><td>pert_mode 须配置为"to_cpu"，目前仅支持"to cpu"扰动因子。</td></tr>
-</table>
-
-
-#### 3.2.3 选择处理方式
-
-<table>
-    <tr><th>参数</th><th>是否必选</th><th>可配置项</th><th>适用场景</th></tr>
-    <tr><td rowspan="2">handler_type</td><td rowspan="2">否</td><td>"check"（默认）</td><td>要做精度问题算子排查，输出扰动前后不符合精度标准的算子，支持所有扰动因子。</td></tr>
-    <tr><td>"fix"</td><td>要做可疑算子验证，用扰动后输出替换原始输出，支持"improve_precision"，"to_cpu"两种扰动因子。</td></tr>
-</table>
-
-### 3.3 在模型脚本中开启工具
-
-通过PrecisionDebugger统一入口开启工具，示例如下：
-
-```python
-from msprobe.pytorch import PrecisionDebugger  
-
-debugger = PrecisionDebugger(config_path='./config.json')
-...
-debugger.start() # 一般在训练循环开头启动工具
-... # 循环体
-debugger.stop() # 一般在训练循环末尾结束工具
-debugger.step() # 在训练循环的最后需要重置工具，非循环场景不需要
-```
-
-### 3.4 启动模型训练
-训练过程中出现以下日志，可以检查工具是否正常使用。
-
-<table>
-    <tr><th>日志级别</th><th>日志内容</th><th>检查说明</th></tr>
-    <tr><td rowspan="3">INFO</td><td>[msprobe] Free Benchmark: Perturbation is {扰动因子} of {算子名}.</td><td>扰动因子与配置相符，算子名在插桩范围内。</td></tr>
-    <tr><td>[msprobe] Free Benchmark: For {算子名},{原因}. Cancel perturbation.</td><td>算子名在插桩范围内，但当前算子由于{原因}不支持添加扰动。</td></tr>
-    <tr><td>[msprobe] Free benchmark: preheat sample in step {step} api_name {算子名} curr_called_seq: {当前采样数}/{总采样数}"</td><td>仅开启预热，算子名在插桩范围内，在当前step的采样情况。</td></tr>
-    <tr><td>WARNING</td><td>[msprobe] Free benchmark: 无标杆工具不支持当前算子的输入类型 {算子名}.</td><td>算子名在插桩范围内，但当前算子没有可操作的输入（不存在Tensor，list类型等）。</td></tr>
-</table>
-
-其余日志均说明当前算子未能正常添加扰动，请检查日志信息判断是否更换扰动因子或不考虑当前算子结果。
-
-
-### 3.5 查看精度风险算子
-
-check模式下，无标杆比对在dump_path目录下将扰动前后不符合精度标准的结果输出在文件 free_benchmark.csv，如下示例：
-
-![free_benchmark](./img/free_benchmark.png)
-
-| 字段         | 说明                                                                                     |
-| ------------ | ---------------------------------------------------------------------------------------- |
-| rank         | Rank ID，int 类型。                                                                      |
-| pert_mode    | 扰动因子的类型，string 类型。                                                            |
-| stage        | 前向或反向，string 类型。                                                                |
-| step         | 迭代数，int 类型。                                                                       |
-| api_name     | API 名称，string 类型。                                                                  |
-| max_rel      | 输出对比最大相对误差，float 类型。                                                       |
-| dtype        | 输入的 dtype，string 类型。                                                              |
-| shape        | 输入的 shape，tuple 类型。                                                               |
-| output_index | 如果输出为列表或元组，其中一个元素检测不一致，则会有该元素的 index，否则为空，int 类型。 |
-
-无标杆根据参照的精度标准如下：
-| 输出dtype      | 相对误差阈值 |
-| -------------- | ------------ |
-| torch.float16  | 0.002        |
-| torch.bfloat16 | 0.004        |
-| torch.float32  | 0.0002       |
-| 其他           | 0.0002       |