mindstudio-probe 1.0.1__py3-none-any.whl → 1.0.4__py3-none-any.whl

msprobe/pytorch/compare/highlight.py

@@ -1,100 +0,0 @@
-import math
-import abc
-import numpy as np
-from msprobe.core.common.utils import get_header_index
-from msprobe.core.common.const import CompareConst
-
-
-class HighlightCheck(abc.ABC):
-    @abc.abstractmethod
-    def apply(self, info, color_columns, summary_compare):
-        raise NotImplementedError
-
-
-class CheckOrderMagnitude(HighlightCheck):
-    """检查Max diff的数量级差异"""
-    def apply(self, info, color_columns, summary_compare=True):
-        api_in, api_out, num = info
-        max_diff_index = get_header_index('Max diff' if summary_compare else 'MaxAbsErr', summary_compare)
-        if abs(api_in[max_diff_index]) > abs(api_out[max_diff_index]):
-            return
-        in_order = 0 if abs(api_in[max_diff_index]) < 1 else math.log10(abs(api_in[max_diff_index]))
-        out_order = 0 if abs(api_out[max_diff_index]) < 1 else math.log10(abs(api_out[max_diff_index]))
-        if out_order - in_order >= CompareConst.ORDER_MAGNITUDE_DIFF_YELLOW:
-            color_columns.yellow.append(num)
-
-
-class CheckOneThousandErrorRatio(HighlightCheck):
-    """检查千分误差比率"""
-    def apply(self, info, color_columns, summary_compare=True):
-        api_in, api_out, num = info
-        one_thousand_index = get_header_index('One Thousandth Err Ratio', summary_compare)
-        if not isinstance(api_in[one_thousand_index], (float, int)) or not isinstance(api_out[one_thousand_index], (float, int)):
-            return
-        if api_in[one_thousand_index] > CompareConst.ONE_THOUSAND_ERROR_IN_RED and api_out[one_thousand_index] < CompareConst.ONE_THOUSAND_ERROR_OUT_RED:
-            color_columns.red.append(num)
-        elif api_in[one_thousand_index] - api_out[one_thousand_index] > CompareConst.ONE_THOUSAND_ERROR_DIFF_YELLOW:
-            color_columns.yellow.append(num)
-
-
-class CheckCosineSimilarity(HighlightCheck):
-    """检查余弦相似度"""
-    def apply(self, info, color_columns, summary_compare=True):
-        api_in, api_out, num = info
-        cosine_index = get_header_index('Cosine', summary_compare)
-        if not isinstance(api_in[cosine_index], (float, int)) or not isinstance(api_out[cosine_index], (float, int)):
-            return
-        if api_in[cosine_index] - api_out[cosine_index] > CompareConst.COSINE_DIFF_YELLOW:
-            color_columns.yellow.append(num)
-
-
-class CheckMaxRelativeDiff(HighlightCheck):
-    """检查最大相对差异"""
-    def apply(self, info, color_columns, summary_compare=True):
-        api_in, api_out, num = info
-        max_diff_index = get_header_index('Max diff', summary_compare)
-        bench_max_index = get_header_index('Bench max', summary_compare)
-        input_max_relative_diff = np.abs(np.divide(api_in[max_diff_index], max(0.01, api_in[bench_max_index])))
-        output_max_relative_diff = np.abs(np.divide(api_out[max_diff_index], max(0.01, api_out[bench_max_index])))
-        if not isinstance(input_max_relative_diff, (float, int)) or not isinstance(output_max_relative_diff,
-                                                                                   (float, int)):
-            return
-        if output_max_relative_diff > CompareConst.MAX_RELATIVE_OUT_RED:
-            color_columns.red.append(num)
-        elif output_max_relative_diff > CompareConst.MAX_RELATIVE_OUT_YELLOW and input_max_relative_diff < CompareConst.MAX_RELATIVE_IN_YELLOW:
-            color_columns.yellow.append(num)
-
-
-class CheckOverflow(HighlightCheck):
-    """检查是否存在溢出"""
-    def apply(self, info, color_columns, summary_compare=True):
-        line, num = info
-        npu_max_index = get_header_index('NPU max', summary_compare)
-        npu_min_index = get_header_index('NPU min', summary_compare)
-        max_diff_index = get_header_index('Max diff' if summary_compare else 'MaxAbsErr', summary_compare)
-        if str(line[npu_max_index]) in CompareConst.OVERFLOW_LIST or str(
-                line[npu_min_index]) in CompareConst.OVERFLOW_LIST:
-            color_columns.red.append(num)
-            return
-        # check if Max_Diff > 1e+10
-        if isinstance(line[max_diff_index], (float, int)) and line[max_diff_index] > CompareConst.MAX_DIFF_RED:
-            color_columns.red.append(num)
-
-
-class HighlightRules:
-    """高亮规则集合，用于检查API的误差"""
-    # 适用于每行的规则
-    basic_rules = {
-        "check_overflow": CheckOverflow()
-    }
-
-    # 用于比较输入和输出的规则
-    compare_rules = {
-        "check_order_magnitude": CheckOrderMagnitude(),
-        "check_one_thousand_error": CheckOneThousandErrorRatio(),
-        "check_cosine_similarity": CheckCosineSimilarity()
-    }
-    summary_compare_rules = {
-        "check_order_magnitude": CheckOrderMagnitude(),
-        "check_max_relative_diff": CheckMaxRelativeDiff(),
-    }

msprobe/pytorch/doc/FAQ.md

@@ -1,193 +0,0 @@
-# 精度预检工具
-
-1. 预检工具在dump和run_ut的过程中，是否需要同时开启或关闭jit编译（jit_compile）？
-
-   答：是。
-
-2. 预检工具对于type_as这类涉及数据类型转换操作的API，是否具有参考性？
-
-   由于这类API在CPU侧存在精度先提升后下降的操作，因此这类API的有效性的参考价值有限。
-
-3. run ut过程中出现报错：ERROR:Got unsupported ScalarType BFloat16
-
-   答：请使用最新版本的工具。
-
-4. Dropout算子，CPU和NPU的随机应该不一样，为什么结果比对是一致的？
-
-   答：这个结果是正常的，工具对该算子有特殊处理，只判定位置为0的位置比例大约和设定p值相当。
-
-5. 为什么浮点型数据bench和CPU的dtype不一致？
-
-   答：对于fp16的数据，CPU会上升一个精度fp32去计算，这是和算子那边对齐的精度结论，CPU用更高精度去计算会更接近真实值。
-
-6. 添加预检工具后截取操作报错：`IndexError: too many indices for tensor of dimension x` 或 `TypeError: len() of a 0-d tensor`。
-
-   答：注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中Tensor:下的`- __getitem__`，工具会跳过dump该API。如果是需要dump的关键位置API也可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-7. 添加预检工具后F.gelu触发ValueError报错：`activation_func must be F.gelu`等。
-
-   答：注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中functional:下的的`- gelu`，工具会跳过dump该API。如果是需要dump的关键位置API也可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-8. 添加预检工具后触发AsStrided算子相关的报错，或者编译相关的报错，如：`Failed to compile Op [AsStrided]`。
-
-   答：注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中Tensor:下的`- t`和`- transpose`。
-
-9. Tensor 魔法函数具体对应什么操作？
-
-   答：
-
-   | Tensor魔法函数  | 具体操作         |
-   | --------------- | ---------------- |
-   | `__add__`       | +                |
-   | `__and__`       | &                |
-   | `__bool__`      | 返回Tensor布尔值 |
-   | `__div__`       | /                |
-   | `__eq__`        | ==               |
-   | `__ge__`        | >=               |
-   | `__gt__`        | >                |
-   | `__iadd__`      | +=               |
-   | `__iand__`      | &=               |
-   | `__idiv__`      | /=               |
-   | `__ifloordiv__` | //=              |
-   | `__ilshift__`   | <<=              |
-   | `__imod__`      | %=               |
-   | `__imul__`      | *=               |
-   | `__ior__`       | \|=              |
-   | `__irshift__`   | >>=              |
-   | `__isub__`      | -=               |
-   | `__ixor__`      | ^=               |
-   | `__lshift__`    | <<               |
-   | `__matmul__`    | 矩阵乘法         |
-   | `__mod__`       | %                |
-   | `__mul__`       | *                |
-   | `__nonzero__`   | 同`__bool__`     |
-   | `__or__`        | \|               |
-   | `__radd__`      | +（反向）        |
-   | `__rmul__`      | *（反向）        |
-   | `__rshift__`    | >>               |
-   | `__sub__`       | -                |
-   | `__truediv__`   | 同`__div__`      |
-   | `__xor__`       | ^                |
-
-# 精度比对工具
-
-## 工具使用
-
-### dump指定融合算子
-
-dump指定操作当前支持dump指定融合算子的输入输出，需要在mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml中添加，比如以下代码段调用的softmax融合算子
-
-```
-def npu_forward_fused_softmax(self, input_, mask):
-    resl = torch_npu.npu_scaled_masked_softmax(input_, mask, self.scale, False)
-    return resl
-```
-
-如果需要dump其中调用的npu_scaled_masked_softmax算子的输入输出信息，需要在support_wrap_ops.yaml中的torch_npu: 中自行添加该融合算子即可：
-
-```
-- npu_scaled_masked_softmax
-```
-
-（npu_scaled_masked_softmax融合算子工具已支持dump，本例仅供参考）
-
-## 常见问题
-
-### 1. 在同一个目录多次执行dump会冲突吗？
-
-会，同一个目录多次dump，会覆盖上一次结果，可以使用dump_path参数修改dump目录。
-
-### 2. 如何dump算子级的数据？
-
-需要配置level为L2模式。
-
-### 3. 工具比对发现NPU和标杆数据的API无法完全对齐？
-
-torch版本和硬件差异属于正常情况。
-
-## 异常情况
-
-### 2. HCCL 报错： error code: EI0006
-
-**故障现象**
-
-使用msprobe工具时，报错： error code: EI0006。
-
-**故障原因**
-
-CANN软件版本较低导致不兼容。
-
-**故障处理**
-
-升级新版CANN软件版本。
-
-### 3. torch_npu._C._clear_overflow_npu() RuntimeError NPU error，error code is 107002
-
-如果运行溢出检测功能遇到这个报错，采取以下解决方法：
-如果是单卡运行，添加如下代码，0是卡号，选择自己空闲的卡号。
-
-```
-torch.npu.set_device('npu:0')
-```
-
-如果多卡运行，请在代码中修改对应卡号，比如进程使用卡号为{rank}时可以添加如下代码：
-
-```
-torch.npu.set_device(f'npu:{rank}')
-```
-
-如果运行精度比对功能遇到这个报错，尝试安装最新版本的msprobe。
-
-### 4. dump得到的VF_lstm_99_forward_input.1.0.npy、VF_lstm_99_forward_input.1.1.npy类似的数据是否正常？
-
-带1.0/1.1/1.2后缀的npy是正常现象，例如当输入数据为[[tensor1, tensor2, tensor3]]会生成这样的后缀。
-
-### 5. 进行compare报错：The current file contains stack information, please turn on the stack_mode
-
-在比对脚本中，设置stack_mode=True，例如：
-
-```
-from msprobe.pytorch import compare
-dump_result_param={
-"npu_json_path": "./npu_dump/dump.json",
-"bench_json_path": "./gpu_dump/dump.json",
-"stack_json_path": "./npu_dump/stack.json",
-"is_print_compare_log": True
-}
-compare(dump_result_param, output_path="./output", stack_mode=True)
-```
-
-### 6. dump指定反向API的kernel级别的数据报错：NameError：name 'torch_npu' is not defined
-
-- 如果是npu环境，请安装torch_npu；
-- 如果是gpu环境，暂不支持dump指定API的kernel级别的数据
-
-### 7. 配置dump_path后，使用工具报错：[ERROR]The file path /home/xxx/dump contains special characters
-
-- 请检查你设置的dump绝对路径是否包含特殊字符，确保路径名只包含大小写字母、数字、下划线、斜杠、点和短横线
-- 注意，如果执行脚本的路径为/home/abc++/，设置的dump_path="./dump"，工具实际校验的路径为绝对路径/home/abc++/dump，++为特殊字符，会引发本条报错
-
-### 8. 无法dump matmul权重的反向梯度数据
-
-- matmul期望的输入是二维，当输入不是二维时，会将输入通过view操作展成二维，再进行matmul运算，因此在反向求导时，backward_hook能拿到的是UnsafeViewBackward这步操作里面数据的梯度信息，取不到MmBackward这步操作里面数据的梯度信息，即权重的反向梯度数据。
-- 典型的例子有，当linear的输入不是二维，且无bias时，会调用output = input.matmul(weight.t()),因此拿不到linear层的weight的反向梯度数据。
-
-### 9. dump.json文件中的某些api的dtype类型为float16，但是读取此api的npy文件显示的dtype类型为float32
-
-- msprobe工具在dump数据时需要将原始数据从npu to cpu上再转换为numpy类型，npu to cpu的逻辑和gpu to cpu是保持一致的，都存在dtype可能从float16变为float32类型的情况，如果出现dtype不一致的问题，最终dump数据的dtype以pkl文件为准。
-
-### 10. 使用dataloader后raise异常Exception("msprobe: exit after iteration {}". format(max(self.config.step))
-
-- 正常现象，dataloader通过raise结束程序，堆栈信息可忽略。
-
-### 11. 添加msprobe工具后截取操作报错：`IndexError: too many indices for tensor of dimension x` 或 `TypeError: len() of a 0-d tensor`。
-
-- 注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中Tensor:下的`- __getitem__`，工具会跳过dump该API。如果是需要dump的关键位置API也可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-### 12. 添加msprobe工具后F.gelu触发ValueError报错：`activation_func must be F.gelu`等。
-
-- 注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中functional:下的的`- gelu`，工具会跳过dump该API。如果是需要dump的关键位置api也可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-### 13. 添加msprobe工具后触发AsStrided算子相关的报错，或者编译相关的报错，如：`Failed to compile Op [AsStrided]`。
-
-- 注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中Tensor:下的`- t`和`- transpose`。

msprobe/pytorch/doc/api_accuracy_checker.md

@@ -1,269 +0,0 @@
-# **精度预检工具**
-
-## 简介
-
-精度预检工具通过扫描昇腾NPU上用户训练模型中所有API，输出精度情况的诊断和分析。工具通过dump模型中所有的API前反向信息；构造相应的API单元测试，将NPU输出与标杆（CPU高精度）比对，从而计算对应的精度指标，该过程称为run_ut；将NPU环境下dump的预检数据拷贝至GPU环境，同样执行run_ut；最后通过**新精度标准比对法**将NPU和GPU的预检结果进行比对，从而找出NPU中存在精度问题的API。
-
-**新精度标准比对法**：依据新精度标准，对不同的API采取不同的比对算法进行比对（包括绝对阈值法，标杆比对法、二进制一致法、ULP误差比对法和双千指标法），最终给定预检判定结果。
-
-**真实数据模式**：精度预检工具支持随机生成模式和真实数据模式，即在预检dump时可以选择由工具构造随机数进行输入获得dump数据或选择获取真实输入数据进行预检dump操作；随机生成模式执行效率高，可以快速获得结果，但数据精度低，只能大致判断精度问题；真实数据模式执行效率略低于随机生成模式，但是数据精度高，可以准确判断精度问题。
-
-**工具支持PyTorch版本**：2.0/2.1/2.2。
-
-**工具特性**
-
-- 落盘数据小。
-- 支持随机生成模式和真实数据模式。
-- 单API测试，排除整网中的累计误差问题。
-
-## 预检流程
-
-精度预检操作流程如下：
-
-1. 在NPU和GPU环境下分别安装msprobe工具。详见《[MindStudio精度调试工具](../../README.md)》的“工具安装”章节。
-2. 在NPU训练脚本内添加msprobe工具dump接口PrecisionDebugger采集待预检数据。详见《[精度数据采集](./dump.md)》。
-3. 将NPU环境下dump的预检数据拷贝至GPU环境。
-4. 在NPU和GPU环境下分别执行run_ut，生成结果用于最终api_precision_compare操作的输入。详见“**run_ut预检操作**”。
-5. 将NPU和GPU执行run_ut生成的`accuracy_checking_details_{timestamp}.csv`结果文件拷贝至同一环境下。
-6. 运行api_precision_compare.py，输出结果为预检操作的最终结果。详见“**预检结果比对**”。
-
-## 预检操作
-
-### run_ut预检操作
-
-完成待预检数据采集后，仅仅获取了API的输入数据，为了得到NPU vs CPU高精度（标杆）的预检比对结果和GPU vs CPU高精度（标杆）的预检比对结果，还需要进行run_ut操作。
-
-run_ut预检操作包括如下场景：
-
-- 使用run_ut.py执行预检：run_ut.py适用于数据量较小的单卡场景。
-- 使用multi_run_ut.py执行多线程预检：multi_run_ut.py适用于数据量较大的大模型场景。
-
-#### 使用run_ut.py执行预检
-
-1. 将API信息输入给run_ut模块运行精度检测并比对，运行如下命令： 
-
-   ```bash
-   msprobe -f pytorch run_ut -api_info ./dump.json
-   ```
-
-   | 参数名称                     | 说明                                                         | 是否必选                           |
-   | ---------------------------- | ------------------------------------------------------------ | ---------------------------------- |
-   | -api_info或--api_info_file   | 指定API信息文件dump.json。                                   | 是                                 |
-   | -save_error_data             | 保存精度未达标的API输入输出数据。                            | 否                                 |
-   | -o或--out_path               | 指定run_ut执行结果存盘路径，默认“./”（相对于run_ut的路径）。 | 否                                 |
-   | -j或--jit_compile            | 开启jit编译。                                                | 否                                 |
-   | -d或--device                 | 指定Device ID，选择UT代码运行所在的卡，默认值为0。           | 否                                 |
-   | -csv_path或--result_csv_path | 指定本次运行中断时生成的`accuracy_checking_result_{timestamp}.csv`文件路径，执行run_ut中断时，若想从中断处继续执行，配置此参数即可。需要指定为上次中断的`accuracy_checking_result_{timestamp}.csv`文件。详见“**断点续检**”。 | run_ut操作中断后继续执行场景下必选 |
-   | -f或--filter_api             | 过滤模型中除最大值和最小值以外其他参数和结构相同的API。适用于模型较大且重复API较多的场景。 | 否                                 |
-   
-   run_ut执行结果包括`accuracy_checking_result_{timestamp}.csv`和`accuracy_checking_details_{timestamp}.csv`两个文件。`accuracy_checking_result_{timestamp}.csv`是API粒度的，标明每个API是否通过测试。建议用户先查看`accuracy_checking_result_{timestamp}.csv`文件，对于其中没有通过测试的或者特定感兴趣的API，根据其API name字段在`accuracy_checking_details_{timestamp}.csv`中查询其各个输出的达标情况以及比较指标。详细介绍请参见“**预检结果**”。
-   
-2. （可选）如果需要保存比对不达标的输入和输出数据，可以在run_ut执行命令结尾添加-save_error_data，例如：
-
-   ```bash
-   msprobe -f pytorch run_ut -api_info ./dump.json -save_error_data
-   ```
-
-   数据默认会存盘到'./ut_error_data{timestamp}'路径下（相对于启动run_ut的路径），有需要的话，用户可以通过修改mstt/debug/accuracy_tools/api_accuracy_checker目录下，config.yaml文件的error_data_path参数来配置保存路径，详见“config.yaml文件说明”。
-
-#### 使用multi_run_ut.py执行多线程预检
-
-multi_run_ut.py脚本，可以并行执行多个run_ut操作，从而降低预检耗时。
-
-命令示例如下：
-
-```bash
-msprobe -f pytorch multi_run_ut -api_info ./dump.json -n 32 -d 0 1 2 3
-```
-
-| 参数名称                     | 说明                                                         | 是否必选                           |
-| ---------------------------- | ------------------------------------------------------------ | ---------------------------------- |
-| -api_info或--api_info_file   | 指定API信息文件dump.json。                                   | 是                                 |
-| -save_error_data             | 保存精度未达标的API输入输出数据。                            | 否                                 |
-| -o或--out_path               | 指定run_ut执行结果存盘路径，默认“./”（相对于run_ut的路径）。 | 否                                 |
-| -j或--jit_compile            | 开启jit编译。                                                | 否                                 |
-| -n                           | 同时执行run_ut线程的数量，默认为8，最大支持64，但每个Device最大支持8个线程，当指定多个线程和多个Device时，则线程数在每张卡上均分。 | 否                                 |
-| -d或--device                 | 指定Device ID，选择UT代码运行所在的卡，默认值为0，支持同时指定0~7，共8个Device。 | 否                                 |
-| -csv_path或--result_csv_path | 指定本次运行中断时生成的`accuracy_checking_result_{timestamp}.csv`文件路径，执行run_ut中断时，若想从中断处继续执行，配置此参数即可。需要指定为上次中断的`accuracy_checking_result_{timestamp}.csv`文件。详见“**断点续检**”。 | run_ut操作中断后继续执行场景下必选 |
-| -f或--filter_api             | 过滤模型中除最大值和最小值以外其他参数和结构相同的API。适用于模型较大且重复API较多的场景。 | 否                                 |
-
-#### 断点续检
-
-精度预检run_ut过程中，若因环境、数据量过大等原因导致预检进程中断，那么当用户解决这些问题后，重新执行run_ut操作，可以通过断点续检操作继续前面未完成的预检，会在-csv_path指定的`accuracy_checking_result_{timestamp}.csv`文件以及对应的`accuracy_checking_details_{timestamp}.csv`文件中继续写入后续的结果，不会重新创建结果文件。
-
-须指定为上次预检中断的`accuracy_checking_result_{timestamp}.csv`文件。请勿修改`accuracy_checking_result_{timestamp}.csv`和`accuracy_checking_details_{timestamp}.csv`文件名，包括时间戳，否则断点续检会因无法识别到文件名而失败。
-
-断点续检操作通过如下命令执行：
-
-```bash
-msprobe -f pytorch run_ut -api_info ./dump.json -csv_path /home/xxx/ut/accuracy_checking_result_{timestamp}.csv
-```
-
-#### API预检白名单
-
-run_ut过程支持API预检白名单，操作方式如下：
-
-修改mstt/debug/accuracy_tools/api_accuracy_checker目录下config.yaml文件的white_list参数，配置需要预检的API名称，详见“config.yaml文件说明”。
-
-### config.yaml文件说明
-
-config.yaml文件可以通过配置参数来控制dump和run_ut操作的白名单等功能。
-
-文件路径为：mstt/debug/accuracy_tools/msprobe/pytorch/api_accuracy_checker/config.yaml 
-
-| 参数名称        | 说明                                                         | 是否必选 |
-| --------------- | ------------------------------------------------------------ | -------- |
-| white_list      | API dump白名单，指定dump具体API数据，也可以直接配置预检的API白名单，详细请参见“**API预检白名单**”。参数示例：white_list=["conv1d", "conv2d"]。默认未配置白名单，即dump全量API数据。 | 否       |
-| error_data_path | 配置保存精度未达标的API输入输出数据路径。                    | 否       |
-| precision       | 浮点数表示位数，默认取小数点后14位。                         | 否       |
-
-## 预检结果
-
-精度预检生成的`accuracy_checking_result_{timestamp}.csv`和`accuracy_checking_details_{timestamp}.csv`文件示例如下：
-
-可以通过先查看`accuracy_checking_result_{timestamp}.csv`文件的Forward Test Success和Backward Test Success，判断是否存在未通过测试的API，再查看`accuracy_checking_details_{timestamp}.csv`文件的API详细达标情况，API达标情况介绍请参见“**API预检指标**”。
-
-`accuracy_checking_result_{timestamp}.csv`
-
-![accuracy_checking_result](img/accuracy_checking_result.png)
-
-| 字段                  | 含义                                                         |
-| --------------------- | ------------------------------------------------------------ |
-| API name              | API名称。                                                    |
-| Forward Test Success  | 前向API是否通过测试，pass为通过，warning为待观察，error为错误。 |
-| Backward Test Success | 反向API是否通过测试，pass为通过，warning为待观察，error为错误，如果是空白的话代表该API没有反向输出。 |
-| Message               | 提示信息。                                                   |
-
-该结果为中间结果，仅作为参考，建议完成“**预检结果比对**”后查看比对结果。该结果后续将会删除。
-
-Forward Test Success和Backward Test Success是否通过测试是由`accuracy_checking_details_{timestamp}.csv`中的余弦相似度、最大绝对误差、双百双千双万指标判定结果决定的。
-
-需要注意的是`accuracy_checking_details_{timestamp}.csv`中可能存在一个API的前向（反向）有多个输出，那么每个输出记录一行，而在`accuracy_checking_result_{timestamp}.csv`中的结果需要该API的所有结果均为pass才能标记为pass，只要存在一个error则标记error，仅存在waring和pass且不存在error标记waring。
-
-`accuracy_checking_details_{timestamp}.csv`
-
-![accuracy_checking_details](img/accuracy_checking_details.png)
-
-| 字段                | 含义                                                         |
-| ------------------- | ------------------------------------------------------------ |
-| API name            | NPU或GPU下的API名称。                                        |
-| Bench Dtype         | 标杆数据的API数据类型。                                      |
-| DEVICE Dtype        | NPU或GPU数据的API数据类型。                                  |
-| Shape               | API的Shape信息。                                             |
-| 余弦相似度          | NPU或GPU数据与标杆数据的余弦相似度。                         |
-| 最大绝对误差        | NPU或GPU数据与标杆数据的最大绝对误差。                       |
-| 双百指标            | 双百精度指标。是指NPU或GPU的Tensor中的元素逐个与对应的标杆数据对比，相对误差小于百分之一的个数占总元素个数的比例。测试通过标准为相对误差大于百分之一的个数占总元素个数的比例小于百分之一。 |
-| 双千指标            | 双千精度指标。是指NPU或GPU的Tensor中的元素逐个与对应的标杆数据对比，相对误差小于千分之一的个数占总元素个数的比例。测试通过标准为相对误差大于千分之一的个数占总元素个数的比例小于千分之一。 |
-| 双万指标            | 双万精度指标。是指NPU或GPU的Tensor中的元素逐个与对应的标杆数据对比，相对误差小于万分之一的个数占总元素个数的比例。测试通过标准为相对误差大于万分之一的个数占总元素个数的比例小于万分之一。 |
-| 二进制一致错误率    | NPU或GPU数据中每个Tensor精度不一致的数值的数量与Tensor中数值数量的比值。只有数据是builtin类型（bool、int、float、str）、torch.bool和torch的int类型或者在新精度标准中使用二进制一致算法进行比对的API才会展示。 |
-| 误差均衡性          | NPU或GPU数据与标杆数据精度差的上下浮动情况。                 |
-| 均方根误差          | NPU或GPU数据与标杆数据的均方根误差。                         |
-| 小值域错误占比      | NPU或GPU Tensor中与标杆的绝对误差大于错误阈值的小值在小值域（小值的总数量）中的占比。判断为小值以及绝对误差的错误阈值见“**小值域阈值**”。 |
-| 相对误差最大值      | NPU或GPU数据与标杆数据相对误差的最大值。                     |
-| 相对误差平均值      | NPU或GPU数据与标杆数据相对误差的平均值。                     |
-| inf/nan错误率       | NPU与标杆inf/nan计算不一致的元素个数占总元素的个数比例。     |
-| 相对误差错误率      | NPU与标杆的正常值计算相对误差，其大于错误阈值的元素个数占正常值元素个数的比例。 |
-| 绝对误差错误率      | NPU与标杆的小值计算绝对误差，其大于错误阈值的元素个数占小值元素个数的比例。 |
-| ULP误差最大值       | NPU或GPU数据与标杆数据ULP误差的最大值（取绝对值后）。        |
-| ULP误差平均值       | NPU或GPU数据与标杆数据ULP误差的平均值（取绝对值后）。        |
-| ULP误差大于阈值占比 | NPU或GPU数据与标杆数据的ULP误差（取绝对值后）大于阈值（当NPU或GPU数据类型为float16或bfloat16时，阈值为1；当NPU或GPU数据类型为float32时，阈值为32）的元素个数占总元素的个数比例。 |
-| Status              | API预检通过状态，pass表示通过测试，error表示未通过，warning表示测试未通过双千或双万精度指标，SKIP表示该API的某个参数的反向不要计算梯度，所以没有任何计算过程，其他信息均为空。 |
-| message             | 提示信息。                                                   |
-
-### 小值域阈值
-
-判定为小值的阈值为：
-
-- torch.float32：e-6
-- torch.float16：e-3
-- torch.bfloat16：e-3
-
-小值域的绝对误差阈值为：
-
-- torch.float32：e-9
-- torch.float16：e-5
-- torch.bfloat16：e-5
-
-### API预检指标
-
-API预检指标是通过对`accuracy_checking_details_{timestamp}.csv`中的余弦相似度、最大绝对误差双百、双千、双万精度指标的数值进行判断，得出该API是否符合精度标准的参考指标。
-
-API预检通过测试，则在`accuracy_checking_details_{timestamp}.csv`文件中的“Status”列标记“pass”，否则标记“error”或“warning”，详细规则如下：
-
-1. 余弦相似度 > 0.99：≤ 0.99为不达标，标记“error”，> 0.99达标，进行下一步；
-2. 最大绝对误差 ＜ 0.001：＜ 0.001达标，标记“pass”，≥ 0.001为不达标，进行下一步；
-3. 双百、双千、双万精度指标：
-   - 对于float16和bfloat16数据：双百指标不通过，标记“error”；双百指标通过，双千指标不通过，标记“warning”；双百、双千指标均通过，标记“pass”。
-   - 对于float32和float64数据：双千指标不通过，标记“error”；双千指标通过，双万指标不通过，标记“warning”；双千、双万指标均通过，标记“pass”。
-
-4. 在`accuracy_checking_result_{timestamp}.csv`中以“Forward Test Success”和“Backward Test Success”字段统计该算子前向反向输出的测试结果，对于标记“pass”的算子，则在`accuracy_checking_result_{timestamp}.csv`中标记“TRUE”表示测试通过，对于标记“error”或“warning”的算子，则在`accuracy_checking_result_{timestamp}.csv`中标记“FALSE”表示测试不通过。由于一个算子可能有多个前向或反向的输入或输出，那么该类算子的输入或输出中必须全为“pass”，才能在`accuracy_checking_result_{timestamp}.csv`中标记“TRUE”，只要有一个输入或输出标记“error”或“warning”，那么在`accuracy_checking_result_{timestamp}.csv`中标记“FALSE”。
-
-## 预检结果比对
-
-需要同时获取NPU和GPU环境下run_ut操作的预检结果`accuracy_checking_details_{timestamp}.csv`文件。执行如下命令进行NPU和GPU预检结果的比对：
-
-```bash
-msprobe -f pytorch api_precision_compare -npu /home/xxx/npu/accuracy_checking_details_{timestamp}.csv -gpu /home/xxx/gpu/accuracy_checking_details_{timestamp}.csv -o /home/xxx/
-```
-
-| 参数名称             | 说明                                                         | 是否必选 |
-| -------------------- | ------------------------------------------------------------ | -------- |
-| -npu或--npu_csv_path | NPU预检结果`accuracy_checking_details_{timestamp}.csv`文件路径。默认从当前目录下识别该文件。 | 否       |
-| -gpu或--gpu_csv_path | GPU预检结果`accuracy_checking_details_{timestamp}.csv`文件路径。默认从当前目录下识别该文件。 | 否       |
-| -o或--out_path       | 指定api_precision_compare.py执行结果存盘路径，默认为当前目录。 | 否       |
-
-执行完成后输出`api_precision_compare_result_{timestamp}.csv`和`api_precision_compare_details_{timestamp}.csv`文件。文件示例如下：
-
-可以通过先查看`api_precision_compare_result_{timestamp}.csv`文件的Forward Test Success和Backward Test Success，判断是否存在未通过测试的API，再查看`api_precision_compare_details_{timestamp}.csv`文件的API详细达标情况。
-
-`api_precision_compare_result_{timestamp}.csv`
-
-![api_precision_compare_result](img/api_precision_compare_result.png)
-
-| 字段                  | 含义                                                         |
-| --------------------- | ------------------------------------------------------------ |
-| API name              | API名称。                                                    |
-| Forward Test Success  | 前向API是否通过测试，pass为通过，warning为待观察，error为错误，skip表示该API的数据类型不支持使用新精度标准进行比对，如float64。 |
-| Backward Test Success | 反向API是否通过测试，pass为通过，warning为待观察，error为错误，如果是空白的话代表该API没有反向输出，skip表示该API的数据类型不支持使用新精度标准进行比对，如float64。 |
-| Message               | 提示信息。                                                   |
-
-Forward Test Success和Backward Test Success是否通过测试是由`api_precision_compare_details_{timestamp}.csv`中的各个指标判定结果决定的。需要注意的是`api_precision_compare_details_{timestamp}.csv`中可能存在一个API的前向（反向）有多个输出，那么每个输出记录一行，而在`api_precision_compare_result_{timestamp}.csv`中的结果需要该API的所有结果均为pass才能标记为pass，只要存在一个error则标记error，仅存在warning和pass且不存在error标记warning。
-
-`api_precision_compare_details_{timestamp}.csv`
-
-![api_precision_compare_details](img/api_precision_compare_details.png)
-
-| 字段                     | 含义                                                         |
-| ------------------------ | ------------------------------------------------------------ |
-| API name                 | NPU或GPU下的API名称。                                        |
-| 小值域错误比值           | NPU与CPU的小值域的错误比率/GPU与CPU的小值域的错误比率。标杆比对法指标。 |
-| 小值域错误判定结果       | 小值域错误比值小于等于1标记为pass，1~2之间标记为waring，大于2标记为error。 |
-| 均方根误差比值           | NPU与CPU的均方根误差/GPU与CPU的均方根误差。标杆比对法指标。  |
-| 均方根误差判定结果       | 均方根误差比值小于等于1标记为pass，1~2之间标记为waring，大于2标记为error。 |
-| 相对误差最大值比值       | NPU与CPU的相对误差最大值/GPU与CPU的相对误差最大值。标杆比对法指标。 |
-| 相对误差最大值判定结果   | 相对误差最大值比值小于等于1标记为pass，1~10之间标记为waring，大于10标记为error。 |
-| 相对误差平均值比值       | NPU与CPU的相对误差的平均值/GPU与CPU的相对误差的平均值。标杆比对法指标。 |
-| 相对误差平均值判定结果   | 相对误差平均值比值小于等于1标记为pass，1~2之间标记为waring，大于2标记为error。 |
-| 误差均衡性比值           | NPU与CPU的误差均衡性/GPU与CPU的误差均衡性。标杆比对法指标。  |
-| 误差均衡性判定结果       | 误差均衡性比值小于等于1标记为pass，1~2之间标记为waring，大于2标记为error。该字段暂不参与api_precision_compare_result的结果判定。 |
-| inf/nan错误率            | NPU与标杆inf/nan计算不一致的元素个数占总元素的个数比例。绝对阈值法指标。 |
-| inf/nan判定结果          | inf/nan错误率判定结果，等于0标记为pass，其余情况标记为error。 |
-| 相对误差错误率           | NPU与标杆的正常值计算相对误差，其大于错误阈值的元素个数占正常值元素个数的比例。绝对阈值法指标。 |
-| 相对误差判定结果         | 相对误差错误率判定结果，等于0标记为pass，其余情况标记为error。 |
-| 绝对误差错误率           | NPU与标杆的小值计算绝对误差，其大于错误阈值的元素个数占小值元素个数的比例。绝对阈值法指标。 |
-| 绝对误差判定结果         | 绝对误差错误率判定结果，等于0标记为pass，其余情况标记为error。 |
-| 二进制一致错误率         | NPU或GPU数据中每个Tensor精度不一致的数值的数量与Tensor中数值数量的比值。只有数据是builtin类型（bool、int、float、str）、torch.bool和torch的int类型或者在新精度标准中使用二进制一致算法进行比对的API才会展示。二进制一致法指标。 |
-| 二进制一致错误率判定结果 | 二进制一致错误率判定结果，等于0标记为pass，其余情况标记为error。 |
-| ULP误差平均值            | NPU数据与标杆数据ULP误差的平均值（取绝对值后）。ULP误差比对法指标。 |
-| ULP误差大于阈值占比      | NPU数据与标杆数据的ULP误差（取绝对值后）大于阈值（当NPU数据类型为float16或bfloat16时，阈值为1；当NPU数据类型为float32时，阈值为32）的元素个数占总元素的个数比例。ULP误差比对法指标。 |
-| ULP误差大于阈值占比比值  | NPU与CPU的ULP误差大于阈值占比/GPU与CPU的ULP误差大于阈值占比。ULP误差比对法指标。 |
-| ULP误差判定结果          | ULP误差判定结果。<br/>     当NPU或GPU数据类型是float16或bfloat16时，以下两条标准满足其一标记为pass，否则标记为error：<br>          NPU ULP误差大于阈值占比小于0.001；<br/>          NPU ULP误差大于阈值占比小于GPU ULP误差大于阈值占比。<br/>     当NPU或GPU数据类型是float32时，以下三条标准满足其一标记为pass，否则标记为error：<br/>          NPU ULP误差平均值小于64；<br/>          NPU ULP误差大于阈值占比小于0.05；<br/>          NPU ULP误差大于阈值占比小于GPU ULP误差大于阈值占比。 |
-| 双千指标                 | 双千精度指标。是指NPU的Tensor中的元素逐个与对应的标杆数据对比，相对误差小于千分之一的个数占总元素个数的比例。测试通过标准为相对误差大于千分之一的个数占总元素个数的比例小于千分之一。仅conv1d和conv2d使用该指标。双千指标法指标。 |
-| 双千指标判定结果         | 双千指标判定结果。双千指标大于0.999标记为pass，否则标记为error。 |
-| 比对结果                 | 综合所有指标的最终结果。如果比对指标中有error，则标记为error；有warning，则标记为warning；否则标记为pass。 |
-| 比对算法                 | API使用的比对算法，为标杆比对法、二进制一致法、绝对阈值法和ULP误差比对法中的一种。 |
-| Message                  | 提示信息。当前提示该API比对结果为error或warning时对应不符合标准的指标。 |
-
-# FAQ
-
-[FAQ](./FAQ.md)