mindstudio-probe 1.0.3__py3-none-any.whl → 1.1.0__py3-none-any.whl

msprobe/docs/FAQ.md

@@ -0,0 +1,189 @@
+
+
+# 1 数据采集
+
+1. dump.json中API或Module统计信息里出现null或None值的原因是什么？
+
+   dump.json里出现null或None值的可能性较多，常见的场景有：
+
+   - 输入或者输出参数本身是一个None值。
+   - 输入参数或输出参数类型当前工具不支持，会有日志打印提醒。
+   - 输入或者输出tensor的dtype为bool时，Mean和Norm等字段为null。
+
+# 2 精度预检(PyTorch)
+
+1. 预检工具在 dump 和 run_ut 的过程中，是否需要同时开启或关闭 jit 编译（jit_compile）？
+
+   答：是。
+
+2. 预检工具对于 type_as 这类涉及数据类型转换操作的 API，是否具有参考性？
+
+   由于这类 API 在 CPU 侧存在精度先提升后下降的操作，因此这类 API 的有效性的参考价值有限。
+
+3. run ut 过程中出现报错：ERROR: Got unsupported ScalarType BFloat16。
+
+   答：请使用最新版本的工具。
+
+4. Dropout 算子，CPU 和 NPU 的随机应该不一样，为什么结果比对是一致的？
+
+   答：这个结果是正常的，工具对该算子有特殊处理，只判定位置为 0 的位置比例大约和设定 p 值相当。
+
+5. 为什么浮点型数据 bench 和 CPU 的 dtype 不一致？
+
+   答：对于 fp16 的数据，CPU 会上升一个精度 fp32 去计算，这是和算子那边对齐的精度结论，CPU 用更高精度去计算会更接近真实值。
+
+6. 添加预检工具后截取操作报错：`IndexError: too many indices for tensor of dimension x` 或 `TypeError: len() of a 0-d tensor`。
+
+   答：注释工具目录 `mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml` 文件中 Tensor: 下的 `- __getitem__`，工具会跳过采集该 API。如果是需要 dump 关键位置 API 也可以考虑根据报错堆栈信息注释引发报错的类型检查。
+
+7. Tensor 魔法函数具体对应什么操作？
+
+   答：
+
+   | Tensor魔法函数  | 具体操作         |
+   | --------------- | ---------------- |
+   | `__add__`       | +                |
+   | `__and__`       | &                |
+   | `__bool__`      | 返回 Tensor 布尔值 |
+   | `__div__`       | /                |
+   | `__eq__`        | ==               |
+   | `__ge__`        | >=               |
+   | `__gt__`        | >                |
+   | `__iadd__`      | +=               |
+   | `__iand__`      | &=               |
+   | `__idiv__`      | /=               |
+   | `__ifloordiv__` | //=              |
+   | `__ilshift__`   | <<=              |
+   | `__imod__`      | %=               |
+   | `__imul__`      | *=               |
+   | `__ior__`       | \|=              |
+   | `__irshift__`   | >>=              |
+   | `__isub__`      | -=               |
+   | `__ixor__`      | ^=               |
+   | `__lshift__`    | <<               |
+   | `__matmul__`    | 矩阵乘法         |
+   | `__mod__`       | %                |
+   | `__mul__`       | *                |
+   | `__nonzero__`   | 同 `__bool__`     |
+   | `__or__`        | \|               |
+   | `__radd__`      | +（反向）        |
+   | `__rmul__`      | *（反向）        |
+   | `__rshift__`    | >>               |
+   | `__sub__`       | -                |
+   | `__truediv__`   | 同 `__div__`      |
+   | `__xor__`       | ^                |
+
+# 3 精度比对(PyTorch)
+
+## 3.1 工具使用
+
+### 3.1.1 dump 指定融合算子
+
+数据采集当前支持融合算子的输入输出，需要在 `mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml` 中添加，比如以下代码段调用的 softmax 融合算子。
+
+```python
+def npu_forward_fused_softmax(self, input_, mask):
+    resl = torch_npu.npu_scaled_masked_softmax(input_, mask, self.scale, False)
+    return resl
+```
+
+如果需要 dump 其中调用的 npu_scaled_masked_softmax 算子的输入输出信息，需要在 `support_wrap_ops.yaml` 中的 `torch_npu: ` 中自行添加该融合算子：
+
+```yaml
+- npu_scaled_masked_softmax
+```
+
+（npu_scaled_masked_softmax 融合算子工具已支持 dump，本例仅供参考）。
+
+## 3.2 常见问题
+
+1. 在同一个目录多次执行 dump 会冲突吗？
+
+    答：会，同一个目录多次 dump，会覆盖上一次结果，可以使用 dump_path 参数修改 dump 目录。
+
+2. 如何 dump 算子级的数据？
+   
+   答：需要配置 level 为 L2 模式。
+
+3. 工具比对发现 NPU 和标杆数据的 API 无法完全对齐？
+
+    答：torch 版本和硬件差异属于正常情况。
+
+## 3.3 异常情况
+
+1. HCCL 报错： error code: EI0006。
+
+    **故障现象**：使用 msprobe 工具时，报错：error code: EI0006。
+
+    **故障原因**：CANN 软件版本较低导致不兼容。
+
+    **故障处理**：升级新版 CANN 软件版本。
+
+2. torch_npu._C._clear_overflow_npu() RuntimeError NPU error，error code is 107002。
+
+    如果运行溢出检测功能遇到这个报错，采取以下解决方法：
+
+    如果是单卡运行，添加如下代码，0 是卡号，选择自己空闲的卡号。
+
+    ```python
+    torch.npu.set_device('npu:0')
+    ```
+
+    如果多卡运行，请在代码中修改对应卡号，比如进程使用卡号为 {rank} 时可以添加如下代码：
+
+    ```python
+    torch.npu.set_device(f'npu:{rank}')
+    ```
+
+    如果运行精度比对功能遇到这个报错，尝试安装最新版本的 msprobe。
+
+3. dump 得到的 `VF_lstm_99_forward_input.1.0.npy`、`VF_lstm_99_forward_input.1.1.npy` 类似的数据是否正常？
+
+    带 1.0/1.1/1.2 后缀的 npy 是正常现象，例如，当输入数据为 [[tensor1, tensor2, tensor3]] 会生成这样的后缀。
+
+4. 进行 compare 报错：The current file contains stack information, please turn on the stack_mode。
+
+    在比对脚本中，设置 `stack_mode=True`，例如：
+
+    ```python
+    from msprobe.pytorch import compare
+    dump_result_param={
+    "npu_json_path": "./npu_dump/dump.json",
+    "bench_json_path": "./gpu_dump/dump.json",
+    "stack_json_path": "./npu_dump/stack.json",
+    "is_print_compare_log": True
+    }
+    compare(dump_result_param, output_path="./output", stack_mode=True)
+    ```
+
+5. dump 指定反向 API 的 kernel 级别的数据报错：NameError：name 'torch_npu' is not defined。
+
+   答：如果是 npu 环境，请安装 torch_npu；如果是 gpu 环境，暂不支持 dump 指定 API 的 kernel 级别的数据。
+
+6. 配置 dump_path 后，使用工具报错：[ERROR] The file path /home/xxx/dump contains special characters。
+
+   答：请检查你设置的 dump 绝对路径是否包含特殊字符，确保路径名只包含大小写字母、数字、下划线、斜杠、点和短横线；注意，如果执行脚本的路径为 /home/abc++/，设置的 dump_path="./dump"，工具实际校验的路径为绝对路径 /home/abc++/dump，++ 为特殊字符，会引发本条报错。
+
+7. 无法 dump matmul 权重的反向梯度数据。
+
+   答：matmul 期望的输入是二维，当输入不是二维时，会将输入通过 view 操作展成二维，再进行 matmul 运算，因此在反向求导时，backward_hook 能拿到的是 UnsafeViewBackward 这步操作里面数据的梯度信息，取不到 MmBackward 这步操作里面数据的梯度信息，即权重的反向梯度数据。典型的例子有，当 linear 的输入不是二维，且无 bias 时，会调用 output = input.matmul(weight.t())，因此拿不到 linear 层的 weight 的反向梯度数据。
+
+8. dump.json 文件中的某些 api 的 dtype 类型为 float16，但是读取此 api 的 npy 文件显示的 dtype 类型为 float32。
+
+    答：msprobe 工具在 dump 数据时需要将原始数据从 npu to cpu 上再转换为 numpy 类型，npu to cpu 的逻辑和 gpu to cpu 是保持一致的，都存在 dtype 可能从 float16 变为 float32 类型的情况，如果出现 dtype 不一致的问题，最终采集数据的 dtype 以 pkl 文件为准。
+
+9. 使用 dataloader 后 raise 异常 Exception("msprobe: exit after iteration {}". format(max(self.config.step)))。
+
+   答：正常现象，dataloader 通过 raise 结束程序，堆栈信息可忽略。
+
+10. 添加 msprobe 工具后截取操作报错：`IndexError: too many indices for tensor of dimension x` 或 `TypeError: len() of a 0-d tensor`。
+
+    答：注释工具目录 `mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml` 文件中 `Tensor: ` 下的 `- __getitem__`，工具会跳过采集该 API。如果是需要采集关键位置 API 也可以考虑根据报错堆栈信息注释引发报错的类型检查。
+
+11. 添加 msprobe 工具后 F.gelu 触发 ValueError 报错：`activation_func must be F.gelu` 等。以及采集 Megatron 数据时报错：`ValueError(Only support fusion of gelu and swiglu)`。
+
+    答：这一类问题是因为工具本身封装了 torch 算子，所以校验算子名时会报错。注释 `mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml` 文件中的 `-gelu` 或者 `-silu`，工具会跳过采集该 API。如果需要采集关键位置 API 也可以考虑根据报错堆栈信息注释引发报错的类型检查。
+
+12. 添加 msprobe 工具后触发与 AsStrided 算子相关、或者编译相关的报错，如：`Failed to compile Op [AsStrided]`。
+
+    答：注释工具目录 `mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml` 文件中 `Tensor: `下的 `-t` 和 `- transpose`。

msprobe/docs/S02.report_free_benchmarking_validation_performance_baseline.md

@@ -0,0 +1,146 @@
+# 无标杆工具场景验证和性能基线报告
+
+## 1 环境信息
+
+NPU：Atlas A2 训练系列产品
+
+CPU：
+
+![输入图片说明](img/cpu_info.png)
+
+Torch：2.1.0
+
+CANN：8.0.T5
+
+除上述环境信息影响性能外，API 的数量、种类以及 Shape 都会对性能产生影响，因此本次选取不同场景网络和不同算子进行测试。
+
+## 2 模型信息和性能基线
+
+大模型在使用 msprobe 采集数据时，建议先简化模型层数，减少采集数据量。
+
+以下场景的性能基线测试数据均为多次测试后取平均值，实际运行时性能数据可能会根据环境状态稍有浮动。
+
+### [2.1 ModelLink 模型](https://gitee.com/ascend/ModelLink)
+
+NUM_LAYER：1
+
+NPU 卡数：1
+
+主要数据类型：FLOAT16
+
+#### 2.1.1 LLaMA2-7B
+
+softmax 算子为 FLOAT32，输入输出大小均为 2G，为模型最大显存开销的 API。在该模型下、对无标杆工具处理模式、插装范围、扰动方式组合下的性能和显存基线进行验证。
+
+| 处理模式   | 前/反向  | 算子范围  | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注    |
+|-------|--------|------|-----|-------|---------|--------|-------|--------|
+| /        | /       | /           | /                 | 0.24      | 13.69          | 1            | 1                | 混合精度模式基线                   |
+| check    | 前      | ["softmax"] | improve_precision | 0.26      | 13.69          | 1.08         | 1             | softmax 本身为高精度，跳过      |
+| check    | 前      | ["softmax"] | add_noise         | 0.54      | 19.17          | 2.25         | 1.40             |                                |
+| check    | 前      | ["softmax"] | bit_noise         | 0.56      | 19.17          | 2.33         | 1.40             |                                |
+| check    | 前      | ["softmax"] | change_value      | 0.48      | 14.9           | 2            | 1.09             |                                |
+| check    | 前      | ["softmax"] | no_change         | 0.47      | 14.9           | 1.96         | 1.09             |                                |
+| check | 前 | ["softmax"] | to_cpu | 26.45 | 22.67 | 110.21 | 1.66 | 不建议整网 |
+| check    | 前      | ["matmul"]  | improve_precision | 0.57      | 13.69          | 2.38       | 1                |                                |
+| check    | 前      | ["matmul"]  | change_value      | 0.48      | 13.69          | 2            | 1                |                                |
+| check | 前 | ["matmul"] | to_cpu | 78.43 | 19.20 | 326.79 | 1.40 | 不建议整网 |
+| check | 前 | [] | improve_precision | 3.45 | 18.79 | 14.37 | 1.37 | |
+| check | 前 | [] | add_noise | 4.67 | 19.17 | 19.46 | 1.40 | |
+| check | 前 | [] | bit_noise | 16.99 | 19.17 | 70.79 | 1.40 | |
+| check | 前 | [] | no_change | 3.22 | 14.90 | 13.42 | 1.09 | |
+| check    | 反      | ["softmax"] | improve_precision | 6.23      | 25.69          | 25.96        | 1.88             | 不建议整网                     |
+| check    | 反      | ["softmax"] | change_value      | 22.76     | 25.69          | 94.83        | 1.88             | 不建议整网                     |
+| check | 反 | ["softmax"] | to_cpu | 141.71 | 26.19 | 590.46 | 1.91 | 不建议整网 |
+| fix      | 前      | ["softmax"] | to_cpu            | 9.70      | 16.67          | 40.42        | 1.22             | 不支持整网、不支持反向         |
+| fix      | 前      | ["softmax"] | improve_precision | 0.26      | 14.67          | 1.08         | 1.07             | 不支持整网、不支持反向         |
+| 预热     | 前      | []          | improve_precision | 155.07 | 24.79 | 646.13 | 1.81 | 低精度模型基线、只测预热的迭代 |
+| 预热     | 反      | []          | improve_precision | 72.29 | 22.01 | 301.21 | 1.61 | 低精度模型基线、只测预热的迭代，grad_output 为高精度的算子跳过 |
+
+#### 2.1.2 Aquila2-7B
+
+| 处理模式  | 前/反向   | 算子范围   | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注    |
+|----------|------|-----|---|----|-----|-------|------|-------------|
+| /        | /       | /           | /                 | 0.17 | 13.66 | 1            | 1                | 混合精度模式基线   |
+| check    | 前      | []          | improve_precision | 1.57 | 14.24 | 9.24 | 1.04 |                                |
+| check    | 反      | []          | add_noise         | 21.05 | 14.19 | 123.82 | 1.04 |                                |
+| fix      | 前      | []          | improve_precision | 0.95 | 15.55 | 5.59 | 1.14 |                                |
+
+#### 2.1.3 Baichuan2-7B
+
+| 处理模式  | 前/反向  | 算子范围 | 扰动方式 | 耗时（s）| 显存峰值（GB）| 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注                           |
+|----|-----|---|--|----|----|------|-------|---------|
+| /        | /       | /           | /                 | 0.26 | 12.12 | 1            | 1                | 混合精度模式基线    |
+| check    | 前      | []          | improve_precision | 1.02 | 12.27 | 3.92 | 1.01 |                                |
+| check    | 反      | []          | add_noise         | 11.15 | 12.67 | 42.88 | 1.05 |                                |
+| fix      | 前      | []          | improve_precision | 0.95 | 12.82 | 3.65 | 1.06 |                                |
+
+#### 2.1.4 Bloom-7B
+
+| 处理模式  | 前/反向  | 算子范围  | 扰动方式 | 耗时（s）| 显存峰值（GB）| 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
+|-----|------|------|------|----|-----|-----|-------|----|
+| /        | /       | /           | /                 | 0.14 | 9.51 | 1            | 1                | 混合精度模式基线  |
+| check    | 前      | []          | improve_precision | 1.64 | 11.58 | 11.71 | 1.22 |                                |
+| check    | 反      | []          | add_noise         | 17.15 | 9.51 | 122.5 | 1 |                                |
+| fix      | 前      | []          | improve_precision | 0.87 | 10.62 | 6.21 | 1.12 |                                |
+
+#### 2.1.5 Interlm-7B
+
+| 处理模式   | 前/反向   | 算子范围   | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
+|-------------|--------|-------|----|------|-----|------|-------|----|
+| /        | /       | /           | /                 | 0.13 | 10.76 | 1            | 1                | 混合精度模式基线   |
+| check    | 前      | []          | improve_precision | 1.19 | 11.68 | 9.15 | 1.09 |                                |
+| check    | 反      | []          | add_noise         | 11.69 | 10.89 | 89.92 | 1.01 |                                |
+| fix      | 前      | []          | improve_precision | 0.75 | 11.68 | 5.77 | 1.09 |                                |
+
+#### 2.1.6 Qwen-7B
+
+| 处理模式   | 前/反向   | 算子范围 | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
+|--------|-------|-----|-----|----|------|-----|------|------|
+| /        | /       | /           | /                 | 0.28 | 18.41 | 1            | 1                | 混合精度模式基线  |
+| check    | 前      | []          | improve_precision | 2.34 | 23.18 | 8.36 | 1.26 |                                |
+| check    | 反      | []          | add_noise         | 22.07 | 19.47 | 78.82 | 1.06 |                                |
+| fix      | 前      | []          | improve_precision | 1.31 | 21.11 | 4.68 | 1.15 |                                |
+
+#### 2.1.7 Gemma-7B
+
+| 处理模式    | 前/反向   | 算子范围  | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
+|--------|-------|------|---|----|-----|-----|-----|---------|
+| /        | /       | /           | /                 | 0.15 | 11.06 | 1            | 1                | 混合精度模式基线    |
+| check    | 前      | []          | improve_precision | 1.49 | 13.17 | 9.93 | 1.19 |                                |
+| check    | 反      | []          | add_noise         | 16.69 | 11.06 | 111.27 | 1 |                                |
+| fix      | 前      | []          | improve_precision | 0.87 | 12.25 | 5.8 | 1.11 |                                |
+
+### [2.2 ModelZoo-PyTorch 模型](https://gitee.com/ascend/ModelZoo-PyTorch)
+
+#### 2.2.1 ResNet50-Cifar
+
+NPU 卡数：1
+
+主要数据类型：FLOAT16
+
+主要算子为 conv2d，每个 step 有 51 个, 因此对 conv2d 进行检测。CV 模型、依赖 mmcv 实现（如果不修改 mmcv 代码、工具无法获取 step 信息和反向信息）。
+
+| 处理模式   | 前/反向   | 算子范围  | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
+|------------|---------|--------|-----|------|---|--------|-------|----|
+| /        | /       | /           | /                 | 0.09      |  7.63         | 1            | 1                | 基线                   |
+| check    | 前      | ["conv2d"]  | improve_precision | 0.889      | 7.94          |  9.81       |  1.04            |                                |
+| fix      | 前      | ["conv2d"]  | improve_precision | 0.328      | 7.47          |  3.64       |  0.91            |                                |
+| fix      | 前      | ["conv2d"]  | to_cpu            | 12.23      | 7.47          |  135.88     |  0.91              |                                |
+
+#### 2.2.2 OpenSora1.0
+
+NPU 卡数：4
+
+主要数据类型：FLOAT16
+
+每张卡每个 step 中 linear 算子个数为 257 个，FA 算子个数为 83（FA 算子反向无效）。
+
+| 处理模式   | 前/反向  | 算子范围  | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
+|------------|------|-------|----|----|-----|-----|------|-----|
+| /   | /  | /  | /      | 0.99 | 17.61 | 1   | 1     | 混合精度模式基线    |
+| check    | 前      | ["linear","npu_fusion_attention"] | improve_precision | 3.88 | 17.61 | 3.92 | 1 |                                |
+| check | 前 | ["linear","npu_fusion_attention"] | add_noise | 3.46 | 17.61 | 3.49 | 1 | |
+| check | 反 | ["linear"] | improve_precision | 12.61 | 17.61 | 12.74 | 1 | |
+| check    | 反      | ["linear"]  | add_noise         | 9.8 | 17.61 | 9.90 | 1 |                                |
+| fix      | 前      | ["linear"] | to_cpu            | 18.83 | 17.61 | 19.02 | 1 |                                |
+| fix | 前 | ["linear"] | improve_precision | 2.83 | 17.61 | 2.86 | 1 | |

msprobe/mindspore/__init__.py

@@ -1 +1,2 @@
-from msprobe.mindspore.debugger.precision_debugger import PrecisionDebugger
+from msprobe.mindspore.debugger.precision_debugger import PrecisionDebugger
+from msprobe.mindspore.common.utils import seed_all