mindstudio-probe 1.0.3__py3-none-any.whl → 1.1.0__py3-none-any.whl

msprobe/mindspore/doc/dump.md

@@ -1,217 +0,0 @@
-# **精度数据采集**
-
-msprobe工具主要通过在训练脚本内添加dump接口并启动训练的方式来采集精度数据。
-
-执行dump操作需要安装msprobe工具。详见《[MindStudio精度调试工具](../../README.md)》的“工具安装”章节。
-
-## dump接口介绍
-
-### PrecisionDebugger
-
-**功能说明**
-
-通过加载dump配置文件的方式来确定dump操作的详细配置。
-
-PrecisionDebugger可以在from msprobe.mindspore import PrecisionDebugger之后的位置添加。详细使用可参考“**示例代码**”。
-
-**原型**
-
-```Python
-PrecisionDebugger(config_path=None)
-```
-
-**参数说明**
-
-| 参数名      | 说明                                                         | 是否必选 |
-| ----------- | ------------------------------------------------------------ | -------- |
-| config_path | 指定dump配置文件路径，String类型。参数示例："./config.json"。未配置该路径时，默认使用[config.json](../../config)文件的默认配置。config.json文件可以配置更多参数，若需要进行更多场景的精度数据dump，建议配置[config.json](../../config/config.json)文件。config.json文件的配置可参考《[配置文件说明](https://gitee.com/ascend/mstt/blob/master/debug/accuracy_tools/msprobe/config/README.md)》。 | 否       |
-
-### start函数
-
-**功能说明**
-
-启动函数。
-
-在模型初始化之后的位置添加。需要与stop函数一起添加在for循环内。
-
-**原型**
-
-```Python
-debugger.start(model = None)
-```
-
-该函数为类函数，可以使用debugger.start(model = None)也可以使用PrecisionDebugger.start(model = None)
-
-
-**参数说明**
-
-| 参数名      | 说明                                                                                    | 是否必选 |
-| ----------- |---------------------------------------------------------------------------------------| -------- |
-| model | 指具体的mindspore.nn.Cell，默认未配置，L1级别下传入model可以使能对primitive op的dump，否则无法dump primitive op。 | 否       |
-
-
-### stop函数
-
-**功能说明**
-
-dump停止函数。
-
-在**start**函数之后的任意位置添加。需要与start函数一起添加在for循环内。若需要dump反向数据，则需要添加在反向计算代码之后。
-
-仅MindSpore动态图场景支持。
-
-**原型**
-
-```Python
-debugger.stop()
-```
-
-该函数为类函数，可以使用debugger.stop()也可以使用PrecisionDebugger.stop()。
-
-### step函数
-
-**功能说明**
-
-结束标识。
-
-在最后一个**stop**函数后或一个step结束的位置添加。
-
-仅MindSpore动态图场景支持。
-
-**原型**
-
-```Python
-debugger.step()
-```
-
-该函数为类函数，可以使用debugger.step()也可以使用PrecisionDebugger.step()。
-
-## 示例代码
-
-### MindSpore静态图场景
-
-```Python
-from msprobe.mindspore import PrecisionDebugger
-debugger = PrecisionDebugger(config_path="./config.json")
-# 请勿将以上初始化流程插入到循环代码中
-# 下面代码也可以用PrecisionDebugger.start()
-debugger.start()
-...
-```
-
-### MindSpore动态图场景
-
-当使用模型使用for循环时，在每个迭代的开始插入debugger.start()，在每个迭代的结束插入debugger.stop()与debugger.step()：
-
-```Python
-import mindspore as ms
-from msprobe.mindspore import PrecisionDebugger
-
-# 请勿将PrecisionDebugger的初始化插入到循环代码中
-debugger = PrecisionDebugger(config_path="./config.json")
-
-# 模型、损失函数的定义以及初始化等操作
-# ...
-
-# 数据集迭代的地方往往是模型开始训练的地方
-for data, label in data_loader:
-    debugger.start()    # 开启数据dump
-    net = Model()
-    # 如下是模型每个step执行的逻辑
-    grad_net = ms.grad(net)(data)
-    # ...
-    debugger.stop()     # 关闭数据dump
-    debugger.step()     # 结束一个step的dump
-```
-
-当使用模型的train方法而非for循环时，可以通过在callbacks参数中传入MsprobeStep(debugger)：
-
-```Python
-from msprobe.mindspore.common.utils import MsprobeStep
-from msprobe.mindspore import PrecisionDebugger
-
-# 初始化PrecisionDebugger
-debugger = PrecisionDebugger(config_path="./config.json")
-
-# 自动在每个step开始时调用start()，在每个step结束时调用stop()和step()。
-# 这意味着您无需手动在循环内添加start、stop和step函数，框架会自动完成数据的dump操作。
-trainer.train(1, dataset_train, callbacks=[loss_monior, MsprobeStep(debugger)])
-
-```
-
-## dump结果文件介绍
-
-### MindSpore静态图场景
-
-训练结束后，工具将dump的数据保存在dump_path参数指定的目录下。
-
-- jit_level为O0/O1时
-
-  dump结果目录请参见MindSpore官网中的《[同步Dump数据对象目录](https://www.mindspore.cn/tutorials/experts/zh-CN/r2.3.0rc2/debug/dump.html#%E5%90%8C%E6%AD%A5dump%E6%95%B0%E6%8D%AE%E5%AF%B9%E8%B1%A1%E7%9B%AE%E5%BD%95)》。
-
-- jit_level为O2时
-
-  dump结果目录请参见MindSpore官网中的《[异步Dump数据对象目录](https://www.mindspore.cn/tutorials/experts/zh-CN/r2.3.0rc2/debug/dump.html#%E5%BC%82%E6%AD%A5dump%E6%95%B0%E6%8D%AE%E5%AF%B9%E8%B1%A1%E7%9B%AE%E5%BD%95)》。
-
-jit_level请参见[mindspore.set_context](https://www.mindspore.cn/docs/zh-CN/r2.3.0/api_python/mindspore/mindspore.JitConfig.html#mindspore-jitconfig)配置jit_config。
-
-### MindSpore动态图场景
-
-训练结束后，工具将dump的数据保存在dump_path参数指定的目录下。
-
-dump结果目录结构示例如下：
-
-```bash
-├── dump_path
-│   ├── step0
-│   |   ├── rank0
-│   |   │   ├── dump_tensor_data
-|   |   |   |    ├── MintFunctional.relu.0.backward.input.0.npy
-|   |   |   |    ├── Mint.abs.0.forward.input.0.npy
-|   |   |   |    ├── Functional.split.0.forward.input.0.npy
-|   |   |   |    ├── Tensor.__add__.0.forward.output.0.npy
-|   |   |   |    ...
-|   |   |   |    └── Jit.AlexNet.0.forward.input.0.npy
-│   |   |   ├── dump.json        # 保存前反向算子、算子的统计量信息或溢出算子信息。包含dump数据的API名称（命名格式为：`{api_type}_{api_name}_{API调用次数}_{前向反向}_{input/output}.{参数序号}`）、dtype、 shape、各数据的max、min、mean、L2norm统计信息以及当配置summary_mode="md5"时的md5数据。其中，“参数序号”表示该API下的第n个参数，例如1，则为第一个参数，若该参数为list格式，则根据list继续排序，例如1.1，表示该API的第1个参数的第1个子参数；L2norm表示L2范数（平方根）
-│   |   |   ├── stack.json        # 算子调用栈信息
-│   |   |   └── construct.json        # 分层分级结构，level为L1时，construct.json内容为空
-│   |   ├── rank1
-|   |   |   ├── dump_tensor_data
-|   |   |   |   └── ...
-│   |   |   ├── dump.json
-│   |   |   ├── stack.json
-|   |   |   └── construct.json
-│   |   ├── ...
-│   |   |
-|   |   └── rank7
-│   ├── step1
-│   |   ├── ...
-│   ├── step2
-```
-
-dump过程中，npy文件在对应算子或者模块被执行后就会落盘，而json文件则需要在正常执行PrecisionDebugger.stop()后才会写入完整数据，异常的程序终止会保存终止前被执行算子的相关npy文件，可能会导致json文件中数据丢失。
-
-其中rank为设备上各卡的ID，每张卡上dump的数据会生成对应dump目录。非分布式场景下没有rank ID，目录名称为rank。
-
-动态图场景下使能PSJit或PIJit，装饰特定Cell或function，被装饰的部分会全部/部分使能静态图流程。PSJit场景下config.json文件配置level为L1时，被PSJit装饰的部分也作为API被dump到对应目录；若配置level为L2时，则只会dump用户网络中静态图流程下的相关kernel。PIJit场景开启dump工具后，会被还原为动态图，按API粒度进行dump。
-
-npy文件保存的前缀和MindSpore对应关系如下：
-
-| 前缀           | MindSpore模块                |
-| -------------- | ---------------------------- |
-| Tensor         | mindspore.Tensor             |
-| Functional     | mindspore.ops                |
-| Mint           | mindspore.mint               |
-| MintFunctional | mindspore.mint.nn.functional |
-| Jit            | mindspore.jit                |
-
-## 工具支持的API列表
-
-msprobe工具维护固定的API支持列表，若需要删除或增加dump的API，可以在msprobe/mindspore/dump/hook_cell/support_wrap_ops.yaml文件内手动修改，如下示例：
-
-```bash
-ops:  # ops为算子类别，找到对应的类别，在该类别下按照下列格式删除或添加API
-  - adaptive_avg_pool1d
-  - adaptive_avg_pool2d
-  - adaptive_avg_pool3d
-```

msprobe/mindspore/dump/hook_cell/wrap_functional.py

@@ -1,91 +0,0 @@
-# Copyright 2024 Huawei Technologies Co., Ltd
-#
-# Licensed under the Apache License, Version 2.0 (the "License");
-# you may not use this file except in compliance with the License.
-# You may obtain a copy of the License at
-#
-# http://www.apache.org/licenses/LICENSE-2.0
-#
-# Unless required by applicable law or agreed to in writing, software
-# distributed under the License is distributed on an "AS IS" BASIS,
-# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
-# See the License for the specific language governing permissions and
-# limitations under the License.
-# ============================================================================
-
-import os
-import mindspore as ms
-from msprobe.mindspore.dump.hook_cell.hook_cell import HOOKCell
-from msprobe.core.common.utils import Const, load_yaml
-
-
-cur_path = os.path.dirname(os.path.realpath(__file__))
-yaml_path = os.path.join(cur_path, "support_wrap_ops.yaml")
-
-
-def load_ops_functions():
-    ops_func = {f: getattr(ms.ops, f) for f in dir(ms.ops)}
-    mint_ops_func = {f: getattr(ms.mint, f) for f in dir(ms.mint)}
-    mint_func_ops_func = {f: getattr(ms.mint.nn.functional, f) for f in dir(ms.mint.nn.functional)}
-    return ops_func, mint_ops_func, mint_func_ops_func
-
-
-def get_functional_ops():
-    ops_func, mint_ops_func, mint_func_ops_func = load_ops_functions()
-    config = load_yaml(yaml_path)
-    wrap_functional = config.get("ops")
-    wrap_mint = config.get("mint.ops")
-    wrap_mint_functional = config.get("mint.nn.functional")
-    return (
-        set(wrap_functional) & set(ops_func.keys()),
-        set(wrap_mint) & set(mint_ops_func.keys()),
-        set(wrap_mint_functional) & set(mint_func_ops_func.keys())
-    )
-
-
-class HOOKFunctionalOP(object):
-    pass
-
-
-class HOOKMintOP(object):
-    pass
-
-
-class HOOKMintNNFunctionalOP(object):
-    pass
-
-
-class FunctionalOPTemplate(HOOKCell):
-    def __init__(self, op_name, op_dict, prefix, hook):
-        self.op_name = op_name
-        self.op_func = op_dict[op_name]
-        self.prefix_op_name_ = prefix + str(op_name.split(Const.SEP)[-1]) + Const.SEP
-        super().__init__(hook)
-
-    def construct(self, *args, **kwargs):
-        if self.op_name.startswith('dropout'):
-            return args[0] if args else kwargs.get('input')
-        return self.op_func(*args, **kwargs)
-
-
-def wrap_functional_op(op_name, op_dict, prefix, hook):
-    def op_template(*args, **kwargs):
-        return FunctionalOPTemplate(op_name, op_dict, prefix, hook)(*args, **kwargs)
-    return op_template
-
-
-def wrap_functional_ops_and_bind(ops, op_dict, prefix, hook, hook_class):
-    for op_name in ops:
-        if callable(op_dict[op_name]):
-            setattr(hook_class, Const.ATTR_NAME_PREFIX + op_name, wrap_functional_op(op_name, op_dict, prefix, hook))
-
-
-def setup_hooks(hook):
-    functional_ops, mint_ops, mint_func_ops = get_functional_ops()
-    wrap_functional_ops_and_bind(
-        functional_ops, {f: getattr(ms.ops, f) for f in dir(ms.ops)}, "Functional.", hook, HOOKFunctionalOP)
-    wrap_functional_ops_and_bind(
-        mint_ops, {f: getattr(ms.mint, f) for f in dir(ms.mint)}, "Mint.", hook, HOOKMintOP)
-    wrap_functional_ops_and_bind(
-        mint_func_ops, {f: getattr(ms.mint.nn.functional, f) for f in dir(ms.mint.nn.functional)}, "MintFunctional.", hook, HOOKMintNNFunctionalOP)
-

msprobe/mindspore/dump/hook_cell/wrap_tensor.py

@@ -1,63 +0,0 @@
-# Copyright 2024 Huawei Technologies Co., Ltd
-#
-# Licensed under the Apache License, Version 2.0 (the "License");
-# you may not use this file except in compliance with the License.
-# You may obtain a copy of the License at
-#
-# http://www.apache.org/licenses/LICENSE-2.0
-#
-# Unless required by applicable law or agreed to in writing, software
-# distributed under the License is distributed on an "AS IS" BASIS,
-# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
-# See the License for the specific language governing permissions and
-# limitations under the License.
-# ============================================================================
-
-import os
-import mindspore as ms
-from msprobe.mindspore.dump.hook_cell.hook_cell import HOOKCell
-from msprobe.core.common.utils import Const, load_yaml
-
-
-cur_path = os.path.dirname(os.path.realpath(__file__))
-yaml_path = os.path.join(cur_path, "support_wrap_ops.yaml")
-
-
-TensorFunc = {}
-for f in dir(ms.Tensor):
-    TensorFunc[f] = getattr(ms.Tensor, f)
-
-
-def get_tensor_ops():
-    yaml_data = load_yaml(yaml_path)
-    wrap_tensor_ops = yaml_data.get('tensor')
-    _tensor_ops = dir(ms.Tensor)
-    return set(wrap_tensor_ops) & set(_tensor_ops)
-
-
-class HOOKTensor(object):
-    pass
-
-
-class TensorOPTemplate(HOOKCell):
-
-    def __init__(self, op_name, hook):
-        self.op_name_ = op_name
-        self.prefix_op_name_ = "Tensor." + str(op_name) + Const.SEP
-        super().__init__(hook)
-
-    def construct(self, *args, **kwargs):
-        return TensorFunc[str(self.op_name_)](*args, **kwargs)
-
-
-def wrap_tensor_op(op_name, hook):
-    def tensor_op_template(*args, **kwargs):
-        return TensorOPTemplate(op_name, hook)(*args, **kwargs)
-    return tensor_op_template
-
-
-def wrap_tensor_ops_and_bind(hook):
-    _tensor_ops = get_tensor_ops()
-    for op_name in _tensor_ops:
-        if callable(TensorFunc[op_name]):
-            setattr(HOOKTensor, Const.ATTR_NAME_PREFIX + str(op_name), wrap_tensor_op(op_name, hook))

msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/ssl_config.py

@@ -1,10 +0,0 @@
-cipher_list = ":".join([
-    'ECDHE-ECDSA-AES128-GCM-SHA256',
-    'ECDHE-RSA-AES128-GCM-SHA256',
-    'ECDHE-ECDSA-AES256-GCM-SHA384',
-    'ECDHE-RSA-AES256-GCM-SHA384',
-    'ECDHE-ECDSA-CHACHA20-POLY1305',
-    'ECDHE-RSA-CHACHA20-POLY1305',
-    'DHE-RSA-AES128-GCM-SHA256',
-    'DHE-RSA-AES256-GCM-SHA384'
-]).encode()

msprobe/pytorch/doc/FAQ.md

@@ -1,193 +0,0 @@
-# 精度预检工具
-
-1. 预检工具在dump和run_ut的过程中，是否需要同时开启或关闭jit编译（jit_compile）？
-
-   答：是。
-
-2. 预检工具对于type_as这类涉及数据类型转换操作的API，是否具有参考性？
-
-   由于这类API在CPU侧存在精度先提升后下降的操作，因此这类API的有效性的参考价值有限。
-
-3. run ut过程中出现报错：ERROR:Got unsupported ScalarType BFloat16
-
-   答：请使用最新版本的工具。
-
-4. Dropout算子，CPU和NPU的随机应该不一样，为什么结果比对是一致的？
-
-   答：这个结果是正常的，工具对该算子有特殊处理，只判定位置为0的位置比例大约和设定p值相当。
-
-5. 为什么浮点型数据bench和CPU的dtype不一致？
-
-   答：对于fp16的数据，CPU会上升一个精度fp32去计算，这是和算子那边对齐的精度结论，CPU用更高精度去计算会更接近真实值。
-
-6. 添加预检工具后截取操作报错：`IndexError: too many indices for tensor of dimension x` 或 `TypeError: len() of a 0-d tensor`。
-
-   答：注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中Tensor:下的`- __getitem__`，工具会跳过dump该API。如果是需要dump的关键位置API也可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-7. 添加预检工具后F.gelu触发ValueError报错：`activation_func must be F.gelu`等。
-
-   答：注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中functional:下的的`- gelu`，工具会跳过dump该API。如果是需要dump的关键位置API也可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-8. 添加预检工具后触发AsStrided算子相关的报错，或者编译相关的报错，如：`Failed to compile Op [AsStrided]`。
-
-   答：注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中Tensor:下的`- t`和`- transpose`。
-
-9. Tensor 魔法函数具体对应什么操作？
-
-   答：
-
-   | Tensor魔法函数  | 具体操作         |
-   | --------------- | ---------------- |
-   | `__add__`       | +                |
-   | `__and__`       | &                |
-   | `__bool__`      | 返回Tensor布尔值 |
-   | `__div__`       | /                |
-   | `__eq__`        | ==               |
-   | `__ge__`        | >=               |
-   | `__gt__`        | >                |
-   | `__iadd__`      | +=               |
-   | `__iand__`      | &=               |
-   | `__idiv__`      | /=               |
-   | `__ifloordiv__` | //=              |
-   | `__ilshift__`   | <<=              |
-   | `__imod__`      | %=               |
-   | `__imul__`      | *=               |
-   | `__ior__`       | \|=              |
-   | `__irshift__`   | >>=              |
-   | `__isub__`      | -=               |
-   | `__ixor__`      | ^=               |
-   | `__lshift__`    | <<               |
-   | `__matmul__`    | 矩阵乘法         |
-   | `__mod__`       | %                |
-   | `__mul__`       | *                |
-   | `__nonzero__`   | 同`__bool__`     |
-   | `__or__`        | \|               |
-   | `__radd__`      | +（反向）        |
-   | `__rmul__`      | *（反向）        |
-   | `__rshift__`    | >>               |
-   | `__sub__`       | -                |
-   | `__truediv__`   | 同`__div__`      |
-   | `__xor__`       | ^                |
-
-# 精度比对工具
-
-## 工具使用
-
-### dump指定融合算子
-
-dump指定操作当前支持dump指定融合算子的输入输出，需要在mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml中添加，比如以下代码段调用的softmax融合算子
-
-```
-def npu_forward_fused_softmax(self, input_, mask):
-    resl = torch_npu.npu_scaled_masked_softmax(input_, mask, self.scale, False)
-    return resl
-```
-
-如果需要dump其中调用的npu_scaled_masked_softmax算子的输入输出信息，需要在support_wrap_ops.yaml中的torch_npu: 中自行添加该融合算子即可：
-
-```
-- npu_scaled_masked_softmax
-```
-
-（npu_scaled_masked_softmax融合算子工具已支持dump，本例仅供参考）
-
-## 常见问题
-
-### 1. 在同一个目录多次执行dump会冲突吗？
-
-会，同一个目录多次dump，会覆盖上一次结果，可以使用dump_path参数修改dump目录。
-
-### 2. 如何dump算子级的数据？
-
-需要配置level为L2模式。
-
-### 3. 工具比对发现NPU和标杆数据的API无法完全对齐？
-
-torch版本和硬件差异属于正常情况。
-
-## 异常情况
-
-### 2. HCCL 报错： error code: EI0006
-
-**故障现象**
-
-使用msprobe工具时，报错： error code: EI0006。
-
-**故障原因**
-
-CANN软件版本较低导致不兼容。
-
-**故障处理**
-
-升级新版CANN软件版本。
-
-### 3. torch_npu._C._clear_overflow_npu() RuntimeError NPU error，error code is 107002
-
-如果运行溢出检测功能遇到这个报错，采取以下解决方法：
-如果是单卡运行，添加如下代码，0是卡号，选择自己空闲的卡号。
-
-```
-torch.npu.set_device('npu:0')
-```
-
-如果多卡运行，请在代码中修改对应卡号，比如进程使用卡号为{rank}时可以添加如下代码：
-
-```
-torch.npu.set_device(f'npu:{rank}')
-```
-
-如果运行精度比对功能遇到这个报错，尝试安装最新版本的msprobe。
-
-### 4. dump得到的VF_lstm_99_forward_input.1.0.npy、VF_lstm_99_forward_input.1.1.npy类似的数据是否正常？
-
-带1.0/1.1/1.2后缀的npy是正常现象，例如当输入数据为[[tensor1, tensor2, tensor3]]会生成这样的后缀。
-
-### 5. 进行compare报错：The current file contains stack information, please turn on the stack_mode
-
-在比对脚本中，设置stack_mode=True，例如：
-
-```
-from msprobe.pytorch import compare
-dump_result_param={
-"npu_json_path": "./npu_dump/dump.json",
-"bench_json_path": "./gpu_dump/dump.json",
-"stack_json_path": "./npu_dump/stack.json",
-"is_print_compare_log": True
-}
-compare(dump_result_param, output_path="./output", stack_mode=True)
-```
-
-### 6. dump指定反向API的kernel级别的数据报错：NameError：name 'torch_npu' is not defined
-
-- 如果是npu环境，请安装torch_npu；
-- 如果是gpu环境，暂不支持dump指定API的kernel级别的数据
-
-### 7. 配置dump_path后，使用工具报错：[ERROR]The file path /home/xxx/dump contains special characters
-
-- 请检查你设置的dump绝对路径是否包含特殊字符，确保路径名只包含大小写字母、数字、下划线、斜杠、点和短横线
-- 注意，如果执行脚本的路径为/home/abc++/，设置的dump_path="./dump"，工具实际校验的路径为绝对路径/home/abc++/dump，++为特殊字符，会引发本条报错
-
-### 8. 无法dump matmul权重的反向梯度数据
-
-- matmul期望的输入是二维，当输入不是二维时，会将输入通过view操作展成二维，再进行matmul运算，因此在反向求导时，backward_hook能拿到的是UnsafeViewBackward这步操作里面数据的梯度信息，取不到MmBackward这步操作里面数据的梯度信息，即权重的反向梯度数据。
-- 典型的例子有，当linear的输入不是二维，且无bias时，会调用output = input.matmul(weight.t()),因此拿不到linear层的weight的反向梯度数据。
-
-### 9. dump.json文件中的某些api的dtype类型为float16，但是读取此api的npy文件显示的dtype类型为float32
-
-- msprobe工具在dump数据时需要将原始数据从npu to cpu上再转换为numpy类型，npu to cpu的逻辑和gpu to cpu是保持一致的，都存在dtype可能从float16变为float32类型的情况，如果出现dtype不一致的问题，最终dump数据的dtype以pkl文件为准。
-
-### 10. 使用dataloader后raise异常Exception("msprobe: exit after iteration {}". format(max(self.config.step))
-
-- 正常现象，dataloader通过raise结束程序，堆栈信息可忽略。
-
-### 11. 添加msprobe工具后截取操作报错：`IndexError: too many indices for tensor of dimension x` 或 `TypeError: len() of a 0-d tensor`。
-
-- 注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中Tensor:下的`- __getitem__`，工具会跳过dump该API。如果是需要dump的关键位置API也可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-### 12. 添加msprobe工具后F.gelu触发ValueError报错：`activation_func must be F.gelu`等。
-
-- 注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中functional:下的的`- gelu`，工具会跳过dump该API。如果是需要dump的关键位置api也可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-### 13. 添加msprobe工具后触发AsStrided算子相关的报错，或者编译相关的报错，如：`Failed to compile Op [AsStrided]`。
-
-- 注释工具目录mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml文件中Tensor:下的`- t`和`- transpose`。