mindstudio-probe 8.3.3__py3-none-any.whl → 26.0.0a1__py3-none-any.whl

msprobe/docs/28.debugger_save_instruction.md

@@ -1,288 +0,0 @@
-# 单点保存工具
-
-## 简介
-
-L0, L1, mix级别的dump能力存在盲区，网络中的非API或module的输入输出不会被批量dump下来。单点保存提供类似np.save和print的功能和使用体验，可以保存指定的变量。同时针对大模型场景进行了增强，具备以下特性：
-
-- 可保存变量的反向梯度结果。
-- 能直接保存嵌套结构数据（如 list、dict），无需手动遍历。
-- 自动分 Rank 保存。
-- 可分 Step 保存数据。
-- 多次调用时会自动计数。
-- 可配置保存统计值（MindSpore静态图暂不支持）或者张量。
-- 支持异步保存。
-
-单点保存工具的使用过程中可能会涉及到工具跨文件使用的场景，具体使能方式见[跨文件采集数据](./05.data_dump_PyTorch.md#24-跨文件采集数据)。
-
-## 支持场景
-
-## 动态图场景（Pytorch&MindSpore）
-
-### 使能方式
-
-#### 配置文件说明
-
-通用配置 （细节详见[通用配置说明](./02.config_introduction.md#11-通用配置) ）：
-
-| 参数       | 解释                                                                                                    | 是否必选 |
-| ---------- | ------------------------------------------------------------------------------------------------------- | -------- |
-| task       | dump 的任务类型，str 类型。 单点保存场景仅支持传入"statistics", "tensor"。                              | 是       |
-| level      | dump 级别，str 类型，根据不同级别采集不同数据。单点保存场景传入"debug"。                                | 是       |
-| dump_path  | 设置 dump 数据目录路径，str 类型。                                                                      | 是       |
-| rank       | 指定对某张卡上的数据进行采集，list[Union[int, str]] 类型。                                              | 否       |
-| step       | 指定采集某个 Step 的数据，list[Union[int, str]] 类型。                                                  | 否       |
-| async_dump | 异步 dump 开关，bool 类型。该模式下，summary_mode 不支持 md5 值，也不支持复数类型 tensor 的统计量计算。 | 否       |
-
-"statistics" 任务子配置项：
-
-| 参数         | 解释                                                                                                                                                       | 是否必选 |
-| ------------ | ---------------------------------------------------------------------------------------------------------------------------------------------------------- | -------- |
-| summary_mode | 控制 dump 文件输出的模式，str 类型。支持传入"statistics", "md5"。 细节详见[statistics任务子配置项说明](./02.config_introduction.md#12-task-配置为-statistics) | 否       |
-
-"tensor" 任务无子配置项。
-
-#### 接口调用说明
-
-调用PrecisionDebugger.save，传入需要保存的变量，指定变量名称以及是否需要保存反向数据。接口入参说明详见[PyTorch单点保存接口](./05.data_dump_PyTorch.md#19-save)，[MindSpore单点保存接口](./06.data_dump_MindSpore.md#615-save)
-
-#### 实例
-
-（以PyTorch场景为例，MindSpore场景只需要从msprobe.mindspore模块导包即可）
-配置文件
-
-```json
-{
-    "task": "statistics",
-    "dump_path": "./dump_path",
-    "rank": [],
-    "step": [],
-    "level": "debug",
-    "async_dump": false,
-    "statistics": {
-        "summary_mode": "statistics"
-    }
-}
-```
-
-初始化
-
-```python
-# 训练启动py脚本
-from msprobe.pytorch import PrecisionDebugger
-debugger = PrecisionDebugger("./config.json")
-for data, label in data_loader:
-    # 执行模型训练
-    train(data, label)
-
-```
-
-初始化（无配置文件）
-
-```python
-# 训练启动py脚本
-from msprobe.pytorch import PrecisionDebugger
-debugger = PrecisionDebugger(dump_path="dump_path", level="debug")
-for data, label in data_loader:
-    # 执行模型训练
-    train(data, label)
-
-```
-
-调用保存接口示例（以PyTorch代码为例，MindSpore使用方法相同）
-
-```python
-import torch
-import torch.nn as nn
-import torch.nn.functional as F
-
-from msprobe.pytorch import PrecisionDebugger, seed_all
-# 在模型训练开始前实例化PrecisionDebugger
-debugger = PrecisionDebugger(dump_path="dump_path", level="debug")
-
-# 定义网络
-class ModuleOP(nn.Module):
-    def __init__(self) -> None:
-        super().__init__()
-        self.linear_1 = nn.Linear(in_features=8, out_features=4)
-        self.linear_2 = nn.Linear(in_features=4, out_features=2)
-
-    def forward(self, x):
-        x1 = self.linear_1(x)
-        x2 = self.linear_2(x1)
-        debugger.save(x2, "x2", save_backward=True)  # 调用save接口
-        r1 = F.relu(x2)
-        return r1
-
-if __name__ == "__main__":
-    module = ModuleOP()
-
-    x = torch.randn(10, 8)
-    out = module(x)
-    loss = out.sum()
-    loss.backward()
-```
-
-分step保存数据（以PyTorch代码为例，MindSpore使用方法相同）
-
-```python
-import torch
-import torch.nn as nn
-import torch.nn.functional as F
-
-from msprobe.pytorch import PrecisionDebugger
-# 在模型训练开始前实例化PrecisionDebugger
-debugger = PrecisionDebugger(dump_path="dump_path", level="debug")
-
-# 定义网络
-class ModuleOP(nn.Module):
-    def __init__(self) -> None:
-        super().__init__()
-        self.linear_1 = nn.Linear(in_features=8, out_features=4)
-        self.linear_2 = nn.Linear(in_features=4, out_features=2)
-
-    def forward(self, x):
-        x1 = self.linear_1(x)
-        x2 = self.linear_2(x1)
-        debugger.save(x2, "x2", save_backward=True)  # 调用save接口
-        r1 = F.relu(x2)
-        return r1
-
-if __name__ == "__main__":
-    module = ModuleOP()
-    train_iter = 10
-    for i in range(train_iter):
-        x = torch.randn(10, 8)
-        out = module(x)
-        loss = out.sum()
-        loss.backward()
-        debugger.step()  # 调用debugger.step用于区分step保存
-
-```
-
-## 静态图场景（MindSpore）
-
-### 使能方式
-
-### 接口说明
-
-工具提供三个对外接口用于保存训练过程中的数据：
-
-| 接口名称  | 功能描述                 | 支持设备       | MindSpore版本 | 使用场景说明                                   |
-| --------- | ------------------------ | -------------- | ------------- | ---------------------------------------------- |
-| save      | 保存正向传播的tensor数据 | Ascend/GPU/CPU | >= 2.6.0      | 图模式下仅支持Ascend，PyNative模式下支持全平台 |
-| save_grad | 保存反向传播的梯度数据   | Ascend/GPU/CPU | >= 2.6.0      | 图模式下仅支持Ascend，PyNative模式下支持全平台 |
-| step      | 更新训练步数             | Ascend/GPU/CPU | >= 2.6.0      | 控制数据保存的step目录                         |
-
-### 详细接口定义
-
-#### 1. save 接口
-
-```python
-save(save_dir: str, name: str, data: Union[Tensor, List, Tuple, Dict])
-```
-
-**参数说明**:
-
-- `save_dir`: 数据保存目录路径
-- `name`: 数据标识名称（将作为文件名前缀）
-- `data`: 支持多种数据类型：
-  - `mindspore.Tensor` 单个张量
-  - `List/Tuple/Dict` 嵌套结构（会自动展开保存）
-
-**使用示例**:
-
-```python
-from msprobe.mindspore import save
-
-class Net(nn.Cell):
-    def construct(self, x):
-        save("./dump_data", 'input', x)  # 保存输入数据
-        return x * 2
-```
-
-#### 2. save_grad 接口
-
-```python
-save_grad(save_dir: str, name: str, data: Tensor) -> Tensor
-```
-
-**参数说明**:
-
-- `save_dir`: 梯度保存目录路径
-- `name`: 梯度标识名称（将作为文件名前缀）
-- `data`: 必须是 `mindspore.Tensor`类型
-
-**特别注意**:
-
-- 必须接收返回值并传回原计算图
-- 此操作不会影响计算精度
-
-**使用示例**:
-
-```python
-from msprobe.mindspore import save_grad
-
-class Net(nn.Cell):
-    def construct(self, x):
-        x = save_grad("./dump_data", 'grad', x)  # 保存梯度数据
-        return x * 2
-```
-
-#### 3. step 接口
-
-```python
-step()
-```
-
-**功能说明**:
-
-- 递增训练步数计数器
-- 控制数据保存到不同的step目录（如step0/, step1/等）
-- 如果不调用，所有数据会保存到同一个step目录
-
-**使用示例**:
-
-```python
-from msprobe.mindspore import save, step
-
-# 训练循环中
-for epoch in range(epochs):
-    train_one_epoch()
-    step()  # 每个epoch后更新step
-```
-
-
-## 输出结果
-
-### 动态图场景（Pytorch&MindSpore）
-
-* **"task" 配置为 "statistics" 场景** ：在 dump 目录下会生成包含变量统计值信息的 `debug.json` 文件。
-  `debug.json` 中统计值的key命名格式为 `{variable_name}{grad_flag}.{count}.debug`。
-* **"task" 配置为 "tensor" 场景** ：除了在 dump 目录下生成包含变量统计值信息的 `debug.json` 文件外，还会在 dump 子目录 `dump_tensor_data` 中保存张量二进制文件，文件名称格式为 `{variable_name}{grad_flag}.{count}.debug.{indexes}.{file_suffix}`。
-
-  - variable_name： 传入save接口的变量名称。
-  - grad_flag： 反向数据标识，反向数据为"_grad"，正向数据为""。
-  - count： 调用计数，多次以相同变量名称调用时的计数。
-  - indexes： 索引，在保存嵌套结构数据时的索引。例如：嵌套结构为 `{"key1": "value1", "key2": ["value2", "value3"]}`，"value2"的索引为"key2.0"。
-  - file_suffix：文件后缀，PyTorch场景为"pt"，MindSpore场景为"npy"。
-
-### 静态图场景（MindSpore）
-
-在指定目录 `save_dir`下生成 `{step}/{rank}`目录，目录下生成指定 `{name}`的npy文件，如果是save_grad接口调用，则会生成 `{name}_grad`的npy文件。
-
-如 `save("./test_dump", 'x', x)` -> `./test_dump/step0/rank0/x_float32_0.npy`。
-
-或如 `z = save_grad("./test_dump", 'z', z)` -> `./test_dump/step0/rank0/z_grad_float32_0.npy`。
-
-结构如下：
-
-```
-./save_dir/
-    ├── step0/
-    │   ├── rank0/
-    │   │   ├── x_float32_0.npy       # save保存的正向数据
-    │   │   └── z_grad_float32_0.npy  # save_grad保存的梯度数据
-    ├── step1/
-    │   ├── rank0/
-    │   │   ├── ...
-```

msprobe/docs/28.kernel_dump_MindSpore.md

@@ -1,69 +0,0 @@
-# MindSpore 动态图场景的 kernel dump 说明
-
-当使用 msprobe 数据采集功能时，level 配置为 "L2" 表示采集 kernel 层级的算子数据，仅支持昇腾 NPU 平台。 
-
-本文主要介绍 kernel dump 的配置示例和采集结果介绍， msprobe 数据采集功能的详细使用参考 《[MindSpore 场景的精度数据采集](./06.data_dump_MindSpore.md)》。
-
-## 1 kernel dump 配置示例
-
-使用 kernel dump 时，list 必须要填一个 API 名称，kernel dump 目前每个 step 只支持采集一个 API 的数据。
-API 名称填写参考 L1 dump 结果文件 dump.json 中的API名称，命名格式为：`{api_type}.{api_name}.{API调用次数}.{forward/backward}`。
-
-```json
-{
-    "task": "tensor",
-    "dump_path": "/home/data_dump",
-    "level": "L2",
-    "rank": [],
-    "step": [],
-    "tensor": {
-        "scope": [],
-        "list": ["Functional.linear.0.backward"]
-    }
-}
-```
-
-## 2 结果文件介绍
-
-### 2.1 采集结果说明
-    
-如果 API kernel 级数据采集成功，会打印以下信息：
-
-```bash
-The kernel data of {api_name} is dumped successfully.
-```
-
-注意：如果打印该信息后，没有数据生成，参考**常见问题3.1**进行排查。
-
-如果 kernel dump 遇到不支持的 API， 会打印以下信息：
-
-```bash
-The kernel dump does not support the {api_name} API.
-```
-
-其中 {api_name} 是对应溢出的 API 名称。
-
-### 2.2 输出文件说明
-kernel dump 采集成功后，会在指定的 dump_path 目录下生成如下文件：
-
-```
-├── /home/data_dump/
-│   ├── step0
-│   │   ├── 20241201103000    # 日期时间格式，表示2024-12-01 10:30:00
-│   │   │   ├── 0             # 表示 device id
-│   │   │   │   ├──{op_type}.{op_name}.{task_id}.{stream_id}.{timestamp}    # kernel 层算子数据
-│   │   │  ...
-│   │   ├── kernel_config_{device_id}.json    # kernel dump 在接口调用过程中生成的中间文件，一般情况下无需关注
-│   │  ...     
-│   ├── step1
-│  ...
-```
-成功采集到数据后，可以使用 msprobe 工具提供的《[PyTorch 场景的数据解析](./14.data_parse_PyTorch.md)》功能分析数据。
-
-## 3 常见问题
-
-#### 3.1 采集结果文件为空，有可能是什么原因？
-
-1. 首先需要确认工具使用方式、配置文件内容、list 填写的 API 名称格式是否都正确无误。
-
-2. 其次需要确认 API 是否运行在昇腾 NPU 上，如果是运行在其他设备上则不会存在 kernel 级数据。

msprobe/docs/29.data_dump_MSAdapter.md

@@ -1,235 +0,0 @@
-# MSAdapter 场景的精度数据采集
-
-MSAdapter 是一款 MindSpore 生态适配工具，可以将 PyTorch 训练脚本高效迁移至 MindSpore 框架执行，以实现在不改变原有 PyTorch 用户开发习惯的情况下，使得 PyTorch 代码能在昇腾上获得高效性能。
-
-msprobe 工具主要通过在训练脚本内添加 dump 接口、启动训练的方式采集精度数据。
-
-**注意**：
-
-- 为了正确识别 MSAdapter 场景，在导入 msprobe 工具前，需完成 torch 模块的导入。
-
-- 因 MindSpore 框架自动微分机制的限制，dump 数据中可能会缺少原地操作模块/API 及其上一个模块/API 的反向数据。
-
-本工具提供固定的 API 支持列表，若需要删除或增加 dump 的 API，可以在 msprobe/pytorch/hook_module/support_wrap_ops.yaml 文件内手动修改，如下示例：
-
-```yaml
-functional:  # functional为算子类别，找到对应的类别，在该类别下按照下列格式删除或添加API
-  - conv1d
-  - conv2d
-  - conv3d
-```
-
-删除 API 的场景：部分模型代码逻辑会存在 API 原生类型校验，工具执行dump操作时，对封装后的模型 API 可能与模型的原生 API 类型不一致，此时可能引发校验失败，详见《[FAQ](FAQ.md#33-异常情况)》中“异常情况”的第10和11条。
-
-## 1. 工具安装
-
-请参见[《msprobe 工具安装指南》](./01.installation.md)。
-
-## 2 接口介绍
-
-### 2.1 msprobe.mindspore.PrecisionDebugger
-
-**功能说明**：通过加载 dump 配置文件的方式来确定 dump 操作的详细配置。
-
-**原型**：
-
-```Python
-PrecisionDebugger(config_path=None, task=None, dump_path=None, level=None, step=None)
-```
-
-**参数说明**:
-
-1. config_path：指定 dump 配置文件路径，string 类型。参数示例："./config.json"。未配置该路径时，默认使用 [config.json](../config.json) 文件的默认配置，配置选项含义可见 [config.json 介绍](./02.config_introduction.md)。
-
-2. 其他参数与 [config.json](../config.json) 文件中的同名配置字段含义相同，具体可见 [config.json 介绍](./02.config_introduction.md)。当参数值非None时，优先级高于 [config.json](../config.json) 文件中的同名配置。
-
-#### 2.1.1 start
-
-**功能说明**：启动精度数据采集。需要与 [**stop**](#212-stop) 接口一起添加在训练迭代的 for 循环内。
-
-**原型**：
-
-```Python
-start(model=None)
-```
-
-**参数说明**:
-
-1. model：指定需要采集 Module 级数据的模型，支持传入 torch.nn.Module、list[torch.nn.Module]或Tuple[torch.nn.Module] 类型，默认未配置。level 配置为 "L0" 或 "mix" 时，必须在该接口中配置该参数。API级别（"L1" level）dump 时，传入 model 可以采集 model 内包含 primitive op 对象在内的所有 API 数据，若不传入 model 参数，则只采集非 primitive op 的 API 数据。
-
-#### 2.1.2 stop
-
-**功能说明**：停止精度数据采集。在 **start** 接口调用之后的任意位置添加。若 **stop** 接口添加在反向计算代码之后，则会采集 **start** 和该接口之间的前反向数据。
-若 **stop** 接口添加在反向计算代码之前，则需要将 [**step**](#213-step) 接口添加到反向计算代码之后，才能采集 **start** 和该接口之间的前反向数据。
-
-**注意**：**stop** 接口必须调用，否则可能导致精度数据落盘不全。
-
-**原型**：
-
-```Python
-stop()
-```
-
-#### 2.1.3 step
-
-**功能说明**：进行训练 step 数的自增，完成当前 step 所有数据的落盘并更新 dump 参数。在一个 step 训练结束的位置添加，且必须在 **stop** 接口之后的位置调用。该接口需要配合 **start** 和 **stop** 函数使用，尽量添加在反向计算代码之后，否则可能会导致反向数据丢失。
-
-**原型**：
-
-```Python
-step()
-```
-
-#### 2.1.4 forward_backward_dump_end
-
-**功能说明**：停止精度数据采集。与 **stop** 接口功能相同，该函数在将来会被移除，建议使用 **stop** 接口。
-
-**原型**：
-
-```Python
-forward_backward_dump_end()
-```
-
-#### 2.1.5 save
-
-**功能说明**：单点保存网络执行过程中正反向数值，并以统计值/张量文件落盘。
-
-**原型**：
-```python
-save(variable, name, save_backward=True)
-```
-
-**参数说明**:
-| 参数名称        | 参数含义          |        支持数据类型    |   是否必选|
-| ----------     | ------------------| ------------------- | ------------------- |
-| variable       | 需要保存的变量     |dict, list, tuple, torch.tensor, int, float, str |  是  |
-| name           | 指定的名称         | str                 | 是  |
-| save_backward  | 是否保存反向数据   | boolean             | 否 |
-
-### 2.2 msprobe.mindspore.seed_all
-
-**功能说明**：用于固定网络中的随机性和开启确定性计算。
-
-**原型**：
-```python
-seed_all(seed=1234, mode=False, rm_dropout=True)
-```
-
-**参数说明**:
-
-1. seed: 随机性种子，默认值：1234，非必选。参数示例: seed=1000。该参数用于 random、numpy.random, mindspore.common.Initializer、mindspore.nn.probability.distribution的随机数生成以及 Python 中 str、bytes、datetime 对象的 hash 算法。
-
-2. mode：确定性计算使能，可配置 True 或 False，默认值：False，非必选。参数示例：mode=True。该参数设置为 True 后，将会开启算子确定性运行模式与归约类通信算子（AllReduce、ReduceScatter、Reduce）的确定性计算。注意：确定性计算会导致 API 执行性能降低，建议在发现模型多次执行结果不同的情况下开启。
-
-3. rm_dropout：控制 dropout 失效的开关。可配置 True 或 False，默认值：True，非必选。参数示例：rm_dropout=True。该参数设置为 True 后，将会使 mindspore.ops.Dropout，mindspore.ops.Dropout2D，mindspore.ops.Dropout3D，mindspore.mint.nn.Dropout和mindspore.mint.nn.functional.dropout 失效，以避免因随机 dropout 造成的网络随机性。建议在采集数据前调用。
-
-**注意**：通过 rm_dropout 控制 dropout 失效或生效需要在初始化 Dropout 实例前调用才能生效。
-
-## 3 示例代码
-
-以下为添加了 msprobe 工具 dump 接口的示例训练脚本。
-
-```python
-import mindspore as ms
-import torch
-import torch.nn as nn
-import torch.nn.functional as F
-
-# 导入工具的数据采集接口
-from msprobe.mindspore import PrecisionDebugger
-
-# 在模型训练开始前实例化PrecisionDebugger
-debugger = PrecisionDebugger(config_path='./config.json')
-
-
-# 定义网络
-class Net(nn.Module):
-    def __init__(self) -> None:
-        super().__init__()
-        self.linear1 = nn.Linear(in_features=8, out_features=4)
-        self.linear2 = nn.Linear(in_features=4, out_features=2)
-
-    def forward(self, x):
-        x1 = self.linear1(x)
-        x2 = self.linear2(x1)
-        logits = F.relu(x2)
-        return logits
-
-
-net = Net()
-
-
-def train_step(inputs):
-    return net(inputs)
-
-
-if __name__ == "__main__":
-    data = (torch.randn(10, 8), torch.randn(10, 8), torch.randn(10, 8))
-    grad_fn = ms.value_and_grad(train_step, grad_position=0)
-
-    for inputs in data:
-        # 开启数据 dump
-        debugger.start(model=net)
-
-        out, grad = grad_fn(inputs)
-
-        # 停止数据 dump
-        debugger.stop()
-        # 更新 step 信息
-        debugger.step()
-```
-
-## 4 dump 结果文件介绍
-
-训练结束后，工具将 dump 的数据保存在 dump_path 参数指定的目录下。目录结构示例如下：
-
-```lua
-├── dump_path
-│   ├── step0
-│   |   ├── rank0
-│   |   │   ├── dump_tensor_data
-|   |   |   |    ├── Tensor.permute.1.forward.npy
-|   |   |   |    ├── Functional.linear.5.backward.output.npy    # 命名格式为{api_type}.{api_name}.{API调用次数}.{forward/backward}.{input/output}.{参数序号}, 其中，“参数序号”表示该API的第n个输入或输出，例如1，则为第一个参数，若该参数为list格式，则根据list继续排序，例如1.1，表示该API的第1个参数的第1个元素。
-|   |   |   |    ...
-|   |   |   |    ├── Module.conv1.Conv2d.forward.0.input.0.npy          # 命名格式为{Module}.{module_name}.{class_name}.{forward/backward}.{调用次数}.{input/output}.{参数序号}, 其中，“参数序号”表示该Module的第n个参数，例如1，则为第一个参数，若该参数为list格式，则根据list继续排序，例如1.1，表示该Module的第1个参数的第1个元素。
-|   |   |   |    ├── Module.conv1.Conv2D.forward.0.parameters.bias.npy  # 模块参数数据：命名格式为{Module}.{module_name}.{class_name}.forward.{调用次数}.parameters.{parameter_name}。
-|   |   |   |    └── Module.conv1.Conv2D.parameters_grad.weight.npy     # 模块参数梯度数据：命名格式为{Module}.{module_name}.{class_name}.parameters_grad.{parameter_name}。因为同一模块的参数使用同一梯度进行更新，所以参数梯度文件名不包含调用次数。
-|   |   |   |                                                          # 当dump时传入的model参数为List[torch.nn.Module]或Tuple[torch.nn.Module]时，模块级数据的命名中包含该模块在列表中的索引index，命名格式为{Module}.{index}.*，*表示以上三种模块级数据的命名格式，例如：Module.0.conv1.Conv2d.forward.0.input.0.npy。
-│   |   |   ├── dump.json
-│   |   |   ├── stack.json
-│   |   |   └── construct.json
-│   |   ├── rank1
-|   |   |   ├── dump_tensor_data
-|   |   |   |   └── ...
-│   |   |   ├── dump.json
-│   |   |   ├── stack.json
-|   |   |   └── construct.json
-│   |   ├── ...
-│   |   |
-|   |   └── rank7
-│   ├── step1
-│   |   ├── ...
-│   ├── step2
-```
-* `rank`：设备 ID，每张卡的数据保存在对应的 `rank{ID}` 目录下。非分布式场景下没有 rank ID，目录名称为 rank。
-* `dump_tensor_data`：保存采集到的张量数据。
-* `dump.json`： 保存 API 或 Module 前反向数据的统计量信息。包含 dump 数据的 API 名称或 Module 名称，各数据的 dtype、 shape、max、min、mean、L2norm（L2范数，平方根）统计信息以及当配置 summary_mode="md5" 时的 CRC-32 数据。具体介绍可参考[dump.json文件说明](./27.dump_json_instruction.md#3-msadapter-场景下的-dumpjson-文件)。
-* `stack.json`：API/Module 的调用栈信息。
-* `construct.json`：分层分级结构，level 为 L1 时，construct.json 内容为空。
-
-
-当 task 为 tensor 时，dump 过程中，npy 文件在对应算子或者模块被执行后就会落盘，而 json 文件则需要在正常执行 PrecisionDebugger.stop() 后才会写入完整数据。因此如果程序异常终止，终止前被执行算子的相关 npy 文件得以保存，但 json 文件中的数据可能丢失。
-
-其中 rank 为设备上各卡的 ID，每张卡上 dump 的数据会生成对应 dump 目录。非分布式场景下没有 rank ID，目录名称为 rank。
-
-npy 文件名的前缀含义如下：
-
-| 前缀        | 含义                          |
-| ----------- | ---------------------------- |
-| Tensor      | torch.Tensor API数据          |
-| Torch       | torch API数据                 |
-| Functional  | torch.nn.functional API数据   |
-| NPU         | NPU 亲和API数据               |
-| Distributed | torch.distributed API数据     |
-| Jit         | 被 "jit" 装饰的模块或函数数据   |
-| Module      | torch.nn.Module 类（模块）数据 |

msprobe/docs/30.overflow_check_MSAdapter.md

@@ -1,31 +0,0 @@
-# MSAdapter 场景的溢出检测
-
-msprobe 工具提供 MSAdapter 场景下的溢出检测功能。其检测对象为 **API** 级别(除 Primitive 和 Jit 类 API)或**模块**级别，分别对应 config.json 配置中的 **"L1"** 、**"L0"** level。
-
-需要注意，本工具仅支持在 INF/NAN 模式<sup>a</sup>下进行溢出检测。INF/NAN 模式的使能方式如下：
-
-```Shell
-# 使能 CANN 侧 INF/NAN 模式
-export INF_NAN_MODE_ENABLE=1
-# 使能 MindSpore 框架侧 INF/NAN 模式
-export MS_ASCEND_CHECK_OVERFLOW_MODE="INFNAN_MODE"
-```
-
-**a**：在处理浮点数计算溢出问题时，NPU 当前支持两种溢出模式：INF/NAN 模式与饱和模式。INF/NAN 模式遵循 IEEE 754 标准，根据定义输出 INF/NAN 的计算结果。与之对应的饱和模式在计算出现溢出时，饱和为浮点数极值（+-MAX）。对于 CANN 侧配置，Atlas 训练系列产品，默认为饱和模式，且不支持使用 INF/NAN 模式；Atlas A2训练系列产品，默认为 INF/NAN 模式，且不建议使用饱和模式。对于 MindSpore 框架侧配置，仅支持对 Atlas A2 训练系列产品进行设置，默认为 INF/NAN 模式。CANN 侧 与 MindSpore 框架侧配置须一致。
-
-溢出检测任务的配置示例见["**MindSpore 动态图场景 task 配置为 overflow_check**"](./03.config_examples.md#33-task-配置为-overflow_check)小节。
-
-
-## 1 接口介绍
-
-溢出检测功能提供的接口与数据采集任务一致，详见 MSAdapter 场景的精度数据采集中的["**2 接口介绍**"](./29.data_dump_MSAdapter.md#2-接口介绍)小节。
-
-需要注意，目前暂不支持 "L1" level 下 primitive op 的溢出检测。
-
-## 2 示例代码
-
-溢出检测功能使用方式与数据采集任务一致，详见 MSAdapter 场景的精度数据采集中的["**3 示例代码**"](./29.data_dump_MSAdapter.md#3-示例代码)小节。
-
-## 3 溢出检测结果文件介绍
-
-溢出检测结果文件目录结构与含义与数据采集任务一致，但仅保存溢出 API 或 模块 的真实数据或统计信息。详见 MSAdapter 场景的精度数据采集中的["**4 dump 结果文件介绍**"](./29.data_dump_MSAdapter.md#4-dump-结果文件介绍)小节。