mindstudio-probe 1.2.2__py3-none-any.whl → 8.1.0__py3-none-any.whl

msprobe/docs/21.visualization_PyTorch.md

@@ -4,20 +4,32 @@
 
 工具支持PyTorch版本：2.1/2.2
 
-## 展示示例
+## 更新通知
 
-支持重建模型的层级结构；
+请注意，tb_graph_ascend插件已于2025/3/12更新到1.0.0版本，如果当前环境已安装旧版本插件，推荐升级。
 
-支持两个模型的结构差异比对；
+更新内容如下：
 
-支持两个模型的精度数据比对，支持疑似有精度问题节点的快速搜索，自动跳转展开节点所在的层级。
+- 优化了信息栏，使用了更人性化、更美观的展示界面；
+- 提升了节点渲染和搜索性能；
+- 双图比对场景画布分离，操作左图时不会影响到右图；
+- 新增浏览器匹配节点功能，双图比对场景有未匹配节点时，可通过在浏览器页面手动选中调试侧和标杆侧的未匹配节点进行精度比对；
+- 新增颜色图例可配置功能。
+
+## 工具特性
+
+- 支持重建模型的层级结构；
+- 支持两个模型的结构差异比对；
+- 支持两个模型的精度数据比对；
+- 支持模型数据的溢出检测；
+- 支持多卡场景的批量构图，能够关联各卡的通信节点，分析各卡之间的数据传递；
+- 支持节点名称搜索，按精度比对结果筛选节点，按溢出检测结果筛选节点，支持自动跳转展开节点所在的层级；
+- 支持跨套件、跨框架的模型比对。
 
 ![vis_show](./img/visualization/vis_showcase.png)
 
 ## 1.依赖安装
 
-分级可视化工具依赖**msprobe工具**和**tensorboard。**
-
 ### 1.1 安装msprobe工具
 
 [msprobe工具安装](https://gitee.com/ascend/mstt/blob/master/debug/accuracy_tools/msprobe/docs/01.installation.md)
@@ -28,6 +40,8 @@
 
 ``pip3 install tb-graph-ascend``即可。
 
+如需升级工具，请先``pip3 uninstall tb-graph-ascend``再``pip3 install tb-graph-ascend``即可。
+
 ## 2.模型结构数据采集
 [PyTorch场景的数据采集](https://gitee.com/ascend/mstt/blob/master/debug/accuracy_tools/msprobe/docs/05.data_dump_PyTorch.md)
 
@@ -43,14 +57,14 @@ msprobe -f pytorch graph -i ./compare.json -o ./output
 ```
 **命令行参数说明**：
 
-| 参数名                    | 说明                                                                                                                                                                                                                                                                  | 是否必选 |
-|------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|------|
-| -i 或 --input_path      | 指定比对文件，参考[比对文件说明](#313-比对文件说明)                                                                                                                                                                                                                                      | 是    |
-| -o 或 --output_path     | 配置比对结果文件存盘目录，str 类型。文件名称基于时间戳自动生成，格式为：`compare_{timestamp}.vis或build_{timestamp}.vis`。                                                                                                                                                                              | 是    |
-| -lm 或 --layer_mapping  | 跨套件比对，例如同一个模型分别使用了DeepSpeed和Megatron套件的比对场景。配置该参数时表示开启跨套件Layer层的比对功能，指定模型代码中的Layer层后，可以识别对应dump数据中的模块或API。需要指定自定义映射文件*.yaml。自定义映射文件的格式请参见[自定义映射文件（Layer）](#71-自定义映射文件layer)，如何配置自定义映射文件请参考[模型分级可视化如何配置layer mapping映射文件](./visualization/layer_mapping_example.md)。 | 否    |
-| -oc 或 --overflow_check | 是否开启溢出检测模式，开启后会在输出vis文件中（`compare_{timestamp}.vis或build_{timestamp}.vis`）对每个溢出节点进行标记溢出等级，溢出等级说明参考[溢出等级说明](#312-溢出等级说明)                                                                                                                                              | 否    |
-| -f 或 --fuzzy_match     | 是否开启模糊匹配，bool类型。模糊匹配说明参考[匹配说明](#311-匹配说明)                                                                                                                                                                                                                           | 否    |
-| -cs 或 --complete_stack | 是否使用完整的堆栈信息，bool类型。默认使用精简的堆栈信息，数据量小有助于增加流畅度。完整堆栈和精简堆栈信息参考[堆栈信息说明](#72-堆栈信息说明)                                                                                                                                                                                       | 否    |
+| 参数名                    | 说明                                                                                                                                                                                                                                                                                                                                             | 是否必选 |
+|------------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|------|
+| -i 或 --input_path      | 指定比对文件，参考[比对文件说明](#313-比对文件说明)                                                                                                                                                                                                                                                                                                                 | 是    |
+| -o 或 --output_path     | 配置比对结果文件存盘目录，str 类型。文件名称基于时间戳自动生成，格式为：`compare_{timestamp}.vis或build_{timestamp}.vis`。                                                                                                                                                                                                                                                         | 是    |
+| -lm 或 --layer_mapping  | 跨套件比对，例如同一个模型分别使用了DeepSpeed和Megatron套件的比对场景。配置该参数时表示开启跨套件Layer层的比对功能，指定模型代码中的Layer层后，可以识别对应dump数据中的模块或API。需要指定自定义映射文件*.yaml。自定义映射文件的格式请参见[自定义映射文件（Layer）](#71-自定义映射文件layer)，如何配置自定义映射文件请参考[模型分级可视化如何配置layer mapping映射文件](./visualization/layer_mapping_example.md)。 配置该参数后，将仅按节点名称进行比对，忽略节点的 type 和 shape。如果调试侧和标杆侧有名称不同的节点，则需要配置自定义映射文件，-lm参数传入自定义映射文件路径；如果调试侧和标杆侧节点名称相同，则仅指定-lm即可。| 否    |
+| -oc 或 --overflow_check | 是否开启溢出检测模式，开启后会在输出vis文件中（`compare_{timestamp}.vis或build_{timestamp}.vis`）对每个溢出节点进行标记溢出等级，溢出等级说明参考[溢出等级说明](#312-溢出等级说明)                                                                                                                                                                                                                         | 否    |
+| -f 或 --fuzzy_match     | 是否开启模糊匹配，bool类型。模糊匹配说明参考[匹配说明](#311-匹配说明)                                                                                                                                                                                                                                                                                                      | 否    |
+| -cs 或 --complete_stack | 是否使用完整的堆栈信息，bool类型。默认使用精简的堆栈信息，数据量小有助于增加流畅度。完整堆栈和精简堆栈信息参考[堆栈信息说明](#72-堆栈信息说明)                                                                                                                                                                                                                                                                  | 否    |
 
 #### 3.1.1 匹配说明
 
@@ -330,8 +344,22 @@ ubuntu是机器地址，6008是端口号。
 **注意，ubuntu需要替换为真实的服务器地址，例如真实的服务器地址为10.123.456.78，则需要在浏览器窗口输入http://10.123.456.78:6008**
 
 ### 4.2 不可直连的服务器
-**如果链接打不开（服务器无法直连需要挂vpn才能连接等场景），可以尝试使用vscode连接服务器，在vscode终端输入：**
+**如果链接打不开（服务器无法直连需要挂vpn才能连接等场景），可以尝试以下方法，选择其一即可：**
 
+1.本地电脑网络手动设置代理，例如Windows10系统，在【手动设置代理】中添加服务器地址（例如10.123.456.78）
+
+![proxy](./img/visualization/proxy.png)
+
+然后，在服务器中输入：
+```
+tensorboard --logdir out_path --bind_all --port 6008[可选，端口号]
+```
+
+最后，在浏览器窗口输入http://10.123.456.78:6008
+
+**注意，如果当前服务器开启了防火墙，则此方法无效，需要关闭防火墙，或者尝试后续方法**
+
+2.或者使用vscode连接服务器，在vscode终端输入：
 ```
 tensorboard --logdir out_path
 ```
@@ -339,6 +367,14 @@ tensorboard --logdir out_path
 
 按住CTRL点击链接即可
 
+3.或者将构图结果件vis文件从服务器传输至本地电脑，在本地电脑中安装tb_graph_ascend插件查看构图结果
+
+电脑终端输入：
+```
+tensorboard --logdir out_path
+```
+按住CTRL点击链接即可
+
 ## 5.浏览器查看
 
 ### 5.1 浏览器打开图
@@ -357,37 +393,69 @@ tensorboard --logdir out_path
 ![vis_precision_info.png](./img/visualization/vis_precision_info.png)
 
 ### 5.5 未匹配节点筛选
-节点匹配规则：
 
-1.名称一致
+参考[匹配说明](#311-匹配说明) ，不符合匹配规则的节点为无匹配节点，颜色标灰。适用于排查两个模型结构差异的场景。
 
-2.节点输入输出参数数量一致，参数type、shape一致
+![vis_unmatch_info.png](./img/visualization/vis_unmatch_info.png)
 
-3.节点的层级一致（父节点们一致）
+### 5.6 手动选择节点匹配
 
-![vis_unmatch_info.png](./img/visualization/vis_unmatch_info.png)
+可通过浏览器界面，通过鼠标选择两个待匹配的灰色节点进行匹配。当前暂不支持真实数据模式。
+
+![vis_match_info.png](./img/visualization/vis_match_info.png)
 
 ## 6.图比对说明
 
-### 颜色
+### 6.1 颜色
 
 颜色越深，精度比对差异越大，越可疑，具体信息可见浏览器页面左下角颜色图例。
 
-### 疑似有精度问题判定
-
-#### 真实数据模式
+#### 6.1.1 真实数据模式
 节点中所有输入的最小双千指标和所有输出的最小双千分之一指标的差值，反映了双千指标的下降情况，**值越大精度差距越大，颜色标记越深**。
 
 ``One Thousandth Err Ratio（双千分之一）精度指标：Tensor中的元素逐个与对应的标杆数据对比，相对误差小于千分之一的比例占总元素个数的比例，比例越接近1越好``
 
-#### 统计信息模式
+如果调试侧（NPU）节点的output指标中的最大值（MAX）或最小值（MIN）中存在 nan/inf/-inf，直接标记为最深颜色。
+
+#### 6.1.2 统计信息模式
 节点中输出的统计量相对误差，**值越大精度差距越大，颜色标记越深**。
 
 ``相对误差：abs（(npu统计值 - bench统计值) / bench统计值)``
 
-#### md5模式
+如果调试侧（NPU）节点的output指标中的最大值（MAX）或最小值（MIN）中存在 nan/inf/-inf，直接标记为最深颜色。
+
+#### 6.1.3 md5模式
 节点中任意输入输出的md5值不同。
 
+### 6.2 指标说明
+
+精度比对从三个层面评估 API 的精度，依次是：真实数据模式、统计数据模式和 MD5 模式。比对结果分别有不同的指标。
+
+**公共指标**：
+- name: 参数名称，例如input.0
+- type: 类型，例如torch.Tensor
+- dtype: 数据类型，例如torch.float32
+- shape: 张量形状，例如[32, 1, 32]
+- Max: 最大值
+- Min: 最小值
+- Mean: 平均值
+- Norm: L2-范数
+
+**真实数据模式指标**：
+- Cosine: tensor 余弦相似度
+- EucDist: tensor 欧式距离
+- MaxAbsErr: tensor 最大绝对误差
+- MaxRelativeErr: tensor 最大相对误差
+- One Thousandth Err Ratio: tensor 相对误差小于千分之一的比例（双千分之一）
+- Five Thousandth Err Ratio: tensor 相对误差小于千分之五的比例（双千分之五）
+
+**统计数据模式指标**
+- (Max, Min, Mean, Norm) diff: 统计量绝对误差
+- (Max, Min, Mean, Norm) RelativeErr: 统计量相对误差
+
+**MD5模式指标**
+- md5: CRC-32 值
+
 ## 7.附录
 ### 7.1 自定义映射文件（Layer）
 
@@ -472,5 +540,9 @@ yaml文件中只需配置待调试侧与标杆侧模型代码中功能一致但
 节点呈现灰色，代表左边待调试侧节点与右边标杆侧节点没有匹配上，可能有以下几点原因：
 
 - **标杆侧确实没有能与待调试侧匹配上的节点**，属于代码实现上的差异，请确认此差异是否正常，是否会影响到整网精度。
-- **节点的输入或输出type、shape不一致，参数个数不一致，节点所在层级的父层级不一致**，导致节点无法匹配，具体匹配规则见[匹配说明](#311-匹配说明)，可尝试使用模糊匹配功能，如何使用此功能请参考[构图命令行说明](#31-构图命令行说明)。如果是参数shape不一致，即使是模糊匹配功能也无法让节点匹配上，请检查参数shape不一致是否合理。
-- **节点名称不一致**，导致节点无法匹配，可使用layer mapping功能，如何使用此功能请参考[构图命令行说明](#31-构图命令行说明)，如何自定义映射文件请参考[模型分级可视化如何配置layer mapping映射文件](./visualization/layer_mapping_example.md)。
+- **节点名称一致，但节点的输入或输出type、shape不一致，参数个数不一致，节点所在层级的父层级不一致，导致节点无法匹配**
+  - 具体匹配规则见[匹配说明](#311-匹配说明)，可尝试使用模糊匹配功能，如何使用此功能请参考[构图命令行说明](#31-构图命令行说明)；
+  - 如果是参数shape不一致，即使是模糊匹配功能也无法让节点匹配上，请检查参数shape不一致是否合理。
+- **节点名称不一致**，导致节点无法匹配，目前提供两种方法，选其一即可
+  - 可使用layer mapping功能，如何使用此功能请参考[构图命令行说明](#31-构图命令行说明)，如何自定义映射文件请参考[模型分级可视化如何配置layer mapping映射文件](./visualization/layer_mapping_example.md)；
+  - 可通过浏览器页面手动选择未匹配节点进行匹配，请参考[手动选择节点匹配](#56-手动选择节点匹配)。

msprobe/docs/22.visualization_MindSpore.md

@@ -2,22 +2,34 @@
 
 分级可视化工具将msprobe工具dump的精度数据进行解析，还原模型图结构，实现模型各个层级的精度数据比对，方便用户理解模型结构、分析精度问题。
 
-工具支持MindSpore版本：2.4.0
+工具支持MindSpore版本：>=2.4.0
 
-## 展示示例
+## 更新通知
 
-支持重建模型的层级结构；
+请注意，tb_graph_ascend插件已于2025/3/12更新到1.0.0版本，如果当前环境已安装旧版本插件，推荐升级。
 
-支持两个模型的结构差异比对；
+更新内容如下：
 
-支持两个模型的精度数据比对，支持疑似有精度问题节点的快速搜索，自动跳转展开节点所在的层级。
+- 优化了信息栏，使用了更人性化、更美观的展示界面；
+- 提升了节点渲染和搜索性能；
+- 双图比对场景画布分离，操作左图时不会影响到右图；
+- 新增浏览器匹配节点功能，双图比对场景有未匹配节点时，可通过在浏览器页面手动选中调试侧和标杆侧的未匹配节点进行精度比对；
+- 新增颜色图例可配置功能。
+
+## 工具特性
+
+- 支持重建模型的层级结构；
+- 支持两个模型的结构差异比对；
+- 支持两个模型的精度数据比对；
+- 支持模型数据的溢出检测；
+- 支持多卡场景的批量构图，能够关联各卡的通信节点，分析各卡之间的数据传递；
+- 支持节点名称搜索，按精度比对结果筛选节点，按溢出检测结果筛选节点，支持自动跳转展开节点所在的层级；
+- 支持跨套件、跨框架的模型比对。
 
 ![vis_show](./img/visualization/vis_showcase.png)
 
 ## 1.依赖安装
 
-分级可视化工具依赖**msprobe工具**和**tensorboard。**
-
 ### 1.1 安装msprobe工具
 
 [msprobe工具安装](https://gitee.com/ascend/mstt/blob/master/debug/accuracy_tools/msprobe/docs/01.installation.md)
@@ -28,6 +40,8 @@
 
 ``pip3 install tb-graph-ascend``即可。
 
+如需升级工具，请先``pip3 uninstall tb-graph-ascend``再``pip3 install tb-graph-ascend``即可。
+
 ## 2.模型结构数据采集
 [MindSpore场景的精度数据采集](https://gitee.com/ascend/mstt/blob/master/debug/accuracy_tools/msprobe/docs/06.data_dump_MindSpore.md)
 
@@ -47,7 +61,7 @@ msprobe -f mindspore graph -i ./compare.json -o ./output
 |-------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| -------- |
 | -i 或 --input_path   | 指定比对文件，参考[比对文件说明](#313-比对文件说明)                                                                                                                                                                                                                        | 是       |
 | -o 或 --output_path  | 配置比对结果文件存盘目录，str 类型。文件名称基于时间戳自动生成，格式为：`compare_{timestamp}.vis或build_{timestamp}.vis`。                                                                                                                                                                | 是       |
-| -lm 或 --layer_mapping| 跨框架比对，MindSpore和PyTorch的比对场景。配置该参数时表示开启跨框架Layer层的比对功能，指定模型代码中的Layer层后，可以识别对应dump数据中的模块或API。需要指定自定义映射文件*.yaml。自定义映射文件的格式请参见[自定义映射文件（Layer）](#71-自定义映射文件layer), 如何配置自定义映射文件请参考[模型分级可视化如何配置layer mapping映射文件](./visualization/layer_mapping_example.md)。 | 否    |
+| -lm 或 --layer_mapping| 跨框架比对，MindSpore和PyTorch的比对场景。配置该参数时表示开启跨框架Layer层的比对功能，指定模型代码中的Layer层后，可以识别对应dump数据中的模块或API。需要指定自定义映射文件*.yaml。自定义映射文件的格式请参见[自定义映射文件（Layer）](#71-自定义映射文件layer), 如何配置自定义映射文件请参考[模型分级可视化如何配置layer mapping映射文件](./visualization/layer_mapping_example.md)。配置该参数后，将仅按节点名称进行比对，忽略节点的 type 和 shape。如果调试侧和标杆侧有名称不同的节点，则需要配置自定义映射文件，-lm参数传入自定义映射文件路径；如果调试侧和标杆侧节点名称相同，则仅指定-lm即可。 | 否    |
 | -oc 或 --overflow_check | 是否开启溢出检测模式，开启后会在输出vis文件中（`compare_{timestamp}.vis或build_{timestamp}.vis`）对每个溢出节点进行标记溢出等级，溢出等级说明参考[溢出等级说明](#312-溢出等级说明)                                                                                                                                | 否    |
 | -f 或 --fuzzy_match     | 是否开启模糊匹配，bool类型。模糊匹配说明参考[匹配说明](#311-匹配说明)                                                                                                                                                                                                             | 否    |
 | -cs 或 --complete_stack | 是否使用完整的堆栈信息，bool类型。默认使用精简的堆栈信息，数据量小有助于增加流畅度。完整堆栈和精简堆栈信息参考[堆栈信息说明](#72-堆栈信息说明)                                                                                                                                                                         | 否    |
@@ -62,7 +76,7 @@ msprobe -f mindspore graph -i ./compare.json -o ./output
 - 节点的层级一致（父节点们一致）
 
 2.模糊匹配
-- Cell节点dump名称一致，两个匹配上的Cell节点, 忽略各自节点下所有api的dump调用次数，按照名称一致+Cell节点内的调用顺序进行匹配
+- Cell节点dump名称一致，两个匹配上的Cell节点，忽略各自节点下所有api的dump调用次数，按照名称一致+Cell节点内的调用顺序进行匹配
 - ![fuzzy_match_ms.png](./img/visualization/fuzzy_match_ms.png)
 - 参数shape一致
 
@@ -83,11 +97,11 @@ msprobe -f mindspore graph -i ./compare.json -o ./output
 ```
 **比对文件参数说明**：
 
-| 参数名               | 说明                                                                                                    | 是否必选 |
-|-------------------|-------------------------------------------------------------------------------------------------------|------|
-| npu_path   | 指定待调试侧比对路径，str类型。工具根据路径格式自动进行单rank比对、多rank批量比对或多step批量比对，具体格式参考3.2 图构建和比对。           | 是    |
-| bench_path  | 指定标杆侧比对路径，str类型。单图构建场景可以不配置 | 否    |
-| is_print_compare_log  | 配置是否开启单个算子的日志打屏。可取值 true 或 false，默认为 true。关闭后则只输出常规日志，bool 类型。                                        | 否    |
+| 参数名               | 说明                                                                         | 是否必选 |
+|-------------------|----------------------------------------------------------------------------|------|
+| npu_path   | 指定待调试侧比对路径，str类型。工具根据路径格式自动进行单rank比对、多rank批量比对或多step批量比对，具体格式参考3.2 图构建和比对。 | 是    |
+| bench_path  | 指定标杆侧比对路径，str类型。单图构建场景可以不配置。                                               | 否    |
+| is_print_compare_log  | 配置是否开启单个算子的日志打屏。可取值 true 或 false，默认为 true。关闭后则只输出常规日志，bool 类型。             | 否    |
 
 
 ### 3.2 图构建和比对
@@ -314,7 +328,7 @@ dump配置请参考[dump配置示例](./03.config_examples.md#35-task-配置为-
 得到dump数据后，若需比较特定两个rank之间的数据，请参考[3.2.2 双图比对](#322-双图比对)；若需进行多个rank或多个step的数据批量比对，请参考[3.2.3 批量构建或比对](#323-批量构建或比对)。
 
 
-## 4.启动tensorboard
+## 4.启动TensorBoard
 
 ### 4.1 可直连的服务器
 
@@ -329,11 +343,25 @@ tensorboard --logdir out_path --bind_all --port [可选，端口号]
 
 ubuntu是机器地址，6008是端口号。
 
-**注意，ubuntu需要替换为真实的服务器地址，例如真实的服务器地址为10.123.456.78，则需要在浏览器窗口输入http://10.123.456.78:6008**
+**注意，ubuntu需要替换为真实的服务器地址，例如真实的服务器地址为10.123.456.78，则需要在浏览器窗口输入 http://10.123.456.78:6008**
 
 ### 4.2 不可直连的服务器
-**如果链接打不开（服务器无法直连需要挂vpn才能连接等场景），可以尝试使用vscode连接服务器，在vscode终端输入：**
+**如果链接打不开（服务器无法直连需要挂vpn才能连接等场景），可以尝试以下方法，选择其一即可：**
 
+1.本地电脑网络手动设置代理，例如Windows10系统，在【手动设置代理】中添加服务器地址（例如10.123.456.78）
+
+![proxy](./img/visualization/proxy.png)
+
+然后，在服务器中输入：
+```
+tensorboard --logdir out_path --bind_all --port 6008[可选，端口号]
+```
+
+最后，在浏览器窗口输入 http://10.123.456.78:6008
+
+**注意，如果当前服务器开启了防火墙，则此方法无效，需要关闭防火墙，或者尝试后续方法**
+
+2.或者使用vscode连接服务器，在vscode终端输入：
 ```
 tensorboard --logdir out_path
 ```
@@ -341,6 +369,14 @@ tensorboard --logdir out_path
 
 按住CTRL点击链接即可
 
+3.或者将构图结果件vis文件从服务器传输至本地电脑，在本地电脑中安装tb_graph_ascend插件查看构图结果
+
+电脑终端输入：
+```
+tensorboard --logdir out_path
+```
+按住CTRL点击链接即可
+
 ## 5.浏览器查看
 
 ### 5.1 浏览器打开图
@@ -359,37 +395,69 @@ tensorboard --logdir out_path
 ![vis_precision_info.png](./img/visualization/vis_precision_info.png)
 
 ### 5.5 未匹配节点筛选
-节点匹配规则：
 
-1.名称一致
+参考[匹配说明](#311-匹配说明) ，不符合匹配规则的节点为无匹配节点，颜色标灰。适用于排查两个模型结构差异的场景。
 
-2.节点输入输出参数数量一致，参数type、shape一致
+![vis_unmatch_info.png](./img/visualization/vis_unmatch_info.png)
 
-3.节点的层级一致（父节点们一致）
+### 5.6 手动选择节点匹配
 
-![vis_unmatch_info.png](./img/visualization/vis_unmatch_info.png)
+可通过浏览器界面，通过鼠标选择两个待匹配的灰色节点进行匹配。当前暂不支持真实数据模式。
+
+![vis_match_info.png](./img/visualization/vis_match_info.png)
 
 ## 6.图比对说明
 
-### 颜色
+### 6.1 颜色
 
 颜色越深，精度比对差异越大，越可疑，具体信息可见浏览器页面左下角颜色图例。
 
-### 疑似有精度问题判定
-
-#### 真实数据模式
+#### 6.1.1 真实数据模式
 节点中所有输入的最小双千指标和所有输出的最小双千分之一指标的差值，反映了双千指标的下降情况，**值越大精度差距越大，颜色标记越深**。
 
 ``One Thousandth Err Ratio（双千分之一）精度指标：Tensor中的元素逐个与对应的标杆数据对比，相对误差小于千分之一的比例占总元素个数的比例，比例越接近1越好``
 
-#### 统计信息模式
+如果调试侧（NPU）节点的output指标中的最大值（MAX）或最小值（MIN）中存在 nan/inf/-inf，直接标记为最深颜色。
+
+#### 6.1.2 统计信息模式
 节点中输出的统计量相对误差，**值越大精度差距越大，颜色标记越深**。
 
-``相对误差：abs（(npu统计值 - bench统计值) / bench统计值)``
+``相对误差：abs((npu统计值 - bench统计值) / bench统计值)``
 
-#### md5模式
+如果调试侧（NPU）节点的output指标中的最大值（MAX）或最小值（MIN）中存在 nan/inf/-inf，直接标记为最深颜色。
+
+#### 6.1.3 md5模式
 节点中任意输入输出的md5值不同。
 
+### 6.2 指标说明
+
+精度比对从三个层面评估 API 的精度，依次是：真实数据模式、统计数据模式和 MD5 模式。比对结果分别有不同的指标。
+
+**公共指标**：
+- name: 参数名称，例如input.0
+- type: 类型，例如mindspore.Tensor
+- dtype: 数据类型，例如BFloat32
+- shape: 张量形状，例如[32, 1, 32]
+- Max: 最大值
+- Min: 最小值
+- Mean: 平均值
+- Norm: L2-范数
+
+**真实数据模式指标**：
+- Cosine: tensor 余弦相似度
+- EucDist: tensor 欧式距离
+- MaxAbsErr: tensor 最大绝对误差
+- MaxRelativeErr: tensor 最大相对误差
+- One Thousandth Err Ratio: tensor 相对误差小于千分之一的比例（双千分之一）
+- Five Thousandth Err Ratio: tensor 相对误差小于千分之五的比例（双千分之五）
+
+**统计数据模式指标**
+- (Max, Min, Mean, Norm) diff: 统计量绝对误差
+- (Max, Min, Mean, Norm) RelativeErr: 统计量相对误差
+
+**MD5模式指标**
+- md5: CRC-32 值
+
 ## 7.附录
 ### 7.1 自定义映射文件（Layer）
 
@@ -488,5 +556,9 @@ yaml文件中只需配置MindSpore与PyTorch模型代码中功能一致但名称
 节点呈现灰色，代表左边待调试侧节点与右边标杆侧节点没有匹配上，可能有以下几点原因：
 
 - **标杆侧确实没有能与待调试侧匹配上的节点**，属于代码实现上的差异，请确认此差异是否正常，是否会影响到整网精度。
-- **节点的输入或输出type、shape不一致，参数个数不一致，节点所在层级的父层级不一致**，导致节点无法匹配，具体匹配规则见[匹配说明](#311-匹配说明)，可尝试使用模糊匹配功能，如何使用此功能请参考[构图命令行说明](#31-构图命令行说明)。如果是参数shape不一致，即使是模糊匹配功能也无法让节点匹配上，请检查参数shape不一致是否合理。
-- **节点名称不一致**，导致节点无法匹配，可使用layer mapping功能，如何使用此功能请参考[构图命令行说明](#31-构图命令行说明)，如何自定义映射文件请参考[模型分级可视化如何配置layer mapping映射文件](./visualization/layer_mapping_example.md)。
+- **节点名称一致，但节点的输入或输出type、shape不一致，参数个数不一致，节点所在层级的父层级不一致，导致节点无法匹配**
+  - 具体匹配规则见[匹配说明](#311-匹配说明)，可尝试使用模糊匹配功能，如何使用此功能请参考[构图命令行说明](#31-构图命令行说明)；
+  - 如果是参数shape不一致，即使是模糊匹配功能也无法让节点匹配上，请检查参数shape不一致是否合理。
+- **节点名称不一致**，导致节点无法匹配，目前提供两种方法，选其一即可
+  - 可使用layer mapping功能，如何使用此功能请参考[构图命令行说明](#31-构图命令行说明)，如何自定义映射文件请参考[模型分级可视化如何配置layer mapping映射文件](./visualization/layer_mapping_example.md)；
+  - 可通过浏览器页面手动选择未匹配节点进行匹配，请参考[手动选择节点匹配](#56-手动选择节点匹配)。

msprobe/docs/23.generate_operator_PyTorch.md

@@ -33,15 +33,15 @@ b. 在生成单API脚本时可以选择由工具构造随机数获得 dump 数
 ```
 **配置文件参数说明**
 
-   | 参数名称                     | 解释                                                         | 是否必选                           |
-   | ---------------------------- | ------------------------------------------------------------ | ---------------------------------- |
-   | dump_json_path   | dump.json的文件路径，包含所有dump算子的信息；如果已经提取了可疑算子并保存可以不指定。                                   | 否                                 |
-   | api_name             | 算子名，如Functional.softmax.3、Tensor.add.0、Torch.matmul.5等。如果已经提取了可疑算子并保存可以不指定                            | 否                                 |
-   | extract_api_path               | 提取可疑算子的json文件路径 | 是                                 |
-   | propagation | 选择复现算子的forward还是backward，默认为forward                                                | 否                                 |
-   | data_mode                 | 选择复现算子的随机数据（random_data）还是真实数据（real_data）模式，默认为random_data           | 否                                 |
-   | random_seed | 仅random_data模式有效，表示手动设定的随机种子，默认为1234 | 否 |
-   | iter_times             | 仅random_data模式有效，表示单API运行的次数 | 否                                 |
+   | 参数名称                     | 解释                                                                         | 是否必选                           |
+   | ---------------------------- |----------------------------------------------------------------------------| ---------------------------------- |
+   | dump_json_path   | dump.json的文件路径，包含所有dump算子的信息；如果已经提取了可疑算子并保存可以不指定。                          | 否                                 |
+   | api_name             | 算子名，如Functional.softmax.3、Tensor.add.0、Torch.matmul.5等。如果已经提取了可疑算子并保存可以不指定 | 否                                 |
+   | extract_api_path               | 提取可疑算子的json文件路径                                                            | 是                                 |
+   | propagation | 选择复现算子的forward还是backward，默认为forward                                        | 否                                 |
+   | data_mode                 | 选择复现算子的随机数据（random_data）还是真实数据（real_data）模式，默认为random_data                 | 否                                 |
+   | random_seed | 仅random_data模式有效，表示手动设定的随机种子，默认为1234                                       | 否 |
+   | iter_times             | 仅random_data模式有效，表示单API运行的次数，由于安全相关原因，最大支持设置为1000                          | 否                                 |
 
  ### 2.2 运行命令生成单API脚本
 config_op.json配置好后，运行如下命令：

msprobe/docs/25.tool_function_introduction.md

@@ -2,28 +2,29 @@
 
 ## 1 PyTorch框架
 
-| 功能名（英文）                                                                            | 简介                                                            | 适用场景/优势                                                                  | 当前版本局限性                                                                                                         |
-|------------------------------------------------------------------------------------|---------------------------------------------------------------|--------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------|
-| [数据采集<br>（dump）](./05.data_dump_PyTorch.md)                                        | 采集模型训练过程中的API或Module层级的前反向输入输出数据，包括层次关系、统计值信息、真实数据和调用栈等。      | 1、将模型中训练的API或Module的前反向输入输出数据保存下来分析<br> 2、模型出现溢出时，可用于查看哪些API或Module出现了溢出 | 1、API级数据采集仅支持白名单列表上的API<br>2、工具会做一些同步操作，引入工具可能会导致一些同步问题消失<br>3、当前对inplace操作API或Module的支持度有限<br>4、暂不支持参数及参数梯度的采集 |
-| [离线预检<br>（api_accuracy_checker）](./07.accuracy_checker_PyTorch.md)                 | 为网络中每个API创建用例，检验其精度，并根据不同比对算法综合判定API在NPU上的精度是否达标，快速找出精度差异API。 | 1、对模型中所有的API做精度初步排查<br>2、精度排查不受模型累计误差影响                                  | 1、依赖GPU环境<br>2、不支持通信算子<br>3、仅支持部分融合算子                                                                           | 
-| [整网比对<br>（compare）](./10.accuracy_compare_PyTorch.md)                              | 计算模型整网NPU和标杆设备的精度误差指标，标记精度异常API或Module，助力快速定位精度问题根因。          | 1、整网比对定位精度可疑算子                                                           | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响<br>2、当模型规模较大时，比对所需时间较长                                                            | 
-| [在线预检<br>（online_api_accuracy_checker）](./08.accuracy_checker_online_PyTorch.md)   | 通过TCP通信或共享存储空间的方式，进行在线精度预检，解决离线预检大数据量落盘、传输困难痛点。               | 1、使用离线预检，数据量较大落盘困难或传输耗时长时，可通过在线预检进行精度排查                                  | 1、依赖GPU环境，NPU和GPU能够通信<br>2、重计算模式下，不支持反向aten算子预检                                                                 | 
-| [溢出检查<br>（overflow_checker）](./12.overflow_check_PyTorch.md)                       | 检测模型计算过程的输入输出，并在溢出时落盘数据，助力用户快速定位溢出位置。                         | 1、当模型出现溢出时，用于快速定位最先溢出的API或Module<br>2、相比数据采集，性能更优，磁盘压力更小                 | 1、局限性同数据采集                                                                                                      | 
-| [数据解析<br>（parse_tool）](./14.data_parse_PyTorch.md)                                 | 互交式界面处理解析kernel层级dump数据，便于查看分析。                               | 1、比对kernel层级dump数据的一致性                                                   | 1、仅限于NPU                                                                                                        | 
-| [无标杆比对<br>（free_benchmark）](./15.free_benchmarking_PyTorch.md)                     | 不依赖标杆数据，通过对算子输入增加微小扰动，计算扰动后输出与原始输出的相对误差，识别有精度风险算子。            | 1、无标杆数据场景下的算子精度排查<br>2、对个别算子进行升精度、“to cpu”等操作，以验证其对模型loss的影响             | 1、由于需要拷贝输入进行二次执行，所以在遇到大张量的输入时容易发生显存OOM的问题, 特别是反向比对过程。建议结合白名单使用<br>2、比对会延长训练时间，整网比对可能会造成严重的耗时膨胀，建议结合白名单使用        |
-| [梯度状态监测<br>（grad_probe）](./17.grad_probe.md)                                       | 可导出模型权重梯度数据并对比相似度，助力确认训练过程精度问题step和反向中的异常。                    | 1、需要分析梯度数据时<br>2、需要定位发生问题的step时                                          | 暂无                                                                                                              | 
-| [在线精度比对<br>（online_dispatch）](./18.online_dispatch.md)                             | 训练过程中直接完成NPU和CPU的精度比对并输出比对结果。                                 | 1、执行一次就可获取NPU和CPU分别执行后的精度比对结果                                            | 暂无                                                                                                              |
-| [训练状态监控<br>（monitor）](./19.monitor.md)                                             | 收集模型训练过程中的激活值、梯度和优化器状态，助力分析计算、通信、优化器各部分异常情况。                  | 1、通过监控模块级统计量指标，快速定位异常模块位置，如loss出现nan                                     | 1、仅支持模块级别统计量指标分析<br>2、仅支持megatron、deepspeed框架<br>3、少量增加时间和显存膨胀                                                  |
-| [可视化比对<br>（visualization） ](./21.visualization_PyTorch.md)                         | 解析dump的精度数据，还原模型图结构，比对各层级精度数据，助力理解模型结构、分析精度问题。                | 1、整网精度比对定位可疑算子，通过浏览器展示比对结果，支持快速搜索到可疑算子<br>2、支持查看模型层级结果，比对模型层级结构差异        | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响<br>2、当模型规模较大时，比对所需时间较长                                                            |
-| [单API自动生成脚本<br>（generate_operator） ](./23.generate_operator_PyTorch.md)                         | 解析dump的精度数据，提取可疑的API算子，自动生成单API复现脚本，并根据不同的API采用不同的比对算法，给定最终比对结果数据；帮助开发者分析算子精度问题。                | 1、该工具支持从整网dump下来的数据中提取可疑算子，并自动生成单API脚本<br>2、除了支持复现单API的前反向过程，同时会根据不同的API选择不同的比对方法，并给出比对结果                 |1、不支持通信算子<br>2、融合算子需手动修改脚本进行适配<br>3、目前比对的标杆均为和CPU进行比对，暂不支持直接NPU和GPU比对
+| 功能名（英文）                                                                          | 简介                                                                                                                                                | 适用场景/优势                                                                                                                                                       | 当前版本局限性                                                                                                                                                                                            |
+| --------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| [数据采集`<br>`（dump）](./05.data_dump_PyTorch.md)                                      | 采集模型训练过程中的API或Module层级的前反向输入输出数据，包括层次关系、统计值信息、真实数据和调用栈等。                                             | 1、将模型中训练的API或Module的前反向输入输出数据保存下来分析`<br>` 2、模型出现溢出时，可用于查看哪些API或Module出现了溢出                                         | 1、API级数据采集仅支持白名单列表上的API`<br>`2、工具会做一些同步操作，引入工具可能会导致一些同步问题消失`<br>`3、当前对inplace操作API或Module的支持度有限`<br>`4、暂不支持参数及参数梯度的采集      |
+| [离线预检`<br>`（api_accuracy_checker）](./07.accuracy_checker_PyTorch.md)               | 为网络中每个API创建用例，检验其精度，并根据不同比对算法综合判定API在NPU上的精度是否达标，快速找出精度差异API。                                      | 1、对模型中所有的API做精度初步排查`<br>`2、精度排查不受模型累计误差影响                                                                                           | 1、依赖GPU环境`<br>`2、不支持通信算子`<br>`3、仅支持部分融合算子                                                                                                                                      |
+| [整网比对`<br>`（compare）](./10.accuracy_compare_PyTorch.md)                            | 计算模型整网NPU和标杆设备的精度误差指标，标记精度异常API或Module，助力快速定位精度问题根因。                                                        | 1、整网比对定位精度可疑算子                                                                                                                                         | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响`<br>`2、当模型规模较大时，比对所需时间较长                                                                                                        |
+| [在线预检`<br>`（online_api_accuracy_checker）](./08.accuracy_checker_online_PyTorch.md) | 通过TCP通信或共享存储空间的方式，进行在线精度预检，解决离线预检大数据量落盘、传输困难痛点。                                                         | 1、使用离线预检，数据量较大落盘困难或传输耗时长时，可通过在线预检进行精度排查                                                                                       | 1、依赖GPU环境，NPU和GPU能够通信`<br>`2、重计算模式下，不支持反向aten算子预检                                                                                                                           |
+| [溢出检查`<br>`（overflow_checker）](./12.overflow_check_PyTorch.md)                     | 检测模型计算过程的输入输出，并在溢出时落盘数据，助力用户快速定位溢出位置。                                                                          | 1、当模型出现溢出时，用于快速定位最先溢出的API或Module`<br>`2、相比数据采集，性能更优，磁盘压力更小                                                               | 1、局限性同数据采集                                                                                                                                                                                       |
+| [数据解析`<br>`（parse_tool）](./14.data_parse_PyTorch.md)                               | 交互式界面处理解析kernel层级dump数据，便于查看分析。                                                                                                | 1、比对kernel层级dump数据的一致性                                                                                                                                   | 1、仅限于NPU                                                                                                                                                                                              |
+| [无标杆比对`<br>`（free_benchmark）](./15.free_benchmarking_PyTorch.md)                  | 不依赖标杆数据，通过对算子输入增加微小扰动，计算扰动后输出与原始输出的相对误差，识别有精度风险算子。                                                | 1、无标杆数据场景下的算子精度排查`<br>`2、对个别算子进行升精度、“to cpu”等操作，以验证其对模型loss的影响                                                        | 1、由于需要拷贝输入进行二次执行，所以在遇到大张量的输入时容易发生显存OOM的问题, 特别是反向比对过程。建议结合白名单使用`<br>`2、比对会延长训练时间，整网比对可能会造成严重的耗时膨胀，建议结合白名单使用 |
+| [梯度状态监测`<br>`（grad_probe）](./17.grad_probe.md)                                   | 可导出模型权重梯度数据并对比相似度，助力确认训练过程精度问题step和反向中的异常。                                                                    | 1、需要分析梯度数据时`<br>`2、需要定位发生问题的step时                                                                                                            | 暂无                                                                                                                                                                                                      |
+| [在线精度比对`<br>`（online_dispatch）](./18.online_dispatch.md)                         | 训练过程中直接完成NPU和CPU的精度比对并输出比对结果。                                                                                                | 1、执行一次就可获取NPU和CPU分别执行后的精度比对结果                                                                                                                 | 暂无                                                                                                                                                                                                      |
+| [训练状态监控`<br>`（monitor）](./19.monitor.md)                                         | 收集模型训练过程中的激活值、梯度和优化器状态，助力分析计算、通信、优化器各部分异常情况。                                                            | 1、通过监控模块级统计量指标，快速定位异常模块位置，如loss出现nan                                                                                                    | 1、仅支持模块级别统计量指标分析`<br>`2、仅支持megatron、deepspeed框架`<br>`3、少量增加时间和显存膨胀                                                                                                  |
+| [可视化比对`<br>`（visualization） ](./21.visualization_PyTorch.md)                      | 解析dump的精度数据，还原模型图结构，比对各层级精度数据，助力理解模型结构、分析精度问题。                                                            | 1、整网精度比对定位可疑算子，通过浏览器展示比对结果，支持快速搜索到可疑算子`<br>`2、支持查看模型层级结果，比对模型层级结构差异                                    | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响`<br>`2、当模型规模较大时，比对所需时间较长                                                                                                        |
+| [单API自动生成脚本`<br>`（generate_operator） ](./23.generate_operator_PyTorch.md)       | 解析dump的精度数据，提取可疑的API算子，自动生成单API复现脚本，并根据不同的API采用不同的比对算法，给定最终比对结果数据；帮助开发者分析算子精度问题。 | 1、该工具支持从整网dump下来的数据中提取可疑算子，并自动生成单API脚本`<br>`2、除了支持复现单API的前反向过程，同时会根据不同的API选择不同的比对方法，并给出比对结果 | 1、不支持通信算子`<br>`2、融合算子需手动修改脚本进行适配`<br>`3、目前比对的标杆均为和CPU进行比对，暂不支持直接NPU和GPU比对                                                                            |
 
 ## 2 MindSpore框架
 
-| 功能名（英文）                                                              | 简介                                                                | 适用场景/优势                                                                      | 当前版本局限性                                                                                                                                           |
-|----------------------------------------------------------------------|-------------------------------------------------------------------|------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------|
-| [数据采集<br>（dump）](./06.data_dump_MindSpore.md)                        | 采集模型训练过程中的API或Cell层级的前反向输入输出数据，包括层次关系、统计值信息、真实数据和调用栈等。            | 1、将模型中训练的API或Cell的前反向输入输出数据保存下来分析<br> 2、模型出现溢出时，可用于查看哪些API或Cell出现了溢出         | 1、API级数据采集仅支持白名单列表上的API<br>2、当前对inplace操作API或Cell的支持度有限<br>3、暂不支持参数及参数梯度的采集                                                                       |
-| [离线预检<br>（api_accuracy_checker）](./09.accuracy_checker_MindSpore.md) | 为网络中每个API创建用例，检验其精度，并根据不同比对算法综合判定API在NPU上的精度是否达标，快速找出精度差异API。     | 1、对模型中所有的API做精度初步排查<br>2、精度排查不受模型累计误差影响                                      | 1、仅针对MindSpore.mint API                                                                                                                           |
-| [整网比对<br>（compare）](./11.accuracy_compare_MindSpore.md)              | NPU精度数据与标杆数据的比对，支持MindSpore框架内和与PyTorch跨框架的比对，助力快速定位精度异常API或Cell。 | 1、MindSpore同框架静态图比对<br>2、MindSpore同框架动态图比对<br>3、MindSpore vs PyTorch跨框架动态图比对 | 1、部分PyTorch的API关联不到MindSpore，需要手动配置映射关系                                                                                                           |
-| [溢出检查<br>（overflow_checker）](./13.overflow_check_MindSpore.md)       | 检测模型计算过程的输入输出，并在溢出时落盘数据，助力用户快速定位溢出位置。                             | 1、当模型出现溢出时，可用于定位最先溢出的API或Cell或kernel<br>2、相比数据采集，性能更优，磁盘压力更小                 | 1、除具有与数据采集功能相同的局限性外，动态图场景下，不支持 Primitive 和 Jit 类 API 的检测<br>2、动态图场景下，仅支持检测API或Cell级别溢出<br>3、静态图场景下，仅支持检测kernel级别溢出                                |
-| [无标杆比对<br>（free_benchmark）](./16.free_benchmarking_MindSpore.md)     | 不依赖标杆数据，通过对算子输入增加微小扰动，计算扰动后输出与原始输出的相对误差，识别有精度风险算子。                | 1、无标杆数据场景下的算子精度排查<br>2、对个别算子进行升精度修复，验证其对模型loss的影响                            | 1、仅支持动态图场景<br>2、由于需要拷贝输入进行二次执行，所以在遇到大张量的输入时容易发生显存OOM的问题, 特别是反向比对过程。建议结合白名单使用<br>3、比对会延长训练时间，整网比对可能会造成严重的耗时膨胀，建议结合白名单使用<br>4、不支持“to cpu”操作，不支持预热功能 |
-| [可视化比对<br>（visualization） ](./22.visualization_MindSpore.md)         | 解析dump的精度数据，还原模型图结构，比对各层级精度数据，助力理解模型结构、分析精度问题。                    | 1、整网精度比对定位可疑算子，通过浏览器展示比对结果，支持快速搜索到可疑算子<br>2、支持查看模型层级结果，比对模型层级结构差异            | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响<br>2、当模型规模较大时，比对所需时间较长                                                                                              |
+| 功能名（英文）                                                               | 简介                                                                                                           | 适用场景/优势                                                                                                                     | 当前版本局限性                                                                                                                                                                                                                                                                         |
+| ---------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| [数据采集 `<br>`（dump）](./06.data_dump_MindSpore.md)                        | 采集模型训练过程中的API或Cell层级的前反向输入输出数据，包括层次关系、统计值信息、真实数据和调用栈等。          | 1、将模型中训练的API或Cell的前反向输入输出数据保存下来分析 `<br>` 2、模型出现溢出时，可用于查看哪些API或Cell出现了溢出          | 1、API级数据采集仅支持白名单列表上的API `<br>`2、当前对inplace操作API或Cell的支持度有限 `<br>`3、暂不支持参数及参数梯度的采集                                                                                                                                                      |
+| [离线预检 `<br>`（api_accuracy_checker）](./09.accuracy_checker_MindSpore.md) | 为网络中每个API创建用例，检验其精度，并根据不同比对算法综合判定API在NPU上的精度是否达标，快速找出精度差异API。 | 1、对模型中所有的API做精度初步排查 `<br>`2、精度排查不受模型累计误差影响                                                        | 1、仅针对MindSpore.mint API                                                                                                                                                                                                                                                            |
+| [整网比对 `<br>`（compare）](./11.accuracy_compare_MindSpore.md)              | NPU精度数据与标杆数据的比对，支持MindSpore框架内和与PyTorch跨框架的比对，助力快速定位精度异常API或Cell。       | 1、MindSpore同框架静态图比对 `<br>`2、MindSpore同框架动态图比对 `<br>`3、MindSpore vs PyTorch跨框架动态图比对                 | 1、部分PyTorch的API关联不到MindSpore，需要手动配置映射关系                                                                                                                                                                                                                             |
+| [溢出检查 `<br>`（overflow_checker）](./13.overflow_check_MindSpore.md)       | 检测模型计算过程的输入输出，并在溢出时落盘数据，助力用户快速定位溢出位置。                                     | 1、当模型出现溢出时，可用于定位最先溢出的API或Cell或kernel `<br>`2、相比数据采集，性能更优，磁盘压力更小                        | 1、除具有与数据采集功能相同的局限性外，动态图场景下，不支持 Primitive 和 Jit 类 API 的检测 `<br>`2、动态图场景下，仅支持检测API或Cell级别溢出 `<br>`3、静态图场景下，仅支持检测kernel级别溢出                                                                                      |
+| [无标杆比对 `<br>`（free_benchmark）](./16.free_benchmarking_MindSpore.md)    | 不依赖标杆数据，通过对算子输入增加微小扰动，计算扰动后输出与原始输出的相对误差，识别有精度风险算子。           | 1、无标杆数据场景下的算子精度排查 `<br>`2、对个别算子进行升精度修复，验证其对模型loss的影响                                     | 1、仅支持动态图场景 `<br>`2、由于需要拷贝输入进行二次执行，所以在遇到大张量的输入时容易发生显存OOM的问题, 特别是反向比对过程。建议结合白名单使用 `<br>`3、比对会延长训练时间，整网比对可能会造成严重的耗时膨胀，建议结合白名单使用 `<br>`4、不支持“to cpu”操作，不支持预热功能 |
+| [可视化比对 `<br>`（visualization） ](./22.visualization_MindSpore.md)        | 解析dump的精度数据，还原模型图结构，比对各层级精度数据，助力理解模型结构、分析精度问题。                       | 1、整网精度比对定位可疑算子，通过浏览器展示比对结果，支持快速搜索到可疑算子 `<br>`2、支持查看模型层级结果，比对模型层级结构差异 | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响 `<br>`2、当模型规模较大时，比对所需时间较长                                                                                                                                                                                    |
+| [训练状态监控 `<br>`（monitor）](./19.monitor.md)                             | 收集模型训练过程中的激活值、梯度和优化器状态，助力分析计算、通信、优化器各部分异常情况。                       | 1、通过监控模块级统计量指标，快速定位异常模块位置，如loss出现nan                                                                  | 1、仅支持模块级别统计量指标分析 `<br>`2、仅支持megatron、deepspeed框架 `<br>`3、少量增加时间和显存膨胀                                                                                                                                                                             |

msprobe/docs/26.data_dump_PyTorch_baseline.md

@@ -1,8 +1,19 @@
 # PyTorch 场景的精度数据采集基线
 
+## "statistics"模式（未开启md5）采集时间膨胀参考基线
+
+该基线为PyTorch框架下，使用"statistics"模式采集数据性能膨胀的参考基线。本基线测试了LLAMA2-7B语言大模型在不同采集模式8卡下的时间膨胀。
+
+| 采集模式 | 无工具 (耗时) |  加工具但未使能 Dump (耗时)   |  加工具并使能 Dump (耗时)  |
+|:--------:|:--------:|:--------------------:|:------------------:|
+| L0       | ≈17.4 s  |    ≈17.4 s （无膨胀）     | ≈78.4 s  （膨胀4.5倍）  |
+| L1       | ≈17.4 s  |  ≈20.7 s  （膨胀1.2倍）   |  ≈353 s  （膨胀20倍）   |
+| mix      | ≈17.4 s  | ≈20.7 s  （膨胀1.2倍） | ≈430 s  （膨胀24.7 倍） |
+
+
 ## "tensor"模式采集数据量参考基线
 
-该基线为pytorch框架下，使用"tensor"模式采集数据量参考基线。本基线测试了两个模型，分别为LLAMA2-7B和LLAMA2-13B，测试了不同采集模式下，不同global_batch_size下，单卡和8卡下，数据量的变化。
+该基线为PyTorch框架下，使用"tensor"模式采集数据量参考基线。本基线测试了两个模型，分别为LLAMA2-7B和LLAMA2-13B，测试了不同采集模式下，不同global_batch_size下，单卡和8卡下，数据量的变化。
 
 ### LLAMA2-7B
 
@@ -25,8 +36,8 @@
 <table>
     <tr><th>采集模式</th><th>global_batch_size</th><th>单卡</th><th>8卡</th></tr>
     </td><td rowspan="3">L0</td><td>1</td><td>13GB</td><td>97GB</td></tr>
-    <tr><td>2</td><td>25B</td><td>194GB</td></tr>
-    <tr><td>3</td><td>37G</td><td>291GB</td></tr>
+    <tr><td>2</td><td>25GB</td><td>194GB</td></tr>
+    <tr><td>3</td><td>37GB</td><td>291GB</td></tr>
     </td><td rowspan="3">L1</td><td>1</td><td>440GB</td><td>3.4TB</td></tr>
     <tr><td>2</td><td>720GB</td><td>5.4TB</td></tr>
     <tr><td>3</td><td>960GB</td><td>7.3TB</td></tr>