mindstudio-probe 8.3.2__py3-none-any.whl → 26.0.0a1__py3-none-any.whl

msprobe/docs/31.config_check.md

@@ -1,107 +0,0 @@
-# config check
-
-## 介绍
-
-该工具主要适用于对比两个环境下可能影响训练精度的配置差异，支持mindspore和pytorch两个框架，包括：
-
-- 环境变量
-- 三方库版本
-- 训练超参
-- 权重
-- 数据集
-- 随机操作
-
-
-## 安装教程
-
-参见 msprobe [安装教程](./01.installation.md)
-
-## 使用说明
-
-用户需要在两个待比对的训练的环境上分别进行数据采集, 工具会采集两个环境下影响精度的配置，采集结果上传到同一机器进行比对。
-
-### 数据采集
-
-#### 静态数据采集
-
-静态数据采集仅支持环境变量，三方库版本及训练超参采集，其中环境变量，三方库版本默认采集，训练超参采集需要用户传入启动训练的 shell 脚本路径或 yaml 配置文件，
-支持多个输入，不传入表示不采集。
-
-启动命令如下
-```shell
-msprobe -f pytorch/mindspore config_check -d **.sh **.yaml -o output_path
-```
--f或--framework 代表训练框架，传入pytorch或mindspore，必选。
-
--d或--dump 代表数据采集模式，可传入启动训练的 shell 脚本路径或 yaml 配置文件路径，可选，不传入代表不采集。
-
--o或--output 代表输出路径，可选，默认为 config_check_pack.zip，必须以 `.zip` 后缀结尾。
-
-#### 动态数据采集
-
-
-在训练流程执行到的第一个python脚本开始处插入如下代码：
-```
-from msprobe.core.config_check import ConfigChecker
-ConfigChecker.apply_patches(fmk)
-```
-
-说明：
-
-apply_patches：启动数据采集所需的各项patch，参数如下：
-
-- fmk：训练框架。可选 pytorch 和 mindspore ，不传默认为 pytorch。
-
-在模型初始化好之后插入如下代码：
-```
-from msprobe.core.config_check import ConfigChecker
-ConfigChecker(model=model, shell_path="", output_zip_path="./config_check_pack.zip", fmk="pytorch")
-```
-
-说明：
-
-ConfigChecker：对模型挂上数据采集所需的hook，会在每次模型前向将要被执行的一刻进行数据采集。参数如下：
-
-- model：初始化好的模型。不传或缺省就不会采集权重和数据集。
-- shell_path：动态采集模式下支持 **megatron** 训练超参自动捕获，使用 **megatron** 时推荐不传入，其他情况下可传入训练脚本路径，类型为列表，传入一个或多个训练配置/启动脚本。不传或缺省就不会采集超参。
-- output_zip_path：输出zip包的路径，不传默认为"./config_check_pack.zip"。
-- fmk：当前是什么框架。可选 pytorch 和 mindspore ，不传默认为 pytorch。
-
-采集完成后会得到一个zip包，里面包括各项[影响精度的配置](#介绍)。会分rank和step存储，其中step为micro_step。
-
-在另一个环境上执行上述操作，得到另一个zip包
-
-### 数据比对
-
-将两个zip包传到同一个环境下，使用如下命令进行比对：
-
-```shell
-msprobe -f pytorch config_check -c bench_zip_path cmp_zip_path -o output_path
-```
-
--c或--compare 表示compare，数据对比，有两个参数。其中**bench_zip_path** 为标杆侧采集到的数据， **cmp_zip_path** 为待对比侧采集到的数据。
-
-**output_path 里原有的比对结果会被覆盖**，不传默认为"./config_check_result"， 在 **output_path** 里会生成2个目录和1个文件：
-- bench：bench_zip_path里打包的数据。
-- cmp：cmp_zip_path里打包的数据。
-- result.xlsx：比对结果。里面会有多个sheet页，其中**summary**总览通过情况，其余页是具体检查项的详情。其中step为micro_step。
-
-## 通过标准
-
-以下五项检查通过：
-
-- 环境变量
-- 三方库版本
-- 训练超参
-- 权重
-- 数据集
-
-这五项检查在**精度比对**前必须保证达成。
-
-
-## FAQ
-
-1. 在使用 MindSpeed-LLM 进行数据采集时，需要注意动态数据采集中的 [apply_patches](#动态数据采集) 函数需要在 MindSpeed-LLM 
-框架 pretrain_gpt.py 的 megatron_adaptor 函数导入之后执行。
-
-2. 静态数据采集功能只能获取到系统中的环境变量，shell 脚本中解析的超参不支持复杂运算的数据还原，有类似问题时建议使用[动态采集方式](#动态数据采集)。

msprobe/docs/32.ckpt_compare.md

@@ -1,69 +0,0 @@
-# Checkpoint Compare
-
-## 介绍
-在模型训练过程中或结束后，可能保存一些检查点文件(checkpoint，简称ckpt)记录当前模型、优化器等训练状态, 工具支持比较两个不同的ckpt，评估模型相似度。
-
-当前支持Megatron-LM、MindSpeed(PyTorch/MindTorch)的ckpt比较。支持TP、PP、EP、VPP模型并行；支持megatron.core、megatron.legacy、TransformerEngine的模型实现。
-
-
-## 安装教程
-
-参见 msprobe [安装教程](./01.installation.md)
-
-## 使用说明
-Megatron、MindSpeed的ckpt加载依赖megatron，请确保megatron在python环境中或megatron在当前路径下。
-
-
-启动命令如下
-```shell
-msprobe --framework pytorch config_check --compare path1 path2 -o output_path.json
-```
-
-| 参数名 | 解释                                                                                           | 是否必选 |
-|--------|----------------------------------------------------------------------------------------------|--------|
-| -f 或 --framework | 深度学习框架，str类型。支持参数：pytorch,mindspore，注意：msadaptor场景传入mindspore。                               | 是 |
-| -c 或 --compare | 2个ckpt的路径。在ckpt传给工具加载前，用户需要确保ckpt是安全可信的，若ckpt来源官方有提供SHA256等校验值，用户必须要进行校验，以确保ckpt没有被篡改。 | 是 |
-| -o 或 --output | 比对结果输出路径，默认为 ./ckpt_similarity.json。输出路径存在时将报错终止。                                            | 否 |
-
-Megatron-LM 和 MindSpeed 的 ckpt 目录结构如下：
-
-```txt
-directory_name/
-├── iter_0000005/ # 某个iteration时的ckpt目录。
-│   └── mp_rank_xx_xxx/  # 单个rank的ckpt目录，xx_xxx为模型并行索引。
-│       └── model_optim_rng.pt   # 包含模型参数、随机状态等的PyTorch binary文件。
-├── iter_0000010/
-├── latest_checkpointed_iteration.txt  # 记录最后一个保存的ckpt的纯文本文件。
-```
-
-对于--compare参数的两个路径，为directory_name时，工具通过latest_checkpointed_iteration.txt自动选择latest checkpoint进行比对. 为directory_name/iter_xxxxxxx时, 工具使用指定iteration的ckpt进行比对。暂不支持单个rank的比对。
-
-## 输出示例
-Checkpoint比对结果以json文件输出，内容如下示例：
-```json
-{
-    "decoder.layers.0.input_layernorm.weight": {
-        "l2": 0.0, 
-        "cos": 0.999999,
-        "numel": 128,
-        "shape": [
-            128
-        ]
-    },
-    "decoder.layers.0.pre_mlp_layernorm.weight": {
-        "l2": 0.012, 
-        "cos": 0.98,
-        "numel": 128,
-        "shape": [
-            128
-        ]
-    }
-}
-```
-
-统计量 | 解释 |
-|-------|---------|
-| l2 | 欧式距离，$\|\|a-b\|\|_2$ |
-| cos | 余弦相似度， $\frac{<a,b>}{\|\|a\|\|_2\|\|b\|\|_2}$ |
-| numel | 参数的元素个数 |
-| shape | 参数的shape |

msprobe/docs/33.generate_operator_MindSpore.md

@@ -1,181 +0,0 @@
-# 单算子API自动生成脚本
-
-## 1 简介
-
-单算子API自动生成脚本通过提取dump数据中的可疑算子，对其进行单API复现，输出单API精度的比对结果。具体而言，该工具可以从dump数据中提取可疑API的前反向信息，根据前反向数据生成单API的前反向过程，最后通过**新精度标准比对法**<sup>a</sup>将 NPU 和 CPU 的结果进行比对，从而给出不同比对方法下的比对结果。本工具支持**随机生成模式和真实数据模式**<sup>b</sup>。
-
-a. 在生成单API脚本时可以选择由工具构造随机数获得 dump 数据或选择真实输入的数据进行单API复现。随机生成模式（对应 task: "statistics"）执行效率高，可以快速获得结果，但数据精度低，只能大致判断精度问题；真实数据模式（对应 task: "tensor"）执行效率略低于随机生成模式，但是数据精度高，可以准确判断精度问题。
-
-## 2 使用方式
-
-### 前提
-1. 安装 msprobe。详见[ msprobe 安装](./01.installation.md)章节。
-2. 已完成对训练过程的dump，获得dump.json文件。
-    [MindSpore 场景下的数据采集](./06.data_dump_MindSpore.md)章节或[Msadapter 场景下的数据采集](./29.data_dump_MSAdapter.md)章节，注意需要配置 level="L1"。
-
-3. 发现某个算子疑似存在精度问题，并得知算子名，如Mint.split.1、Functional.softmax.3、Tensor.add.0、Torch.matmul.5等,要求API入参与torch场景相同。
-
-4.（可选）当需要使用Msadapter时，由于需要环境中同时存在 Torch 与 Msadapter，所以只支持在**安装原生Torch**的场景下通过export PYTHONPATH="xx/msadapter/build/lib"等通过**环境变量使能Msadapter的方式**的环境中进行预检,预检工具能够自动索引得到所需的 Torch 与 Msadapter环境,环境安装详细参考:[msadapter官网](https://gitee.com/mindspore/msadapter)（该网站需要申请权限方可访问）。
-
-### 2.1 dump.json 示例（由dump生成）
-```
-{
-    "task": "statistics",
-    "level": "L1",
-    "framework": "mindtorch",
-    "dump_data_dir": null,
-    "data": {
-        "Tensor.reshape.779.forward": {
-            "input_args": [
-             {
-              "type": "mindspore.Tensor",
-              "dtype": "BFloat16",
-              "shape": [
-               8192,
-               896
-              ],
-              "Max": 0.62890625,
-              "Min": -0.78515625,
-              "Mean": 0.00035858154296875,
-              "Norm": 105.0
-             },
-             {
-              "type": "int",
-              "value": -1
-             },
-             {
-              "type": "int",
-              "value": 896
-             }
-            ],
-            "input_kwargs": {},
-            "output": [
-             {
-              "type": "mindspore.Tensor",
-              "dtype": "BFloat16",
-              "shape": [
-               8192,
-               896
-              ],
-              "Max": 0.62890625,
-              "Min": -0.78515625,
-              "Mean": 0.00035858154296875,
-              "Norm": 105.0
-             }
-            ]
-           },
-           "Tensor.reshape.779.backward": {
-            "input": [
-             {
-              "type": "mindspore.Tensor",
-              "dtype": "BFloat16",
-              "shape": [
-               8192,
-               896
-              ],
-              "Max": 0.0,
-              "Min": 0.0,
-              "Mean": 0.0,
-              "Norm": 0.0
-             }
-            ],
-            "output": [
-             {
-              "type": "mindspore.Tensor",
-              "dtype": "BFloat16",
-              "shape": [
-               8192,
-               896
-              ],
-              "Max": 0.0,
-              "Min": 0.0,
-              "Mean": 0.0,
-              "Norm": 0.0
-             }
-            ]
-           }
-        }
-    }
-```
-
-### 2.2 配置config_op.json
-单API复现参数配置如下（以复现softmax算子为例）：
-```
-{
-    "dump_json_path": "./dump.json",
-    "api_name": "Tensor.reshape.779",
-    "extract_api_path": "Tensor.reshape.779",
-    "propagation": "backward",
-    "data_mode": "random_data",
-    "random_seed": 42,
-    "iter_times": 1
-}
-```
-**配置文件参数说明**
-
-   | 参数名称                     | 解释                                                                                                                                                    | 
-   | ---------------------------- |-------------------------------------------------------------------------------------------------------------------------------------------------------| 
-   | dump_json_path   | dump.json的文件路径，包含所有dump算子的信息；如果已经提取了可疑算子并保存可以不指定。                                                                                                     |
-   | api_name             | 算子名（目前MindSpore支持类型包括：Mint，Tensor，Msadapter支持类型包括：Tensor，Functional，Torch类中可自动求导api），如Mint.split.1，Functional.softmax.3、Tensor.add.0、Torch.matmul.5等。 | 
-   | extract_api_path               | 提取可疑算子的json文件路径                                                                                                                                       | 
-   | propagation | 选择复现算子的forward还是backward，默认为forward                                                                                                                   | 
-   | data_mode                 | 选择复现算子的随机数据（random_data）还是真实数据（real_data）模式，默认为random_data                                                                                            |
-   | random_seed | 仅random_data模式有效，表示手动设定的随机种子，默认为42                                                                                                                    | 
-   | iter_times             | 仅random_data模式有效，表示单API运行的次数，由于安全相关原因，最大支持设置为1000                                                                                                     |
-
- ### 2.3 运行命令生成单API脚本
-config_op.json配置好后，运行如下命令：
-```
-msprobe -f mindspore op_generate -i ./config_op.json -o ./
-```
-
-**参数说明**
-   | 参数名称                     | 解释                                                         | 是否必选                           |
-   | ---------------------------- | ------------------------------------------------------------ | ---------------------------------- |
-   | -i 或 --config_input   | config_op.json的路径                                   | 是                                 |
-   | -o 或 --api_output_path             | 单API脚本的输出路径                            | 是                                 |
- 
-### 2.4 运行单API脚本
- 运行完op_generator.py后，会在指定路径下生成api_name.py的单API脚本，例如Mint.split.1.forward.py、Functional.softmax.3.backward.py、Tensor.add.0.forward.py、Torch.matmul.5.backward.py
-
-运行单API脚本即可获得不同比对方法下的比对结果
-```
-python api_name.py
-```
-
-**运行结果说明**
-
-单算子脚本生成到路径`./op_result_output`的 `accuracy_checking_result_{timestamp}.csv` 和 `accuracy_checking_details_{timestamp}.csv` 文件内容详情如下：
-
-`accuracy_checking_details_{timestamp}.csv`
-
-| 字段      | 含义       |
-| ------------------- | ------------------------------------------------------------ |
-| API Name            | API 名称。                                        |
-| Bench Dtype         | 标杆数据的 API 数据类型。      |
-| Tested Dtype        | 被检验数据的 API 数据类型。                                  |
-| Shape               | API 的 Shape 信息。       |
-| Cosine              | 被检验数据与标杆数据的余弦相似度。                         |
-| MaxAbsErr           | 被检验数据与标杆数据的最大绝对误差。                       |
-| MaxRelativeErr      | 被检验数据与标杆数据的最大相对误差。                     |
-| Status              | API 预检通过状态，pass 表示通过测试，error 表示未通过。 |
-| Message             | 提示信息。            |
-
-注意：PyTorch 无法对 dtype 为整数类型的 tensor 进行反向求导，而 MindSpore 支持。反向过程的预检仅比较 dtype 为浮点型的输出。
-
-`accuracy_checking_result_{timestamp}.csv`
-
-| 字段                  | 含义      |
-| --------------------- | ----------------- |
-| API Name              | API 名称。         |
-| Forward Test Success  | 前向 API 是否通过测试，pass 为通过，error 为错误。 |
-| Backward Test Success | 反向 API 是否通过测试，pass 为通过，error 为错误，如果是空白的话代表该 API 没有反向输出。 |
-| Message               | 提示信息。         |
-
-Forward Test Success 和 Backward Test Success 是否通过测试是由 `accuracy_checking_details_{timestamp}.csv` 中的余弦相似度、最大绝对误差判定结果决定的。具体规则详见 [3.1 API 预检指标](#31-api-预检指标)。
-需要注意的是 `accuracy_checking_details_{timestamp}.csv` 中可能存在一个 API 的前向（反向）有多个输出，那么每个输出记录一行，而在 `accuracy_checking_result_{timestamp}.csv` 中的结果需要该 API 的所有结果均为 pass 才能标记为 pass，只要存在一个 error 则标记 error。
-
-### 3.1 API 预检指标
-
-   - API 预检指标是通过对 `accuracy_checking_details_{timestamp}.csv` 中的余弦相似度、最大绝对误差的数值进行判断，得出该 API 是否符合精度标准的参考指标。
-   - 余弦相似度大于 0.99，并且最大绝对误差小于 0.0001，标记“pass”，否则标记为“error”。

msprobe/docs/34.RL_collect.md

@@ -1,101 +0,0 @@
-# 强化学习数据采集
-
-## 介绍
-在强化学习训练过程中，往往存在多个模型（actor、reward、reference）和两个阶段（推理、训练），问题定界困难。
-
-本工具提供一种灵活存储强化学习训练过程中关键阶段性数据的能力，并支持对比两次采集的关键数据，以支持问题快速定界。
-
-常用关键数据示例：prompt、response、reward、log_prob、ref_log_probe、old_log_probe、kl_loss。
-
-
-## 安装教程
-
-参见 msprobe [安装教程](./01.installation.md)。
-
-## 使用说明
-
-### 数据采集
-
-用户识别脚本中需要采集数据的地方，然后通过插入代码的方式采集关键数据。
-
-当确定需要采集数据的地方，例如response，可以按如下方式对数据进行存储：
-```
-from msprobe.core import SingleSave
-SingleSave(dump_path="./dump_path", fmk="pytorch")
-SingleSave.save(data={"response": response})
-```
-SingleSave：初始化一个单点存储模块，参数如下：
-- dump_path：输出路径，"./dump_path"为输出路径，没有默认值，需要自己配置。
-- fmk：当前训练框架。可选"pytorch"或者"mindspore"，默认"pytorch"。
-
-SingleSave.save：将需要存储的数据落盘，数据会分step分rank存储，并支持后续比对，参数如下：
-- data：是需要存储的数据，是一批key和value组成的dict，key是用户自己决定的数据名称，会成为后续落盘数据中的目录，value是代码里需要存储的变量，支持tensor、tuple、list。比如其中"response"是可以任意指定的key，response是训练过程中的真实tensor变量。
-
-也支持一次性存储多个数据：
-```
-from msprobe.core import SingleSave
-SingleSave("./dump_path", fmk="pytorch")
-SingleSave.save({
-    "prompt": prompt,
-    "response": response
-    })
-```
-
-### 配置保存
-
-当确定需要采集数据配置json的地方，可以按如下方式对配置进行存储：
-```
-from msprobe.core import SingleSave
-SingleSave("./dump_path")
-SingleSave.save_config(data=configurations_json)
-```
-
-SingleSave.save_config：将配置信息进行存储，入参如下：
-- data：需要存储的配置信息，需要是一个dict。
-
-采集到的数据目录结构如下：
-```txt
-dump_path/
-├── data/ # 固定为data
-│   └── response/  # 关键数据名称，来自SingleSave.save的时候的key
-│           └── step0/  # step数
-│               └── rank0/   # rank数
-│                     └── micro_step0/   #micro_step数
-|                              └── response0.npy   #存储的关键数据的真实npy文件
-|                              └── response0.json  #存储的关键数据的统计量文件，包括tensor的最大、最小、均值、norm、shape
-├── configurations.json  # 配置json文件
-```
-
-### 结果比对
-
-两次采集数据之后得到dump_path1和dump_path2，可以创建一个比对脚本，例如compare.py，将两次训练的dump_path传入：
-```
-from msprobe.core import SingleComparator
-SingleComparator.compare(
-    dir1="dump_path1", 
-    dir2="dump_path2", 
-    output_path="output_path")
-```
-SingleComparator.compare：将两次采集的数据进行比对，参数如下：
-- dir1：需要比对的其中一个dump_path，对应SingleSave的dump_path。
-- dir2：需要比对的令一个dump_path，对应SingleSave的dump_path。
-- output_path：比对结果输出路径，默认为"./msprobe_compare_output"。
-- num_processes：比对的时候起多少个进程，默认为8。
-会在output_path下对每种关键数据都生成excel结果表格，比如response.xlsx，形式为关键数据的名字加上.xlsx后缀。
-
-表格会体现每一个对应tensor的差异，解释：
-
-表头 | 解释 |
-|-------|---------|
-| step | 训练步数 |
-| rank | 卡号 |
-| micro_step | 梯度累计步数 |
-| id | 参数的shape |
-| shape1 | dump_path1中的数据形状 |
-| shape2 | dump_path2中的数据形状 |
-| 相同元素百分比 | 元素相同的个数占总元素个数的百分比 |
-| 首个不匹配元素索引 | 首个匹配不上的元素是第几个 |
-| 最大绝对误差 | 最大绝对误差 |
-| 最大相对误差 | 最大相对误差 |
-| 误差在千分之一内元素占比 | 误差在千分之一内元素个数占总元素个数的百分比 |
-| 误差在百分之一内元素占比 | 误差在百分之一内元素个数占总元素个数的百分比 |

msprobe/docs/35.nan_analyze.md

@@ -1,73 +0,0 @@
-# 整网首个溢出节点分析
-
-## 介绍
-在分析inf、nan的场景下，会采集多个rank下的多个step的dump数据，前面出现的异常会传播到同rank后续的节点，并通过通信算子传播到其他rank的后续节点中，因此如何分析首个nan出现的节点位置尤为重要。
-
-通过nan_analyze工具可以对pytorch的dump数据进行分析。在多卡场景下，检测到每张卡中产生inf/nan的节点。若是经过通信导致的inf/nan，可以分析并找出首个产生inf/nan的rank和节点。
-
-## 安装教程
-
-参见 msprobe [安装教程](./01.installation.md)。
-
-## 使用说明
-
-当前仅支持分析pytorch的dump数据。
-
-### 采集数据
-
-参见 [PyTorch 场景的精度数据采集](./05.data_dump_PyTorch.md)。
-
-### 执行命令
-
-```commandline
-msprobe -f pytorch nan_analyze -i dump_step_path -o output_dir_path
-```
-
-| 参数                 | 说明                                          |
-|--------------------|---------------------------------------------|
-| -f 或 --framework   | 指定训练框架。pytorch。必选。                          |
-| -i 或 --input_path  | dump数据的目录。需指定到step层级，如`-i /xxx/dump/step0/` |
-| -o 或 --output_path | 输出文件的目录，可选，不填时默认在当前目录下创建 \"./output/" 目录。   |
-
-### 输出文件介绍
-
-当日志打印
-```
-Cannot find any anomaly node, no need to generate analyze file.
-```
-时，分析认为不存在异常节点，不生成分析文件。
-
-存在异常节点时，生成`anomaly_analyze_{timestamp}.json`文件，结构为：
-```json
-{
-  "rank_0": [  // 卡号
-    {
-      "op_name": "Tensor.op_name.0.forward",  // 节点名
-      "data_info": {
-        "input_args": [],  // input_args数据
-        "input_kwargs": {},  // input_kwargs数据
-        "output": []  // output数据
-      },
-      "construct_info": [],  // 节点层级数据
-      "stack_info": {}   // 堆栈数据
-    }
-  ]
-}
-```
-
-## 异常判定
-
-### 异常计算节点判定
-当某个计算节点的输入值正常，即Max或Min中不存在inf或nan，而输出值存在异常时认为从此节点开始产生了溢出，并有可能向后传递。
-
-### 异常通信节点判定
-通信节点按照功能分为有向节点，如`send`, `recv`, `scatter`, `gather`, `broadcast`, `reduce`等，以及无向节点，如`all_gather`, `all_reduce`, `reduce_scatter`, `all_to_all`等。
-
-对于有向节点，当src节点的input存在异常时，通常认为传入的数据中本身就存在异常，因此考虑异常节点发生在src节点所在rank的上一个或多个计算节点中；当src节点的input正常而output存在异常值，或dst节点的output存在异常值时，考虑是通信节点本身的操作产生了异常数据。
-
-对于无向节点，当节点input存在异常时，认为传入的数据中本身就存在异常，因此考虑异常节点发生在src节点所在rank的上一个或多个计算节点中；当input正常而output异常时，考虑是通信节点本身的操作产生了异常数据。
-
-### 顺序判定
-对于相连接的有向通信算子，认为src节点的异常发生早于dst节点；对于无向通信算子，认为异常是同时发生的。
-
-对于计算节点按照dump的顺序排序。

msprobe/docs/36.calculation_result_change.md

@@ -1,75 +0,0 @@
-# 模型计算结果改变原因分析
-
-## 介绍
-在模型训练场景下，使用seed_all接口同时固定随机性和打开计算，通信确定性计算，是能够保证模型跑两次得到的loss和gnorm结果完全一样。如果出现使能工具后loss或者gnorm出现偏差，可能是以下原因导致。
-
-## 工具引入同步导致计算结果变化
-工具采集统计量数据时，会涉及到将device上的tensor计算后的统计量信息通过item的时候传到cpu侧，再落盘到json文件中，item操作是一个同步的操作，可能会导致模型的计算结果出现变化。**一般的现象就是模型计算出现了NaN，但加了工具后问题不复现了。**
-
-ASCEND_LAUNCH_BLOCKING 是一个环境变量，用于控制在 PyTorch 训练或在线推理场景中算子的执行模式。当设置为“1”时，算子将采用同步模式运行。因此如果出现加工具计算结果变化，可以设置ASCEND_LAUNCH_BLOCKING 为1，如果结果一样发生了变化，则说明是由于同步引起的结果改变。这个时候需要复现问题现象完成问题定位，推荐使用msprobe工具的异步dump功能，具体使用方式可查看[config配置](02.config_introduction.md)中的async_dump字段。
-
-## Hook机制导致计算结果变化
-
-pytorch/mindspore的hook机制会导致某些特殊场景下梯度计算的累加序产生变化，从而影响模型反向计算的gnorm结果。具体代码示例如下：
-```python
-import random, os
-import numpy as np
-import torch
-from torch import nn
-
-
-class Net(nn.Module):
-    def __init__(self) -> None:
-        super().__init__()
-        self.ln1 = nn.Linear(32, 32)
-        self.bn1 = nn.BatchNorm1d(32)
-        self.ln2 = nn.Linear(32, 32)
-
-    def forward(self, x):
-        x1 = self.ln1(x)
-
-        x2 = self.bn1(x)
-        x2 = self.ln2(x2)
-        return x1 + x2
-
-
-class BigNet(nn.Module):
-    def __init__(self) -> None:
-        super().__init__()
-        self.net1 = Net()
-        self.net2 = Net()
-
-    def forward(self, x):
-        out1 = self.net1(x)
-        out2 = self.net2(out1)
-        return out1, out2
-
-
-def my_backward_hook(module, grad_input, grad_output):
-    pass
-
-
-if __name__ == "__main__":
-    os.environ["HCCL_DETERMINISTIC"] = 'true'
-
-    seed = 1234
-    os.environ["PYTHONHASHSEED"] = str(seed)
-    torch.manual_seed(seed)
-    random.seed(seed)
-    np.random.seed(seed)
-
-    model = BigNet()
-    model.net2.register_full_backward_hook(my_backward_hook)
-    inputs = torch.randn(3, 32)
-
-    out1, out2 = model(inputs)
-    loss = out1.sum() + out2.sum()
-    loss.backward()
-
-    for name, param in model.named_parameters():
-        print(f"{name}: {param.grad.mean()}")
-
-```
-执行一遍以上脚本，可以打印得到模型中各层的权重梯度，注释model.net2.register_full_backward_hook(my_backward_hook)后再执行一篇，可以看出bn层的权重梯度已经发生了变化。
-
-**如果在msprobe L0，mix级别采集出现gnorm发生变化，可以尝试将采集级别改为L1，若L1级别gnorm不发生变化，则大概率是hook机制导致的梯度计算结果变化。**