mindstudio-probe 8.3.3__py3-none-any.whl → 26.0.0a1__py3-none-any.whl

msprobe/docs/FAQ.md

@@ -1,232 +0,0 @@
-
-
-# 1 数据采集
-
-1. dump.json中API或Module统计信息里出现null或None值的原因是什么？
-
-   dump.json里出现null或None值的可能性较多，常见的场景有：
-
-   - 输入或者输出参数本身是一个None值。
-   - 输入参数或输出参数类型当前工具不支持，会有日志打印提醒。
-   - 输入或者输出tensor的dtype为bool时，Mean和Norm等字段为null。
-
-2. 如果存在namedtuple类型的数据作为nn.Module的输出，工具会将各字段数据dump下来，但是输出数据类型会被转成tuple，原因是什么？
-   - 这是由于pytorch框架自身，在注册module的backward hook时，会将namedtuple类型转成tuple类型。
-
-3. 如果某个api在dump支持列表support_wrap_ops.yaml中，但没有dump该api的数据，原因是什么？
-   - 首先确认api调用是否在采集范围内，即需要在 **start** 和 **stop** 接口涵盖的范围内。
-   - 其次，由于工具只在被调用时才对api进行patch，从而使得数据可以被dump下来。因此当api是被直接import进行调用时，由于该api的地址已经确定，
-   工具无法再对其进行patch，故而该api数据无法被dump下来。如下示例，relu将无法被dump：
-   ```python
-   import torch
-   from torch import relu  # 此时relu地址已经确定，无法修改
-
-   from msprobe.pytorch import PrecisionDebugger
-
-   debugger = PrecisionDebugger(dump_path="./dump_data")
-   x = torch.randn(10)
-   debugger.start()  # 此时会对torch下面的api进行patch，但已无法对import进来的api进行patch了
-   x = relu(x)          
-   debugger.stop()
-   ```
-   在上述场景中，若希望采集relu数据，只需要将`relu(x)`修改为`torch.relu(x)`即可。
-
-4. 在使用L0 dump时，发现有些 module 的数据没有采集下来，原因是什么？
-   - 确认日志打印中是否存在`The {module_name} has registered deprecated register_backward_hook`信息，
-     该信息说明 module 挂载了被 PyTorch 框架废弃的 register_backward_hook，这与工具使用的 register_full_backward_hook 接口会产生冲突，故工具会跳过该 module 的反向数据采集。
-   - 如果您希望所有 module 数据都能采集下来，可以将模型中使用的 register_backward_hook 接口改为 PyTorch 框架推荐的 register_full_backward_pre_hook 或 register_full_backward_hook 接口。
-
-5. 在vllm场景下进行数据dump时，发现报错：`RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and npu:0!`
-   - 这是因为工具的debugger实例化早于LLM实例化导致的，解决方法就需要将debugger的实例化移至LLM实例化之后进行，可参考下方示例：
-   ```python
-   from vllm import LLM, SamplingParams
-   from msprobe.pytorch import PrecisionDebugger
-   prompts = [
-      "Hello, my name is",
-      "The president of the United States is",
-      "The capital of France is",
-      "The future of AI is",
-   ]
-
-   sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
-   llm = LLM(model="Qwen/Qwen2.5-0.5B-Instruct")
-   
-   debugger = PrecisionDebugger("./config.json")  # debugger实例化晚于LLM实例化
-   
-   debugger.start()
-   outputs = llm.generate(prompts, sampling_params)
-   debugger.stop()
-   ```
-
-6. 在使用 msprobe 进行 PyTorch 框架的数据采集功能时，请注意确认环境变量 NPU_ASD_ENABLE=0 ，即关闭特征值检测功能。 由于工具冲突， 在该功能开启的情况下可能导致某些 api 数据采集的缺失。
-
-# 2 精度预检(PyTorch)
-
-1. 预检工具在 dump 和 run_ut 的过程中，是否需要同时开启或关闭 jit 编译（jit_compile）？
-
-   答：是。
-
-2. 预检工具对于 type_as 这类涉及数据类型转换操作的 API，是否具有参考性？
-
-   由于这类 API 在 CPU 侧存在精度先提升后下降的操作，因此这类 API 的有效性的参考价值有限。
-
-3. run ut 过程中出现报错：ERROR: Got unsupported ScalarType BFloat16。
-
-   答：请使用最新版本的工具。
-
-4. Dropout 算子，CPU 和 NPU 的随机应该不一样，为什么结果比对是一致的？
-
-   答：这个结果是正常的，工具对该算子有特殊处理，只判定位置为 0 的位置比例大约和设定 p 值相当。
-
-5. 为什么浮点型数据 bench 和 CPU 的 dtype 不一致？
-
-   答：对于 fp16 的数据，CPU 会上升一个精度 fp32 去计算，这是和算子那边对齐的精度结论，CPU 用更高精度去计算会更接近真实值。
-
-6. Tensor 魔法函数具体对应什么操作？
-
-   答：
-
-   | Tensor魔法函数  | 具体操作         |
-   | --------------- | ---------------- |
-   | `__add__`       | +                |
-   | `__and__`       | &                |
-   | `__bool__`      | 返回 Tensor 布尔值 |
-   | `__div__`       | /                |
-   | `__eq__`        | ==               |
-   | `__ge__`        | >=               |
-   | `__gt__`        | >                |
-   | `__iadd__`      | +=               |
-   | `__iand__`      | &=               |
-   | `__idiv__`      | /=               |
-   | `__ifloordiv__` | //=              |
-   | `__ilshift__`   | <<=              |
-   | `__imod__`      | %=               |
-   | `__imul__`      | *=               |
-   | `__ior__`       | \|=              |
-   | `__irshift__`   | >>=              |
-   | `__isub__`      | -=               |
-   | `__ixor__`      | ^=               |
-   | `__lshift__`    | <<               |
-   | `__matmul__`    | 矩阵乘法         |
-   | `__mod__`       | %                |
-   | `__mul__`       | *                |
-   | `__nonzero__`   | 同 `__bool__`     |
-   | `__or__`        | \|               |
-   | `__radd__`      | +（反向）        |
-   | `__rmul__`      | *（反向）        |
-   | `__rshift__`    | >>               |
-   | `__sub__`       | -                |
-   | `__truediv__`   | 同 `__div__`      |
-   | `__xor__`       | ^                |
-
-# 3 精度比对(PyTorch)
-
-## 3.1 工具使用
-
-### 3.1.1 dump 指定融合算子
-
-数据采集当前支持融合算子的输入输出，需要在 `mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml` 中添加，比如以下代码段调用的 softmax 融合算子。
-
-```python
-def npu_forward_fused_softmax(self, input_, mask):
-    resl = torch_npu.npu_scaled_masked_softmax(input_, mask, self.scale, False)
-    return resl
-```
-
-如果需要 dump 其中调用的 npu_scaled_masked_softmax 算子的输入输出信息，需要在 `support_wrap_ops.yaml` 中的 `torch_npu: ` 中自行添加该融合算子：
-
-```yaml
-- npu_scaled_masked_softmax
-```
-
-（npu_scaled_masked_softmax 融合算子工具已支持 dump，本例仅供参考）。
-
-## 3.2 常见问题
-
-1. 在同一个目录多次执行 dump 会冲突吗？
-
-    答：会，同一个目录多次 dump，会覆盖上一次结果，可以使用 dump_path 参数修改 dump 目录。
-
-2. 如何 dump 算子级的数据？
-   
-   答：需要配置 level 为 L2 模式。
-
-3. 工具比对发现 NPU 和标杆数据的 API 无法完全对齐？
-
-    答：torch 版本和硬件差异属于正常情况。
-
-## 3.3 异常情况
-
-1. HCCL 报错： error code: EI0006。
-
-    **故障现象**：使用 msprobe 工具时，报错：error code: EI0006。
-
-    **故障原因**：CANN 软件版本较低导致不兼容。
-
-    **故障处理**：升级新版 CANN 软件版本。
-
-2. torch_npu._C._clear_overflow_npu() RuntimeError NPU error，error code is 107002。
-
-    如果运行溢出检测功能遇到这个报错，采取以下解决方法：
-
-    如果是单卡运行，添加如下代码，0 是卡号，选择自己空闲的卡号。
-
-    ```python
-    torch.npu.set_device('npu:0')
-    ```
-
-    如果多卡运行，请在代码中修改对应卡号，比如进程使用卡号为 {rank} 时可以添加如下代码：
-
-    ```python
-    torch.npu.set_device(f'npu:{rank}')
-    ```
-
-    如果运行精度比对功能遇到这个报错，尝试安装最新版本的 msprobe。
-
-3. dump 得到的 `VF_lstm_99_forward_input.1.0.npy`、`VF_lstm_99_forward_input.1.1.npy` 类似的数据是否正常？
-
-    带 1.0/1.1/1.2 后缀的 npy 是正常现象，例如，当输入数据为 [[tensor1, tensor2, tensor3]] 会生成这样的后缀。
-
-4. 进行 compare 报错：The current file contains stack information, please turn on the stack_mode。
-
-    在比对脚本中，设置 `stack_mode=True`，例如：
-
-    ```python
-    from msprobe.pytorch import compare
-    dump_result_param={
-    "npu_json_path": "./npu_dump/dump.json",
-    "bench_json_path": "./gpu_dump/dump.json",
-    "stack_json_path": "./npu_dump/stack.json",
-    "is_print_compare_log": True
-    }
-    compare(dump_result_param, output_path="./output", stack_mode=True)
-    ```
-
-5. dump 指定反向 API 的 kernel 级别的数据报错：NameError：name 'torch_npu' is not defined。
-
-   答：如果是 npu 环境，请安装 torch_npu；如果是 gpu 环境，暂不支持 dump 指定 API 的 kernel 级别的数据。
-
-6. 配置 dump_path 后，使用工具报错：[ERROR] The file path /home/xxx/dump contains special characters。
-
-   答：请检查你设置的 dump 绝对路径是否包含特殊字符，确保路径名只包含大小写字母、数字、下划线、斜杠、点和短横线；注意，如果执行脚本的路径为 /home/abc++/，设置的 dump_path="./dump"，工具实际校验的路径为绝对路径 /home/abc++/dump，++ 为特殊字符，会引发本条报错。
-
-7. 无法 dump matmul 权重的反向梯度数据。
-
-   答：matmul 期望的输入是二维，当输入不是二维时，会将输入通过 view 操作展成二维，再进行 matmul 运算，因此在反向求导时，backward_hook 能拿到的是 UnsafeViewBackward 这步操作里面数据的梯度信息，取不到 MmBackward 这步操作里面数据的梯度信息，即权重的反向梯度数据。典型的例子有，当 linear 的输入不是二维，且无 bias 时，会调用 output = input.matmul(weight.t())，因此拿不到 linear 层的 weight 的反向梯度数据。
-
-8. dump.json 文件中的某些 api 的 dtype 类型为 float16，但是读取此 api 的 npy 文件显示的 dtype 类型为 float32。
-
-    答：msprobe 工具在 dump 数据时需要将原始数据从 npu to cpu 上再转换为 numpy 类型，npu to cpu 的逻辑和 gpu to cpu 是保持一致的，都存在 dtype 可能从 float16 变为 float32 类型的情况，如果出现 dtype 不一致的问题，最终采集数据的 dtype 以 pkl 文件为准。
-
-9. 使用 dataloader 后 raise 异常 Exception("msprobe: exit after iteration {}". format(max(self.config.step)))。
-
-   答：正常现象，dataloader 通过 raise 结束程序，堆栈信息可忽略。
-
-10. 使用 msprobe 工具数据采集功能后，模型出现报错，报错信息为：`activation_func must be F.gelu` 或 `ValueError(Only support fusion of gelu and swiglu)`。
-
-    答：这一类报错常见于 Megatron/MindSpeed/ModelLink 等加速库或模型仓中，原因是工具本身会封装 torch 的 API（API类型和地址会发生改变），而有些 API 在工具使能前类型和地址就已经确定，此时工具无法对这类 API 再进行封装，而加速库中会对某些 API 进行类型检查，即会把工具无法封装的原始的 API和工具封装之后的 API 进行判断，所以会报错。
-    规避方式有3种：①将PrecisionDebugger的实例化放在文件的开始位置，即导包后的位置，确保所有API都被封装；②注释 `mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml` 文件中的 `-gelu` 或者 `-silu`，工具会跳过采集该 API。③ 可以考虑根据报错堆栈信息注释引发报错的类型检查。
-
-11. 添加 msprobe 工具后触发与 AsStrided 算子相关、或者编译相关的报错，如：`Failed to compile Op [AsStrided]`。
-
-    答：注释工具目录 `mstt/debug/accuracy_tools/msprobe/pytorch/hook_module/support_wrap_ops.yaml` 文件中 `Tensor: `下的 `-t` 和 `- transpose`。

msprobe/docs/S02.report_free_benchmarking_validation_performance_baseline.md

@@ -1,146 +0,0 @@
-# 无标杆工具场景验证和性能基线报告
-
-## 1 环境信息
-
-NPU：Atlas A2 训练系列产品
-
-CPU：
-
-![输入图片说明](img/cpu_info.png)
-
-Torch：2.1.0
-
-CANN：8.0.T5
-
-除上述环境信息影响性能外，API 的数量、种类以及 Shape 都会对性能产生影响，因此本次选取不同场景网络和不同算子进行测试。
-
-## 2 模型信息和性能基线
-
-大模型在使用 msprobe 采集数据时，建议先简化模型层数，减少采集数据量。
-
-以下场景的性能基线测试数据均为多次测试后取平均值，实际运行时性能数据可能会根据环境状态稍有浮动。
-
-### [2.1 ModelLink 模型](https://gitee.com/ascend/ModelLink)
-
-NUM_LAYER：1
-
-NPU 卡数：1
-
-主要数据类型：FLOAT16
-
-#### 2.1.1 LLaMA2-7B
-
-softmax 算子为 FLOAT32，输入输出大小均为 2G，为模型最大显存开销的 API。在该模型下、对无标杆工具处理模式、插装范围、扰动方式组合下的性能和显存基线进行验证。
-
-| 处理模式   | 前/反向  | 算子范围  | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注    |
-|-------|--------|------|-----|-------|---------|--------|-------|--------|
-| /        | /       | /           | /                 | 0.24      | 13.69          | 1            | 1                | 混合精度模式基线                   |
-| check    | 前      | ["softmax"] | improve_precision | 0.26      | 13.69          | 1.08         | 1             | softmax 本身为高精度，跳过      |
-| check    | 前      | ["softmax"] | add_noise         | 0.54      | 19.17          | 2.25         | 1.40             |                                |
-| check    | 前      | ["softmax"] | bit_noise         | 0.56      | 19.17          | 2.33         | 1.40             |                                |
-| check    | 前      | ["softmax"] | change_value      | 0.48      | 14.9           | 2            | 1.09             |                                |
-| check    | 前      | ["softmax"] | no_change         | 0.47      | 14.9           | 1.96         | 1.09             |                                |
-| check | 前 | ["softmax"] | to_cpu | 26.45 | 22.67 | 110.21 | 1.66 | 不建议整网 |
-| check    | 前      | ["matmul"]  | improve_precision | 0.57      | 13.69          | 2.38       | 1                |                                |
-| check    | 前      | ["matmul"]  | change_value      | 0.48      | 13.69          | 2            | 1                |                                |
-| check | 前 | ["matmul"] | to_cpu | 78.43 | 19.20 | 326.79 | 1.40 | 不建议整网 |
-| check | 前 | [] | improve_precision | 3.45 | 18.79 | 14.37 | 1.37 | |
-| check | 前 | [] | add_noise | 4.67 | 19.17 | 19.46 | 1.40 | |
-| check | 前 | [] | bit_noise | 16.99 | 19.17 | 70.79 | 1.40 | |
-| check | 前 | [] | no_change | 3.22 | 14.90 | 13.42 | 1.09 | |
-| check    | 反      | ["softmax"] | improve_precision | 6.23      | 25.69          | 25.96        | 1.88             | 不建议整网                     |
-| check    | 反      | ["softmax"] | change_value      | 22.76     | 25.69          | 94.83        | 1.88             | 不建议整网                     |
-| check | 反 | ["softmax"] | to_cpu | 141.71 | 26.19 | 590.46 | 1.91 | 不建议整网 |
-| fix      | 前      | ["softmax"] | to_cpu            | 9.70      | 16.67          | 40.42        | 1.22             | 不支持整网、不支持反向         |
-| fix      | 前      | ["softmax"] | improve_precision | 0.26      | 14.67          | 1.08         | 1.07             | 不支持整网、不支持反向         |
-| 预热     | 前      | []          | improve_precision | 155.07 | 24.79 | 646.13 | 1.81 | 低精度模型基线、只测预热的迭代 |
-| 预热     | 反      | []          | improve_precision | 72.29 | 22.01 | 301.21 | 1.61 | 低精度模型基线、只测预热的迭代，grad_output 为高精度的算子跳过 |
-
-#### 2.1.2 Aquila2-7B
-
-| 处理模式  | 前/反向   | 算子范围   | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注    |
-|----------|------|-----|---|----|-----|-------|------|-------------|
-| /        | /       | /           | /                 | 0.17 | 13.66 | 1            | 1                | 混合精度模式基线   |
-| check    | 前      | []          | improve_precision | 1.57 | 14.24 | 9.24 | 1.04 |                                |
-| check    | 反      | []          | add_noise         | 21.05 | 14.19 | 123.82 | 1.04 |                                |
-| fix      | 前      | []          | improve_precision | 0.95 | 15.55 | 5.59 | 1.14 |                                |
-
-#### 2.1.3 Baichuan2-7B
-
-| 处理模式  | 前/反向  | 算子范围 | 扰动方式 | 耗时（s）| 显存峰值（GB）| 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注                           |
-|----|-----|---|--|----|----|------|-------|---------|
-| /        | /       | /           | /                 | 0.26 | 12.12 | 1            | 1                | 混合精度模式基线    |
-| check    | 前      | []          | improve_precision | 1.02 | 12.27 | 3.92 | 1.01 |                                |
-| check    | 反      | []          | add_noise         | 11.15 | 12.67 | 42.88 | 1.05 |                                |
-| fix      | 前      | []          | improve_precision | 0.95 | 12.82 | 3.65 | 1.06 |                                |
-
-#### 2.1.4 Bloom-7B
-
-| 处理模式  | 前/反向  | 算子范围  | 扰动方式 | 耗时（s）| 显存峰值（GB）| 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
-|-----|------|------|------|----|-----|-----|-------|----|
-| /        | /       | /           | /                 | 0.14 | 9.51 | 1            | 1                | 混合精度模式基线  |
-| check    | 前      | []          | improve_precision | 1.64 | 11.58 | 11.71 | 1.22 |                                |
-| check    | 反      | []          | add_noise         | 17.15 | 9.51 | 122.5 | 1 |                                |
-| fix      | 前      | []          | improve_precision | 0.87 | 10.62 | 6.21 | 1.12 |                                |
-
-#### 2.1.5 Interlm-7B
-
-| 处理模式   | 前/反向   | 算子范围   | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
-|-------------|--------|-------|----|------|-----|------|-------|----|
-| /        | /       | /           | /                 | 0.13 | 10.76 | 1            | 1                | 混合精度模式基线   |
-| check    | 前      | []          | improve_precision | 1.19 | 11.68 | 9.15 | 1.09 |                                |
-| check    | 反      | []          | add_noise         | 11.69 | 10.89 | 89.92 | 1.01 |                                |
-| fix      | 前      | []          | improve_precision | 0.75 | 11.68 | 5.77 | 1.09 |                                |
-
-#### 2.1.6 Qwen-7B
-
-| 处理模式   | 前/反向   | 算子范围 | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
-|--------|-------|-----|-----|----|------|-----|------|------|
-| /        | /       | /           | /                 | 0.28 | 18.41 | 1            | 1                | 混合精度模式基线  |
-| check    | 前      | []          | improve_precision | 2.34 | 23.18 | 8.36 | 1.26 |                                |
-| check    | 反      | []          | add_noise         | 22.07 | 19.47 | 78.82 | 1.06 |                                |
-| fix      | 前      | []          | improve_precision | 1.31 | 21.11 | 4.68 | 1.15 |                                |
-
-#### 2.1.7 Gemma-7B
-
-| 处理模式    | 前/反向   | 算子范围  | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
-|--------|-------|------|---|----|-----|-----|-----|---------|
-| /        | /       | /           | /                 | 0.15 | 11.06 | 1            | 1                | 混合精度模式基线    |
-| check    | 前      | []          | improve_precision | 1.49 | 13.17 | 9.93 | 1.19 |                                |
-| check    | 反      | []          | add_noise         | 16.69 | 11.06 | 111.27 | 1 |                                |
-| fix      | 前      | []          | improve_precision | 0.87 | 12.25 | 5.8 | 1.11 |                                |
-
-### [2.2 ModelZoo-PyTorch 模型](https://gitee.com/ascend/ModelZoo-PyTorch)
-
-#### 2.2.1 ResNet50-Cifar
-
-NPU 卡数：1
-
-主要数据类型：FLOAT16
-
-主要算子为 conv2d，每个 step 有 51 个, 因此对 conv2d 进行检测。CV 模型、依赖 mmcv 实现（如果不修改 mmcv 代码、工具无法获取 step 信息和反向信息）。
-
-| 处理模式   | 前/反向   | 算子范围  | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
-|------------|---------|--------|-----|------|---|--------|-------|----|
-| /        | /       | /           | /                 | 0.09      |  7.63         | 1            | 1                | 基线                   |
-| check    | 前      | ["conv2d"]  | improve_precision | 0.889      | 7.94          |  9.81       |  1.04            |                                |
-| fix      | 前      | ["conv2d"]  | improve_precision | 0.328      | 7.47          |  3.64       |  0.91            |                                |
-| fix      | 前      | ["conv2d"]  | to_cpu            | 12.23      | 7.47          |  135.88     |  0.91              |                                |
-
-#### 2.2.2 OpenSora1.0
-
-NPU 卡数：4
-
-主要数据类型：FLOAT16
-
-每张卡每个 step 中 linear 算子个数为 257 个，FA 算子个数为 83（FA 算子反向无效）。
-
-| 处理模式   | 前/反向  | 算子范围  | 扰动方式 | 耗时（s） | 显存峰值（GB） | 耗时膨胀倍数 | 显存峰值膨胀倍数 | 备注   |
-|------------|------|-------|----|----|-----|-----|------|-----|
-| /   | /  | /  | /      | 0.99 | 17.61 | 1   | 1     | 混合精度模式基线    |
-| check    | 前      | ["linear","npu_fusion_attention"] | improve_precision | 3.88 | 17.61 | 3.92 | 1 |                                |
-| check | 前 | ["linear","npu_fusion_attention"] | add_noise | 3.46 | 17.61 | 3.49 | 1 | |
-| check | 反 | ["linear"] | improve_precision | 12.61 | 17.61 | 12.74 | 1 | |
-| check    | 反      | ["linear"]  | add_noise         | 9.8 | 17.61 | 9.90 | 1 |                                |
-| fix      | 前      | ["linear"] | to_cpu            | 18.83 | 17.61 | 19.02 | 1 |                                |
-| fix | 前 | ["linear"] | improve_precision | 2.83 | 17.61 | 2.86 | 1 | |

msprobe/docs/accuracy_checker_MindSpore/accuracy_checker_MindSpore_baseline.md

@@ -1,14 +0,0 @@
-# MindSpore 场景的精度预检基线
-
-## "multi_run_ut"模式精度预检耗时参考基线
-
-该基线为MindSpore框架下，使用"multi_run_ut"模式精度预检耗时参考基线。本基线测试了38B语言大模型在不同卡数下耗时的变化。
-
-### 38B语言大模型
-
-| 卡数  | 总耗时 (分钟) | 备注       |
-| ----- |----------|---------- |
-| 1 卡  | 21.0     | 单卡基线    |
-| 2 卡  | 11.5     | 双卡基线    |
-| 4 卡  | 6.7      | 四卡基线    |
-| 8 卡  | 3.5      | 八卡基线    |

msprobe/docs/data_dump_MindSpore/data_dump_MindSpore_baseline.md

@@ -1,33 +0,0 @@
-# MindSpore 场景的精度数据采集基线
-
-## "statistics"模式（未开启md5）采集**时间**膨胀参考基线
-
-该基线为MindSpore框架下，使用"statistics"模式采集数据性能膨胀参考基线。测试了38B语言大模型在不同采集模式8卡下的性能膨胀。
-
-| 采集模式 | 无工具 (耗时) |  加工具但未使能 Dump (耗时)   | 加工具并使能 Dump (耗时) |
-|:--------:|:-------------:|:--------------------:|:----------------:|
-| L0       | ≈340 ms       |    ≈340 ms （无膨胀）     | ≈1.2 s  （膨胀3.5倍） |
-| L1       | ≈340 ms       | ≈0.7–1.2 s  （膨胀2~4倍） | ≈3.8 s   （膨胀11倍） |
-| mix      | ≈340 ms       | ≈0.7–1.2 s  （膨胀2~4倍） | ≈5.5 s  （膨胀16倍）  |
-
-
-## "tensor"模式采集**数据量**参考基线
-
-该基线为MindSpore框架下，使用"tensor"模式采集数据量参考基线。本基线测试了38B语言大模型在不同采集模式下，不同global_batch_size下，单卡和8卡下，数据量的变化。
-
-### 38B语言大模型
-
-<table>
-    <tr><th>采集模式</th><th>global_batch_size</th><th>单卡</th><th>8卡</th></tr>
-    </td><td rowspan="3">L0</td><td>1</td><td>262GB</td><td>2.1T</td></tr>
-    <tr><td>2</td><td>480GB</td><td>3.8T</td></tr>
-    <tr><td>3</td><td>928GB</td><td>7.4T</td></tr>
-    </td><td rowspan="3">L1</td><td>1</td><td>2.1TB</td><td>17.1TB</td></tr>
-    <tr><td>2</td><td>2.8T</td><td>22.7TB</td></tr>
-    <tr><td>3</td><td>4.2T</td><td>34.3TB</td></tr>
-    </td><td rowspan="3">mix</td><td>1</td><td>2.4T</td><td>19.2TB</td></tr>
-    <tr><td>2</td><td>3.3TB</td><td>26.6TB</td></tr>
-    <tr><td>3</td><td>5.1TB</td><td>41.4TB</td></tr>
-
-</table>
-

msprobe/docs/data_dump_MindSpore/dynamic_graph_quick_start_example.md

@@ -1,217 +0,0 @@
-# 动态图精度数据采集快速入门示例
-
-本示例将展示如何在 MindSpore 动态图模式下使用 msprobe 工具进行精度数据采集。
-
-## 1. 配置文件
-
-请在当前目录下创建一个名为 `config.json` 的配置文件，内容如下：
-
-```json
-{
-    "task": "statistics",
-    "dump_path": "./output",
-    "rank": [],
-    "step": ["0-2"],
-    "level": "L1",
-    "statistics": {
-        "scope": [],
-        "list": [],
-        "data_mode": [
-            "all"
-        ],
-        "summary_mode": "statistics"
-    }
-}
-
-```
-以上配置参数详细介绍和使用请参见[《config.json 配置文件介绍》](../02.config_introduction.md)和[《config.json 配置示例》](../03.config_examples.md#3-mindspore-动态图场景) 中的“MindSpore动态图场景”。
-
-## 2. 模型脚本
-
-在当前目录下创建一个 Python 脚本文件，例如 `alexnet_model.py`，将以下代码粘贴进去：
-
-```python
-import os
-import numpy as np
-import mindspore as ms
-from mindspore import nn, ops
-from mindspore import context, set_device, set_deterministic
-from mindspore import Tensor
-from msprobe.mindspore import PrecisionDebugger, seed_all
-
-# 设置随机种子以确保结果可重现
-seed_all(seed=1234, mode=False, rm_dropout=True)
-
-# 配置文件路径
-script_dir = os.path.dirname(os.path.abspath(__file__))
-config_path = os.path.join(script_dir, 'config.json')
-
-# 初始化精度调试器
-debugger = PrecisionDebugger(config_path=config_path)
-
-# 设置 MindSpore 设备上下文
-context.set_context(mode=ms.PYNATIVE_MODE)
-
-set_device("Ascend", 0)
-
-set_deterministic(True)
-print("Context set successfully. Please wait for the training task.")
-
-# 定义卷积层
-def conv_layer(in_channels, out_channels, kernel_size, stride=1, padding=0, pad_mode="valid", has_bias=True):
-    return nn.Conv2d(in_channels, out_channels, kernel_size=kernel_size, stride=stride, padding=padding,
-                     has_bias=has_bias, pad_mode=pad_mode)
-
-# 定义全连接层
-def fc_layer(input_channels, out_channels, has_bias=True):
-    return nn.Dense(input_channels, out_channels, has_bias=has_bias)
-
-
-class AlexNet(nn.Cell):
-    """
-    AlexNet 模型定义
-
-    参数:
-    - num_classes: 分类数量
-    - channel: 输入通道数（图像的颜色通道数）
-    - phase: 模型运行阶段（'train' 或 'test'）
-    - include_top: 是否包含全连接层的顶部（最后的分类层）
-    """
-    def __init__(self, num_classes=10, channel=3, phase='train', include_top=True):
-        super(AlexNet, self).__init__()
-
-        # 卷积层
-        self.conv1 = conv_layer(channel, 64, 11, stride=4, pad_mode="same")
-        self.conv2 = conv_layer(64, 128, 5, pad_mode="same")
-        self.conv3 = conv_layer(128, 192, 3, pad_mode="same")
-        self.conv4 = conv_layer(192, 256, 3, pad_mode="same")
-        self.conv5 = conv_layer(256, 256, 3, pad_mode="same")
-
-        # 激活函数和池化层
-        self.relu = nn.ReLU()
-        self.max_pool2d = nn.MaxPool2d(kernel_size=3, stride=2, pad_mode='valid')
-
-        # 如果包括顶部（全连接层）
-        self.include_top = include_top
-        if self.include_top:
-            self.flatten = nn.Flatten()
-            self.fc1 = fc_layer(256 * 28 * 28, 4096)
-            self.fc2 = fc_layer(4096, 4096)
-            self.fc3 = fc_layer(4096, num_classes)
-
-        # 数学操作
-        self.add = ops.Add()
-        self.mul = ops.Mul()
-
-    def construct(self, x):
-        """定义前向传播过程"""
-
-        x = self.conv1(x)
-        x = self.add(x, 0.1)  # 偏置加法
-        x = self.mul(x, 2.0)  # 乘法操作
-        x = self.relu(x)  # ReLU 激活函数
-        x = ops.celu(x) 
-        x = x + 2
-
-        # 打印每层输出形状，调试时可使用
-        print(f"After Conv1: {x.shape}")
-
-        x = self.max_pool2d(x)  # Max pooling 操作
-        print(f"After MaxPool: {x.shape}")  # 打印池化后的形状
-
-        x = self.conv2(x)
-        x = self.relu(x)
-
-        x = self.conv3(x)
-        x = self.relu(x)
-
-        x = self.conv4(x)
-        x = self.relu(x)
-
-        x = self.conv5(x)
-        x = self.relu(x)
-
-        # 打印卷积层后的形状，调试时使用
-        print(f"After Conv5: {x.shape}")
-
-        # 可选的全连接层部分
-        if self.include_top:
-            x = self.flatten(x)
-            x = self.fc1(x)
-            x = self.fc2(x)
-            x = self.fc3(x)
-
-        return x
-
-# 前向函数
-def forward_fn(data, label):
-    out = net(data)
-    loss = criterion(out, label)
-    return loss
-
-# 训练步骤
-def train_step(data, label):
-    loss, grads = grad_fn(data, label)
-    optimizer(grads)
-    return loss
-
-# 测试模型
-if __name__ == "__main__":
-    net = AlexNet()
-    optimizer = nn.SGD(net.trainable_params(), learning_rate=0.01)
-    criterion = nn.MSELoss()
-
-    grad_fn = ms.value_and_grad(forward_fn, None, optimizer.parameters)
-
-    # 生成数据和标签
-    batch_size = 1
-    num_classes = 10
-    data = np.random.normal(1, 1, (batch_size, 3, 227, 227)).astype(np.float32)
-    label = np.random.randint(0, num_classes, (batch_size,)).astype(np.float32)  # 注意此处类型应为 float32
-
-    # 转换为 MindSpore 张量
-    data = Tensor(data)
-    label = Tensor(label)
-
-    steps = 5
-    for i in range(steps):
-        debugger.start(net)  # 启动调试器
-        loss = train_step(data, label)  # 执行训练步骤
-        print(f"Step {i}, Loss: {loss}")
-        debugger.stop()  # 停止调试器
-        debugger.step()  # 计数步数
-```
-
-## 3. 运行训练脚本
-
-在命令行中执行以下命令：
-
-```bash
-python alexnet_model.py
-```
-
-## 4. 查看采集结果
-
-执行训练命令后，工具会将模型训练过程中的精度数据采集下来。
-
-日志中打印出现如下信息表示数据采集成功，即可手动停止模型训练查看采集数据。
-
-```markdown
-****************************************************************************
-*                        msprobe ends successfully.                        *
-****************************************************************************
-```
-
-## 5. 数据分析
-
-在 `dump_path` 参数指定的路径下（本例中为 `./output`），会出现如下目录结构，后续精度数据分析操作可使用 msprobe 工具的精度预检和精度比对等功能，详细流程请参见[《msprobe使用手册》](../../README.md#2-精度预检)。
-
-```bash
-output/
-└── step0
-    └── rank
-        ├── construct.json             # level为L0时，保存Cell的层级关系信息。当前场景为空
-        ├── dump.json                  # 保存API前反向输入输出数据的统计量信息
-        └── stack.json                 # 保存API的调用栈
-    ......
-```