mindstudio-probe 8.3.3__py3-none-any.whl → 26.0.0a1__py3-none-any.whl

msprobe/docs/25.tool_function_introduction.md

@@ -1,29 +0,0 @@
-# msprobe 工具功能模块简介、适用场景和当前版本局限性
-
-## 1 PyTorch框架
-
-| 功能名（英文）                                                                          | 简介                                                                                                                                                | 适用场景/优势                                                                                                                                                       | 当前版本局限性                                                                                                                                                                                            |
-| --------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
-| [数据采集<br>（dump）](./05.data_dump_PyTorch.md)                                      | 采集模型训练过程中的API或Module层级的前反向输入输出数据，包括层次关系、统计值信息、真实数据和调用栈等。                                             | 1、将模型中训练的API或Module的前反向输入输出数据保存下来分析<br> 2、模型出现溢出时，可用于查看哪些API或Module出现了溢出                                         | 1、API级数据采集仅支持白名单列表上的API<br>2、工具会做一些同步操作，引入工具可能会导致一些同步问题消失<br>3、当前对inplace操作API或Module的支持度有限<br>4、暂不支持参数及参数梯度的采集      |
-| [离线预检<br>（api_accuracy_checker）](./07.accuracy_checker_PyTorch.md)               | 为网络中每个API创建用例，检验其精度，并根据不同比对算法综合判定API在NPU上的精度是否达标，快速找出精度差异API。                                      | 1、对模型中所有的API做精度初步排查<br>2、精度排查不受模型累计误差影响                                                                                           | 1、依赖GPU环境<br>2、不支持通信算子<br>3、仅支持部分融合算子                                                                                                                                      |
-| [整网比对<br>（compare）](./10.accuracy_compare_PyTorch.md)                            | 计算模型整网NPU和标杆设备的精度误差指标，标记精度异常API或Module，助力快速定位精度问题根因。                                                        | 1、整网比对定位精度可疑算子                                                                                                                                         | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响<br>2、当模型规模较大时，比对所需时间较长                                                                                                        |
-| [溢出检查<br>（overflow_checker）](./12.overflow_check_PyTorch.md)                     | 检测模型计算过程的输入输出，并在溢出时落盘数据，助力用户快速定位溢出位置。                                                                          | 1、当模型出现溢出时，用于快速定位最先溢出的API或Module<br>2、相比数据采集，性能更优，磁盘压力更小                                                               | 1、局限性同数据采集                                                                                                                                                                                       |
-| [数据解析<br>（parse_tool）](./14.data_parse_PyTorch.md)                               | 交互式界面处理解析kernel层级dump数据，便于查看分析。                                                                                                | 1、比对kernel层级dump数据的一致性                                                                                                                                   | 1、仅限于NPU                                                                                                                                                                                              |
-| [无标杆比对<br>（free_benchmark）](./15.free_benchmarking_PyTorch.md)                  | 不依赖标杆数据，通过对算子输入增加微小扰动，计算扰动后输出与原始输出的相对误差，识别有精度风险算子。                                                | 1、无标杆数据场景下的算子精度排查<br>2、对个别算子进行升精度、“to cpu”等操作，以验证其对模型loss的影响                                                        | 1、由于需要拷贝输入进行二次执行，所以在遇到大张量的输入时容易发生显存OOM的问题, 特别是反向比对过程。建议结合白名单使用<br>2、比对会延长训练时间，整网比对可能会造成严重的耗时膨胀，建议结合白名单使用 |
-| [梯度状态监测<br>（grad_probe）](./17.grad_probe.md)                                   | 可导出模型权重梯度数据并对比相似度，助力确认训练过程精度问题step和反向中的异常。                                                                    | 1、需要分析梯度数据时<br>2、需要定位发生问题的step时                                                                                                            | 暂无                                                                                                                                                                                                      |
-| [在线精度比对<br>（online_dispatch）](./18.online_dispatch.md)                         | 训练过程中直接完成NPU和CPU的精度比对并输出比对结果。                                                                                                | 1、执行一次就可获取NPU和CPU分别执行后的精度比对结果                                                                                                                 | 暂无                                                                                                                                                                                                      |
-| [训练状态监控<br>（monitor）](./19.monitor.md)                                         | 收集模型训练过程中的激活值、梯度和优化器状态，助力分析计算、通信、优化器各部分异常情况。                                                            | 1、通过监控模块级统计量指标，快速定位异常模块位置，如loss出现nan                                                                                                    | 1、仅支持模块级别统计量指标分析<br>2、仅支持megatron、deepspeed框架<br>3、少量增加时间和显存膨胀                                                                                                  |
-| [可视化比对<br>（visualization） ](./21.visualization_PyTorch.md)                      | 解析dump的精度数据，还原模型图结构，比对各层级精度数据，助力理解模型结构、分析精度问题。                                                            | 1、整网精度比对定位可疑算子，通过浏览器展示比对结果，支持快速搜索到可疑算子<br>2、支持查看模型层级结果，比对模型层级结构差异                                    | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响<br>2、当模型规模较大时，比对所需时间较长                                                                                                        |
-| [单API自动生成脚本<br>（generate_operator） ](./23.generate_operator_PyTorch.md)       | 解析dump的精度数据，提取可疑的API算子，自动生成单API复现脚本，并根据不同的API采用不同的比对算法，给定最终比对结果数据；帮助开发者分析算子精度问题。 | 1、该工具支持从整网dump下来的数据中提取可疑算子，并自动生成单API脚本<br>2、除了支持复现单API的前反向过程，同时会根据不同的API选择不同的比对方法，并给出比对结果 | 1、不支持通信算子<br>2、融合算子需手动修改脚本进行适配<br>3、目前比对的标杆均为和CPU进行比对，暂不支持直接NPU和GPU比对                                                                            |
-
-## 2 MindSpore框架
-
-| 功能名（英文）                                                               | 简介                                                                                                           | 适用场景/优势                                                                                                                     | 当前版本局限性                                                                                                                                                                                                                                                                         |
-| ---------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
-| [数据采集 <br>（dump）](./06.data_dump_MindSpore.md)                        | 采集模型训练过程中的API或Cell层级的前反向输入输出数据，包括层次关系、统计值信息、真实数据和调用栈等。          | 1、将模型中训练的API或Cell的前反向输入输出数据保存下来分析 <br> 2、模型出现溢出时，可用于查看哪些API或Cell出现了溢出          | 1、API级数据采集仅支持白名单列表上的API <br>2、当前对inplace操作API或Cell的支持度有限 <br>3、暂不支持参数及参数梯度的采集                                                                                                                                                      |
-| [离线预检 <br>（api_accuracy_checker）](./09.accuracy_checker_MindSpore.md) | 为网络中每个API创建用例，检验其精度，并根据不同比对算法综合判定API在NPU上的精度是否达标，快速找出精度差异API。 | 1、对模型中所有的API做精度初步排查 <br>2、精度排查不受模型累计误差影响                                                        | 1、仅针对MindSpore.mint API                                                                                                                                                                                                                                                            |
-| [整网比对 <br>（compare）](./11.accuracy_compare_MindSpore.md)              | NPU精度数据与标杆数据的比对，支持MindSpore框架内和与PyTorch跨框架的比对，助力快速定位精度异常API或Cell。       | 1、MindSpore同框架静态图比对 <br>2、MindSpore同框架动态图比对 <br>3、MindSpore vs PyTorch跨框架动态图比对                 | 1、部分PyTorch的API关联不到MindSpore，需要手动配置映射关系                                                                                                                                                                                                                             |
-| [溢出检查 <br>（overflow_checker）](./13.overflow_check_MindSpore.md)       | 检测模型计算过程的输入输出，并在溢出时落盘数据，助力用户快速定位溢出位置。                                     | 1、当模型出现溢出时，可用于定位最先溢出的API或Cell或kernel <br>2、相比数据采集，性能更优，磁盘压力更小                        | 1、除具有与数据采集功能相同的局限性外，动态图场景下，不支持 Primitive 和 Jit 类 API 的检测 <br>2、动态图场景下，仅支持检测API或Cell级别溢出 <br>3、静态图场景下，仅支持检测kernel级别溢出                                                                                      |
-| [无标杆比对 <br>（free_benchmark）](./16.free_benchmarking_MindSpore.md)    | 不依赖标杆数据，通过对算子输入增加微小扰动，计算扰动后输出与原始输出的相对误差，识别有精度风险算子。           | 1、无标杆数据场景下的算子精度排查 <br>2、对个别算子进行升精度修复，验证其对模型loss的影响                                     | 1、仅支持动态图场景 <br>2、由于需要拷贝输入进行二次执行，所以在遇到大张量的输入时容易发生显存OOM的问题, 特别是反向比对过程。建议结合白名单使用 <br>3、比对会延长训练时间，整网比对可能会造成严重的耗时膨胀，建议结合白名单使用 <br>4、不支持“to cpu”操作，不支持预热功能 |
-| [可视化比对 <br>（visualization） ](./22.visualization_MindSpore.md)        | 解析dump的精度数据，还原模型图结构，比对各层级精度数据，助力理解模型结构、分析精度问题。                       | 1、整网精度比对定位可疑算子，通过浏览器展示比对结果，支持快速搜索到可疑算子 <br>2、支持查看模型层级结果，比对模型层级结构差异 | 1、由于使用整网dump数据，定位的可疑算子受累计误差影响 <br>2、当模型规模较大时，比对所需时间较长                                                                                                                                                                                    |
-| [训练状态监控 <br>（monitor）](./19.monitor.md)                             | 收集模型训练过程中的激活值、梯度和优化器状态，助力分析计算、通信、优化器各部分异常情况。                       | 1、通过监控模块级统计量指标，快速定位异常模块位置，如loss出现nan                                                                  | 1、仅支持模块级别统计量指标分析 <br>2、仅支持megatron、deepspeed框架 <br>3、少量增加时间和显存膨胀                                                                                                                                                                             |

msprobe/docs/26.data_dump_PyTorch_baseline.md

@@ -1,48 +0,0 @@
-# PyTorch 场景的精度数据采集基线
-
-## "statistics"模式采集时间膨胀参考基线
-
-该基线为PyTorch框架下，使用"statistics"模式采集数据性能膨胀的参考基线。本基线测试了单层 DeepSeek 大模型在不同采集模式8卡下的时间膨胀。
-
-| 采集模式 | 无工具 (耗时) |  加工具但未使能 Dump (耗时)  |   加工具并使能 Dump (耗时)   | 加工具并使能 Md5 Dump (耗时) |
-|:--------:|:--------:|:-------------------:|:--------------------:|:--------------------:|
-| L0       | ≈95.1 ms |   ≈95.5 ms （无膨胀）    | ≈420.0 ms  （膨胀4.5倍）  |  ≈1011.3 s  （膨胀10倍）  |
-| L1       | ≈95.1 ms  | ≈115.8 ms  （膨胀1.2倍） | ≈2469.0 ms  （膨胀26倍）  |  ≈8636.0 s  （膨胀90倍）  |
-| mix      | ≈95.1 ms  | ≈117.8 ms  （膨胀1.2倍） | ≈3635.4 ms  （膨胀38 倍） | ≈10698.3 s  （膨胀112倍） |
-
-
-## "tensor"模式采集数据量参考基线
-
-该基线为PyTorch框架下，使用"tensor"模式采集数据量参考基线。本基线测试了两个模型，分别为LLAMA2-7B和LLAMA2-13B，测试了不同采集模式下，不同global_batch_size下，单卡和8卡下，数据量的变化。
-
-### LLAMA2-7B
-
-<table>
-    <tr><th>采集模式</th><th>global_batch_size</th><th>单卡</th><th>8卡</th></tr>
-    </td><td rowspan="3">L0</td><td>1</td><td>7.8GB</td><td>63GB</td></tr>
-    <tr><td>2</td><td>16GB</td><td>125GB</td></tr>
-    <tr><td>3</td><td>24GB</td><td>187GB</td></tr>
-    </td><td rowspan="3">L1</td><td>1</td><td>300.8GB</td><td>2.3TB</td></tr>
-    <tr><td>2</td><td>480GB</td><td>3.6TB</td></tr>
-    <tr><td>3</td><td>640GB</td><td>4.9TB</td></tr>
-    </td><td rowspan="3">mix</td><td>1</td><td>313.6GB</td><td>2.4TB</td></tr>
-    <tr><td>2</td><td>512GB</td><td>3.8TB</td></tr>
-    <tr><td>3</td><td>672GB</td><td>5.1TB</td></tr>
-
-</table>
-
-### LLAMA2-13B
-
-<table>
-    <tr><th>采集模式</th><th>global_batch_size</th><th>单卡</th><th>8卡</th></tr>
-    </td><td rowspan="3">L0</td><td>1</td><td>13GB</td><td>97GB</td></tr>
-    <tr><td>2</td><td>25GB</td><td>194GB</td></tr>
-    <tr><td>3</td><td>37GB</td><td>291GB</td></tr>
-    </td><td rowspan="3">L1</td><td>1</td><td>440GB</td><td>3.4TB</td></tr>
-    <tr><td>2</td><td>720GB</td><td>5.4TB</td></tr>
-    <tr><td>3</td><td>960GB</td><td>7.3TB</td></tr>
-    </td><td rowspan="3">mix</td><td>1</td><td>480GB</td><td>3.6TB</td></tr>
-    <tr><td>2</td><td>720GB</td><td>5.6TB</td></tr>
-    <tr><td>3</td><td>1000GB</td><td>7.7TB</td></tr>
-
-</table>