mindstudio-probe 1.1.1__py3-none-any.whl → 1.2.1__py3-none-any.whl

msprobe/core/data_dump/scope.py

@@ -45,7 +45,7 @@ class ScopeFactory:
 
         if self.level == Const.LEVEL_MIX:
             return mix_range_scope
-        
+
         if not self.scope:
             return api_range_scope
         if api_range_scope.is_valid and module_range_scope.is_valid:
@@ -73,21 +73,21 @@ class BaseScope(ABC):
     def rectify_args(scope, api_list):
         if not isinstance(api_list, list):
             raise ScopeException(ScopeException.InvalidApiStr,
-                f"api_list参数须配置为列表，实际类型为{type(api_list)}.")
+                                 f"api_list参数须配置为列表，实际类型为{type(api_list)}.")
         for api in api_list:
             if not isinstance(api, str):
                 raise ScopeException(ScopeException.InvalidApiStr,
-                    f"api_list中的元素须配置为字符串，实际类型为{type(api)}.")
+                                     f"api_list中的元素须配置为字符串，实际类型为{type(api)}.")
         if isinstance(scope, str):
             scope = [scope]
             return scope, api_list
         if not isinstance(scope, list):
             raise ScopeException(ScopeException.InvalidScope,
-                f"scope参数须配置为字符串或列表，实际类型为{type(scope)}.")
+                                 f"scope参数须配置为字符串或列表，实际类型为{type(scope)}.")
         for s in scope:
             if not isinstance(s, str):
                 raise ScopeException(ScopeException.InvalidScope,
-                f"scope列表元素要求类型为字符串，实际类型为{type(s)}.")
+                                     f"scope列表元素要求类型为字符串，实际类型为{type(s)}.")
         return scope, api_list
 
     @abstractmethod
@@ -108,7 +108,7 @@ class ListScope(BaseScope):
     def rectify_args(scope, api_list):
         if scope and api_list:
             raise ScopeException(ScopeException.ArgConflict,
-                f"scope和api_list不可以同时配置，实际配置为scope={scope}, api_list={api_list}.")
+                                 f"scope和api_list不可以同时配置，实际配置为scope={scope}, api_list={api_list}.")
         return super(ListScope, ListScope).rectify_args(scope, api_list)
 
     def check(self, name):
@@ -123,6 +123,7 @@ class RangeScope(BaseScope, ABC):
         super().__init__(*args)
         self.in_scope = False
         self.in_list = False
+        self.start_name_set = set()
         self.is_valid = self.check_scope_is_valid()
 
     def check_name_pattern(self, name):
@@ -133,23 +134,23 @@ class RangeScope(BaseScope, ABC):
         if self.level == Const.LEVEL_L1:
             if not re.match(api_pattern, name):
                 raise ScopeException(ScopeException.InvalidScope,
-                                    f"scope参数格式错误，要求格式为api完整命名，实际为{name}.")
-        
+                                     f"scope参数格式错误，要求格式为api完整命名，实际为{name}.")
+
         if self.level == Const.LEVEL_L0:
             if not re.match(module_pattern, name):
                 raise ScopeException(ScopeException.InvalidScope,
-                                    f"scope参数格式错误，要求格式为模块完整命名，实际为{name}.")
+                                     f"scope参数格式错误，要求格式为模块完整命名，实际为{name}.")
 
         if self.level == Const.LEVEL_MIX:
             if not re.match(api_pattern, name) and not re.match(module_pattern, name):
                 raise ScopeException(ScopeException.InvalidScope,
-                                    f"scope参数格式错误，要求格式为api或模块完整命名，实际为{name}.")
+                                     f"scope参数格式错误，要求格式为api或模块完整命名，实际为{name}.")
 
     def rectify_args(self, scope, api_list):
         scope, api_list = super(RangeScope, RangeScope).rectify_args(scope, api_list)
         if scope and len(scope) != 2:
             raise ScopeException(ScopeException.InvalidScope,
-                f"scope参数指定区间断点，须传入长度为2的列表，实际长度为{len(scope)}.")
+                                 f"scope参数指定区间断点，须传入长度为2的列表，实际长度为{len(scope)}.")
         for name in scope:
             self.check_name_pattern(name)
         return scope, api_list
@@ -229,30 +230,31 @@ class ModuleRangeScope(RangeScope):
 class MixRangeScope(RangeScope):
     def check_scope_is_valid(self):
         return True if self.scope else False
-        
+
     def begin_module(self, module_name):
         if self.scope and module_name == self.scope[0]:
             self.in_scope = True
         for name in self.api_list:
             if name in module_name:
                 self.in_list = True
+                self.start_name_set.add(module_name)  # 记录每一个开启in_list的module_name
 
     def end_module(self, module_name):
         if self.scope and module_name == self.scope[1]:
             self.in_scope = False
-        for name in self.api_list:
-            if name in module_name:
-                self.in_list = False
+        self.start_name_set.discard(module_name)  # 从集合中删除每一个module_name
+        if not self.start_name_set:  # 如果集合为空，说明当前module_name是最后一个开启in_list的module_name
+            self.in_list = False  # 关闭in_list
 
     def check_api_list(self, api_name):
         if not self.api_list:
             return True
-        
+
         for name in self.api_list:
             if name in api_name:
                 return True
         return False
-    
+
     def check(self, name):
         """
         dump时调用的接口，根据scope和api_list判断是否需要dump
@@ -270,4 +272,3 @@ class MixRangeScope(RangeScope):
         if self.scope and name == self.scope[1]:
             self.in_scope = False
         return result
-    

msprobe/core/overflow_check/abnormal_scene.py

@@ -37,7 +37,11 @@ class AnomalyScene:
     @staticmethod
     def _has_anomaly(data: Union[Dict, Any]) -> bool:
         """检查张量是否包含异常值"""
-        return has_nan_inf(data)
+        if isinstance(data, dict):
+            return has_nan_inf(data)
+        elif isinstance(data, list):
+            return any(AnomalyScene._has_anomaly(x) for x in data)
+        return False
 
     def get_details(self) -> Dict:
         """获取异常详情"""
@@ -70,14 +74,14 @@ class InputOutputAnomalyScene(AnomalyScene):
     def has_input_anomaly(self) -> bool:
         """检查输入是否有异常（包括args和kwargs）"""
         # args
-        args_anomaly = any(self._has_anomaly(x) for x in self.api_data.input_args if isinstance(x, dict))
+        args_anomaly = any(self._has_anomaly(x) for x in self.api_data.input_args)
         # kwargs
-        kwargs_anomaly = any(self._has_anomaly(x) for x in self.api_data.input_kwargs.values() if isinstance(x, dict))
+        kwargs_anomaly = any(self._has_anomaly(x) for x in self.api_data.input_kwargs.values())
         return args_anomaly or kwargs_anomaly
 
     def has_output_anomaly(self) -> bool:
         """检查输出是否有异常"""
-        return any(self._has_anomaly(x) for x in self.api_data.output_data if isinstance(x, dict))
+        return any(self._has_anomaly(x) for x in self.api_data.output_data)
 
     def matches(self) -> bool:
         """判断是否匹配该场景"""
@@ -121,7 +125,7 @@ class NumericalMutationScene(AnomalyScene):
     """
         检查数值突变，统计输入args、kwargs中norm值，同时统计输出的norm最大值，计算差异，大于 threshold 则认为是异常情况
     """
-    def __init__(self, api_info: APIInfo, threshold: float = 100000.0):
+    def __init__(self, api_info: APIInfo, threshold: float = 100.0):
         super().__init__(api_info)
         self.threshold = threshold
 

msprobe/core/overflow_check/checker.py

@@ -62,7 +62,7 @@ class AnomalyDetector:
         """从原始数据创建APIInfo实例"""
         return APIInfo(
             api_name=api_name,
-            input_args=data.get(Const.INPUT_ARGS, []),
+            input_args=data.get(Const.INPUT_ARGS, data.get(Const.INPUT, [])),
             input_kwargs=data.get(Const.INPUT_KWARGS, {}),
             output_data=data.get(Const.OUTPUT, [])
         )

msprobe/core/overflow_check/utils.py

@@ -15,7 +15,7 @@
 
 from typing import Any
 
-CHECK_FIELDS = ['Max', 'Min', 'Mean', 'Norm']
+CHECK_FIELDS = ['Max', 'Min', 'Mean']
 OVERFLOW_VALUES = ['inf', '-inf', 'nan']
 
 

msprobe/docs/01.installation.md

@@ -16,6 +16,8 @@ pip install mindstudio-probe
 
 |版本|发布日期|支持 PyTorch 版本|支持 MindSpore 版本|下载链接|校验码|
 |:--:|:--:|:--:|:--:|:--:|:--:|
+|1.2.0|2025.1.13|1.11/2.0/2.1/2.2|2.4.0|[mindstudio_probe-1.2.0-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/1.2/mindstudio_probe-1.2.0-py3-none-any.whl)|1e3aeea1706112f6ee52fd1165037936bb209138f0b9ec42ea21e2c1c8942cdc|
+|1.1.1|2024.12.09|1.11/2.0/2.1/2.2|2.4.0|[mindstudio_probe-1.1.1-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/1.1/mindstudio_probe-1.1.1-py3-none-any.whl)|577b597555dc155b76ba1a62d575c3546004644e140a456c3ba0824d46283735|
 |1.1.0|2024.10.14|1.11/2.0/2.1/2.2|2.4.0|[mindstudio_probe-1.1.0-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/1.1/mindstudio_probe-1.1.0-py3-none-any.whl)|83a5a9b7c65a357639f8c9636d88c693b4cf0eb590d4f8f5cb56395ba69b1f6d|
 |1.0.4|2024.09.09|1.11/2.0/2.1/2.2|2.4.0|[mindstudio_probe-1.0.4-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/1.0/mindstudio_probe-1.0.4-py3-none-any.whl)|4e1909566a71a855b356597750c20ee43d964a22b2c2b02ac08312a5def75fd6|
 | 1.0.3 | 2024.08.23 | 1.11/2.0/2.1/2.2 | 2.4.0 | [mindstudio_probe-1.0.3-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/1.0/mindstudio_probe-1.0.3-py3-none-any.whl) | 7060cc141a5b98ef770cd9220995d299393f32a61938261e632c7e8b5160bef2 |
@@ -41,27 +43,104 @@ cd mstt/debug/accuracy_tools
 
 pip install setuptools wheel
 
-python setup.py bdist_wheel
+python setup.py bdist_wheel [--include-mod=[adump]]
 cd ./dist
 pip install ./mindstudio_probe*.whl
 ```
 
-# 历史版本特性
-
-<table>
-    <tr><th>版本</th><th>特性</th></tr>
-    <tr><td rowspan="5">1.1.0</td><td>【总体】</br>1. 训练精度一体化工具 atat 统一更名为 msprobe；</br>2. msprobe 支持日志分级功能。</td></tr>
-    <tr><td>【精度预检】</br>1. 支持配置 blacklist 黑名单字段；</br>2. 补充了支持的融合算子列表。</td></tr>
-    <tr><td>【精度比对】</br>1. 支持 data mapping 和 layer mapping 的比对功能。</td></tr>
-    <tr><td>【数据采集】</br>1. 增加 L1 dump 接口，支持在指定区间内进行正反向 dump 功能；</br>2. 在 MindSpore 中新增 mix 模式，支持指定模块内部进行 dump；</br>3. 新增 MindSpore 函数式接口的通信 API dump 功能。</td></tr>
-    <tr><td>【梯度工具】</br>1. 增加了梯度工具中关于 JIT 限制的说明。</td></tr>
-    <tr><td rowspan="4">1.0.4</td><td>【数据采集】</br>1. 支持在 config.json 中传入 step 范围配置；</br>2. 优化了 MindSpore 场景下的 step 机制，step 结束后训练继续运行。</td></tr>
-    <tr><td>【精度预检】</br>1. 在 PyTorch 场景下，支持部分 NPU 融合算子精度预检。</td></tr>
-    <tr><td>【精度比对】</br>1. 解决了在 MindSpore 场景下需要安装 PyTorch 的问题。</td></tr>
-    <tr><td>【无标杆比对】</br>1. 补充了 PyTorch 场景的性能基线报告；</br>2. 支持 MindSpore 场景下的 change_value 扰动模式。</td></tr>
-    <tr><td rowspan="2">1.0.3</td><td>【精度预检】</br>1. 落盘数据小；</br>2. 支持随机生成模式和真实数据模式；</br>3. 单 API 测试，排除整网中的累计误差问题。</td></tr>
-    <tr><td>【梯度检测】</br>1. 使用便捷，无需在训练流程里插入代码。</br>2. 可以精准定位问题出现的 step。</td></tr>
-</table>
+|参数|说明|是否必选|
+|--|--|:--:|
+|--include-mod|指定可选模块，可取值`adump`，表示在编whl包时加入adump模块。默认未配置该参数，表示编基础包。<br>&#8226; adump模块用于MindSpore静态图场景L2级别的dump。<br>&#8226; 仅MindSpore 2.5.0及以上版本支持adump模块。<br>&#8226; 若使用源码安装，编译环境需支持GCC 7或以上版本，和CMAKE 3.14或以上版本。<br>&#8226; 生成的whl包仅限编译时使用的python版本和处理器架构可用。|否|
+
+# 特性变更说明
+
+## 1.1.1
+
+【数据采集】
+
+- dump 支持 processgroup、namedtuple、slice 等数据类型
+- MindSpore 动态图 dump 能力增强，支持 mix 模式 dump、控制 dropout 失效、支持控制区间正反向数据 dump
+
+【精度预检】
+
+- PyTorch 场景新增单算子 API 自动生成脚本
+- MindSpore 动态图场景新增支持 multi_run_ut 多线程预检
+- MindSpore 场景新增支持断点续检
+
+【精度比对】
+
+- 新增 MindSpore 跨框架比对能力，支持 MindSpore 与 PyTorch 跨框架比对
+- 支持异常比对结果数据自动颜色标注
+
+【无标杆比对】
+
+- Mindspore 动态图场景支持反向过程的无标杆比对
+
+【训练状态监控】
+
+- 新增支持通信聚合前梯度信息监控
+
+【分级可视化构图比对】
+
+- 新增分级可视化构图比对工具，支持单数据构图、溢出检测、双数据比对构图、同时支持传入映射文件，支持跨框架或同框架比对
+
+## 1.1.0
+
+【总体】
+
+- 训练精度一体化工具 atat 统一更名为 msprobe
+- msprobe 支持日志分级功能
+
+【数据采集】
+
+- 增加 L1 dump 接口，支持在指定区间内进行正反向 dump 功能
+- 新增 MindSpore 函数式接口的通信 API dump 功能
+
+【精度预检】
+
+- 支持配置 blacklist 黑名单字段
+- 补充了支持的融合算子列表
+
+【精度比对】
+
+- 支持 data mapping 和 layer mapping 的比对功能。
+
+【梯度工具】
+
+- 增加了梯度工具中关于 JIT 限制的说明
+
+## 1.0.4
+
+【数据采集】
+
+- 支持在 config.json 中传入 step 范围配置
+- 优化了 MindSpore 场景下的 step 机制，step 结束后训练继续运行
+
+【精度预检】
+
+- 在 PyTorch 场景下，支持部分 NPU 融合算子精度预检
+
+【精度比对】
+
+- 解决了在 MindSpore 场景下需要安装 PyTorch 的问题
+
+【无标杆比对】
+
+- 补充了 PyTorch 场景的性能基线报告
+- 支持 MindSpore 场景下的 change_value 扰动模式
+
+## 1.0.3
+
+【精度预检】
+
+- 落盘数据缩减
+- 支持随机生成模式和真实数据模式
+- 单 API 测试，排除整网中的累计误差问题
+
+【梯度检测】
+
+- 使用便捷，无需在训练流程里插入代码
+- 可以精准定位问题出现的 step
 
 # 查看 msprobe 工具信息
 

msprobe/docs/02.config_introduction.md

@@ -37,14 +37,14 @@
     "scope": ["Module.conv1.Conv2d.forward.0", "Module.fc2.Linear.forward.0"],                             
     或 "scope": ["Cell.conv1.Conv2d.forward.0", "Cell.fc2.Dense.backward.0"], 或"scope": ["Tensor.add.0.forward", "Functional.square.2.forward"]。与 level 参数取值相关，level 为 L0 级别时，可配置模块名；level 为 L1 级别时，可配置 API 名， level为 mix 级别时，可配置为模块名或API名。</td><td>否</td></tr>
     <tr><td rowspan="4">list</td><td>自定义采集的算子列表，list[str] 类型，默认未配置（scope 也未配置时表示 dump 所有 API 的数据），包含以下配置方法：</td><td rowspan="4">否</td></tr>
-    <tr><td>PyTorch 和 MindSpore 动态图场景配置具体的 API 全称，dump 该 API 数据。在 PyTorch 场景，如果 level 配置成 L2，该配置为必填项。<br/><b>配置示例</b>："list": ["Tensor.permute.1.forward", "Tensor.transpose.2.forward", "Torch.relu.3.backward"]。<br/> PyTorch 和 MindSpore 动态图场景在level为 mix 级别时可以配置模块名称，dump该模块展开数据 （dump该模块执行前到执行期间结束所有的数据）。
+    <tr><td>PyTorch 和 MindSpore 动态图场景配置具体的 API 全称，dump 该 API 数据。在 PyTorch 场景，如果 level 配置成 L2，该配置为必填项。<br/><b>配置示例</b>："list": ["Tensor.permute.1.forward", "Tensor.transpose.2.forward", "Torch.relu.3.backward"]。<br/> PyTorch 和 MindSpore 动态图场景在level为 mix 级别时可以配置模块名称，dump该模块展开数据 （dump该模块从执行开始到执行结束期间的所有数据）。
     <br/><b>配置示例</b>："list": ["Module.module.language_model.encoder.layers.0.mlp.ParallelMlp.forward.0"], 或 "list": ["Cell.network_with_loss.language_model.encoder.layers.0.mlp.ParallelMlp.forward.0"]</td></tr>
-    <tr><td>PyTorch 和 MindSpore 动态图场景指定某一类 API，dump 某一类的 API 级别输入输出数据。<br/><b>配置示例</b>："list": ["relu"]。 <br/>    PyTorch 和 MindSpore 动态图场景在level为 mix 级别时, 会dump名称中包含list中配置的字符串的API数据，还会将名称中包含list中配置的字符串的模块进行展开dump （dump该模块执行前到执行期间结束所有的数据）。</td></tr> 
+    <tr><td>PyTorch 和 MindSpore 动态图场景指定某一类 API，dump 某一类的 API 级别输入输出数据。<br/><b>配置示例</b>："list": ["relu"]。 <br/>    PyTorch 和 MindSpore 动态图场景在level为 mix 级别时, 会dump名称中包含list中配置的字符串的API数据，还会将名称中包含list中配置的字符串的模块进行展开dump （dump该模块从执行开始到执行结束期间的所有数据）。</td></tr> 
     <tr><td>MindSpore 静态图场景配置 kernel_name，可以是算子的名称列表，也可以指定算子类型（"level": "L2"时不支持），还可以配置算子名称的正则表达式（当字符串符合“name-regex(xxx)”格式时，后台则会将其作为正则表达式。<br/><b>配置示例</b>：list: ["name-regex(Default/.+)"]<br/>可匹配算子名称以“Default/”开头的所有算子。</td></tr>
     <tr><td rowspan="3">data_mode</td><td>dump 数据过滤，str 类型。</td><td rowspan="3">否</td></tr>
     <tr><td>PyTorch 与 MindSpore 动态图场景：支持"all"、"forward"、"backward"、"input"和"output"，除"all"外，其余参数可以自由组合。默认为["all"]，即保存所有 dump 的数据。<br/> <b>配置示例</b>："data_mode": ["backward"] （仅保存反向数据）或 "data_mode": ["forward", "input"]（仅保存前向的输入数据）。</td></tr>
     <tr><td>MindSpore 静态图场景：仅支持"all"、"input"和"output"参数，且各参数只能单独配置，不支持自由组合。<br/><b>配置示例</b>："data_mode": ["all"]。</td></tr>
-    <tr><td>summary_mode</td><td>控制 dump 文件输出的模式，str 类型，仅 PyTorch 与 MindSpore 动态图场景支持，可选参数：<br/> md5：dump 输出包含 CRC-32 值以及 API 统计信息的 dump.json 文件，用于验证数据的完整性；<br/> statistics：dump 仅输出包含 API 统计信息的 dump.json 文件，默认值。<br/><b>配置示例</b>："summary_mode": "md5"。</td><td>否</td></tr>
+    <tr><td rowspan="2">summary_mode</td><td>控制 dump 文件输出的模式，str 类型，仅 PyTorch 与 MindSpore 动态图场景支持，可选参数：<br/> md5：dump 输出包含 CRC-32 值以及 API 统计信息的 dump.json 文件，用于验证数据的完整性；<br/> statistics：dump 仅输出包含 API 统计信息的 dump.json 文件，默认值。<br/><b>配置示例</b>："summary_mode": "md5"。</td><td rowspan="2">否</td><tr><td>MindSpore静态图jit_level=O2场景L2级dump，支持上述配置的同时额外支持配置统计项列表，可选统计项为max、min、mean、l2norm，可从中任意选取组合搭配。其中mean、l2norm的结果为float数据格式。<br/><b>配置示例</b>："summary_mode": ["max", "min"]。</td></tr></tr>
 </table>
 
 **说明**："summary_mode"配置为"md5"时，所使用的校验算法为CRC-32算法。
@@ -56,7 +56,7 @@
 | scope          | 与[ 1.2 task 配置为 statistics ](#12-task-配置为-statistics)中的解释相同。 | 否       |
 | list           | 与[ 1.2 task 配置为 statistics ](#12-task-配置为-statistics)中的解释相同。 | 否       |
 | data_mode      | 与[ 1.2 task 配置为 statistics ](#12-task-配置为-statistics)中的解释相同 | 否       |
-| file_format    | tensor 数据的保存格式，str 类型，仅支持 MindSpore 静态图场景的 L2，不支持 L0 和 L1。可选参数：<br/> "bin"：dump 的 tensor 文件为二进制格式；<br/>"npy"：dump 的 tensor 文件后缀为 .npy，默认值。 | 否       |
+| file_format    | tensor 数据的保存格式，str 类型，仅支持 MindSpore 静态图场景的 L2 级别配置该字段，其他场景不生效。可选参数：<br/> "bin"：dump 的 tensor 文件为二进制格式；<br/>"npy"：dump 的 tensor 文件后缀为 .npy，默认值。 | 否       |
 | online_run_ut<sup>a</sup>  | 在线预检模式开关，bool 类型，可选参数 true（开启）、false（关闭），默认未配置，表示关闭。配置为 true 表示开启在线预检。| 否 |
 | nfs_path<sup>a</sup> | 在线预检模式共享存储目录路径，str 类型，用于 GPU 设备和 NPU 设备间进行通信。仅在 online_run_ut 字段配置为 true 时生效，配置该参数后 host 和 port 不生效。 | 否 |
 | host<sup>a</sup> | 在线预检模式局域网场景信息接收端 IP，str 类型，用于 GPU 设备和 NPU 设备间进行通信，NPU 侧须配置为 GPU 侧的局域网 IP 地址。仅在 online_run_ut 字段配置为 true 时生效，局域网场景时，不能配置 nfs_path 参数，否则局域网场景不生效。 | 否 |
@@ -149,7 +149,7 @@ PyTorch 与 MindSpore 动态图场景下，"level"须为"L0"或"L1"；MindSpore
    | param_list             | 权重名称列表，表示需要监控的权重。列表为空就表示监控所有权重。默认为空。 | List[str] | 否       |
    | bounds                 | 区间列表，用来划分区间以统计数值的分布。需要保证由数据小到大排列，并且列表中的元素需要在int64取值范围内。可以使用默认值[-1, 0, 1]。 | List[float, int] | 否  |
 
-   
+
    **不同级别的level的导出数据**