mindstudio-probe 8.3.0__tar.gz → 8.3.3__tar.gz

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mindstudio-probe
-Version: 8.3.0
+Version: 8.3.3
 Summary: Ascend Probe Utils
 Home-page: https://gitcode.com/Ascend/mstt/tree/master/debug/accuracy_tools/msprobe
 Author: Ascend Team

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/mindstudio_probe.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mindstudio-probe
-Version: 8.3.0
+Version: 8.3.3
 Summary: Ascend Probe Utils
 Home-page: https://gitcode.com/Ascend/mstt/tree/master/debug/accuracy_tools/msprobe
 Author: Ascend Team

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/mindstudio_probe.egg-info/SOURCES.txt

@@ -114,7 +114,6 @@ msprobe/docs/04.kernel_dump_PyTorch.md
 msprobe/docs/05.data_dump_PyTorch.md
 msprobe/docs/06.data_dump_MindSpore.md
 msprobe/docs/07.accuracy_checker_PyTorch.md
-msprobe/docs/08.accuracy_checker_online_PyTorch.md
 msprobe/docs/09.accuracy_checker_MindSpore.md
 msprobe/docs/10.accuracy_compare_PyTorch.md
 msprobe/docs/11.accuracy_compare_MindSpore.md
@@ -333,7 +332,6 @@ msprobe/nan_analyze/analyzer.py
 msprobe/nan_analyze/graph.py
 msprobe/nan_analyze/utils.py
 msprobe/pytorch/__init__.py
-msprobe/pytorch/attl_manager.py
 msprobe/pytorch/function_factory.py
 msprobe/pytorch/pt_config.py
 msprobe/pytorch/pytorch_service.py
@@ -373,14 +371,6 @@ msprobe/pytorch/api_accuracy_checker/run_ut/run_overflow_check.py
 msprobe/pytorch/api_accuracy_checker/run_ut/run_ut.py
 msprobe/pytorch/api_accuracy_checker/run_ut/run_ut_utils.py
 msprobe/pytorch/api_accuracy_checker/run_ut/torch_ut_setting.json
-msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/__init__.py
-msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/attl.py
-msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/client.py
-msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/device_dispatch.py
-msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/dump_dispatch.py
-msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/server.py
-msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/torch_ops_config.yaml
-msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/utils.py
 msprobe/pytorch/bench_functions/__init__.py
 msprobe/pytorch/bench_functions/apply_adam.py
 msprobe/pytorch/bench_functions/apply_adam_w.py

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/README.md

@@ -50,9 +50,14 @@ export MSPROBE_LOG_LEVEL={x}
 
 ## 🚨 工具限制与注意事项
 
-**1. Pytorch 框架下，工具暂不支持 Fully Sharded Data Parallel(FSDP)。**
+**1. 工具读写的所有路径，如config_path、dump_path等，只允许包含大小写字母、数字、下划线、斜杠、点和短横线。**
+
+**2. 出于安全性及权限最小化角度考虑，msprobe工具不应使用root等高权限账户使用，建议使用普通用户权限安装执行。**
+
+**3. 使用msprobe工具前请确保执行用户的umask值大于等于0027，否则可能会导致工具生成的精度数据文件和目录权限过大。**
+
+**4. 用户须自行保证使用最小权限原则，如给工具输入的文件要求other用户不可写，在一些对安全要求更严格的功能场景下还需确保输入的文件group用户不可写。**
 
-**2. 工具读写的所有路径，如config_path、dump_path等，只允许包含大小写字母、数字、下划线、斜杠、点和短横线。**
 
 ## ⚙️ 安装
 
@@ -84,9 +89,7 @@ msprobe 通过在训练脚本中添加 PrecisionDebugger 接口的方式对 API
 
 精度预检旨在昇腾 NPU 上扫描训练模型中的所有 API 进行 API 复现，给出精度情况的诊断和分析。对应 config.json 中的 "run_ut" task。
 
-PyTorch 场景的[离线预检](./docs/07.accuracy_checker_PyTorch.md)和[在线预检](./docs/08.accuracy_checker_online_PyTorch.md)
-
-在线预检计划在 Mindstudio 8.3.0 版本正式下线。
+PyTorch 场景的[离线预检](./docs/07.accuracy_checker_PyTorch.md)
 
 MindSpore 动态图场景的[离线预检](./docs/09.accuracy_checker_MindSpore.md)
 

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/core/common/const.py

@@ -691,9 +691,23 @@ class FileCheckConst:
     """
     Class for file check const
     """
-    READ_ABLE = "read"
-    WRITE_ABLE = "write"
-    READ_WRITE_ABLE = "read and write"
+    READ_ABLE = "r"
+    WRITE_ABLE = "w"
+    EXECUTE_ABLE = "x"
+    READ_WRITE_ABLE = "rw"
+    READ_EXECUTE_ABLE = "rx"
+    WRITE_EXECUTE_ABLE = "wx"
+    READ_WRITE_EXECUTE_ABLE = "rwx"
+    PERM_OPTIONS = [
+        READ_ABLE,
+        WRITE_ABLE,
+        EXECUTE_ABLE,
+        READ_WRITE_ABLE,
+        READ_EXECUTE_ABLE,
+        WRITE_EXECUTE_ABLE,
+        READ_WRITE_EXECUTE_ABLE
+    ]
+
     DIRECTORY_LENGTH = 4096
     FILE_NAME_LENGTH = 255
     FILE_VALID_PATTERN = r"^[a-zA-Z0-9_.:/-]+$"

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/core/common/file_utils.py

@@ -46,13 +46,19 @@ class FileChecker:
     The class for check file.
 
     Attributes:
-        file_path: The file or dictionary path to be verified.
-        path_type: file or dictionary
-        ability(str): one of [FileCheckConst.READ_ABLE, FileCheckConst.WRITE_ABLE, FileCheckConst.READ_WRITE_ABLE]
+        file_path: The file or dictionary path to be verified
+        path_type: file or dictionary type
+        ability(str): one of ["r", "w", "x", "rw", "rx", "wx", "rwx"], r: read, w: write, x: execute
         file_type(str): The correct file type for file
     """
 
-    def __init__(self, file_path, path_type, ability=None, file_type=None):
+    def __init__(
+        self,
+        file_path,
+        path_type,
+        ability=None,
+        file_type=None
+    ):
         self.file_path = file_path
         self.path_type = self._check_path_type(path_type)
         self.ability = self._check_ability_type(ability)
@@ -67,15 +73,14 @@ class FileChecker:
 
     @staticmethod
     def _check_ability_type(ability):
-        ability_list = [FileCheckConst.READ_ABLE, FileCheckConst.WRITE_ABLE, FileCheckConst.READ_WRITE_ABLE]
-        if ability and ability not in ability_list:
-            logger.error(f'The ability must be one of {ability_list}.')
+        if ability and ability not in FileCheckConst.PERM_OPTIONS:
+            logger.error(f'The ability must be one of {FileCheckConst.PERM_OPTIONS}.')
             raise FileCheckException(FileCheckException.ILLEGAL_PARAM_ERROR)
         return ability
 
     def common_check(self):
         """
-        功能：基本文件权限校验，包括文件存在性、软连接、文件长度、文件类型、文件读写权限、文件属组、文件路径特殊字符、文件后缀等
+        功能：基本文件权限校验，包括文件存在性、软连接、文件长度、文件类型、文件读写权限、文件属组、文件路径特殊字符、文件后缀名等
         注意：文件后缀的合法性，非通用操作，可使用其他独立接口实现
         """
         check_path_exists(self.file_path)
@@ -94,13 +99,15 @@ class FileChecker:
         return self.file_path
 
     def check_path_ability(self):
-        if self.ability == FileCheckConst.WRITE_ABLE:
-            check_path_writability(self.file_path)
-        if self.ability == FileCheckConst.READ_ABLE:
-            check_path_readability(self.file_path)
-        if self.ability == FileCheckConst.READ_WRITE_ABLE:
+        if not self.ability:
+            return
+
+        if FileCheckConst.READ_ABLE in self.ability:
             check_path_readability(self.file_path)
+        if FileCheckConst.WRITE_ABLE in self.ability:
             check_path_writability(self.file_path)
+        if FileCheckConst.EXECUTE_ABLE in self.ability:
+            check_path_executable(self.file_path)
 
 
 class FileOpen:
@@ -1040,4 +1047,48 @@ class SafeUnpickler(pickle.Unpickler):
         raise pickle.PicklingError(f'Unpickling {module}.{name} is illegal!')
 
 
+class DeserializationScanner:
+    """反序列化风险扫描器"""
+
+    DANGEROUS_METHODS = {
+        '__reduce__', '__reduce_ex__', '__setstate__', '__getstate__',
+        '__new__', '__init__', '__del__',
+        '__call__', '__enter__', '__exit__',
+        'eval', 'exec', 'compile', '__import__', 'open'
+        'os.system', 'os.popen', 'subprocess.call', 'subprocess.Popen',
+    }
+
+    DANGEROUS_MODULES = {
+        'os', 'sys', 'subprocess', 'shutil', 'socket',
+        'requests', 'urllib', 'ftplib', 'smtplib',
+    }
+
+    @classmethod
+    def scan_pickle_content(cls, filepath: str) -> bool:
+        with FileOpen(filepath, 'rb') as f:
+            content = f.read()
+
+        try:
+            text_content = content.decode('latin-1')
+        except Exception as e:
+            text_content = str(content)
+
+        for method in cls.DANGEROUS_METHODS:
+            if re.fullmatch(method, text_content):
+                logger.warning(f"Insecure method found: {method}")
+                return False
+
+        for module in cls.DANGEROUS_MODULES:
+            patterns = [
+                f"import {module}",
+                f"from {module} import",
+                f"{module}.",
+            ]
+            for pattern in patterns:
+                if pattern in text_content:
+                    logger.warning(f"Insecure module found: {module}")
+                    return False
+        return True
+
+
 atexit.register(SharedDict.destroy_shared_memory)

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/core/common/framework_adapter.py

@@ -16,7 +16,9 @@
 import functools
 
 from msprobe.core.common.const import Const
-from msprobe.core.common.file_utils import check_file_or_directory_path, save_npy
+from msprobe.core.common.file_utils import check_file_or_directory_path, save_npy, DeserializationScanner
+from msprobe.core.common.log import logger
+from msprobe.core.common.utils import confirm
 
 
 class FrameworkDescriptor:
@@ -155,6 +157,13 @@ class FmkAdp:
         check_file_or_directory_path(path, is_strict=not weights_only)
         if cls.fmk == Const.PT_FRAMEWORK:
             try:
+                if not weights_only:
+                    if not DeserializationScanner.scan_pickle_content(path):
+                        if not confirm(
+                                f"Some insecure methods or modules are detected in {path}, "
+                                f"input yes to ignore and continue, otherwise exit", False):
+                            logger.error("Insecure risks found and exit!")
+                            raise Exception("Insecure risks found and exit!")
                 if to_cpu:
                     return cls.framework.load(path, map_location=cls.framework.device("cpu"), weights_only=weights_only)
                 else:

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/core/common/utils.py

@@ -708,3 +708,20 @@ def check_process_num(process_num):
         raise ValueError(f"process_num({process_num}) is not a positive integer")
     if process_num > Const.MAX_PROCESS_NUM:
         raise ValueError(f"The maximum supported process_num is {Const.MAX_PROCESS_NUM}, current value: {process_num}.")
+
+
+def confirm(prompt, default=False):
+    if default is True:
+        prompt_suffix = " [Y/n] "
+    elif default is False:
+        prompt_suffix = " [y/N] "
+    else:
+        prompt_suffix = " [y/n] "
+
+    full_prompt = prompt + prompt_suffix
+
+    user_input = input(full_prompt).strip().lower()
+    if user_input in ['y', 'yes']:
+        return True
+    else:
+        return default

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/core/compare/utils.py

@@ -789,23 +789,43 @@ def compare_distributed_inner(npu_dump_dir, bench_dump_dir, output_path, compare
 
     npu_ranks, bench_ranks = get_sorted_ranks(npu_dump_dir, bench_dump_dir)
 
-    # 统计量、md5比对
-    pre_check_dump_path = os.path.join(npu_dump_dir, npu_ranks[0], 'dump.json') if npu_ranks else ''
+    # ------------------预载rank0的json用于判断是什么类型dump数据------------------
+    # 判断是否存在dump.json或debug.json
+    if npu_ranks:
+        dir_path = os.path.join(npu_dump_dir, npu_ranks[0])
+        dump_file = os.path.join(dir_path, 'dump.json')
+        debug_file = os.path.join(dir_path, 'debug.json')
+
+        # 确定pre_check_dump_path
+        if os.path.exists(dump_file):
+            pre_check_dump_path = dump_file
+        elif os.path.exists(debug_file):
+            pre_check_dump_path = debug_file
+        else:
+            pre_check_dump_path = ''
+    else:
+        pre_check_dump_path = ''
+
+    # 如果pre_check_dump_path为空，直接返回
     if not pre_check_dump_path:
         return
+
     dump_data = load_json(pre_check_dump_path)
+
+    # ------------------统计量、md5比对------------------
     if dump_data.get('task') == Const.STATISTICS:
         # dump数据为统计量或md5时，多进程加速比对
         input_param_nr_list = []
         for nr, br in zip(npu_ranks, bench_ranks):
-            input_param, skip = extract_compare_param(Const.DUMP_JSON_FILE)
-            if not skip:
-                input_param_nr_list.append((input_param, nr))
+            for file_type in [Const.DUMP_JSON_FILE, Const.DEBUG_JSON_FILE]:
+                input_param, skip = extract_compare_param(file_type)
+                if not skip:
+                    input_param_nr_list.append((input_param, nr))
         func_args = (compare_func, input_param_nr_list, output_path, kwargs)
         multi_statistics_compare(multi_ranks_compare, func_args)
         return
 
-    # 真实数据比对
+    # ------------------真实数据比对------------------
     for nr, br in zip(npu_ranks, bench_ranks):
         for file_type in [Const.DUMP_JSON_FILE, Const.DEBUG_JSON_FILE]:
             input_param, skip = extract_compare_param(file_type)

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/core/config_check/ckpt_compare/ckpt_comparator.py

@@ -19,11 +19,11 @@ from tqdm import tqdm
 from msprobe.core.common.file_utils import save_json, check_path_before_create, check_path_not_exists, \
     check_file_or_directory_path
 from msprobe.core.common.log import logger
+from msprobe.core.common.utils import confirm
 from msprobe.core.config_check.ckpt_compare.megatron_loader import load_megatron_weights
 from msprobe.core.config_check.ckpt_compare.metrics import METRIC_FUNC
 
 
-
 def compare_checkpoints(ckpt_path1, ckpt_path2, output_path) -> Dict:
     """Compare weights between two checkpoints using cosine similarity and L2 distance.
     
@@ -45,6 +45,11 @@ def compare_checkpoints(ckpt_path1, ckpt_path2, output_path) -> Dict:
     """
 
     # Load both checkpoints
+    if not confirm("You are using torch.load with weights_only is False, it may cause arbitrary code "
+                   "execution. Do it only if you get the file from a trusted source. Input yes to continue, "
+                   "otherwise exit", False):
+        logger.error("Insecure risks found and exit!")
+        raise Exception("Insecure risks found and exit!")
     check_file_or_directory_path(ckpt_path1, isdir=True)
     check_file_or_directory_path(ckpt_path2, isdir=True)
     check_path_before_create(output_path)

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/core/hook_manager.py

@@ -46,10 +46,9 @@ class BaseHookManager(ABC):
     hook_handle_dict = {}
     params_grad_info = {}
 
-    def __init__(self, data_collector, config, attl_manager=None):
+    def __init__(self, data_collector, config):
         self.data_collector = data_collector
         self.config = config
-        self.attl_manager = attl_manager
 
     @property
     def _pid(self):
@@ -216,10 +215,6 @@ class BaseHookManager(ABC):
 
                 args = self._register_backward_hook(module, full_backward_name, args)
                 with self._no_grad_context():
-                    if getattr(self.config, "online_run_ut", False):
-                        BaseHookManager.inner_switch[tid] = False
-                        ThreadSafe.release()
-                        return
                     self.data_collector.update_api_or_module_name(full_forward_name)
                     self.data_collector.forward_input_data_collect(
                         full_forward_name,
@@ -265,13 +260,6 @@ class BaseHookManager(ABC):
                     output = self._register_backward_pre_hook(module, full_backward_name, output)
 
                 with self._no_grad_context():
-                    if getattr(self.config, "online_run_ut", False):
-                        if self.data_collector.scope and not self.data_collector.scope.check(full_name):
-                            return None
-                        if self.attl_manager:
-                            self.attl_manager.attl_send(full_name, args, kwargs, output)
-                        BaseHookManager.inner_switch[tid] = False
-                        return None
                     if hook_type == Const.MODULE:
                         params_dict = self._get_params_dict(module)
                         setattr(module_input_output, Const.PARAMS, params_dict)
@@ -320,9 +308,7 @@ class BaseHookManager(ABC):
                 original_state = self.ensure_gc_enabled()
                 BaseHookManager.inner_switch[tid] = True
                 self.data_collector.update_api_or_module_name(full_name)
-                if getattr(self.config, "online_run_ut", False):
-                    BaseHookManager.inner_switch[tid] = False
-                    return
+
                 need_exchange = self._need_exchange(module) if hook_type == Const.MODULE else True
                 if need_exchange:
                     module_input_output = ModuleBackwardInputsOutputs(grad_input=grad_output, grad_output=grad_input)

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/core/service.py

@@ -35,7 +35,6 @@ class BaseService(ABC):
         self.config.level = getattr(config, 'level_ori', config.level)  # 兼容MindSpore配置
         self.model = None
         self.data_collector = build_data_collector(self.config)
-        self.attl_manager = None
         self.current_iter = 0
         self.loop = 0
         self.init_step = 0
@@ -91,10 +90,6 @@ class BaseService(ABC):
             self.config.task in self.data_collector.tasks_need_tensor_data or
             (self.config.task == Const.STATISTICS and self.config.tensor_list)
         )
-    
-    @property
-    def _is_online_run_ut(self):
-        return getattr(self.config, "online_run_ut", False)
 
     @property
     @abstractmethod
@@ -146,11 +141,9 @@ class BaseService(ABC):
             self.primitive_switch = True
             self._change_jit_switch(True)
             self.logger.info(f"Dump switch is turned on at step {self.current_iter}. ")
-        if self._is_online_run_ut:
-            self._run_ut_dispatch(True)
-        else:
-            self.create_dirs()
-            self.logger.info(f"Dump data will be saved in {self.dump_iter_dir}.")
+
+        self.create_dirs()
+        self.logger.info(f"Dump data will be saved in {self.dump_iter_dir}.")
 
     def stop(self):
         """通用stop模板"""
@@ -165,8 +158,7 @@ class BaseService(ABC):
         self._change_jit_switch(False)
         if self._is_l2_level:
             return
-        if self._is_online_run_ut:
-            self._run_ut_dispatch(False)
+
         self._process_async_dump()
         self.data_collector.write_json()
 
@@ -266,8 +258,6 @@ class BaseService(ABC):
         end_service = self.config.step and self.current_iter > max(self.config.step) or \
             self.data_collector and self.data_collector.data_processor.is_terminated
         if end_service:
-            if self._is_online_run_ut and self.attl_manager:
-                self.attl_manager.attl_stop()
             self.primitive_switch = False
             self._change_jit_switch(False)
             Runtime.is_running = False
@@ -310,8 +300,7 @@ class BaseService(ABC):
         if root_model and isinstance(root_model, list):
             root_model = root_model[0]
             self.logger.warning("Infer model can only input one to support token_range, choose the first one.")
-        if self._is_online_run_ut:
-            return
+
         root_model.register_forward_pre_hook(infer_hook)
 
     def _create_l2_dirs(self, cur_rank):

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/docs/01.installation.md

@@ -16,6 +16,8 @@ pip install mindstudio-probe
 
 |  版本   |    发布日期    |支持 PyTorch 版本|支持 MindSpore 版本|                                                                下载链接                                                                |校验码|
 |:-----:|:----------:|:--:|:--:|:----------------------------------------------------------------------------------------------------------------------------------:|:--:|
+| 8.3.0 | 2025.10.30 |1.11/2.0/2.1/2.2/2.5/2.6/2.7|2.4.0/2.5.0/2.6.0| [mindstudio_probe-8.3.0-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/8.3/mindstudio_probe-8.3.0-py3-none-any.whl) |e933657b8ceb20774f924865d1f47978bd49cd1d9cec5fb60dec4f18802afbcc|
+| 8.2.1 | 2025.9.29  |1.11/2.0/2.1/2.2|2.4.0/2.5.0/2.6.0| [mindstudio_probe-8.2.1-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/8.2/mindstudio_probe-8.2.1-py3-none-any.whl) |2152fadefec3d70148a910a54f2cfb6fccfa60b5ccd59f835f20289a7a5f4764|
 | 8.2.0 | 2025.9.03  |1.11/2.0/2.1/2.2|2.4.0/2.5.0/2.6.0| [mindstudio_probe-8.2.0-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/8.2/mindstudio_probe-8.2.0-py3-none-any.whl) |bbc1577d76754adf987069308177d3e0a04e36de9c7f22e75c34cf4ad0ce1af2|
 | 8.1.2 | 2025.8.01  |1.11/2.0/2.1/2.2|2.4.0/2.5.0/2.6.0| [mindstudio_probe-8.1.2-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/8.1/mindstudio_probe-8.1.2-py3-none-any.whl) |ff07bb81fddd3b8f3096d119ca1481bde8fdb24f10644def5250caad727448ab|
 | 8.1.1 | 2025.6.20  |1.11/2.0/2.1/2.2|2.4.0/2.5.0/2.6.0| [mindstudio_probe-8.1.1-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/8.1/mindstudio_probe-8.1.1-py3-none-any.whl) |2aad10a243575544d7feef552caf4d06aa93028488ebd0bbc9aa350379da859d|

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/docs/02.config_introduction.md

@@ -73,14 +73,7 @@
 | data_mode      | 与[ 1.2 task 配置为 statistics ](#12-task-配置为-statistics)中的解释相同 | 否       |
 | file_format    | tensor 数据的保存格式，str 类型，仅支持 MindSpore 静态图场景的 L2 级别配置该字段，其他场景不生效。可选参数：<br/> "bin"：dump 的 tensor 文件为二进制格式；<br/>"npy"：dump 的 tensor 文件后缀为 .npy，默认值。 | 否       |
 | summary_mode  | 控制 dump 文件输出的模式，str 类型，支持 PyTorch、MSAdapter、MindSpore 动态图。可选参数：<br/> md5：dump 输出包含 CRC-32 值以及 API 统计信息的 dump.json 文件，用于验证数据的完整性；<br/> statistics：dump 仅输出包含 API 统计信息的 dump.json 文件，默认值。| 否 |
-| online_run_ut<sup>a</sup>  | 在线预检模式开关，bool 类型，可选参数 true（开启）、false（关闭），默认未配置，表示关闭。配置为 true 表示开启在线预检。| 否 |
-| nfs_path<sup>a</sup> | 在线预检模式共享存储目录路径，str 类型，用于 GPU 设备和 NPU 设备间进行通信。仅在 online_run_ut 字段配置为 true 时生效，配置该参数后 host 和 port 不生效。 | 否 |
-| host<sup>a</sup> | 在线预检模式局域网场景信息接收端 IP，str 类型，用于 GPU 设备和 NPU 设备间进行通信，NPU 侧须配置为 GPU 侧的局域网 IP 地址。仅在 online_run_ut 字段配置为 true 时生效，局域网场景时，不能配置 nfs_path 参数，否则局域网场景不生效。 | 否 |
-| port<sup>a</sup> | 在线预检模式局域网场景信息接收端端口号，int 类型，用于 GPU 设备和 NPU 设备间进行通信，NPU 侧须配置为 GPU 侧的端口号。仅在 online_run_ut 字段配置为 true 时生效，局域网场景时，不能配置 nfs_path 参数，否则局域网场景不生效。| 否 |
 
-**说明**：
-
-1. online_run_ut、nfs_path、host、port 等字段仅在线预检场景 NPU 机器生效。
 
 **示例**：
  - [PyTorch场景](03.config_examples.md#12-task-配置为-tensor)
@@ -95,17 +88,11 @@
 | white_list<sup>a</sup>      | API dump 白名单，仅对指定的 API 进行 dump。<br/>**配置示例**："white_list": ["conv1d", "conv2d"]。默认未配置白名单，即 dump 全量 API 数据。 | 否       |
 | black_list<sup>a</sup>      | API dump 黑名单，被指定的 API 不进行 dump。<br/>**配置示例**："black_list": ["conv1d", "conv2d"]。默认未配置黑名单，即 dump 全量 API 数据。 | 否       |
 | error_data_path | 配置保存精度未达标的 API 输入输出数据路径，默认为当前路径。<br/>**配置示例**："error_data_path": "./"。 | 否       |
-| is_online<sup>b</sup>       | 在线预检模式开关，bool 类型，可选参数 true（开启）、false（关闭），默认关闭。 | 否 |
-| nfs_path<sup>b</sup>        | 在线预检模式共享存储目录路径，str 类型，用于 GPU 设备和 NPU 设备间进行通信。配置该参数后 host 和 port 不生效，仅在 is_online 字段配置为 true 时生效。 | 否    |
-| host<sup>b</sup>            | 在线预检模式局域网场景信息接收端 IP，str 类型，用于 GPU 设备和 NPU 设备间进行通信，GPU 侧配置为本机地址 127.0.0.1 或本机局域网 IP。局域网场景时，不能配置 nfs_path 参数，否则局域网场景不生效。仅在 is_online 字段配置为 true 时生效。 | 否 |
-| port<sup>b</sup>            | 在线预检模式局域网场景信息接收端端口号，int 类型，用于 GPU 设备和 NPU 设备间进行通信，GPU 侧配置为本机可用端口。局域网场景时，不能配置 nfs_path 参数，否则局域网场景不生效。仅在 is_online 字段配置为 true 时生效。| 否 |
-| rank_list<sup>b</sup>       | 指定在线预检的 Rank ID，默认值为 [0]，list[int] 类型，应配置为大于等于 0 的整数，且须根据实际卡的 Rank ID 配置，若所配置的值大于实际训练所运行的卡的 Rank ID，则在线预检输出数据为空。GPU 和 NPU 须配置一致。仅在 is_online 字段配置为 true 时生效。 | 否    |
 
 **说明**：
 
 1. white_list 和 black_list 同时配置时，二者配置的 API 名单若无交集，则白名单生效，若 API 名单存在交集，则白名单排除的部分以及交集的 API 不进行 dump。
 
-2. is_online、nfs_path、host、port、rank_list 等字段仅在线预检场景 GPU 机器生效。
 
 **示例**：
 ```json

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/docs/05.data_dump_PyTorch.md

@@ -445,7 +445,7 @@ seed_all()
 debugger = PrecisionDebugger(config_path="./config.json", dump_path="./dump_path")
 # 模型定义及初始化等操作
 prompts = ["Hello, my name is"]
-sampling_params = SamplingParams(temprature=0.8, top_p=0.95)
+sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
 llm = LLM(model='...')
 model = llm.llm_engine.model_executor.driver_worker.worker.model_runner.get_model()
 # 开启数据dump, 指定采集推理模型逐字符循环推理中的第1~3次

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/docs/07.accuracy_checker_PyTorch.md

@@ -34,17 +34,17 @@ run_ut 预检操作包括以下两种方式：
 msprobe -f pytorch run_ut -api_info ./dump_path/step{step_number}/rank{rank_number}/dump.json
 ```
 
-   | 参数名称                          | 解释                                                                                                                                                                            | 是否必选                           |
-   |-------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| ---------------------------------- |
-   | -f 或 --framework              | 指定训练框架。pytorch。                                                                                                                                                     | 是                                 |
-   | -api_info 或 --api_info_file   | 指定 API 信息文件 dump.json。                                                                                                                                                        | 是                                 |
-   | -save_error_data              | 保存精度未达标的 API 输入输出数据。                                                                                                                                                          | 否                                 |
-   | -o 或 --out_path               | 指定 run_ut 执行结果存盘路径，默认“./”。                                                                                                                                                    | 否                                 |
-   | -j 或 --jit_compile            | 开启 jit 编译。                                                                                                                                                                    | 否                                 |
-   | -d 或 --device                 | 指定 Device ID，选择 UT 代码运行所在的卡，默认值为 0。                                                                                                                                           | 否                                 |
-   | -csv_path 或 --result_csv_path | 指定本次运行中断时生成的 `accuracy_checking_result_{timestamp}.csv` 文件路径，执行 run_ut 中断时，若想从中断处继续执行，配置此参数即可。需要指定为上次中断的 `accuracy_checking_result_{timestamp}.csv` 文件。详见 [3.3 断点续检](#33-断点续检)。 | run_ut 操作中断后继续执行场景下必须配置 |
-   | -f 或 --filter_api             | 过滤模型中除最大值和最小值以外其他参数和结构相同的 API。适用于模型较大且重复 API 较多的场景。                                                                                                                           | 否                                 |
-   | -config 或 --config_path       | 指定离线预检操作过程中额外配置（包括黑名单、白名单等）的 [config.json](../config.json) 文件，默认未配置。config.json 文件的配置可参考[配置文件介绍](./02.config_introduction.md)。                                                | 否                                 |
+| 参数名称                          | 解释                                                                                                                                                                            | 是否必选                           |
+|-------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| ---------------------------------- |
+| -f 或 --framework              | 指定训练框架，当前场景配置为pytorch。                                                                                                                                             | 是                                 |
+| -api_info 或 --api_info_file   | 指定 API 信息文件 dump.json。                                                                                                                                                        | 是                                 |
+| -save_error_data              | 保存精度未达标的 API 输入输出数据。                                                                                                                                                          | 否                                 |
+| -o 或 --out_path               | 指定 run_ut 执行结果存盘路径，默认“./”。                                                                                                                                                    | 否                                 |
+| -j 或 --jit_compile            | 开启 jit 编译。                                                                                                                                                                    | 否                                 |
+| -d 或 --device                 | 指定 Device ID，选择 UT 代码运行所在的卡，默认值为 0。                                                                                                                                           | 否                                 |
+| -csv_path 或 --result_csv_path | 指定本次运行中断时生成的 `accuracy_checking_result_{timestamp}.csv` 文件路径，执行 run_ut 中断时，若想从中断处继续执行，配置此参数即可。需要指定为上次中断的 `accuracy_checking_result_{timestamp}.csv` 文件。详见 [3.3 断点续检](#33-断点续检)。 | run_ut 操作中断后继续执行场景下必须配置 |
+| -f 或 --filter_api             | 过滤模型中除最大值和最小值以外其他参数和结构相同的 API。适用于模型较大且重复 API 较多的场景。                                                                                                                           | 否                                 |
+| -config 或 --config_path       | 指定离线预检操作过程中额外配置（包括黑名单、白名单等）的 [config.json](../config.json) 文件，默认未配置。config.json 文件的配置可参考[配置文件介绍](./02.config_introduction.md)。                                                | 否                                 |
 
 run_ut 执行结果包括 `accuracy_checking_result_{timestamp}.csv` 和 `accuracy_checking_details_{timestamp}.csv` 两个文件。`accuracy_checking_result_{timestamp}.csv` 属于 API 级，标明每个 API 是否通过测试。建议用户先查看 `accuracy_checking_result_{timestamp}.csv` 文件，对于其中没有通过测试的或者特定感兴趣的 API，根据其 API name 字段在 `accuracy_checking_details_{timestamp}.csv` 中查询其各个输出的达标情况以及比较指标。详细介绍请参见[ 4 预检结果](#4-预检结果)。
 
@@ -104,7 +104,7 @@ msprobe -f pytorch multi_run_ut -api_info ./dump_path/step{step_number}/rank{ran
 
 | 参数名称                     | 解释                                                         | 是否必选                           |
 | ---------------------------- | ------------------------------------------------------------ | ---------------------------------- |
-| -f 或 --framework              | 指定训练框架。pytorch。                                | 是                                 |
+| -f 或 --framework              | 指定训练框架，当前场景配置为pytorch。                        | 是                                 |
 | -api_info 或 --api_info_file   | 指定 API 信息文件 dump.json。                                   | 是                                 |
 | -save_error_data             | 保存精度未达标的 API 输入输出数据。                            | 否                                 |
 | -o 或 --out_path               | 指定 run_ut 执行结果存盘路径，默认“./”。 | 否                                 |
@@ -216,7 +216,7 @@ msprobe -f pytorch api_precision_compare -npu /home/xxx/npu/accuracy_checking_de
 
 | 参数名称                  | 说明               | 是否必选 |
 |-----------------------| ------------- | -------- |
-| -f 或 --framework      | 指定训练框架。pytorch。  | 是                                 |
+| -f 或 --framework      | 指定训练框架，当前场景配置为pytorch。 | 是                                 |
 | -npu 或 --npu_csv_path | NPU 预检结果 `accuracy_checking_details_{timestamp}.csv` 文件路径。默认从当前目录下识别该文件。 | 是       |
 | -gpu 或 --gpu_csv_path | GPU 预检结果 `accuracy_checking_details_{timestamp}.csv` 文件路径。默认从当前目录下识别该文件。 | 是       |
 | -o 或 --out_path       | 指定 api_precision_compare.py 执行结果存盘路径，默认为当前目录。 | 否       |

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/docs/10.accuracy_compare_PyTorch.md

@@ -53,15 +53,15 @@ msprobe -f pytorch compare -i ./compare.json -o ./output -s
 
 | 参数名                 | 说明                                                                                                                                                                                       | 是否必选 |
 |---------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| -------- |
-| -f 或 --framework    | 指定训练框架。pytorch。                                                                                                                                                                          | 是                                 |
+| -f 或 --framework    | 指定训练框架，当前场景配置为pytorch。                                                                                                                                                                 | 是                                 |
 | -i 或 --input_path   | 指定[比对文件](#51-比对文件)，str 类型。                                                                                                                                                               | 是       |
 | -o 或 --output_path  | 配置比对结果文件存盘目录，str 类型，默认在当前目录创建output目录。文件名称基于时间戳自动生成，格式为：`compare_result_{timestamp}.xlsx`。<br>提示：output目录下与结果件同名文件将被删除覆盖。                                                                | 否       |
 | -s 或 --stack_mode   | 比对结果展示调用栈信息（NPU_Stack_Info）的开关，bool 类型。单卡场景开启时，根据[比对文件](#51-比对文件)的参数说明配置stack_path；多卡场景开启时，自动识别npu_dump目录下stack.json文件，如存在生成详细调用栈信息，否则不生成，此参数不生效。通过直接配置该参数开启，默认未配置，表示关闭。                 | 否       |
 | -c 或 --compare_only | 仅比对开关，bool 类型。该参数默认未配置，会启用自动精度分析，工具自动针对比对结果进行分析，识别到第一个精度可能不达标节点（在比对结果文件中的 Accuracy Reached or Not 列显示为 No），并给出问题可能产生的原因（打屏展示并生成 `advisor_{timestamp}.txt` 文件）。通过配置该参数取消自动精度分析，仅输出比对结果表格。 | 否       |
 | -f 或 --fuzzy_match  | 模糊匹配，bool 类型。开启后，对于网络中同一层级且命名仅调用次数不同的 API，可匹配并进行比对。通过直接配置该参数开启，默认未配置，表示关闭。                                                                                                               | 否       |
 | -hl 或 --highlight   | 高亮颜色标记。开启后，比对结果件中通过红色或黄色标记精度可疑API或模块。通过直接配置该参数开启，默认未配置，表示关闭。 开启高亮颜色标记后，比对性能降低，如果比对结果行数超出excel单页限制，程序强制关闭高亮颜色标记。                                                                          | 否       |
-| -dm或--data_mapping  | 自定义映射关系比对。需要指定自定义映射文件*.yaml。自定义映射文件的格式请参见[自定义映射文件](#52-自定义映射文件)。仅[API和模块无法自动匹配场景](#213-api和模块无法自动匹配场景)需要配置。仅支持逐卡比对，即使用[比对文件](#51-比对文件)的单卡场景示例。                                           | 否 |
-| -da或--diff_analyze  | 自动识别网络中首差异节点，支持md5、统计量等dump数据。支持单卡/多卡场景。                                                                         | 否       |
+| -dm 或 --data_mapping | 自定义映射关系比对。需要指定自定义映射文件*.yaml。自定义映射文件的格式请参见[自定义映射文件](#52-自定义映射文件)。仅[API和模块无法自动匹配场景](#213-api和模块无法自动匹配场景)需要配置。仅支持逐卡比对，即使用[比对文件](#51-比对文件)的单卡场景示例。                                           | 否 |
+| -da 或 --diff_analyze | 自动识别网络中首差异节点，支持md5、统计量等dump数据。支持单卡/多卡场景。                                                                         | 否       |
 
 #### 2.1.2 整网比对场景
 
@@ -396,7 +396,7 @@ msprobe -f pytorch merge_result -i ./input_dir -o ./output_dir -config ./config.
 
 | 参数名                 | 说明                                                                                                                | 是否必选 |
 | --------------------- |-------------------------------------------------------------------------------------------------------------------| -------- |
-| -f 或 --framework      | 指定训练框架。pytorch。                                                                                     | 是                     |
+| -f 或 --framework      | 指定训练框架，当前场景配置为pytorch。                                                                             | 是                     |
 | -i 或 --input_dir      | 多卡比对结果存盘目录，即使用compare比对的结果输出目录，str类型。所有比对结果应全部为真实数据比对结果或统计数据比对结果，否则可能导致汇总数据不完整。                                   | 是       |
 | -o 或 --output_dir     | 数据提取汇总结果存盘目录，str类型。文件名称基于时间戳自动生成，格式为：`multi_ranks_compare_merge_{timestamp}.xlsx`。<br>提示：output目录下与结果件同名文件将被删除覆盖。 | 是       |
 | -config或--config-path | 指定需要汇总数据的API和比对指标的yaml文件路径，str类型。<br>yaml文件详细介绍见下文“**yaml文件说明**”。                                                 | 是       |
@@ -527,7 +527,7 @@ input_args、input_kwargs和output使用统一的命名规则，当值是list类
    "input_args": [
     {
      "type": "torch.Tensor",
-     "dytpe": "torch_float32",
+     "dtype": "torch_float32",
      "shape": [
       1,
       64,
@@ -604,7 +604,7 @@ output是list，长度为1，第0项后面是Tensor，命名结束；按照顺
 ```
 Functional.max_pool2d.0.forward.output.0
 ```
-综上，生成的的op_name为
+综上，生成的op_name为
 ```
 Functional.max_pool2d.0.forward.input.0
 Functional.max_pool2d.0.forward.input.1

{mindstudio_probe-8.3.0 → mindstudio_probe-8.3.3}/msprobe/docs/14.data_parse_PyTorch.md

@@ -8,6 +8,8 @@
 
 依赖：CANN 包中的 msaccucmp 工具，需要安装 Ascend-CANN-toolkit，详见《[CANN 软件安装指南](https://www.hiascend.com/document/detail/zh/canncommercial/700/envdeployment/instg/instg_0001.html)》。
 
+**安全注意事项**： 工具使用时传入的msaccucmp.py文件路径参数请务必确保为CANN中自带的msaccucmp.py原始路径且文件内容未被篡改，工具会在解析数据时直接执行该文件，用户需自行保证该文件内容安全性。
+
 ## 2 数据解析操作指导
 
 ### 2.1 进入 parse 交互式界面