mindstudio-probe 1.0.1__tar.gz → 1.0.3__tar.gz

{mindstudio-probe-1.0.1 → mindstudio-probe-1.0.3}/MANIFEST.in

@@ -1,3 +1,5 @@
 include README.md
 include LICENSE
 recursive-include msprobe *
+recursive-exclude msprobe/test *
+

{mindstudio-probe-1.0.1/mindstudio_probe.egg-info → mindstudio-probe-1.0.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mindstudio-probe
-Version: 1.0.1
+Version: 1.0.3
 Summary: Pytorch Ascend Probe Utils
 Home-page: https://gitee.com/ascend/mstt/tree/master/debug/accuracy_tools/msprobe
 Author: Ascend Team
@@ -20,11 +20,15 @@ Classifier: Topic :: Software Development :: Libraries :: Python Modules
 Requires-Python: >=3.6.2
 License-File: LICENSE
 Requires-Dist: wheel
+Requires-Dist: einops
 Requires-Dist: numpy
 Requires-Dist: pandas>=1.3.5
 Requires-Dist: pyyaml
 Requires-Dist: rich
 Requires-Dist: tqdm
 Requires-Dist: openpyxl
+Requires-Dist: pyOpenSSL
+Requires-Dist: twisted
+Requires-Dist: matplotlib
 
 MindStudio-Probe is a set of tools for diagnosing and improving model accuracy on Ascend NPU, including API acc checker, ptdbg, grad tool etc.

mindstudio-probe-1.0.3/README.md

@@ -0,0 +1,21 @@
+# 精度工具
+
+MindStudio Training Tools工具针对模型训练精度问题设计推出了一系列精度工具，包括模型精度预检工具和PyTorch精度工具的精度比对功能、溢出检测功能、通信精度检测等功能。这些工具有各自侧重的场景，用于辅助用户定位模型精度问题。
+
+### 子功能介绍
+
+NPU上训练的网络存在精度问题，精度指标（loss或者具体的评价指标）与标杆相差较多。对于该场景的问题，可以使用**MindStudio Probe工具**的**精度预检工具**和**精度比对工具**进行定位。
+
+| 工具名称                                                     | 说明                                                         |
+| ------------------------------------------------------------ | ------------------------------------------------------------ |
+| [MindStudio Probe（ MindStudio精度调试工具）](https://gitee.com/ascend/mstt/tree/master/debug/accuracy_tools/msprobe) | MindStudio Training Tools工具链下精度调试部分的工具包，主要包括精度预检和精度比对等子工具。 |
+| [api_accuracy_checker（Ascend模型精度预检工具）](https://gitee.com/ascend/mstt/tree/master/debug/accuracy_tools/api_accuracy_checker) | 在昇腾NPU上扫描用户训练模型中所有API，进行API复现，给出精度情况的诊断和分析。 |
+| [ptdbg_ascend（PyTorch精度工具）](https://gitee.com/ascend/mstt/tree/master/debug/accuracy_tools/ptdbg_ascend) | 进行PyTorch整网API粒度的数据dump、精度比对和溢出检测，从而定位PyTorch训练场景下的精度问题。 |
+
+### 场景介绍
+
+**精度预检工具**会对全网每一个API根据其实际训练中的shape、dtype和数值范围生成随机的输入，对比它与标杆的输出差异，并指出输出差异过大不符合精度标准的API。该工具检查单API精度问题准确率超过80%，对比一般dump比对方法减少落盘数据量99%以上。
+
+**精度比对功能**可以对NPU整网API数据进行与CPU或GPU标杆数据的精度比对，从而检测精度问题。具体来说，dump统计量、分段dump、模块化dump，通讯算子dump等功能可以用较轻的数据量实现不同侧重的精度比对，从而定位精度问题。
+
+**溢出检测功能**是在判断训练网络可能存在溢出现象时，例如某个step的loss突然变成inf nan，或者混精场景下loss_scale不断减小，可以通过ptdbg_ascend的精度检测工具检测API的溢出情况。

{mindstudio-probe-1.0.1 → mindstudio-probe-1.0.3/mindstudio_probe.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mindstudio-probe
-Version: 1.0.1
+Version: 1.0.3
 Summary: Pytorch Ascend Probe Utils
 Home-page: https://gitee.com/ascend/mstt/tree/master/debug/accuracy_tools/msprobe
 Author: Ascend Team
@@ -20,11 +20,15 @@ Classifier: Topic :: Software Development :: Libraries :: Python Modules
 Requires-Python: >=3.6.2
 License-File: LICENSE
 Requires-Dist: wheel
+Requires-Dist: einops
 Requires-Dist: numpy
 Requires-Dist: pandas>=1.3.5
 Requires-Dist: pyyaml
 Requires-Dist: rich
 Requires-Dist: tqdm
 Requires-Dist: openpyxl
+Requires-Dist: pyOpenSSL
+Requires-Dist: twisted
+Requires-Dist: matplotlib
 
 MindStudio-Probe is a set of tools for diagnosing and improving model accuracy on Ascend NPU, including API acc checker, ptdbg, grad tool etc.

{mindstudio-probe-1.0.1 → mindstudio-probe-1.0.3}/mindstudio_probe.egg-info/SOURCES.txt

@@ -15,40 +15,115 @@ msprobe/msprobe.py
 msprobe/config/README.md
 msprobe/config/config.json
 msprobe/config/img/free_benchmark.png
+msprobe/core/__init__.py
 msprobe/core/common_config.py
+msprobe/core/advisor/advisor.py
+msprobe/core/advisor/advisor_const.py
+msprobe/core/advisor/advisor_result.py
 msprobe/core/common/const.py
 msprobe/core/common/exceptions.py
 msprobe/core/common/file_check.py
 msprobe/core/common/log.py
 msprobe/core/common/utils.py
+msprobe/core/compare/acc_compare.py
+msprobe/core/compare/check.py
+msprobe/core/compare/compare_cli.py
+msprobe/core/compare/highlight.py
+msprobe/core/compare/multiprocessing_compute.py
+msprobe/core/compare/npy_compare.py
+msprobe/core/compare/utils.py
 msprobe/core/data_dump/data_collector.py
 msprobe/core/data_dump/json_writer.py
 msprobe/core/data_dump/scope.py
 msprobe/core/data_dump/data_processor/base.py
 msprobe/core/data_dump/data_processor/factory.py
+msprobe/core/data_dump/data_processor/mindspore_processor.py
 msprobe/core/data_dump/data_processor/pytorch_processor.py
+msprobe/core/grad_probe/__init__.py
+msprobe/core/grad_probe/constant.py
+msprobe/core/grad_probe/grad_compare.py
+msprobe/core/grad_probe/utils.py
+msprobe/doc/grad_probe/grad_probe.md
+msprobe/doc/grad_probe/img/image-1.png
+msprobe/doc/grad_probe/img/image-2.png
+msprobe/doc/grad_probe/img/image-3.png
+msprobe/doc/grad_probe/img/image-4.png
+msprobe/doc/grad_probe/img/image.png
 msprobe/mindspore/__init__.py
+msprobe/mindspore/cell_processor.py
 msprobe/mindspore/ms_config.py
+msprobe/mindspore/runtime.py
+msprobe/mindspore/service.py
 msprobe/mindspore/task_handler_factory.py
+msprobe/mindspore/api_accuracy_checker/__init__.py
+msprobe/mindspore/api_accuracy_checker/api_accuracy_checker.py
+msprobe/mindspore/api_accuracy_checker/api_info.py
+msprobe/mindspore/api_accuracy_checker/api_runner.py
+msprobe/mindspore/api_accuracy_checker/base_compare_algorithm.py
+msprobe/mindspore/api_accuracy_checker/compute_element.py
+msprobe/mindspore/api_accuracy_checker/main.py
+msprobe/mindspore/api_accuracy_checker/type_mapping.py
+msprobe/mindspore/api_accuracy_checker/utils.py
+msprobe/mindspore/common/const.py
+msprobe/mindspore/common/log.py
+msprobe/mindspore/common/utils.py
+msprobe/mindspore/compare/distributed_compare.py
+msprobe/mindspore/compare/ms_compare.py
+msprobe/mindspore/compare/ms_graph_compare.py
+msprobe/mindspore/compare/ms_to_pt_api.yaml
 msprobe/mindspore/debugger/__init__.py
 msprobe/mindspore/debugger/debugger_config.py
 msprobe/mindspore/debugger/precision_debugger.py
+msprobe/mindspore/doc/compare.md
 msprobe/mindspore/doc/dump.md
 msprobe/mindspore/dump/__init__.py
-msprobe/mindspore/dump/api_kbk_dump.py
 msprobe/mindspore/dump/dump_tool_factory.py
+msprobe/mindspore/dump/jit_dump.py
 msprobe/mindspore/dump/kernel_graph_dump.py
+msprobe/mindspore/dump/kernel_kbyk_dump.py
+msprobe/mindspore/dump/hook_cell/api_registry.py
+msprobe/mindspore/dump/hook_cell/hook_cell.py
+msprobe/mindspore/dump/hook_cell/support_wrap_ops.yaml
+msprobe/mindspore/dump/hook_cell/wrap_functional.py
+msprobe/mindspore/dump/hook_cell/wrap_tensor.py
+msprobe/mindspore/free_benchmark/__init__.py
+msprobe/mindspore/free_benchmark/api_pynative_self_check.py
+msprobe/mindspore/free_benchmark/self_check_tool_factory.py
+msprobe/mindspore/free_benchmark/common/__init__.py
+msprobe/mindspore/free_benchmark/common/config.py
+msprobe/mindspore/free_benchmark/common/handler_params.py
+msprobe/mindspore/free_benchmark/common/utils.py
+msprobe/mindspore/free_benchmark/data/support_wrap_ops.yaml
+msprobe/mindspore/free_benchmark/decorator/__init__.py
+msprobe/mindspore/free_benchmark/decorator/dec_forward.py
+msprobe/mindspore/free_benchmark/decorator/decorator_factory.py
+msprobe/mindspore/free_benchmark/handler/__init__.py
+msprobe/mindspore/free_benchmark/handler/base_handler.py
+msprobe/mindspore/free_benchmark/handler/check_handler.py
+msprobe/mindspore/free_benchmark/handler/fix_handler.py
+msprobe/mindspore/free_benchmark/handler/handler_factory.py
+msprobe/mindspore/free_benchmark/perturbation/add_noise.py
+msprobe/mindspore/free_benchmark/perturbation/base_perturbation.py
+msprobe/mindspore/free_benchmark/perturbation/bit_noise.py
+msprobe/mindspore/free_benchmark/perturbation/improve_precision.py
+msprobe/mindspore/free_benchmark/perturbation/no_change.py
+msprobe/mindspore/free_benchmark/perturbation/perturbation_factory.py
+msprobe/mindspore/grad_probe/__init__.py
+msprobe/mindspore/grad_probe/global_context.py
+msprobe/mindspore/grad_probe/grad_analyzer.py
+msprobe/mindspore/grad_probe/grad_monitor.py
+msprobe/mindspore/grad_probe/grad_stat_csv.py
+msprobe/mindspore/grad_probe/hook.py
+msprobe/mindspore/grad_probe/utils.py
 msprobe/mindspore/overflow_check/__init__.py
 msprobe/mindspore/overflow_check/kernel_graph_overflow_check.py
 msprobe/mindspore/overflow_check/overflow_check_tool_factory.py
 msprobe/pytorch/__init__.py
+msprobe/pytorch/function_factory.py
 msprobe/pytorch/module_processer.py
 msprobe/pytorch/parse.py
 msprobe/pytorch/pt_config.py
 msprobe/pytorch/service.py
-msprobe/pytorch/advisor/advisor.py
-msprobe/pytorch/advisor/advisor_const.py
-msprobe/pytorch/advisor/advisor_result.py
 msprobe/pytorch/api_accuracy_checker/.keep
 msprobe/pytorch/api_accuracy_checker/__init__.py
 msprobe/pytorch/api_accuracy_checker/config.yaml
@@ -72,30 +147,48 @@ msprobe/pytorch/api_accuracy_checker/run_ut/run_overflow_check.py
 msprobe/pytorch/api_accuracy_checker/run_ut/run_ut.py
 msprobe/pytorch/api_accuracy_checker/run_ut/run_ut_utils.py
 msprobe/pytorch/api_accuracy_checker/run_ut/torch_ut_setting.json
+msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/__init__.py
+msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/attl.py
+msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/client.py
+msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/device_dispatch.py
+msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/server.py
+msprobe/pytorch/api_accuracy_checker/tensor_transport_layer/ssl_config.py
+msprobe/pytorch/bench_functions/__init__.py
+msprobe/pytorch/bench_functions/apply_adam_w.py
+msprobe/pytorch/bench_functions/confusion_transpose.py
+msprobe/pytorch/bench_functions/fast_gelu.py
+msprobe/pytorch/bench_functions/layer_norm_eval.py
+msprobe/pytorch/bench_functions/linear.py
+msprobe/pytorch/bench_functions/matmul_backward.py
+msprobe/pytorch/bench_functions/npu_fusion_attention.py
+msprobe/pytorch/bench_functions/rms_norm.py
+msprobe/pytorch/bench_functions/rotary_mul.py
+msprobe/pytorch/bench_functions/scaled_mask_softmax.py
+msprobe/pytorch/bench_functions/swiglu.py
 msprobe/pytorch/common/__init__.py
 msprobe/pytorch/common/compare_script.template
 msprobe/pytorch/common/log.py
 msprobe/pytorch/common/parse_json.py
 msprobe/pytorch/common/utils.py
-msprobe/pytorch/compare/acc_compare.py
 msprobe/pytorch/compare/distributed_compare.py
-msprobe/pytorch/compare/highlight.py
 msprobe/pytorch/compare/mapping.yaml
 msprobe/pytorch/compare/match.py
-msprobe/pytorch/compare/npy_compare.py
+msprobe/pytorch/compare/pt_compare.py
 msprobe/pytorch/debugger/__init__.py
 msprobe/pytorch/debugger/debugger_config.py
 msprobe/pytorch/debugger/precision_debugger.py
 msprobe/pytorch/doc/FAQ.md
 msprobe/pytorch/doc/api_accuracy_checker.md
-msprobe/pytorch/doc/atat精度工具数据dump标准性能基线报告.md
+msprobe/pytorch/doc/api_accuracy_checker_online.md
 msprobe/pytorch/doc/dump.md
+msprobe/pytorch/doc/msprobe精度工具数据dump标准性能基线报告.md
 msprobe/pytorch/doc/parse_tool.md
 msprobe/pytorch/doc/ptdbg_ascend_compare.md
 msprobe/pytorch/doc/ptdbg_ascend_overview.md
 msprobe/pytorch/doc/ptdbg_ascend_quickstart.md
 msprobe/pytorch/doc/run_overflow_check.md
 msprobe/pytorch/doc/在线精度比对.md
+msprobe/pytorch/doc/无标杆工具场景验证和性能基线报告.md
 msprobe/pytorch/doc/img/BLOOM-7B_1.png
 msprobe/pytorch/doc/img/BLOOM-7B_2.png
 msprobe/pytorch/doc/img/BLOOM-7B_3.png
@@ -149,6 +242,9 @@ msprobe/pytorch/free_benchmark/result_handlers/preheat_handler.py
 msprobe/pytorch/functional/__init__.py
 msprobe/pytorch/functional/data_processor.py
 msprobe/pytorch/functional/dump_module.py
+msprobe/pytorch/grad_probe/__init__.py
+msprobe/pytorch/grad_probe/grad_monitor.py
+msprobe/pytorch/grad_probe/grad_stat_csv.py
 msprobe/pytorch/hook_module/__init__.py
 msprobe/pytorch/hook_module/api_registry.py
 msprobe/pytorch/hook_module/hook_module.py
@@ -178,56 +274,4 @@ msprobe/pytorch/parse_tool/lib/interactive_cli.py
 msprobe/pytorch/parse_tool/lib/parse_exception.py
 msprobe/pytorch/parse_tool/lib/parse_tool.py
 msprobe/pytorch/parse_tool/lib/utils.py
-msprobe/pytorch/parse_tool/lib/visualization.py
-msprobe/test/run_test.sh
-msprobe/test/run_ut.py
-msprobe/test/test_module_processer.py
-msprobe/test/core_ut/test_common_config.py
-msprobe/test/core_ut/test_file_check.py
-msprobe/test/core_ut/test_log.py
-msprobe/test/core_ut/common/test_utils.py
-msprobe/test/core_ut/data_dump/test_data_collector.py
-msprobe/test/core_ut/data_dump/test_json_writer.py
-msprobe/test/core_ut/data_dump/test_scope.py
-msprobe/test/mindspore_ut/test_api_kbk_dump.py
-msprobe/test/mindspore_ut/test_debugger_config.py
-msprobe/test/mindspore_ut/test_dump_tool_factory.py
-msprobe/test/mindspore_ut/test_kernel_graph_dump.py
-msprobe/test/mindspore_ut/test_kernel_graph_overflow_check.py
-msprobe/test/mindspore_ut/test_ms_config.py
-msprobe/test/mindspore_ut/test_overflow_check_tool_factory.py
-msprobe/test/mindspore_ut/test_precision_debugger.py
-msprobe/test/mindspore_ut/test_task_handler_factory.py
-msprobe/test/pytorch_ut/test_pt_config.py
-msprobe/test/pytorch_ut/test_service.py
-msprobe/test/pytorch_ut/advisor/test_advisor.py
-msprobe/test/pytorch_ut/api_accuracy_checker/common/test_common_utils.py
-msprobe/test/pytorch_ut/api_accuracy_checker/common/test_config.py
-msprobe/test/pytorch_ut/api_accuracy_checker/compare/test_algorithm.py
-msprobe/test/pytorch_ut/api_accuracy_checker/compare/test_api_precision_compare.py
-msprobe/test/pytorch_ut/api_accuracy_checker/compare/test_compare.py
-msprobe/test/pytorch_ut/api_accuracy_checker/compare/test_compare_column.py
-msprobe/test/pytorch_ut/api_accuracy_checker/compare/test_compare_utils.py
-msprobe/test/pytorch_ut/api_accuracy_checker/run_ut/dump.json
-msprobe/test/pytorch_ut/api_accuracy_checker/run_ut/forward.json
-msprobe/test/pytorch_ut/api_accuracy_checker/run_ut/test_data_generate.py
-msprobe/test/pytorch_ut/api_accuracy_checker/run_ut/test_multi_run_ut.py
-msprobe/test/pytorch_ut/api_accuracy_checker/run_ut/test_run_ut.py
-msprobe/test/pytorch_ut/compare/test_acc_compare.py
-msprobe/test/pytorch_ut/free_benchmark/test_main.py
-msprobe/test/pytorch_ut/free_benchmark/perturbed_layers/test_perturbed_layser.py
-msprobe/test/pytorch_ut/free_benchmark/result_handlers/test_result_handler.py
-msprobe/test/pytorch_ut/functional/test_dump_module.py
-msprobe/test/pytorch_ut/hook_module/test_api_registry.py
-msprobe/test/pytorch_ut/hook_module/test_hook_module.py
-msprobe/test/pytorch_ut/hook_module/test_wrap_aten.py
-msprobe/test/pytorch_ut/hook_module/test_wrap_distributed.py
-msprobe/test/pytorch_ut/hook_module/test_wrap_functional.py
-msprobe/test/pytorch_ut/hook_module/test_wrap_tensor.py
-msprobe/test/pytorch_ut/hook_module/test_wrap_torch.py
-msprobe/test/pytorch_ut/hook_module/test_wrap_vf.py
-msprobe/test/resources/advisor.txt
-msprobe/test/resources/compare_result_20230703104808.csv
-msprobe/test/resources/compare_result_without_accuracy.csv
-msprobe/test/resources/config.yaml
-msprobe/test/resources/npu_test.pkl
+msprobe/pytorch/parse_tool/lib/visualization.py

{mindstudio-probe-1.0.1 → mindstudio-probe-1.0.3}/mindstudio_probe.egg-info/requires.txt

@@ -1,7 +1,11 @@
 wheel
+einops
 numpy
 pandas>=1.3.5
 pyyaml
 rich
 tqdm
 openpyxl
+pyOpenSSL
+twisted
+matplotlib

{mindstudio-probe-1.0.1 → mindstudio-probe-1.0.3}/msprobe/README.md

@@ -10,13 +10,23 @@ MindStudio精度调试工具（MindStudio Probe），简称msprobe，是MindStud
    ```shell
    pip install mindstudio-probe
    ```
-   说明
-   1. 使用`pip install mindstudio-probe==版本号`可安装指定版本的包
-   2. pip命令会自动安装包及其依赖
-   3. 安装成功后，日志会显示`Successfully installed mindstudio-probe-版本号`
+使用`pip install mindstudio-probe==版本号`可安装指定版本的包。
+
+pip命令会自动安装最新的包及其配套依赖。
+
+提示如下信息则表示安装成功。
+
+```bash
+Successfully installed mindstudio_probe-{version}
+```
 
 ### 下载whl包安装
-1. 使用pip命令安装numpy、openpyxl、pandas、PyYAML、rich、torch、tqdm依赖。
+1. 使用pip命令安装依赖：
+
+   1. 根据实际环境安装torch或mindspore
+
+   2. 安装numpy、openpyxl、pandas、PyYAML、rich、tqdm、einops、matplotlib、pyOpenSSL、twisted
+
 
    若环境中已安装部分依赖，不需要重复安装。
 
@@ -24,12 +34,14 @@ MindStudio精度调试工具（MindStudio Probe），简称msprobe，是MindStud
 
    请通过下表链接下载工具whl包。
 
-   | 版本  | 发布日期   | 支持PyTorch版本 | 下载链接                                                     | 校验码                                                       |
-   | ----- | ---------- | --------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
-   | 1.0   | 2024-07-09 | 2.0/2.1/2.2     | [ascend_training_accuracy_tools-1.0-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/att/1.0/ascend_training_accuracy_tools-1.0-py3-none-any.whl) | 5016dfe886c5d340ec6f60a959673355855f313c91f100680da814efb49f8e81 |
-   | 0.0.3 | 2024-06-11 | 2.0/2.1/2.2     | [ascend_training_accuracy_tools-0.0.3-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/att/0.0/ascend_training_accuracy_tools-0.0.3-py3-none-any.whl) | f46d9714704859e2d67861a65bbb3c76b0a250cf6e238b978b5b959ab1fe125a |
-   | 0.0.2 | 2024-05-23 | 2.0/2.1/2.2     | [ascend_training_accuracy_tools-0.0.2-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/att/0.0/ascend_training_accuracy_tools-0.0.2-py3-none-any.whl) | 2e35809bde559e9c4d2f16a02ccde779ed9e436bb65fded0b7ebaf6ac2c88d93 |
-   | 0.0.1 | 2024-03-15 | 2.0/2.1         | [ascend_training_accuracy_tools-0.0.1-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/att/0.0/ascend_training_accuracy_tools-0.0.1-py3-none-any.whl) | 5801510d4e827e4859bc9a5aca021e4d30c2ea42d60a4c8ad0c2baab1b7782c9 |
+   | 版本  | 发布日期   | 支持PyTorch版本  | 支持MindSpore版本 | 下载链接                                                     | 校验码                                                       |
+   | ----- | ---------- | ---------------- | ----------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
+   | 1.0.2 | 2024-08-09 | 1.11/2.0/2.1/2.2 | 2.3.1             | [mindstudio_probe-1.0.2-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/1.0/mindstudio_probe-1.0.2-py3-none-any.whl) | e4a980e5d98c426ce5ce9842520d9bc031d3b3de621c74b3d59414cc6e238e0e |
+   | 1.0.1 | 2024-07-25 | 2.0/2.1/2.2      | 2.3.1             | [mindstudio_probe-1.0.1-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/msprobe/1.0/mindstudio_probe-1.0.1-py3-none-any.whl) | b699e224e4d4e3bcf9412c54fa858a1ee370f0d7a2bc69cb3f1273ac14a6dc82 |
+   | 1.0   | 2024-07-09 | 2.0/2.1/2.2      | 2.3.0             | [ascend_training_accuracy_tools-1.0-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/att/1.0/ascend_training_accuracy_tools-1.0-py3-none-any.whl) | 5016dfe886c5d340ec6f60a959673355855f313c91f100680da814efb49f8e81 |
+   | 0.0.3 | 2024-06-11 | 2.0/2.1/2.2      | 2.3.0             | [ascend_training_accuracy_tools-0.0.3-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/att/0.0/ascend_training_accuracy_tools-0.0.3-py3-none-any.whl) | f46d9714704859e2d67861a65bbb3c76b0a250cf6e238b978b5b959ab1fe125a |
+   | 0.0.2 | 2024-05-23 | 2.0/2.1/2.2      | 2.3.0             | [ascend_training_accuracy_tools-0.0.2-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/att/0.0/ascend_training_accuracy_tools-0.0.2-py3-none-any.whl) | 2e35809bde559e9c4d2f16a02ccde779ed9e436bb65fded0b7ebaf6ac2c88d93 |
+   | 0.0.1 | 2024-03-15 | 2.0/2.1          | -                 | [ascend_training_accuracy_tools-0.0.1-py3-none-any.whl](https://ptdbg.obs.myhuaweicloud.com/att/0.0/ascend_training_accuracy_tools-0.0.1-py3-none-any.whl) | 5801510d4e827e4859bc9a5aca021e4d30c2ea42d60a4c8ad0c2baab1b7782c9 |
 
 3. whl包校验。
 
@@ -85,13 +97,46 @@ MindStudio精度调试工具（MindStudio Probe），简称msprobe，是MindStud
 3. 安装msprobe
    
    ```shell
-   python setup.py install
+   python setup.py bdist_wheel
+   cd dist
+   pip install mindstudio_probe*.whl
    ```
    提示出现如下信息则表示源码安装成功。
    ```shell
-   Finished processing dependencies for mindstudio-probe=={version}
+   Successfully installed ... mindstudio_probe-{version} ...
    ```
 
+### 查看msprobe工具信息
+
+执行如下命令查看msprobe工具信息。
+
+```bash
+pip show mindstudio-probe
+```
+
+输出结果如下示例：
+
+```bash
+Name: mindstudio-probe
+Version: 1.0
+Summary: This is a pytorch precision comparison tools
+Home-page:
+Author:
+Author-email:
+License:
+Location: /home/xx/anaconda3/envs/pt21py38/lib/python3.8/site-packages
+Requires: numpy, openpyxl, pandas, pyyaml, rich, tqdm, wheel
+Required-by:
+```
+
+关键字段含义：
+
+- Name：工具名称。
+- Version：工具版本号。
+- Summary：工具概述。
+- Location：工具安装路径。
+- Requires：工具依赖。
+
 ## 工具使用
 
 安装msprobe工具后，可以按照如下思路选择合适的子工具进行精度调试：
@@ -120,9 +165,9 @@ MindStudio精度调试工具（MindStudio Probe），简称msprobe，是MindStud
 
    进行PyTorch整网API粒度的数据dump、精度比对和溢出检测，从而定位训练场景下的精度问题。
 
-   PyTorch场景：详见[PyTorch_精度比对工具](./pytorch/doc/ptdbg_ascend_overview.md)。
+   PyTorch场景：详见[PyTorch_精度比对工具](./pytorch/doc/ptdbg_ascend_compare.md)。
 
-   MindSpore场景：暂不支持。
+   MindSpore场景：详见[MindSpore_精度比对工具](./mindspore/doc/compare.md)。
 
 5. 执行溢出解析。
 
@@ -140,6 +185,14 @@ MindStudio精度调试工具（MindStudio Probe），简称msprobe，是MindStud
 
    MindSpore场景：暂不支持。
 
+6. 执行梯度采集和比对。
+
+   用于采集梯度数据并进行梯度相似度比对。可以精准定位问题出现的step。
+
+   详见[梯度状态监测工具](./doc/grad_probe/grad_probe.md)。
+
+
+
 上述流程中的工具均为msprobe工具的子工具，使用相同的命令行，格式如下：
 
 精度预检工具
@@ -156,6 +209,12 @@ msprobe -f <framework> multi_run_ut [-h]
 msprobe -f <framework> api_precision_compare [-h]
 ```
 
+精度比对工具
+
+```bash
+msprobe -f <framework> compare [-h]
+```
+
 溢出解析工具
 
 ```bash
@@ -168,15 +227,11 @@ msprobe -f <framework> run_overflow_check [-h]
 msprobe -f <framework> parse [-h]
 ```
 
-| 参数 | 说明                                                   |
-| ---- | ------------------------------------------------------ |
-| -f   | 框架，请按所使用框架配置，当前支持pytorch或mindspore。 |
-| -h   | 帮助信息。                                             |
+| 参数 | 说明                                                         |
+| ---- | ------------------------------------------------------------ |
+| -f   | 框架，请按所使用框架配置，当前支持配置为：pytorch、mindspore。 |
+| -h   | 帮助信息。                                                   |
 
 ## 贡献
 
 push代码前，请务必保证已经完成了基础功能测试和网络测试。
-
-## Release Notes
-
-Release Notes请参见[RELEASE](RELEASE.md)。

mindstudio-probe-1.0.3/msprobe/__init__.py

@@ -0,0 +1 @@
+from msprobe.core.grad_probe.grad_compare import GradComparator