AI开发平台MODELARTS-PyTorch迁移精度调优:API预检工具使用说明

时间：2024-09-24 10:50:18

AI开发平台MODELARTS

API预检工具使用说明

对于任何问题场景都推荐先使用预检工具，检查第1个step或loss明显出现问题的step。它可以抓取模型中API输入的数值范围，根据范围随机生成输入，用相同的输入分别在npu（gpu）和cpu上执行算子，比较输出差异。预检最大的好处是，它能根据算子（API）的精度标准来比较输出结果并判定其是否有精度问题，所以不需要使用者做任何额外分析，而且基本不会出现误检的情况，使用门槛较低。预检工具使用包含以下三步：dump、run_ut以及api_precision_compare。

1）dump这一步主要是为了获取整网中每个pytorch 计算API的输入真实张量数值、shape、 dtype以及数值分布。

2）run_ut这一步可以根据dump输出数据完成NPU vs CPU高精度（标杆）或者GPU vs CPU高精度（标杆）的单API测试，并输出预检结果。

3）api_precision_compare是预检结果的比对，需要同时获取NPU和GPU环境下run_ut的结果文件进行比对，输出最终的比对结果。

该工具的使用指导请参考api_accuracy_checker。

上一篇：AI开发平台MODELARTS-性能调优总体原则和思路

下一篇：AI开发平台MODELARTS-PyTorch迁移精度调优:精度校验