AI开发平台MODELARTS-性能调优五板斧:NPU融合算子API和亲和优化器
NPU融合算子API和亲和优化器
可对训练代码中的部分API替换成NPU融合算子API和亲和优化器,从而提升训练性能。但需要注意的是,在一些场景下,替换后的算子可能会对模型精度有影响,所以适配后,需要验证精度,如果确认有影响,需要在精度和性能之间做取舍。
- NPU融合算子API
识别融合算子和亲和优化器请参考工具使用,当前支持识别的融合算子API和亲和优化器请参考昇腾迁移融合算子API替换样例。
- NPU亲和优化器替换
PyTorch原生优化器在训练过程中,一般需要下发多个NPU算子完成梯度和参数的更新计算,过多的算子下发,可能造成NPU空等。可将PyTorch优化器替换成NPU亲和优化器提高训练性能,详情请见此处。