AI开发平台MODELARTS-性能调优五板斧:算子二进制调优

时间：2024-06-07 18:38:05

AI开发平台MODELARTS

PyTorch Adaptor框架提供与算子编译相关的二进制配置参数，可设置模型编译时是否优先在线编译，以此优化模型训练性能。在main函数训练逻辑开始前通过以下函数设置（True为启动优先在线编译、False为取消优先在线编译）。

torch_npu.npu.set_compile_mode(jit_compile=False)

对于固定shape场景和动态shape场景，是否优先在线编译对训练性能带来不同的效果：

固定shape场景：固定shape是指在模型计算过程中，模型的输入和输出的shape是固定的。如果优先在线编译，可根据当前获得的算子信息，进行融合和优化，在线编译出运行性能更优的算子。反之，则编译优化少，性能降低。
动态shape场景：动态shape是指在模型计算过程中，模型的输入和输出存在多种shape。如果对动态shape的算子优先编译，会导致编译时间长训练性能差。如果取消优先编译，会优先查找当前编译好的算子二进制配置文件，如果存在则不在线编译算子；如果不存在，再进行在线编译。此时虽然编译优化少，但是没有编译时间，模型训练性能大概率比配置为优先编译高。

总结：