AI开发平台MODELARTS-advisor分析报告html文件详解:comparison模块介绍

时间:2025-01-03 09:38:54

comparison模块介绍

当同时指定目标集群profiling和标杆集群profiling或者目标集群内部存在快慢卡时,advisor会针对计算和下发性能存在差异的卡(快慢卡)进行算子级的对比。

如下图所示,当分析时显式指定了标杆集群profiling数据,advisor识别到两次训练任务中0号卡的step12存在计算性能差异,则会对目标集群的0号卡step12与标杆集群的0号卡step12进行kernel(npu侧计算的算子)性能对比。基于该对比数据,可以判断两张卡上的npu算子是否存在计算性能差异。

图7 目标集群profiling数据与标杆集群profiling数据的kernel算子对比

如下图所示,当分析时显式指定了标杆集群profiling数据,advisor识别到两次训练任务中6号卡的step16存在api下发性能差异,对目标集群的6号卡step16与标杆集群的6号卡step16进行了api(cpu侧的torch aten算子任务下发)的性能对比。基于该对比数据,可以判断两张卡上的aten算子是否存在下发性能差异。

图8 目标集群profiling数据与标杆集群profiling数据的api下发对比

如下图所示,分析时并没有指定标杆集群profiling数据,但advisor识别到目标集群存在任务下发快慢卡(16和19号卡)现象,因此对比了16号卡step175和19号卡step172的api下发性能。

图9 目标集群(无标杆集群profiling)内部快慢卡api下发对比
support.huaweicloud.com/bestpractice-modelarts/modelarts_advisor_0005.html