华为云首页用户手册

AI开发平台MODELARTS-查看日志和性能:查看性能

AI开发平台MODELARTS-查看日志和性能:查看性能

时间：2024-12-09 20:36:33

AI开发平台MODELARTS

查看性能

训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。

吞吐量（tokens/s/p）：可通过表1表格中output_dir参数值路径下的trainer_log.jsonl计算性能。取中间过程多steps平均值吞吐计算公式为：
delta_tokens = end_total_tokens-start_ total_tokens

delta_time = end_elapsed_time - start_elapsed_time

吞吐值(tps) = delta_tokens / delta_time / 训练卡数

如图所示：
loss收敛情况：日志里存在lm loss参数，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。loss收敛图存放路径对应表1表格中output_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。
单节点训练：训练过程中的loss直接打印在窗口上。

多节点训练：训练过程中的loss打印在第一个节点上。

图2 Loss收敛情况（示意图）

注：ppo训练结束不会打印性能。建议根据保存路径下的trainer_log.jsonl文件的最后一行总的训练steps和时间来判断性能

上一篇：AI开发平台MODELARTS-工具介绍及准备工作:准备工作

下一篇：AI开发平台MODELARTS-执行训练任务:步骤二修改训练yaml文件配置

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-查看日志和性能:查看性能

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题