检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看日志和性能 查看日志 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中，训练日志会在最后的Rank节点打印。 图1
查看日志和性能 查看日志 训练过程中，训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${SAVE_PATH}/logs路径下获取。日志存放路径为：/home/ma-user/ws/saved_dir_for_ma_output
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p
查看日志和性能 查看日志 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中，训练日志会在最后的Rank节点打印。 图1
查看日志和性能 查看日志 训练过程中，训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件。 查看性能
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p
查看日志和性能 查看日志 训练过程中，训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应修改重要参数表格中output_dir参数值路径下的trainer_log.jsonl文件
查看日志和性能 查看日志 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中，训练日志会在最后的Rank节点打印。 图1
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
测试用户权限 由于权限配置需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。 验证ModelArts
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因： 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 检查资源分配情况（cpu
Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
AI开发基本概念 机器学习常见的分类有3种： 监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。常见的有回归和分类。 非监督学习：在未加标签的数据中，试图找到隐藏的结构。常见的有聚类。 强化学习：智能系统从环境到行为映射的学习，
调优前后性能对比 在完成上一章几类调优方式之后，在单卡场景下实测性能调优比对结果如下表所示： 设备 batch_size Steps/Sec 1p-GPU Ant8 16 3.17 1p-NPU snt9b 313T 16 2.17 1p-NPU snt9b 313T调优后 16
训练作业性能问题 训练作业性能降低 父主题： 训练作业
Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
