检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Advisor工具分析生成调优建议 关于Advisor使用及安装过程请参见昇腾社区Gitee。最后生成导出的各类场景的建议包含以下两种: Terminal日志信息的概览建议。 包含Detail信息及修改示例的HTML信息。
用户采集性能profiling数据后,可通过该工具自动扫描profiling数据,工具分析完数据后会给出可能的性能问题点及调优建议,用户可以根据调优建议做相应的修改适配。
单模型性能测试工具Mindspore lite benchmark 在模型精度对齐后,针对Stable Diffusion模型性能调优,您可以通过AOE工具进行自助性能调优,进一步可以通过profiling工具对于性能瓶颈进行分析,并针对性的做一些调优操作。
推荐用户在采集profiling分析后使用自动诊断工具进行初步性能调优。更进一步的性能调优再使用Ascend-Insight工具进行数据可视化并人工分析瓶颈点。详细信息,请参见MA-Advisor自动诊断工具使用指导。
().npu() mask_inds = torch.nonzero( gt_inds > 0, as_tuple=False).squeeze(1) tensor_sum2 = (tensor_a * mask_inds2).sum() 父主题: MA-Advisor自动诊断工具使用指导
softmax_out, seed, offset, numels = self.npu_exec(q_npu, k_npu, v_npu, atten_mask) # result shape (1, 128, 4096) 父主题: MA-Advisor自动诊断工具使用指导
使用SSH工具连接Notebook,服务器的进程被清理了,GPU使用率显示还是100% 原因是代码运行卡死导致被进程清理,GPU显存没有释放;或者代码运行过程中内存溢出导致程序被清理,需要释放下显存,清理GPU,然后重新启动。
这些镜像会不定期更新升级,修复已知漏洞。 父主题: 安全
可能原因 配置MobaXterm工具时,没有勾选“SSH keepalive”或专业版MobaXterm工具的“Stop server after”时间设置太短。 解决方案 打开MobaXterm,单击菜单栏“Settings”,如图1 打开“Settings”所示。
图3 选择计算节点规格 运行中服务出现告警时,需要分析是您的代码是否出现漏洞导致内存溢出、是否因为业务使用量太大需要更多的内存。如果因业务原因需要更多内存,请升级在线服务选择更大内存规格的计算节点。 父主题: 服务部署
/"当前所在路径 --baseline <baseline>:<可选>GP-Ant8机器精度基线Yaml文件路径,不填则使用工具自带基线配置,默认基线配置样例如下: 客户使用工具自带精度基线Yaml则需使用accuracy_cfgs.yaml文件中默认配置,权重使用表1 模型权重中指定的
/"当前所在路径 --baseline <baseline>:<可选>GP-Ant8机器精度基线Yaml文件路径,不填则使用工具自带基线配置,默认基线配置样例如下: 客户使用工具自带精度基线Yaml则需使用accuracy_cfgs.yaml文件中默认配置,权重使用表1 模型权重中指定的
在JupyterLab中使用TensorBoard可视化作业 ModelArts支持在开发环境中开启TensorBoard可视化工具。TensorBoard是TensorFlow的可视化工具包,提供机器学习实验所需的可视化功能和工具。
可能原因 配置MobaXterm工具时,没有勾选“SSH keepalive”或专业版MobaXterm工具的“Stop server after”时间设置太短。 解决方案 打开MobaXterm,单击菜单栏“Settings”,如图1 打开“Settings”所示。
查看性能结果 任务完成之后会在test-benchmark目录下生成excel表格: 性能结果 LLaMAFactory_train_performance_benchmark_<版本号>_<时间戳>.xlsx 表格样例如下: 父主题: 训练benchmark工具
详细工具的使用指导请参考离线预检和在线预检介绍。 父主题: Msprobe工具使用指导
查看性能结果 任务完成之后会在test-benchmark目录下生成excel表格: 性能结果LLaMAFactory_train_performance_benchmark_<版本号>_<时间戳>.xlsx 表格样例如下: 父主题: 训练benchmark工具
详细工具的使用指导请参考Pytorch精度比对介绍。 父主题: Msprobe工具使用指导
详细工具的使用指导请参考梯度状态监控工具介绍。 父主题: Msprobe工具使用指导
推理精度测试 本章节介绍两个精度测评工具。