检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当ECC错误且计数超过64时，系统会自动隔离故障节点，重启训练作业确认故障是否解决。如果未隔离的节点导致训练作业再次失败或卡死，请联系技术支持处理。 父主题： 业务代码问题
代码自动迁移工具，通过简单import命令可将PyTorch训练脚本从GPU平台迁移至NPU平台运行。 包含在torch_npu包中。 自动迁移工具使用指导 训练业务代码适配昇腾PyTorch代码适配 PyTorch Analyse 迁移分析工具，可以使用工具扫描用户的训练脚本，识别出源码中不支持的torch
install keras==2.6.0') os.system('pip install tensorflow==2.6.0') 父主题： 业务代码问题
environ['PS_RESEND'] = '1'”为在“PS_RESEND_TIMEOUT”毫秒后没有收到ACK消息，Van实例会重发消息。 父主题： 业务代码问题
本文介绍部署上线场景下子账号所需的基本使用权限，您可参考权限清单新增对应业务场景的权限。示例场景为授权子账号权限，使其能够在开发环境Notebook中使用基础镜像构建一个新的推理镜像，并完成模型的创建，部署为在线服务。 权限清单 权限 表1 管理模型所需权限 业务场景 依赖的服务 依赖策略项 支持的功能 配置建议
此问题有两种解决方法： 方法1：使用常用框架自行编码开发模型，支持“多边形”标注的数据集。 方法2：修改数据集，使用矩形标注。然后再启动训练作业。 父主题： 业务代码问题
JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
msprobe精度比对 精度比对功能主要针对两类场景的问题： 同一模型，从CPU或GPU移植到NPU中存在精度下降问题，对比NPU芯片中的API计算数值与CPU或GPU芯片中的API计算数值，进行问题定位。 同一模型，进行迭代（模型、框架版本升级或设备硬件升级）时存在的精度下降问
Dit模型PyTorch迁移与精度性能调优 场景介绍及环境准备 训练迁移适配 精度对齐 性能调优 父主题： GPU业务迁移至昇腾训练推理
基于advisor的昇腾训练性能自助调优指导 advisor调优总体步骤 创建诊断任务 查看诊断报告 父主题： GPU业务迁移至昇腾训练推理
msprobe梯度监控 梯度监控工具提供了将模型梯度数据导出的能力。使用梯度监控工具，可以实现对训练过程模型每一层梯度信息进行监控，目前支持两种能力： 将模型权重的梯度数据导出。这种功能可以将模型权重的梯度值以统计量的形式采集出来，用以分析问题，例如检测确定性问题，使用训练状态监
JupyterLab开发模型。 配置本地IDE（Pycharm或者VsCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
msprobe API预检 msprobe是MindStudio Training Tools工具链下精度调试部分的工具包，主要包括精度预检、溢出检测和精度比对等功能，目前适配PyTorch和MindSpore框架。这些子工具侧重不同的训练场景，可以定位模型训练中的精度问题。 精
精度对齐 长训Loss比对结果 使用Msprobe工具分析偏差 Loss对齐结果 父主题： Dit模型PyTorch迁移与精度性能调优
训练迁移适配 完成环境准备之后，本节将详细介绍Dit模型训练迁移过程。 执行以下命令，下载代码。 git clone https://github.com/facebookresearch/DiT.git cd Dit 执行以下命令，安装依赖项。 pip install diffusers==0
BP。 原因分析 由于batch size过大，导致Dataloader进程退出。 处理方法 请调小batch size的数值。 父主题： 业务代码问题
0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a。 请注意业务基础镜像选择Ascend+PyTorch镜像。 父主题： Dit模型PyTorch迁移与精度性能调优
创建诊断任务 本文介绍如何创建Notebook并执行性能诊断任务。 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例，选择要使用的AI框架，创建Notebook时可以选择任意镜像。具体参见创建Notebook实例。 创建成功后，Note
查看诊断报告 Advisor分析profiling会输出html和xlsx两份文件。请优先查看html报告进行训练作业性能调优。xlsx中记录了html中全量数据，如集群计算、通信和下发的耗时，可以基于xlsx对计算耗时、下发耗时和带宽等列进行排序，从而快速过滤出计算慢卡、下发慢卡、带宽最小卡。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
