检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CUDA in forked subprocess” 训练作业找不到GPU 日志提示“RuntimeError: CUDA error: an illegal memory access was encountered” 父主题： 训练作业
在ModelArts中训练好后的模型如何获取？ 使用自动学习产生的模型只能在ModelArts上部署上线，无法下载至本地使用。 使用自定义算法或者订阅算法训练生成的模型，会存储至用户指定的OBS路径中，供用户下载。 父主题： Standard模型训练
PyTorch NPU训练指导（6.3.912） 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.912） 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.912）
训练输出路径被其他作业使用 问题现象 在创建训练作业时出现如下报错：操作失败！Other running job contain train_url: /bucket-20181114/code_hxm/ 原因分析 根据报错信息判断，在创建训练作业时，同一个“训练输出路径”在被其他作业使用。
MXNet创建kvstore时程序被阻塞，无报错 日志出现ECC错误，导致训练作业失败 超过最大递归深度导致训练作业失败 使用预置算法训练时，训练失败，报“bndbox”错误 训练作业进程异常退出 训练作业进程被kill 父主题： 训练作业
训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
Ascend相关问题 Cann软件与Ascend驱动版本不匹配 训练作业的日志出现detect failed（昇腾预检失败） 父主题： 训练作业
训练的数据集预处理说明 以 llama2-13b 举例，使用训练作业运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data
scripts/llama2/0_pl_pretrain_13b.sh localhost 1 0 等待模型载入 执行训练启动命令后，等待模型载入，当出现“training”关键字时，表示开始训练。训练过程中，训练日志会在最后的Rank节点打印。 图1 等待模型载入 训练完成后，生成的权重文件保存路
通过torch.distributed.run命令启动 创建训练作业 方式一：使用PyTorch预置框架功能，通过mp.spawn命令启动训练作业。 创建训练作业的关键参数如表1所示。 表1 创建训练作业（预置框架） 参数名称 说明 创建方式 选择“自定义算法”。 启动方式 选择“
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
执行训练任务【新】 新的训练方式将统一管理训练日志、训练结果和训练配置，使用yaml配置文件方便用户根据自己实际需求进行修改。推荐用户使用该方式进行训练。 权重文件支持以下组合方式，用户根据自己实际要求选择： 训练stage 不加载权重 增量训练：加载权重，不加载优化器（默认开启）
训练作业进程被kill 问题现象 用户进程被Kill表示用户进程因外部因素被Kill或者中断，表现为日志中断。 原因分析 CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况
在ModelArts训练时如何安装C++的依赖库？ 在训练作业的过程中，会使用到第三方库。以C++为例，请参考如下操作步骤进行安装： 将源码下载至本地并上传到OBS。使用OBS客户端上传文件的操作请参见上传文件。 将上传到OBS的源码使用Moxing复制到开发环境Notebook中。
Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoi
使用ModelArts Standard训练模型 模型训练使用流程 准备模型训练代码 准备模型训练镜像 创建调试训练作业 创建算法 创建生产训练作业 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化（AutoSearch） 模型训练高可靠性 管理模型训练作业
训练作业的监控内存指标持续升高直至作业失败 问题现象 训练作业的“状态”为“运行失败”。 原因分析 训练作业的监控内存指标持续升高，导致最后训练作业失败。 处理步骤 查询训练作业的日志和监控信息，是否存在明确的OOM报错信息。 是，训练作业的日志里存在OOM报错，执行2。 否，训
scripts/llama2/0_pl_pretrain_13b.sh localhost 1 0 等待模型载入 执行训练启动命令后，等待模型载入，当出现“training”关键字时，表示开始训练。训练过程中，训练日志会在最后的Rank节点打印。 图1 等待模型载入 更多查看训练日志和性能操作，请参考查看日志和性能章节。
LoRA微调训练 步骤1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
