检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907）
必须修改。指定输出目录。训练过程中生成的模型参数和日志文件将保存在这个目录下 logging_steps 2 用于指定模型训练过程中，多少步输出一次日志。日志包括了训练进度、学习率、损失值等信息。建议设置 save_steps 500 指定模型训练过程中，每多少步保存一次模型。保存的模型可以用于后续的训练或推理任务
Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力，负责建立和管理机器学习训练工作负载所需的基础设施，减轻用户的负担，为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练，用户可以专注于开发、训练和微调模型。
步骤1：验证模型权重文件 在进行模型服务升级之前，必须先确认模型权重文件能够成功完成推理任务。只有当验证成功，确保了模型权重的功能性和准确性后，才可以进行模型权重的滚动升级。 获取待更新的模型权重文件，并上传到OBS桶中。 参考创建我的模型，用待更新的模型权重文件新建一个我的模型。关键参数请参见表1。
setting max_split_size_mb to avoid fragmentation. 解决方法： 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size）
setting max_split_size_mb to avoid fragmentation. 解决方法： 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.909）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.908）
setting max_split_size_mb to avoid fragmentation. 解决方法 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size）
setting max_split_size_mb to avoid fragmentation. 解决方法 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size）
setting max_split_size_mb to avoid fragmentation. 解决方法 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size）
模型发布 模型发布任务提交失败 模型发布失败 父主题： 自动学习
Gallery的模型微调，则需要在“模型文件”添加gallery_train文件夹，文件夹内容参考表1。 gallery_train文件夹必须是一级目录直接上传，否则会被判定不符合自定义模型规范，无法使用模型微调。 如果自定义模型的模型文件不符合gallery_train文件列表要求或文件内容为空，都将不能正常进行模型微调。
推理请求经过一系列传递后最终是会进入到模型服务中，模型服务可能是以自定义镜像的方式导入的，可能是因为模型服务在处理推理请求时候出现了问题导致结果不符合预期，能准确判断出来是否是在模型服务中出的问题对于快速解决问题帮助很大。 处理方法 不管是用方式1还是方式2，要判断是否是模型服务返回的不合预期的结
模型训练 自动学习训练作业创建失败 自动学习训练作业失败 父主题： 自动学习
Standard一键完成商超商品识别模型部署 ModelArts Standard平台提供了模型推理部署功能，用户在已有模型的情况下，可以直接在Standard中导入模型，并部署为在线服务进行预测。 本文以“商超商品识别”模型为例，介绍如何在ModelArts Standard平台上将已有模型部署为在线服
模型训练 创建图像分类自动学习项目并完成图片标注，训练按钮显示灰色，无法开始训练？ 自动学习项目中，如何进行增量训练？ 自动学习训练后的模型是否可以下载？ 自动学习为什么训练失败？ 自动学习模型训练图片异常？ 自动学习使用子账号单击开始训练出现错误Modelarts.0010 自
setting max_split_size_mb to avoid fragmentation. 解决方法： 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size）
setting max_split_size_mb to avoid fragmentation. 解决方法 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size）
报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40G以下）的文件内容，只要在36分钟内保存完成，就不会报超时错误。 2. 忽略该报错，因为报错不影响实际报错的权重。 父主题： 常见错误原因和解决方法
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
