检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备算法 此处以订阅算法举例，您也可以自己准备算法。 从AI Gallery订阅一个图像分类的算法进入AI Gallery>资产集市>算法，搜索自动学习算法-图像分类。 单击算法右侧的“订阅”。 在弹出的窗口中，勾选“我已阅读并同意 《数据安全与隐私风险承担条款》 和 《华为云AI G
模型训练高可靠性 训练作业容错检查 训练日志失败分析 训练作业卡死检测 训练作业重调度 设置断点续训练 设置无条件自动重启 父主题： 使用ModelArts Standard训练模型
Standard功能介绍 Standard自动学习 Standard Workflow Standard数据管理 Standard开发环境 Standard模型训练 Standard模型部署 Standard资源管理 Standard支持的AI框架 父主题： 功能介绍
GPUS_PER_NODE 8 默认必须填写。根据资源规格每个节点上NPU的数量填写。 Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。 图2 开启故障重启 Step5 其他配置
GPUS_PER_NODE 8 默认必须填写。根据资源规格每个节点上NPU的数量填写。 Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。 图2 开启故障重启 Step5 其他配置
模型训练使用流程 准备模型训练代码 准备模型训练镜像 创建调试训练作业 创建算法 创建生产训练作业 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化（AutoSearch） 模型训练高可靠性 管理模型训练作业
导入到SFS Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3，驱动版本是23.0.6。 本案例仅支持在专属资源池上运行。
String 服务名称。 logs log结构数组 服务的更新记录。 表2 log结构 参数 参数类型 描述 update_time Long 更新时间，距'1970.1.1 0:0:0 UTC'的毫秒数。 result String 更新结果，取值为：SUCCESS/FAIL/RUNNING。
S监控数据，不支持完整的端到端服务运维设置。 实施步骤 以出行场景的司乘安全算法为例，介绍使用ModelArts进行流程化服务部署和更新、自动化服务运维和监控的实现步骤。 图3 司乘安全算法 将用户本地开发完成的模型，使用自定义镜像构建成ModelArts Standard推理平
计费项 自动学习/Workflow计费项 数据管理计费项 开发环境计费项 模型训练计费项 模型管理计费项 推理部署计费项 专属资源池计费项
/home/ma-user/work/data/log 保存训练过程记录的日志 LOG 文件。 Step3 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。 图4 开启故障重启 Step4 其他配置
软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-3rdLLM-6.3.905-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的vLLM 0.3.2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E
906-xxx.zip软件包中的AscendCloud-AIGC-6.3.906-xxx.zip 说明： 包名中的xxx表示具体的时间戳，以包名的实际时间为准。 获取路径：Support-E。 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 基础镜像 西南-贵阳一：swr
欠费后，ModelArts的资源是否会被删除？ ModelArts Standard数据管理相关计费FAQ ModelArts Standard自动学习所创建项目一直在扣费，如何停止计费？ ModelArts Standard训练作业和模型部署如何收费？
据源导入数据。 从OBS目录导入数据时，当前操作用户需具备此OBS路径的读取权限。 同时确保数据存储的OBS桶与ModelArts在同一区域。 图像分类 图像分类的数据支持两种格式： ModelArts imageNet 1.0：目录方式，只支持单标签 相同标签的图片放在一个目录
主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 开启训练故障自动重启功能 查看日志和性能 训练脚本说明 父主题： LLM大语言模型训练推理
问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
|──llama-factory.patch 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
在训练进程结束后，该日志会生成到训练容器中。其中，使用MindSpore预置框架训练的device日志会自动上传到OBS，使用其他预置框架和自定义镜像训练的device日志如果需要自动上传到OBS，则需要在代码中配置ASCEND_PROCESS_LOG_PATH，具体请参考如下示例。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
