检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练管理 创建算法 查询算法列表 查询算法详情 更新算法 删除算法 获取支持的超参搜索算法 创建训练实验 创建训练作业 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练作业指定任务的日志（预览） 查询训练作业指定任务的日志（OBS链接） 查询训练作业指定任务的运行指标
见容器环境搭建。 训练代码迁移 前提条件 要迁移的训练任务代码在GPU上多次训练稳定可收敛。训练业务代码和数据，应该确保在GPU环境中能够运行，并且训练任务有稳定的收敛效果。 本文只针对基于PyTorch的训练代码迁移。此处假设用户使用基于PyTorch的训练代码进行迁移。其他的
获取训练作业支持的公共规格 功能介绍 获取训练作业支持的公共规格。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-job-flavors
Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoi
鲲鹏镜像暂时无法安装TensorFlow，敬请期待后续更新。 父主题： 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型
训练模型 特征和算法确定后，可以开始训练模型。 训练模型 单击“模型选择”左下方的“训练模型”。 新增“训练模型”内容，如图1所示。 图1 训练模型 单击“训练模型”代码框左侧的图标，进行模型训练。 模型训练完成后，界面下方展示模型的评估效果。 第一列内容的含义如下所示： 0：标注为0的所有样本。可以理解为标签。
job_name String 训练作业的名称。 job_desc String 训练作业的描述信息。 version_id Long 训练作业的版本ID。 version_name String 训练作业的版本名称。 pre_version_id Long 训练作业前一版本的名称。 engine_type
训练作业性能问题 训练作业性能降低 父主题： 训练作业
使用预置算法训练时，训练失败，报“bndbox”错误 问题现象 使用预置算法创建训练作业，训练失败，日志中出现如下报错。 KeyError: 'bndbox' 原因分析 用于训练的数据集中，使用了“非矩形框”标注。而预置使用算法不支持“非矩形框”标注的数据集。 处理方法 此问题有两种解决方法：
训练作业重调度 当训练作业发生故障恢复时（例如进程级恢复、POD级重调度、JOB级重调度等），作业详情页面中会出现“故障恢复详情”页签，里面记录了训练作业的启停情况。 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中，单击作业名称进入训练作业详情页面。
训练作业训练失败报错：TypeError: unhashable type: ‘list’ 问题现象 使用订阅算法图像分类-EfficientNetB4进行训练报错：TypeError: unhashable type: ‘list’。 原因分析 可能由于使用了多标签分类导致（即一个图片用了1个以上的标签）。
外网访问限制 日志提示“ Network is unreachable” 运行训练作业时提示URL连接超时 父主题： 训练作业
统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中，不断地保存训练结果（包括但不限于EPOCH、模型权
job_id Long 训练作业的ID。 job_name String 训练作业的名称 status Int 训练作业的运行状态，详细作业状态列表请查看作业状态参考。 create_time Long 训练作业的创建时间，时间戳格式。 version_id Long 训练作业的版本ID。
使用reload ckpt恢复中断的训练 在容错机制下，如果因为硬件问题导致训练作业重启，用户可以在代码中读取预训练模型，恢复至重启前的训练状态。用户需要在代码里加上reload ckpt的代码，使能读取训练中断前保存的预训练模型。具体请参见断点续训练。 父主题： 模型训练高可靠性
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的 llm_train/AscendSpeed
查看训练作业详情 登录ModelArts管理控制台。 在左侧导航栏中，选择“模型训练 > 训练作业”，进入“训练作业”列表。 在作业列表，单击“导出”，可以将训练作业根据时间周期导出Excel表到本地。最多只支持导出前200行数据。 在“训练作业”列表中，单击作业名称，进入训练作业详情页。
nizer文件，具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入： cd
机。 在首页导航栏，进入“模型训练”页面（选择摄像机型号后，模型训练自动解锁），单击“华为训练云服务”进入ModelArts模型训练平台。如果开发者有自己训练好的模型， 不需要进入该步骤。 其中， ModelArts是面向开发者的一站式AI开发平台，属于华为云解决方案，需要按照华为云市场要求进行注册与使用。
训练作业创建失败报错： 准备阶段超时。可能原因是跨区域算法同步或者创建共享存储超时 训练作业已排队，正在等待资源分配 训练作业排队失败 训练作业开始运行 训练作业运行成功 训练作业运行失败 训练作业被抢占 系统检测到您的作业疑似卡死，请及时前往作业详情界面查看并处理 训练作业已重启
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
