检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练作业创建失败报错: 准备阶段超时。可能原因是跨区域算法同步或者创建共享存储超时 训练作业已排队,正在等待资源分配 训练作业排队失败 训练作业开始运行 训练作业运行成功 训练作业运行失败 训练作业被抢占 系统检测到您的作业疑似卡死,请及时前往作业详情界面查看并处理 训练作业已重启
是否生成本地模型包:请保持默认值关闭。即默认不在当前JupyterLab特征工程项目中生成本地模型包。仅归档模型包,供模型管理页面新建模型包使用。 是否生成本地metadata.json:请保持默认值关闭。 单击归档cell代码框左侧的图标,完成模型归档。 父主题: 模型训练
准备模型训练代码 预置框架启动文件的启动流程说明 开发用于预置框架训练的代码 开发用于自定义镜像训练的代码 父主题: 使用ModelArts Standard训练模型
各个模型训练前文件替换 在训练开始前,因模型权重文件可能与训练框架不匹配或有优化,因此需要针对模型的tokenizer文件进行修改或替换,不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前,针对falcon-11B模型中的tokenizer文件
各个模型训练前文件替换 在训练开始前,因模型权重文件可能与训练框架不匹配或有优化,因此需要针对模型的tokenizer文件进行修改或替换,不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前,针对falcon-11B模型中的tokenizer文件
高优先级权限”的用户可选择优先级1~3。 如何设置训练作业优先级 在创建训练作业页面可以设置训练的“作业优先级”。取值为1~3,默认优先级为1,最高优先级为3。 如何修改训练作业优先级 在训练作业列表页面,选择“状态”为“等待中”的训练作业,单击“作业优先级”列的,在弹窗中修改优先级后单击“确定”。
辑。 创建训练任务,详细请参考模型训练。 删除训练任务。 切换到其他的训练工程、联邦学习工程、训练服务或超参优化服务的模型训练页面中。 模型训练运行环境信息查看和配置。 新建训练工程、联邦学习工程、训练服务或超参优化服务。 2(模型训练任务) 根据训练状态快速检索训练任务。 根据任务创建时间、任务名称检索训练任务。
是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。 当训练作业发生故障中断本次作业时,代码可自动从训练中断的位置接续训练,加载中断生成的checkpoint,中间不需要改
用户也可以直接通过账号登录。首次登录后请及时修改密码,并定期修改密码。 单击“登录”,进入NAIE服务官网。 依次选择“AI服务 > AI服务 > 模型训练服务 > 模型训练服务”,进入模型训练服务介绍页面。 单击“进入服务”,进入模型训练服务页面。 父主题: 准备工作
输入租户名和密码,单击“登录”,进入NAIE服务官网。 首次登录后请及时修改密码,并定期修改密码。 依次选择“AI服务 > AI服务 > 模型训练服务 > 模型训练服务”,进入模型训练服务介绍页面。 单击“我要购买”,进入服务订购界面。 区域:为用户提供服务的华为云Region。请选择“华北-北京四”。
当对创建的训练作业不满意时,您可以单击操作列的重建,重新创建训练作业。在重创训练作业页面,会自动填入上一次训练作业设置的参数,您仅需在原来的基础上进行修改即可重新创建训练作业。 停止训练作业 在训练作业列表中,针对“创建中”、“等待中”、“运行中”的训练作业,您可以单击“操作”列的“终止”,停止正在运行中的训练作业。
设置训练故障优雅退出 使用场景 随着模型规模和数据集的急剧增长,需要利用大规模的训练集训练大规模的神经网络。在大规模集群分布式训练时,会遇到集群中某个芯片、某台服务器故障,导致分布式训练任务失败。优雅退出是指中断的训练任务支持自动恢复,并可以在上一次训练中断的基础上继续训练,而不用从头开始。
模型训练必备要素包括训练代码、训练框架、训练数据。 训练代码包含训练作业的启动文件或启动命令、训练依赖包等内容。 当使用预置框架创建训练作业时,训练代码的开发规范可以参考开发用于预置框架训练的代码。 当使用自定义镜像创建训练作业时,训练代码的开发规范可以参考开发用于自定义镜像训练的代码。
训练日志失败分析 在ModelArts Standard中训练作业遇到问题时,可首先查看日志,多数场景下的问题可以通过日志报错信息直接定位。 ModelArts Standard提供了训练作业失败定位与分析功能,如果训练作业运行失败,ModelArts会自动识别导致作业失败的原因
训练作业重调度 当训练作业发生故障恢复时(例如进程级恢复、POD级重调度、JOB级重调度等),作业详情页面中会出现“故障恢复详情”页签,里面记录了训练作业的启停情况。 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。
使用reload ckpt恢复中断的训练 在容错机制下,如果因为硬件问题导致训练作业重启,用户可以在代码中读取预训练模型,恢复至重启前的训练状态。用户需要在代码里加上reload ckpt的代码,使能读取训练中断前保存的预训练模型。具体请参见断点续训练。 父主题: 模型训练高可靠性
Shell中单击回车键即可恢复正常。 图3 路径异常 如何使训练作业保持运行中状态 由于需要训练作业处于“运行中”状态才能登录Cloud Shell,因此本文介绍如何使训练作业保持运行中状态,方便您快速通过Cloud Shell登录运行中的训练容器。 通过Sleep命令使训练作业保持运行 如果训练作业使用的是预置框架:
用户也可以直接通过账号登录。首次登录后请及时修改密码,并定期修改密码。 单击“登录”,进入NAIE服务官网。 依次选择“AI服务 > AI服务 > 模型训练服务 > 模型训练服务”,进入模型训练服务介绍页面。 单击“进入服务”,进入模型训练服务页面。 父主题: 学件开发指南
如何自定义安装python第三方库? 如何在模型训练服务中安装算法依赖的库,方法如下所示: 模型训练服务支持使用pip安装,算法依赖的第三方库,以安装pystan为例,操作方法如下: os.system("pip install pystan") Notebook支持使用pip安
LaVA 修改训练脚本模型路径(--model_name_or_path 模型路径)。 vim ./scripts/v1_5/pretrain_new.sh 运行训练脚本,默认是单机8卡。 bash ./scripts/v1_5/pretrain_new.sh 训练完成后,权重文