检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
径为“obs://bucket-name/dir1/file1.txt”。其中,桶名称和文件夹的名称均可以按照业务需求自定义。 参数说明 表1 请求参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象。 src_local_file 是 String
查看,具体请参见训练基础镜像详情(Ascend-Powered-Engine)。 Ascend驱动版本与Cann软件版本的兼容关系如下表所示: 表1 Ascend驱动版本与Cann软件版本的兼容关系 Ascend驱动版本 支持Cann软件版本 基础镜像 c81-22.0.0.3 5
员、标注进展等。 复制标注作业 登录ModelArts管理控制台,在左侧菜单栏选择“数据准备>数据标注”,进入数据标注页面。 在数据标注列表页,“我创建的”页签下,选择需要复制的标注任务。 单击作业操作列的“更多>复制”。 在标注任务复制的弹窗中,填写作业描述,作业名称task-
在ModelArts中部署模型时,为什么无法选择Ascend Snt3资源? 由于Ascend Snt3资源有限,当资源售罄后,您在部署上线时,无法选择Ascend Snt3资源(公共资源池)进行推理,即在部署页面中,“Ascend: 1* Snt3 (8GB) | ARM: 3
orce_id}/workers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 请求参数 表2 请求Body参数 参数 是否必选
e-image-job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 task_id 是 String
RO内存优化等高级特性,以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值:sft、rm、ppo、dpo。 sft代表指令监督微调; rm代表奖励模型训练; ppo代表PPO训练; dpo代表DPO训练。 finetuning_type full 用于指定微调策略类型,可选择值full、lora。
示例代码执行后,OBS源文件夹“dir1”被下载至本地“/home/ma-user/work/dir1/”。 下载到本地的路径需要有写权限。 参数说明 表1 请求参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象。 src_obs_dir 是 String 下
RO内存优化等高级特性,以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值:sft、rm、ppo、dpo。 sft代表指令监督微调; rm代表奖励模型训练; ppo代表PPO训练; dpo代表DPO训练。 finetuning_type full 用于指定微调策略类型,可选择值full、lora。
添加“fault-tolerance/job-retry-num”字段,视为开启自动重启,value的范围可以设置为1~128的整数。value值表示最大允许重新下发作业的次数。如果不传入则默认为0,表示不做重新下发作业,也不会启用环境检测。 图6 设置API 检测项目与执行条件 检测项目 item(日志关键字)
ults 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String 数据处理任务的版本ID。 表2 Query参数
/v2/{project_id}/datasets/{dataset_id}/workforce-tasks/{workforce_task_id}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String
操作。 在“专属资源池扩缩容”页面,可通过增减“目标总实例数”实现扩缩容,请用户根据本身业务诉求进行调整。增加目标实例数量即表示扩容,减少目标实例数量即表示缩容。 如果购买资源池时,节点数量采用整柜方式购买(部分规格支持),则在扩缩容时为整柜方式扩缩容,目标实例总数等于“数量*整
eRO内存优化等高级特性,以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值:【sft、rm、ppo、dpo】 sft代表监督微调; rm代表奖励模型训练; ppo代表PPO训练; dpo代表DPO训练。 finetuning_type full 用于指定微调策略类型,可选择值full、lora。
的瓶颈,导致迭代缓慢。 由于环境或网络问题,读OBS时遇到读取数据失败情况,从而导致整个作业失败。 重复打印日志,该日志表示正在读取远端存在的文件,当文件列表读取完成以后,开始下载数据。如果文件比较多,那么该过程会消耗较长时间。 处理方法 在创建训练作业时,数据可以保存到OBS上
资源池工作空间迁移 登录ModelArts管理控制台,选择“AI专属资源池 > 弹性集群Cluster”,进入“Standard资源池”页面。 在资源池列表中,选择目标资源池右侧操作列的“ > 工作空间迁移”。 在弹出的“迁移专属资源池”中,选择要迁移的“目标工作空间”,单击“确定”。 图1 工作空间迁移
在各类资产模块页面,通过如下几种搜索方式可以提高资产的查找效率,快速找到适合的算法、模型、数据集、镜像、Workflow等资产。 图1 搜索资产 表1 快速搜索方式 区域 类型 搜索方式 支持的AI资产 1 搜索华为云官方资产 在页面单击“官方”,筛选出所有的华为云官方资产,该类资产均可免费使用。
路径为“obs://bucket-name/dir1/ma-user/”。其中,桶名称和文件夹的名称均可以按照业务需求自定义。 参数说明 表1 请求参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象。 src_local_dir 是 String
/v2/{project_id}/workflows/{workflow_id}/subscriptions/{subscription_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id
SAVE_INTERVAL 10 表示训练间隔多少step,则会保存一次权重文件。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-13b 对应模型名称。 STAGE pt 表示当前的训练阶段。可选择值:【pt、sft】