检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以通过“自定义策略”来进行精细控制。 表1列出了ModelArts的所有预置系统策略。 表1 ModelArts系统策略 策略名称 描述 类型 ModelArts FullAccess ModelArts管理员用户,拥有所有ModelArts服务的权限 系统策略 ModelArts
置后,保存为自定义镜像,能直接在ModelArts用于训练作业。 开发环境预置镜像分为X86和ARM两类: 表1 X86预置镜像列表 引擎类型 镜像名称 PyTorch pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 pytorch1.10-cuda10
onfig.json”中输入参数(request)。当“type”定义为“string/number/integer/boolean”基本类型时,需要配置映射规则参数,即index参数。请参见映射关系示例了解其规则。 index必须是从0开始的正整数,当index设置不规则不符时
ion.py” ,此处的“demo-code”为用户自定义的OBS存放代码路径的最后一级目录,可以根据实际修改。 资源池:选择公共资源池 类型:选择GPU或者CPU规格。 永久保存日志:打开 作业日志路径:设置为OBS中存放训练日志的路径。例如:“obs://test-modelarts/pytorch/log/”
ion.py” ,此处的“demo-code”为用户自定义的OBS存放代码路径的最后一级目录,可以根据实际修改。 资源池:选择公共资源池 类型:选择GPU或者CPU规格。 永久保存日志:打开 作业日志路径:设置为OBS中存放训练日志的路径。例如:“obs://test-modelarts/pytorch/log/”
npz”的目录,例如“obs://test-modelarts/tensorflow/data/mnist.npz”,获取方式设置为“超参”。 资源池:选择公共资源池。 资源类型:选择GPU规格。 计算节点个数:1个。 永久保存日志:打开。 作业日志路径:设置为OBS中存放训练日志的路径。例如:“obs://tes
${MA_JOB_DIR}/demo-code/mpi-verification.py 环境变量:添加“MY_SSHD_PORT = 38888” 资源池:选择公共资源池 类型:选择GPU规格 计算节点个数:选择“1”或“2” 永久保存日志:打开 作业日志路径:设置为OBS中存放训练日志的路径。例如:“obs:/
${MA_JOB_DIR}/demo-code/mpi-verification.py 环境变量:添加“MY_SSHD_PORT = 38888” 资源池:选择公共资源池 类型:选择GPU规格 计算节点个数:选择“1”或“2” 永久保存日志:打开 作业日志路径:设置为OBS中存放训练日志的路径。例如:“obs:/
单击“下载”,选择云服务区域“华北-北京四”,单击“确定”进入下载详情页。 填写如下参数: 下载方式:ModelArts数据集。 目标区域:华北-北京四。 数据类型:图片。 数据集输出位置:用来存放输出的数据标注的相关信息,如版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录,且此目
1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度(SEQ_LEN) 并行参数设置 micro batch size (MBS) 规格与节点数 1 llama2 llama2-7b
1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度(SEQ_LEN) 并行参数设置 micro batch size (MBS) 规格与节点数 1 llama2 llama2-7b
1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度(SEQ_LEN) 并行参数设置 micro batch size (MBS) 规格与节点数 1 llama2 llama2-7b
1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度(SEQ_LEN) 并行参数设置 micro batch size (MBS) 规格与节点数 1 llama2 llama2-7b
1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度(SEQ_LEN) 并行参数设置 micro batch size (MBS) 规格与节点数 1 llama2 llama2-7b
1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度(SEQ_LEN) 并行参数设置 micro batch size (MBS) 规格与节点数 1 llama2 llama2-7b
obs:bucket:GetBucketPolicy obs:bucket:DeleteBucketPolicy √ √ 查询数据处理的算法类别 GET /v2/{project_id}/processor-tasks/items modelarts:processTask:getProcessTask
python ${MA_JOB_DIR}/demo-code/mindspore-verification.py” 资源池:选择专属资源池 类型:选择驱动/固件版本匹配的专属资源池Ascend规格。 作业日志路径:设置为OBS中存放训练日志的路径。例如:“obs://test-mo