检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'GET', request_url) # 动态挂载,OBS路径obs://obs-bucket-train/dir/需要根据实际修改,挂载路径mount_path取值为“/data/xxx/”,本示例以“/data/demo/”为例,“demo”可以自定义。 body =
383bbd54bc621086e05aa1b030d8d4d5635b25e6 pip install -e . 执行如下精度测试命令,可以根据参数说明修改参数。 lm_eval --model vllm --model_args pretrained=${vllm_path},dtype=auto
式远程连接其他用户的Notebook实例,需要将SSH密钥对更新成自己的,否则会报错ModelArts.6786。更新密钥对具体操作请参见修改Notebook SSH远程连接配置。具体的错误信息提示:ModelArts.6789: 在ECS密钥对管理中找不到指定的ssh密钥对xxx,请更新密钥对并重试。
{image_url}参见表1。 docker pull {image_url} 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。 docker run -itd \ --name ${container_name} \ -v /sys/fs
String 执行策略,可选值如下: retry:重试 stop:停止 continue:继续运行 use_cache Boolean 是否使用的是缓存。 表11 WorkflowConditionExecution 参数 参数类型 描述 result String 执行结果。 metric_list
_url}获取请参见表1。 docker pull {image_url} 步骤三:启动容器镜像 启动容器镜像,启动前可以根据实际需要增加修改参数。 docker run -itd \ --device=/dev/davinci0 \ --device=/dev/davinci1
要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。 SAVE_INTERVAL 1000 用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时,生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。
要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。 SAVE_INTERVAL 1000 用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时,生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。
填写训练输入路径 选择挂载SFS路径时,下拉框只显示有权限的SFS路径,显示“只读”的文件夹只支持只读功能,不显示的读写均支持。可参考权限管理文档修改SFS Turbo权限。 图9 输入数据设置完成界面 设置训练输出路径:新建“output”文件夹设置为输出。(如果本地有output文件夹,无需新建)
导入成功的前提是,数据源的schema需要与创建数据集指定的schema保持一致。其中schema指表格的列名和类型,创建数据集时一旦指定,不支持修改。 从OBS导入csv文件,不会校验数据类型,但是列数需要跟数据集的schema保持一致。如果数据格式不合法,会将数据置为null,详见表4。
建议使用官方提供的镜像部署训练服务。镜像地址{image_url}请参见表1。 docker pull {image_url} Step6 修改并上传镜像 1. 登录指令输入之后,使用下列示例命令: docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称>
情况,导致空间不足。 请排查是否使用的是GPU资源。如果使用的是CPU规格的资源,“/cache”与代码目录共用10G,会造成内存不足,请更改为使用GPU资源。 请在代码中添加环境变量来解决。 import os os.system('export TMPDIR=/cache')
说明查询修改 train_instance_count=1, # 节点数,适用于多机分布式训练,默认是1 #pool_id='若指定专属池,替换为页面上查到的poolId',同时修改资源规格为专属池专用的虚拟子规格
版本发布时的manifest文件缓存输入路径。 manifest_path String 版本发布的manifest文件保存路径。 message String 发布时记录的任务信息(如:错误信息等)。 modified_sample_count Integer 已修改的样本数量。 prev
检查OBS桶是否为非加密桶 进入OBS管理控制台,单击桶名称进入概览页。 确保此OBS桶的加密功能关闭。如果此OBS桶为加密桶,可单击“默认加密”选项进行修改。 创建OBS桶时,桶的存储类别请勿选择“归档存储”和“深度归档存储”,归档存储的OBS桶会导致模型训练失败。 图1 查看OBS桶是否加密
议使用官方提供的镜像部署训练服务。镜像地址{image_url}请参见表1。 docker pull {image_url} Step6 修改并上传镜像 1. 登录指令输入之后,使用下列示例命令: docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称>
age_url}参见表2。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像。启动前请先按照参数说明修改${}中的参数。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录"
tput/llama2-13b/saved_models/pretrain_hf/目录下查看转换后的权重文件。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例,用户可在Notebook直接编辑scripts/llama2/2_convert_mg_hf.sh脚本,
新增委托:如果没有委托可选,可以在新增委托中创建委托权限。对于首次使用ModelArts的用户,需要新增委托。 “新增委托 > 委托名称” 系统自动创建委托名称,用户可以手动修改。 “新增委托 > 权限配置 > 普通用户” 普通用户包括用户使用ModelArts完成AI开发的所有必要功能权限,如数据的访问、训练任务的创建和管理等。一般用户选择此项即可。
使用用户组02中任意一个子账号登录ModelArts管理控制台。在登录页面,请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码,请根据界面提示进行修改。 验证ModelArts权限。 在左上角的服务列表中,选择ModelArts服务,进入ModelArts管理控制台。 在M