检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“dataset_name”为创建的数据集名称。 “dataset_type”为“0”表示数据集类型为图像分类。 “data_path”为数据源所在的存储路径。 “work_path”为数据集输出位置。 “labels”为数据集的标签列表,填写标签信息。 返回状态码为“201 Created”,响应Body如下:
Gallery直接下载(例如:8类常见生活垃圾图片数据集)。 from modelarts import workflow as wf # 定义统一存储对象管理输出目录 output_storage = wf.data.OutputStorage(name="output_storage"
用prefix-caching特性,不添加表示不使用。开启该特性后,如果模型长度>8192,则需要在启动推理服务前添加如下环境变量降低显存占用;否则在长序列的推理中会触发Out of Memory,导致推理服务不可用。 export USE_PREFIX_HIGH_PRECISION_MODE=1
用prefix-caching特性,不添加表示不使用。开启该特性后,如果模型长度>8192,则需要在启动推理服务前添加如下环境变量降低显存占用;否则在长序列的推理中会触发Out of Memory,导致推理服务不可用。 export USE_PREFIX_HIGH_PRECISION_MODE=1
code/ 用于存储Ascend训练脚本文件。 obs://test-modelarts/ascend/demo-code/run_ascend/ 用于存储Ascend训练脚本的启动脚本。 obs://test-modelarts/ascend/log/ 用于存储训练日志文件。 Step2
“-k”是指允许不使用证书到SSL站点。 “-F”是指上传数据的是文件,本例中参数名为“images”,这个名字可以根据具体情况变化,@后面是图片的存储路径。 “-H”是post命令的headers,Headers的Key值为“X-Auth-Token”,这个名字为固定的, Token值是获取的用户Token。
from_pretrained()”加载: newbert.from_pretrained(pretrained_model_name_or_path="./您的权重文件本地存储路径/.") 后续操作 自定义模型文件构建完成后,可以参考托管模型到AI Gallery将模型文件托管至AI Gallery。建议托管的模型文件列表参见表2。
应模型的文件格式要求,详情请参见约束限制。 权重文件指的是模型的参数集合。 说明: 百川和Llama系列模型只支持自定义权重。 自定义权重存储路径 当“权重设置与词表”选择“自定义权重”时,需要选择存放模型权重文件的OBS路径,必须选择到模型文件夹。单次上传本地文件到OBS的总大
data/”。 表20 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。 枚举值: data_format:数据格式。
上述的虚拟机或物理机需要为arm64架构。 建议构建节点安装的Linux系统版本为Ubuntu 18.04。 本指导使用/opt目录作为构建任务承载目录,请确保该目录下可用存储空间大于30GB。 Docker的安装可以参考官方文档:Install Docker Engine on Ubuntu。MiniConda
data/”。 表20 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。 枚举值: data_format:数据格式。
model_registration], storages=[storage] ) 从训练作业中注册模型(模型输入来源OBS路径,训练完成的模型已存储到OBS路径) import modelarts.workflow as wf # 通过ModelStep来定义一个模型注册节点,输入来源于OBS中
data/”。 表22 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。 枚举值: data_format:数据格式。
会舍弃标注框超出原始图片边界的图片。 输出目录结构如下所示。其中“Data”文件夹用于存放新生成的图片和标注信息,“manifest”文件存储文件夹中图片的结构,可直接导入到数据集中。 |----data_url |----Data |----xxx.jpg
数据集的分享和下载 AI Gallery的资产集市提供了数据集的分享和下载。订阅者可在AI Gallery搜索并下载满足业务需要的数据集,存储至当前帐号的OBS桶或ModelArts的数据集列表。分享者可将已处理过的数据集发布至AI Gallery。 下载数据集 AI Gallery发布数据集
output2=obs://bucket/output2 --input String 否 训练的输入信息,指定后,训练作业将会把对应OBS上的数据下载到训练容器,并将数据存储路径通过指定的参数传递给训练脚本。如果需要指定多个参数,可以使用--input data_path1=obs://bucket/data1
表30 remote_constraint 参数 是否必选 参数类型 描述 data_type 否 String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes 否 String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式;
data/”。 表22 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation
ing.sh文件和llama_7b文件夹上传至model目录下,如下图所示。 图2 上传至model目录 创建模型,源模型来源选择“从对象存储服务(OBS)中选择”,元模型选择至model目录,AI引擎选择Custom,引擎包选择步骤3构建的镜像。 图3 创建模型 将创建的模型部
data/”。 表21 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation