检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选值如下: true:标签导入到已标注(默认值) false:标签导入到待确认,导入到待确认状态目前仅支持的数据集类型为图像分类和物体检测。 label_format 否 LabelFormat object 标签格式,此参数仅文本类数据集使用。
图1 credential.csv文件内容 AK/SK生成步骤: 注册并登录管理控制台。 单击右上角的用户名,在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”,进入“身份验证”页面。 根据提示完成身份验证,下载密钥,并妥善保管。
SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。
project_id 用户所属的账号的project id。 user_id 提交作业的用户所属的账号的user id。 npu_id 昇腾卡的ID信息,比如davinci0(即将废止)。 device_id 昇腾系列AI处理器的Physical ID。
请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 delete_source 否 Boolean 是否删除源文件,对非文本类型数据集有效(文本类型数据集因为是导入的整个文本文件,故删除一条样本不会对源文本有影响)。
SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。
os.modelarts/tenant.domain.id String 资源池的租户id,记录资源池创建在哪个租户账号下。 表7 PoolMetaAnnotations 参数 参数类型 描述 os.modelarts/description String 资源池的描述信息。
但由于lambdalabs/pokemon-blip-captions数据集下载现在需要登录HuggingFace账号,请先下载数据集到本地,再挂载到对应目录。
推理代码编写指导 在模型代码推理文件“customize_service.py”中,需要添加一个子类,该子类继承对应模型类型的父类,各模型类型的父类名称和导入语句如表1所示。导入语句所涉及的Python包在ModelArts环境中已配置,用户无需自行安装。
SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。
tenant String 模型所属租户的账号id。 model_docs Array of GuideDoc objects 模型文档列表。 owner String 模型所属租户的用户id。
如果选择付费资源,则请确认账号未欠费,且余额高于所选计算规格的收费标准,否则可能会导致AI Gallery工具链服务异常中断。AI Gallery的计算规格的计费说明请参见计算规格说明。 作业参数配置完成后,单击“启动作业”。
权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 查询数据集导入任务列表 GET /v2/{project_id}/datasets/{dataset_id}/import-tasks modelarts:dataset:getDataset - √ √ 创建导入任务
DEDICATED:非托管,即资源在用户账号上,只有在category为EFS时支持。 status String EVS扩容状态,扩容时的状态为RESIZING,此时实例可以正常使用。
以物体检测为例,如果数据集导入的是Manifest文件,在数据集发布后,其相关文件的目录结构如下。
上传OBS的操作步骤: 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,将本地数据上传至OBS桶中。
source_job_version 否 String 来源训练作业的版本,模型是从训练作业产生的可填写,用于溯源;如模型是从第三方元模型导入,则为空,默认值为空。
os.modelarts/tenant.domain.id String 资源池的租户id,记录资源池创建在哪个租户账号下。 表13 PoolMetaAnnotations 参数 参数类型 描述 os.modelarts/description String 资源池的描述信息。
positive positive negative positive OBS上传操作步骤: 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。
使用如下命令登录huggingface,并输入个人账号的token,用于自动下载flux权重。