检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将结合大模型时代能力进行全新升级,敬请期待。 ModelArts Standard数据管理支持多维度数据管理能力 数据集管理:提供数据集创建、数据预览、数据集版本管理等能力 数据标注:提供在线标注能力,包含图像分类、目标检测、音频分割、文本三元组等标注场景;提供图片智能标注方案
参数类型 描述 labels 否 Array of Label objects 待创建的标签列表。 表3 Label 参数 是否必选 参数类型 描述 attributes 否 Array of LabelAttribute objects 标签的多维度属性,如标签为“音乐”,可能包含属性“风格”、“歌手”等。
向标注成员发送邮件 查询所有团队的标注成员列表 查询标注团队的成员列表 创建标注团队的成员 批量删除标注团队成员 查询标注团队成员详情 更新标注团队成员 删除标注团队成员 查询数据集导入任务列表 创建导入任务 查询数据集导入任务的详情 查询数据集导出任务列表 创建数据集导出任务 查询数据集导出任务的状态
创建项目的时候,数据集输入位置没有可选数据 可能原因 创建的OBS桶与创建项目不在同一个区域。 账号没有配置全局授权。 OBS桶里的数据格式不符合要求。 解决方法 查看ModelArts创建的项目与创建的OBS桶是否在同一区域。 查看创建的OBS桶所在区域。 登录OBS管理控制台。
ModelArts支持从DWS导入表格数据,用户需要选择对应的DWS集群,并输入需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。DWS的详细功能说明,请参考DWS用户指南。 图1 从DWS导入数据 集群名称:系统自动将当前账号下的DWS集群展现在列表中,您可以在下拉框中选择您所需的DWS集群。
参数填写完成,单击“提交”,即可完成数据集的创建。 创建数据集(表格) 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理> 数据集”,进入数据集管理页面。 单击“创建数据集”,进入“创建数据集”页面,根据数据类型以及数据标注要求,选择创建表格类型的数据集。填写数据集基本信息。 图5 表格类型的参数
队列名称:系统自动将当前账号下的DLI队列展现在列表中,用户可以在下拉框中选择需要的队列。 数据库名称:根据选择的队列展现所有的数据库,请在下拉框中选择您所需的数据库。 表名称:根据选择的数据库展现此数据库中的所有表。请在下拉框中选择您所需的表。 DLI的default队列只用作体验,不
cluster_name 否 String MRS集群名称。可登录MRS控制台查看。 database_name 否 String 导入表格数据集,数据库名字。 input 否 String 表格数据集,HDFS路径。例如/datasets/demo。 ip 否 String 用
创建开发环境实例 功能介绍 创建开发环境实例,用于代码开发。 该接口为异步操作,创建开发环境实例的状态请通过查询开发环境实例详情接口获取。 URI POST /v1/{project_id}/demanager/instances 参数说明如表1所示。 表1 参数说明 参数 是否必选
在当前安全组的入方向规则中添加一条规则,基本协议选择ICMP协议,详细配置如下表所示,添加规则步骤请参考添加安全组规则。 表1 入方向规则 方向 协议/应用 端口 源地址 入方向 ICMP 全部 0.0.0.0/0 华为云安全组支持的协议参考可参考下表。 表2 入方向规则 协议 端口 说明 协议 端口 说明
Object 创建可视化作业选择的规格,用户无需填写。参见表3。 schedule 否 Object 自动停止设置。参见表4。 表3 flavor属性列表 参数 是否必选 参数类型 说明 code 是 String 可视化作业选择的资源规格编码。通过flavor接口获得。 表4 schedule属性列表
cluster_name 否 String MRS集群名称。可登录MRS控制台查看。 database_name 否 String 导入表格数据集,数据库名字。 input 否 String 表格数据集,HDFS路径。例如/datasets/demo。 ip 否 String 用
work_path 是 表6 数据集输出位置,用于存放输出的标注信息等文件。 labels 否 List of 表7 数据集标签列表,创建文本三元组标注类型的数据集时需要传递该参数。 schema 否 List of 表9 schema列表,用于表格数据集,指定表头的名称和类型。 description
表格类型的数据集如何标注 表格类型的数据集适合表格等结构化数据处理。数据格式支持csv。不支持标注,支持对部分表格数据进行预览,但是最多支持100条数据预览。 父主题: Standard数据管理
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题: 数据管理
创建ModelArts数据校验任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“资产管理>数据处理”,进入“数据处理”页面。 在
创建ModelArts数据选择任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“资产管理>数据处理”,进入“数据处理”页面。 在
创建数据集版本 为数据集创建新的版本。 dataset.create_version(name=None, version_format=None, label_task_type=None, label_task_id=None, **kwargs) 示例代码 示例一:为数据集创建新的版本
创建ModelArts数据清洗任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“资产管理>数据处理”,进入“数据处理”页面。 在
创建ModelArts数据增强任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“数据准备>数据处理”,进入“数据处理”页面。 在