检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据集版本列表 查询数据集的版本列表。 dataset.list_versions() 示例代码 查询数据集版本列表 from modelarts.session import Session from modelarts.dataset import Dataset session
文件型数据从Manifest导入操作 不同类型的数据集,导入操作界面的示意图存在区别,请参考界面信息了解当前类型数据集的示意图。当前操作指导以图片数据集为例。 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集所在行,单击操作列的“导入”。
删除数据集 功能介绍 删除数据集,但不删除数据集的源数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/datasets/{dataset_id}
桶加密。 创建数据集(图片、音频、文本、视频、自由格式) 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理> 数据集”,进入数据集管理页面。 单击“创建数据集”,进入“创建数据集”页面,根据数据类型以及数据标注要求,选择创建不同类型的数据集。填写数据集基本信息。 图1
Schema列表。 status Integer 数据集状态。当前可选值: 0:数据集创建中 1:数据集正常 2:数据集删除中 3:数据集已删除 4:数据集异常 5:数据集同步中 6:数据集发布中 7:数据集版本切换中 8:数据集导入中 third_path String 第三方路径。
数据管理(旧版) 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 查询数据集的统计信息 查询数据集监控数据 查询数据集的版本列表 创建数据集标注版本 查询数据集版本详情 删除数据集标注版本 查询样本列表 批量添加样本 批量删除样本 查询单个样本信息 获取样本搜索条件
数据集版本管理 查询数据集版本列表 创建数据集版本 查询数据集版本详情 删除数据集版本 父主题: 数据管理
当前只有“图像分类”、“物体检测”、“表格”、“文本分类”和“声音分类”类型的数据集,支持从OBS目录导入数据。其他类型只支持Manifest文件导入数据集的方式。 Manifest文件:指数据集为Manifest文件格式,Manifest文件定义标注对象和标注内容的对应关系,
从OBS导入数据到ModelArts数据集 从OBS导入数据到数据集场景介绍 从OBS目录导入数据到数据集 从Manifest文件导入数据到数据集 从OBS目录导入数据规范说明 从Manifest文件导入规范说明 父主题: 导入数据到ModelArts数据集
导入数据到ModelArts数据集 数据导入方式介绍 从OBS导入数据到ModelArts数据集 从DWS导入数据到ModelArts数据集 从DLI导入数据到ModelArts数据集 从MRS导入数据到ModelArts数据集 从本地上传数据到ModelArts数据集 父主题: 数据准备与处理
查询数据集监控数据 功能介绍 查询数据集在指定时间范围内的监控数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/dat
从DLI导入数据到ModelArts数据集 表格数据集支持从DLI导入数据。 从DLI导入数据,用户需要选择DLI队列、数据库和表名称。所选择的表的schema(列名和类型)需与数据集一致,支持自动获取所选择表的schema。DLI的详细功能说明,请参考DLI用户指南。 图1 DLI导入数据
从MRS导入数据到ModelArts数据集 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据,首先需要选择已有的MRS集群,并从HDFS文件列表选择文件名称或所在目录,导入文件的列数需与数据集schema一致。MRS的详细功能说明,请参考MRS用户指南。
不超过5GB。 不同类型的数据集,导入操作界面的示意图存在区别,请参考界面信息了解当前类型数据集的示意图。当前操作指导以图像分类的数据集为例。 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理 >数据集”,进入“数据集”管理页面。 在数据集所在行,单击操作列的“导入”。
从DWS导入数据到ModelArts数据集 ModelArts支持从DWS导入表格数据,用户需要选择对应的DWS集群,并输入需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。DWS的详细功能说明,请参考DWS用户指南。 图1 从DWS导入数据
管理AI Gallery数据集 编辑数据集介绍 资产发布上架后,准确、完整的资产介绍有助于提升资产的排序位置和访问量,能更好的支撑用户使用该资产。 在数据集详情页,选择“数据集介绍”页签,单击右侧“编辑介绍”。 编辑数据集基础设置和数据集描述。 表1 数据集介绍的参数说明 参数名称
remove_sample_usage 否 Boolean 发布时是否清除数据集已有的usage信息。可选值如下: true:发布时清除数据集已有的usage信息(默认值) false:发布时不清除数据集已有的usage信息 train_evaluate_sample_ratio
发布时是否需要解析子样本序号,用于医疗数据集。可选值如下: true:解析子样本序号 false:不解析子样本序号(默认值) include_dataset_data Boolean 发布时是否包含数据集源数据。可选值如下: true:包含数据集源数据 false:不包含数据集源数据 is_current
数据集”下,选择未发布的数据集,单击数据集名称,进入数据集详情页。 在数据集详情页,单击右侧“发布”,在发布数据集页面编辑发布信息后,单击“发布”。 表1 发布数据集的参数说明 参数名称 说明 中文名称 数据集发布后显示的名称,在创建数据集时设置的名称,此处不可编辑。 任务类型 选择合适的任务类型。 许可证
表1 创建数据集 参数名称 说明 英文名称 必填项,数据集的英文名称。 如果没有填写“中文名称”,则资产发布后,在数据集页签上会显示该“英文名称”。 中文名称 数据集的中文名称。 如果填写了“中文名称”,则资产发布后,在数据集页签上会显示该“中文名称”。 许可证 数据集资产遵循的