检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工文本类数据集 创建文本类数据集加工任务 上线加工后的文本类数据集 父主题: 加工数据集
文本类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持文本类数据集的加工操作,分为数据提取、数据转换、数据过滤三类,文本类加工算子能力清单见表1。
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件,单
文本标注数据集文件说明 OCTOPUS格式文件基本要求(文本标注) 上传的OCTOPUS格式数据集需包含以下文件(以txt格式为例)。文本文件支持的格式包含:txt、yaml、xml、csv。 . ├─ 文件夹1 ├─ text1.txt #文本文件
标注文本类数据集 创建文本类数据集标注任务 审核文本类数据集标注结果 上线标注后的文本类数据集 父主题: 标注数据集
方式访问对话机器人服务,具体操作请参见《对话机器人服务接口参考》。 管理控制台方式 其他相关操作,请使用管理控制台方式访问对话机器人服务。如果用户已注册公有云,可直接登录管理控制台,从主页选择“人工智能”>“对话机器人服务”下对应的子服务。
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题: 数据管理
同步数据集 功能介绍 从数据集输入位置同步数据至数据集,包含样本及标注信息。文本类数据集不支持此操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v
订购数据集服务 功能介绍 外部用户在NAIE平台上订购数据集服务。 URI URI格式 POST /softcomai/datalake/v1.0/external/datacatalog/order 参数说明 无。 请求 请求样例 POST https://ipaddr:por
右侧上方 查询数据集 :通过输入数据集的名称或描述,查询数据集。 :通过选择筛选条件,查询数据集。 新增数据集:发布数据集的入口。 右侧中下方 数据集展示在数据集服务首页正下方,默认以列表的形式展示所有的数据集并且是按数据集的名称排序,还可以切换为卡片形式展示数据集。支持展示数据集的目录。
将需要订阅的数据集加入购物车。 在数据集服务首页需要订阅的数据集右侧的右侧,单击“批量订阅”,在“确认”对话框单击“确认”。 在数据集服务首页单击需要订阅的数据集名称,在“数据集详情”界面右上方,单击“批量订阅”,在“确认”对话框单击“确认”。 重复执行1,将多个数据集加入购物车。
如何订阅数据集 订阅数据集的具体方法请参见《数据集服务快速入门》文档的订阅数据集章节。 父主题: 数据集
配置对话流程 本章节以调用实时天气接口为例配置“查天气”对话流程。 配置对话流程包含以下几个步骤: 步骤1:新建条件判断节点 步骤2:新建信息收集节点 步骤3:新建接口调用节点 步骤4:新建对话回复节点(分支1) 步骤5:新建对话回复节点(分支2) 步骤6:检测对话流程 步骤1:新建条件判断节点
修改数据集(新) 修改数据集的信息 修改数据集的图片 修改数据集的权限 父主题: 管理数据集
据目录,可以查看到全部的数据集信息,勾选需要下架的数据集前面的复选框,右侧“待下架数据集信息”中会列出所有选中的数据集及其目录。 也可以在目录树右上角的搜索框中搜索数据集的名称或是数据集的目录名称,快速查找到需要下架的数据集。 单击“下一步”。 查看数据集信息、授权租户或用户及订阅列表,填写数据集下架的原因。
功能。仅本租户下第一位用户订阅该数据集时,会自动下载。 单个下载 下载数据集的入口。 在数据集服务界面,选择“个人中心>已订阅数据集”。在需要下载的数据集对应的“操作”列下单击“我要下载”。 在数据集服务首页,单击需要下载的数据集的名称,在数据集详情页面的“数据信息>数据浏览器”,单击。
开考勤打卡”等。 回复方式 目前支持链接跳转,图文回复(富文本),纯文本回复三类。 链接跳转即命中该问答直接跳转到链接对应的界面,支持选择应用一键传入链接。 图文回复支持带格式的文本以及图片。 纯文本回复则为不带格式的文本回复。 单击“保存”则将该条记录保存到本地,不会立即生效。
审批数据集发布申请 如果发布免审批开关被打开后,则申请发布的数据集,系统会自动审批。如果发布免审批开关未打开,则申请发布的数据集需要审批人审批。本章节介绍审批人的审批操作,收到数据集发布申请后,根据实际情况进行审批。 前提条件 登录用户为具有“Data Owner”角色且被配置到一级审批人中的用户。
发布数据集(一键式发布) 数据集服务提供了直接将本地数据文件发布为数据集的能力。 通过一键式发布的数据集密级级别默认为秘密,并且显示在数据集服务首页的“自建数据集”页签。 一键式发布数据集不需要审批。 前提条件 登录用户为具有“Data Operation Engineer”角色的用户。
数据集如何切分 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”自动填充。“训练集比例”加“验证集比例”等于1。