检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参见数据集操作。 数据集页面 “数据集”页面包含了左侧数据目录区域和右侧数据集详情区域。在左侧区域中,可以新建数据集、导入数据集的数据集实例、删除数据。在右侧区域,可以通过列表的形式查看数据详情、对数据执行特征工程、基于数据新建特征工程、跳转模型训练界面、删除数据。“数据集”页面
秘密及以上的数据集,并且该数据集的“本租户内是否免审批”选择值为“是”时。 批量立即订阅 将需要订阅的数据集加入购物车。 在数据集服务首页需要订阅的数据集右侧的右侧,单击“批量订阅”,在“确认”对话框单击“确认”。 在数据集服务首页单击需要订阅的数据集名称,在“数据集详情”界面右
在数据集服务首页,单击“新数据集”。在弹出界面,单击。 在“数据集发布”界面上,在左侧“选择数据集”下,单击展开数据目录,可以查看到全部的数据集信息,勾选需要发布的数据集前面的复选框,右侧“待发布数据集信息”中会列出所有选中的数据集及其目录。 也可以在目录树右上角的搜索框中搜索数据集的名称或是数据集的目录名称,快速查找到需要发布的数据集。
文本对话 功能介绍 基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 URI POST /v1/{project_id}/deployments/{deployment_id}/chat/completions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
支持问答调测,点对点的监测智能应答过程。 支持领域知识挖掘,提供易用的标注工具挖掘领域词。 全面的对话管理 支持自然语言多能力融合,智能对话中控。 灵活的知识库管理,支持对知识的批量操作。 支持嵌入多轮对话技能,满足复杂的任务型对话场景。 高效训练部署 基于modelarts的底层算法能力,提供更快的模型训练、部署能力。
数据集成概述 DataArts Studio数据集成是一种高效、易用的数据集成服务,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud
Boolean 是否开启返回体内容审核(默认不开启)。 有文本内容,则对文本进行内容审核; 有图片内容,则会对图片进行内容审核。 响应参数 状态码: 200 表7 响应Body参数 参数 参数类型 描述 id String 文本对话唯一标识符。 choices Array of choices
数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的文本类数据集,并设置数据集的名称和描述。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算
的差异。 在“数据血缘”页签查看该数据集所经历的操作,如加工、发布操作。 上线后的加工数据集不支持编辑和删除操作。若执行该操作,需将数据集下线。 若上线后的加工数据集已执行发布操作发布数据集,则不可将该加工数据集下线。 父主题: 加工文本类数据集
审核文本类数据集标注结果 创建数据集标注任务时,如果设置了启用标注审核,在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员,则审核人员可以审核数据集,管理员(主账号)可以对所有数据集进行审核。
创建文本类数据集评估标准 ModelArts Studio大模型开发平台针对文本数据集预设了一套基础评估标准,涵盖了数据准确性、完整性、一致性、格式规范等多个维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建文本类数据集评估任务。
获取文本类数据集评估报告 ModelArts Studio大模型开发平台提供了详细的质量评估报告,帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
后仅个人可以在已订阅数据集页面查看到该数据集,并可以下载。 租户管理员以租户粒度订阅选择“租户订阅”,成功订阅后,如果该租户内的成员对该数据集有可视权限,即可在已订阅数据集页面查看到该数据集,并可以下载。 必选。 请选择需要订阅数据集 对已加入购物车的数据集进行选择性的订阅。 在下拉框中进行选择。
创建文本类数据集评估任务 创建文本类数据集评估任务前,请先完成创建文本类数据集加工任务。 创建文本类数据集评估任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”,单击界面右上角“创建评估任务”。
标注管理” 在“标注管理”页面,单击操作列的“上线”对数据集进行上线。 图2 上线标注后的数据集 对不再使用的数据集可在操作列执行下线操作。若对当前标注数据集已执行发布操作发布文本类数据集,则不可将该标注数据集下线。 父主题: 标注文本类数据集
创建文本类数据集标注任务 创建文本类数据集标注任务前,请先完成创建文本类数据集加工任务。 创建文本类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。
对话机器人SDK简介 对话机器人概述 对话机器人服务(Conversational Bot Service) 是一款基于人工智能技术,针对企业应用场景开发的云服务,主要包括智能问答机器人功能。智能问答机器人旨在帮助企业快速构建,发布和管理基于知识库的智能问答系统。 对话机器人服务端SDK是对服务提供的REST
发布文本类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 文本类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。
数据集成 数据集成普通任务 数据集成组合任务
文本标注数据集文件说明 OCTOPUS格式文件基本要求(文本标注) 上传的OCTOPUS格式数据集需包含以下文件(以txt格式为例)。文本文件支持的格式包含:txt、yaml、xml、csv。 . ├─ 文件夹1 ├─ text1.txt #文本文件