检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 参数类型 描述 type String 存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数
TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 是否必选 参数类型 描述 type 是 String 存储类型,取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证 Token在计算机系统中代表令牌
训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工程工具链还提供强大的数据存储和管理能力,为大模型训练提供高质量的数据支撑。 模型开发工具链 模型开发工具链是盘古大模型服务的核心组件,提供从模型创建到部署的一站式解决方案。
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。存储在OBS服务中的数据或本地数据导入ModelArts Studio大模型开发平台后,将以数据集的形式进行统一管理。 用户将数据导入至平台后,这些数据会生成一个“原始数据集”,用于对导入的数据进行集中管理和进一步操作。
训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工程工具链还提供强大的数据存储和管理能力,为大模型训练提供高质量的数据支撑。 支持区域: 西南-贵阳一 使用数据工程准备与处理数据集 检测数据集质量 清洗数据集 发布数据集
将其加入用户组,并对用户组授权,才能使得用户组中的用户获得对应的权限。授权后,用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu
盘古NLP大模型SFT任务创建流程见表1。 表1 盘古NLP大模型SFT任务创建流程 操作步骤 说明 步骤1:导入数据至盘古平台 本样例场景实现将存储在OBS的文本数据导入至盘古平台,并上线为原始数据集。 步骤2:加工文本类数据集 本样例场景帮助用户利用数据集加工算子处理原始数据集。 步骤3:标注文本类数据集
创建工作流 支持开发者基于Agent平台创建工作流。创建工作流时,工作流默认包含了开始、结束和大模型组件。开发者可基于该工作流,添加更多的组件,实现业务流程的编排。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent开发”,将跳转至Agent开发平台。