检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要独立创建一个“发布数据集”。 视频类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据发布”,单击界面右上角“创建发布数据集”。 在“创建发布数据集”页面,选择“视频”类型的数据集。
需要独立创建一个“发布数据集”。 气象类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据发布”,单击界面右上角“创建发布数据集”。 在“创建发布数
创建图片类数据集标注任务前,请先完成创建图片类数据集加工任务。 创建图片类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。 图2
调配,帮助用户高效地规划和分配任务,使团队协作更加高效。 此外,平台配备了完善的角色权限体系,覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置,每位用户能够在其对应的权限范围内安全高效地操作平台功能,从而最大程度保障数据的安全性与工作效率。 父主题: 创建并管理盘古工作空间
工作流简介 Agent平台工作流由多个组件构成,组件是组成工作流的基本单元。例如,大模型、插件、代码、判断等组件。 创建工作流时,工作流默认包含了开始、结束和大模型组件,每个组件需要配置不同的参数,如组件配置、输入和输出参数等。基于该工作流,开发者可通过拖、拉、拽可视化组件等方式
盘古NLP大模型SFT任务创建流程见表1。 表1 盘古NLP大模型SFT任务创建流程 操作步骤 说明 步骤1:导入数据至盘古平台 本样例场景实现将存储在OBS的文本数据导入至盘古平台,并上线为原始数据集。 步骤2:加工文本类数据集 本样例场景帮助用户利用数据集加工算子处理原始数据集。 步骤3:标注文本类数据集
准备工作 请提前准备数据并上传至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 选择左侧“数据工程 > 数据获取”,单击右上角“创建原始数据集”。 在“创建原始数据集”页面,选择“文本 > 单轮问答”
高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”,单击界面右上角“创建工程”。 输入工程名称、描述
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集,该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针
更新模型时可以替换模型和修改作业配置参数,但在修改部署时模型不可替换或修改作业配置参数。 在“模型更新”或“修改部署”后进行升级配置操作。平台支持全量升级方式:新旧版本的服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。 图1 模型更新 图2 修改部署 父主题:
文本类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。 发布文本类数据集操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1
图片类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。 发布图片类数据集操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1
管理盘古数据资产 数据资产介绍 用户发布的数据集会被纳入数据资产,集中存储在空间资产中。平台为数据资产提供了一系列管理功能,包括查看数据集的详细信息、追踪操作记录、以及数据集的删除管理等。这不仅便于用户对已发布数据集的集中管理,还可帮助用户了解每个数据集的使用情况,从而简化数据资
决数据中的问题,为后续的模型训练和优化奠定坚实基础。 ModelArts Studio大模型开发平台提供了全面的数据集质量评估工具,能够帮助用户从多个维度检测和优化数据集的质量。平台预设了多种数据类型的基础评估标准,用户可以直接使用这些标准,也可以根据具体的业务需求创建自定义的评
请检查创建数据集时使用的数据,与平台要求的文件内容格式是否一致。 Verification failed. Please check the content format is consistent with the template requirements. 请检查创建数据集时使用的数据,与平台要求的文件内容格式是否一致。
整性和一致性,为模型训练提供高质量的输入数据。 提高处理效率:平台预置的多种数据加工算子,帮助用户快速完成数据清洗、转换和处理,减少手动操作,提高数据处理的效率。 满足业务需求:不同类型的数据需要不同的处理方式,平台根据文本、图片、视频、气象等数据类型提供专门的加工工具,满足各种复杂的业务需求。
使用数据工程准备与处理数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 标注数据集 评估数据集 发布数据集 数据工程常见报错与解决方案
开发盘古大模型Agent应用 Agent开发平台概述 手工编排Agent应用 创建与管理工作流
管理,您可以跳过本章节,不影响您使用盘古的其他功能。 您可以使用统一身份认证服务(IAM)并结合ModelArts Studio大模型开发平台提供的“成员管理”功能实现子用户精细的权限管理。 创建用户组 使用主账号登录IAM服务控制台。 左侧导航窗格中,选择“用户组”页签,单击右上方的“创建用户组”。
n限制等参数。模型参数的设置会影响模型的生成质量和多样性,因此需要根据不同的场景进行选择。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。