检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理盘古大模型空间资产 盘古大模型空间资产介绍 管理盘古数据资产 管理盘古模型资产
标注文本类数据集 创建文本类数据集标注任务 审核文本类数据集标注结果 上线标注后的文本类数据集 父主题: 标注数据集
训练科学计算大模型 科学计算大模型训练流程与选择建议 创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题: 开发盘古科学计算大模型
加工气象类数据集 创建气象类数据集加工任务 上线加工后的气象类数据集 父主题: 加工数据集
撰写提示词 创建提示词工程 撰写所需提示词 预览提示词效果 父主题: 开发盘古大模型提示词工程
使用数据工程准备与处理数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 标注数据集 评估数据集 发布数据集 数据工程常见报错与解决方案
API NLP大模型 科学计算大模型 Token计算器
大模型使用类问题 盘古大模型是否可以自定义人设
产品功能 空间管理 数据工程 模型开发 Agent开发
模型能力与规格 盘古NLP大模型能力与规格 盘古科学计算大模型能力与规格
基础知识 大模型开发基本流程介绍 大模型开发基本概念
说明。 视频+CV标注 视频+分类标注 数据源样本格式为.mp4格式,标注格式为.txt。每种类别的视频数需要大于50个,类别数量需要大于2,才能进行模型训练。数据集最大100万个文件,单文件最大10GB,整个数据集最大10TB。 用文本标签对视频文件进行标识,文本和视频放在同一目录下且同名。具体示例如下:
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
支持数据发布的数据集类型 ModelArts Studio大模型开发平台支持发布操作的数据集类型如下: 文本类数据集,详见发布文本类数据集。 视频类数据集,详见发布视频类数据集。 图片类数据集,详见发布图片类数据集。 气象类数据集,详见发布气象类数据集。 预测类数据集,详见发布预测类数据集。 其他类数据集,详见发布其他类数据集。
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。存储在OBS服务中的数据或本地数据导入ModelArts Studio大模型开发平台后,将以数据集的形式进行统一管理。 用户将数据导入至平台后,这些数据会生成一个“原始数据集”,用于对导入的数据进行集中管理和进一步操作。
续的模型训练和优化提供高质量的数据支持。 视频数据质量标准 V1.0:ModelArts Studio大模型开发平台针对视频数据集预设了一套评估标准,涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度。该标准帮助用户评估和优化视频数据的质量,确保数据符合大模型训练的要求,
支持数据标注的数据集类型 ModelArts Studio大模型开发平台支持标注操作的数据集类型如下: 文本类数据集,详见创建文本类数据集标注任务。 视频类数据集,详见创建视频类数据集标注任务。 图片类数据集,详见创建图片类数据集标注任务。 父主题: 标注数据集
支持数据加工的数据集类型 当前支持加工操作的数据集类型如下: 文本类数据集,加工算子清单详见文本类加工算子能力清单。 视频类数据集,加工算子清单详见视频类加工算子能力清单。 图片类数据集,加工算子清单详见表1、表2。 气象类数据集,加工算子清单详见表1。 父主题: 加工数据集
创建盘古图片类数据集标注任务 场景描述 此示例演示了如何快速创建图片Caption数据标注任务。您将学习如何设置任务参数、配置标注要求并进行标注。 准备工作 请提前准备数据并上传至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。
s”选项,找到并复制“X-Subject-Token”参数对应的值,该值即为需要获取的Token。 图4 获取Token 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 A