检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。存储在OBS服务中的数据或本地数据导入ModelArts Studio大模型开发平台后，将以数据集的形式进行统一管理。 用户将数据导入至平台后，这些数据会生成一个“原始数据集”，用于对导入的数据进行集中管理和进一步操作。
客户api接口数量上全覆盖。 数据中需要提供JSON的字段解释，以及Query和JSON生成逻辑解释。这些信息需要拼入Prompt，并确保人以及大模型可以根据Query、字段解释、Query到JSON的生成逻辑生成符合客户要求的JSON。Prompt会作为输入（context字段
Studio大模型开发平台提供了全面的数据工程功能，支持从数据源导入到数据质量控制的全流程管理。该模块涵盖数据获取、加工、标注、评估和发布等关键环节，帮助用户高效构建高质量的训练数据集，推动AI应用的成功落地。具体功能如下： 数据获取：用户可以轻松将多种类型的数据导入ModelArts Studio大模型
使用java sdk出现json解析报错 图1 json解析报错 服务端返回的数据格式不符合json格式，导致sdk侧解析json数据报错。 服务端返回的json数据不符合json反序列化的规则，和sdk定义的数据结构不一致，导致反序列化失败。 sdk json数据解析问题。 建议排
10TB。 图片+骨骼关键点坐标标注（图片+json） 基于开源COCO人物关键点标注格式对数据集进行标注，需包含annotations，train，val文件夹，annotations文件夹下用train.json和val.json记录训练集和验证集标注，train和val文件夹下保存具体的图片。具体示例如下：
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时支持导入mp4或avi格式文件，同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件，单
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入图片、图片+Caption、图片+QA对三种类型的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片：支持jpg
创建视频类数据集加工任务 创建视频类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建视频类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
创建图片类数据集加工任务 创建图片类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建图片类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
创建文本类数据集加工任务 创建文本类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建文本类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
在加工步骤编排页面展示了预先设置好的开始、结束步骤。在左侧“添加算子”分页可选择合适的算子，如个人数据脱敏、文本长度过滤等。 导入的数据集格式为“JSONL”，因此默认添加了JSON内容提取算子。 图3 加工算子编排 单击各算子右上角的图标可进行拖动，调整算子的编排顺序。 图4 调整算子编排顺序
盘古NLP大模型SFT任务创建流程见表1。 表1 盘古NLP大模型SFT任务创建流程 操作步骤 说明 步骤1：导入数据至盘古平台 本样例场景实现将存储在OBS的文本数据导入至盘古平台，并上线为原始数据集。 步骤2：加工文本类数据集 本样例场景帮助用户利用数据集加工算子处理原始数据集。
创建气象类数据集加工任务 创建气象类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建气象类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
[ "T", "U", "V", "S"]} geo_range：定义了数据覆盖的地理范围，纬度（lat）从-90.0到90.0，经度（lon）从0.0到360.0。 time_range：数据的时间范围，时间戳格式为毫秒数。 total_size：数据文件的总大小，单位为字节。
出模型。 图3 导出模型 导入盘古大模型至其他局点 导入盘古大模型至其他局点前，请确保当前空间为该用户所创建的空间。 导入模型功能可以将其他局点训练的模型导入本局点进行使用，也可以导入第三方大模型至ModelArts Studio大模型开发平台。 导入模型前，请参考导出盘古大模型至其他局点完成模型导出操作。
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，每个数据点都有一个时间戳，表示数据在时间上的位置。它用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种
使用数据工程准备与处理数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 标注数据集 评估数据集 发布数据集 数据工程常见报错与解决方案
输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入的变量值信息，可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”，输出模型回复结果，用户可以基于预览的效果调整提示词文本和变量。 父主题： 撰写提示词
当大模型组件的输出为json格式的数据时，可以通过配置输出参数来解析出json中对应字段的值。例如大模型组件的输出为json数据'{"result": "test"}'时，可以添加一个参数名称为“result”的输出参数，那么输出参数“result”就会从json数据中取出同名字段对应的值“test”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
