检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标列要求为连续型数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字眼，如train01.csv；验证数据名称需包含eval字眼；测试数据名称需包含test字眼
标注视频类数据集 创建视频类数据集标注任务 审核视频类数据集标注结果 上线标注后的视频类数据集 父主题： 标注数据集
获取图片类数据集评估报告 ModelArts Studio大模型开发平台提供了详细的质量评估报告，帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
审核图片类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
标注管理” 在“标注管理”页面，单击操作列的“上线”对数据集进行上线。 图2 上线标注后的数据集 对不再使用的数据集可在操作列执行下线操作。若对当前标注数据集已执行发布操作发布图片类数据集，则不可将该标注数据集下线。 父主题： 标注图片类数据集
标注数据集 数据集标注场景介绍 标注文本类数据集 标注视频类数据集 标注图片类数据集 父主题： 使用数据工程准备与处理数据集
高质量的数据集，推动大模型的成功开发。 支持数据加工的数据集类型 当前支持加工操作的数据集类型如下： 文本类数据集，加工算子清单详见文本类加工算子能力清单。 视频类数据集，加工算子清单详见视频类加工算子能力清单。 图片类数据集，加工算子清单详见表1、表2。 气象类数据集，加工算子清单详见表1。
标注图片类数据集 创建图片类数据集标注任务 审核图片类数据集标注结果 上线标注后的图片类数据集 父主题： 标注数据集
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，用户训练模型时如果使用较特殊的数据集，ModelArts Studio大模型开发平台支持导入用户自定义的数据集。 例如，在训练CV类算法（如图片分类、图片分割、图片检测等任务）时，用户需使用“其他”类型的数据集。 其
加工图片类数据集 创建图片类数据集加工任务 上线加工后的图片类数据集 父主题： 加工数据集
的差异。 在“数据血缘”页签查看该数据集所经历的操作，如加工、发布操作。 上线后的加工数据集不支持编辑和删除操作。若执行该操作，需将数据集下线。 若上线后的加工数据集已执行发布操作发布数据集，则不可将该加工数据集下线。 父主题： 加工图片类数据集
ModelArts Studio大模型开发平台支持标注操作的数据集类型如下： 文本类数据集，详见创建文本类数据集标注任务。 视频类数据集，详见创建视频类数据集标注任务。 图片类数据集，详见创建图片类数据集标注任务。 父主题： 标注数据集
加工视频类数据集 创建视频类数据集加工任务 上线加工后的视频类数据集 父主题： 加工数据集
加工气象类数据集 创建气象类数据集加工任务 上线加工后的气象类数据集 父主题： 加工数据集
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件，单
标注文本类数据集 创建文本类数据集标注任务 审核文本类数据集标注结果 上线标注后的文本类数据集 父主题： 标注数据集
提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码）。 数据过滤 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。 图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型，“待保留语种”之外的图文对数据将被过滤。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时支持导入mp4或avi格式文件，同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
评估图片类数据集 创建图片类数据集评估标准 创建图片类数据集评估任务 获取图片类数据集评估报告 父主题： 评估数据集
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入图片、图片+Caption、图片+QA对三种类型的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片：支持jpg
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
