检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程构建数据集
数据集发布场景介绍 数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作，旨在通过数据质量评估和合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。
当数据清洗任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成清洗。 在完成数据清洗后，在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工气象类数据集
填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。 当任务状态显示为“运行成功”时，说明数据流通任务执行成功，生成的“发布数据集”可在“数据工程 > 数据发布 > 发布数据集”中查看。 父主题： 发布数据集
图像分类 图片+txt 由图片文件和对应的标注文件构成，要求用户将标注对象和标注文件存储在同一目录，并且相互对应。 图片支持jpg、jpeg、png、bmp格式，标注文件为txt格式，标注文件说明请参见图像分类数据集标注文件说明。
当数据清洗任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成清洗。 在完成数据清洗后，如果无需使用数据标注功能，可直接在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。
填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。 当任务状态显示为“运行成功”时，说明数据流通任务执行成功，生成的“发布数据集”可在“数据工程 > 数据发布 > 发布数据集”中查看。 父主题： 发布数据集
当任务状态显示为“运行成功”时，说明数据流通任务执行成功，生成的“发布数据集”可在“数据工程 > 数据发布 > 发布数据集”中查看。 父主题： 发布文本类数据集
在左侧导航栏中选择“数据工程 > 数据发布 > 数据评估”，在“人工评估标准”页签，平台预置了文本类数据集评估标准“NLP数据质量标准 V1.0”，单击评估标准名称，可以查看具体的评估项。
在左侧导航栏中选择“数据工程 > 数据发布 > 数据评估”，在“人工评估标准”页签，平台预置了视频类数据集评估标准“视频数据质量标准 V1.0”，单击评估标准名称，可以查看具体的评估项。
加工视频类数据集 清洗视频类数据集 标注视频类数据集 父主题： 加工数据集
加工气象类数据集 清洗气象类数据集 父主题： 加工数据集
审核过程中可开启“标注前后对比”功能，查看当前数据标注前后的内容。 在完成数据标注审核后，需在“数据标注 > 任务管理”页面单击“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工文本类数据集
发布文本类数据集 评估文本类数据集 配比文本类数据集 流通文本类数据集 父主题： 发布数据集
加工文本类数据集 清洗文本类数据集 合成文本类数据集 标注文本类数据集 父主题： 加工数据集
发布视频类数据集 评估视频类数据集 流通视频类数据集 父主题： 发布数据集
数据集清洗算子介绍 文本类清洗算子能力清单 视频类清洗算子能力清单 图片类清洗算子能力清单 气象类清洗算子能力清单 父主题： 加工数据集
合成文本类数据集 当前，数据合成功能支持合成单轮问答、单轮问答（人设）类型的数据。 创建文本类数据集合成任务 合成文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，用于预测未来事件或趋势，过去的数据会影响未来的预测。
管理加工后的数据集 完成数据清洗、数据合成、或数据标注任务的数据集，在对应任务列表执行“生成”操作，将生成“加工数据集”被平台统一管理，并用于后续的发布任务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
