检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面，选择需要加工的视频类数据集，并设置数据集的名称和描述信息。 选择数据集时，默认选择当前空间的数据集。
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估标准”，平台预置的文本类数据集评估标准“视频数据质量标准 V1.0”，单击评估标准名称，可以查看具体的评估项。
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面，选择需要加工的气象类数据集，并设置数据集的名称和描述信息。 选择数据集时，默认选择当前空间的数据集。
标注视频类数据集 创建视频类数据集标注任务 审核视频类数据集标注结果 上线标注后的视频类数据集 父主题： 标注数据集
如果数据集未完成全部评估，可以单击右上角“继续评估”，评估剩余的数据。 图3 查看评估报告详情 父主题： 评估文本类数据集
发布图片类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面，选择需要加工的文本类数据集，并设置数据集的名称和描述。 选择数据集时，默认选择当前空间的数据集。
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，在数据集操作列单击“上线”，执行上线操作。 单击数据集名称查看加工任务的基本信息、加工详情、加工后的数据文件以及数据血缘。 在“基本信息”页签可查看数据集的详细信息及操作概览。
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估标准”，平台预置的文本类数据集评估标准“NLP数据质量标准 V1.0”，单击评估标准名称，可以查看具体的评估项。
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，在数据集操作列单击“上线”，执行上线操作。 单击数据集名称查看加工任务的基本信息、加工详情、加工后的数据文件以及数据血缘。 在“基本信息”页签可查看数据集的详细信息及操作概览。
上线标注后的文本类数据集 数据集标注完成并且审核无问题后，需要对该数据集执行上线操作。上线后的数据集可以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。
上线标注后的视频类数据集 数据集标注完成并且审核无问题后，需要对该数据集执行上线操作。上线后的数据集可以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”，单击界面右上角“创建评估任务”。 图2 创建评估任务 在“数据集选择”页签选择需要进行评估的加工数据集，并设置抽样规格，即从数据集中抽取一定比例数据用于评估。
创建文本类数据集标注任务 创建文本类数据集标注任务前，请先完成创建文本类数据集加工任务。 创建文本类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。
图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。
评估图片类数据集 创建图片类数据集评估标准 创建图片类数据集评估任务 获取图片类数据集评估报告 父主题： 评估数据集
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，在数据集操作列单击“上线”，执行上线操作。 单击数据集名称查看加工任务的基本信息、加工详情、加工后的数据文件以及数据血缘。 在“基本信息”页签可查看数据集的详细信息及操作概览。
数据集加工场景介绍 数据加工概念 数据加工是数据工程中的核心环节，旨在通过使用数据集加工算子对原始数据进行清洗、转换、提取和过滤等操作，以确保数据符合模型训练的标准和业务需求。
标注图片类数据集 创建图片类数据集标注任务 审核图片类数据集标注结果 上线标注后的图片类数据集 父主题： 标注数据集
加工图片类数据集 创建图片类数据集加工任务 上线加工后的图片类数据集 父主题： 加工数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
