检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IMG_20180919_114945.xml 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。xml标注文件的详细说明请参见物体检测数据集标注文件说明。 图片+语义分割标注 训练数据为纯图片，要求为png格式。 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 图
创建视频类数据集评估任务 创建视频类数据集评估任务前，请先完成创建视频类数据集加工任务。 创建视频类数据集评估任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”，单击界面右上角“创建评估任务”。
任务。 创建文本类数据集评估标准步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估标准”，平台预置的文本类数据集评估标准“NLP数据质量标准 V1.0”，单击评估标准名称，可以查看具体的评估项。
> 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面，选择需要加工的图片类数据集，并设置数据集的名称和描述信息。 选择数据集时，默认选择当前空间的数据集。如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 图3 创建加工数据集
创建视频类数据集标注任务 创建视频类数据集标注任务前，请先完成创建视频类数据集加工任务。 创建视频类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”，单击页面右上角“创建标注任务”。
使用数据工程准备与处理数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 标注数据集 评估数据集 发布数据集 数据工程常见报错与解决方案
获取图片类数据集评估报告 ModelArts Studio大模型开发平台提供了详细的质量评估报告，帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 >
对”类型的数据。 图2 创建图片类数据集发布任务 设置发布方式。图片类数据集可选两种发布方式：“单个数据集”、“混合数据集”。选择数据集时，默认选择当前空间数据集，如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 若选择发布方式为“单个数据集”，选择数据集后，单击“下一步”。
行上线操作。 单击数据集名称查看加工任务的基本信息、加工详情、加工后的数据文件以及数据血缘。 在“基本信息”页签可查看数据集的详细信息及操作概览。 在“加工详情”页签可以查看数据集的加工步骤和运行日志。 在“数据文件”页签可下载加工后的数据文件，可以与原始数据进行比对，查看加工前后的差异。
审核文本类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
审核视频类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时支持导入mp4或avi格式文件，同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
行上线操作。 单击数据集名称查看加工任务的基本信息、加工详情、加工后的数据文件以及数据血缘。 在“基本信息”页签可查看数据集的详细信息及操作概览。 在“加工详情”页签可以查看数据集的加工步骤和运行日志。 在“数据文件”页签可下载加工后的数据文件，可以与原始数据进行比对，查看加工前后的差异。
作。 单击数据集名称查看加工任务的基本信息、加工详情、加工后的数据文件以及数据血缘。 在“基本信息”页签可查看数据集的详细信息及操作概览。 在“加工详情”页签可以查看数据集的加工步骤和运行日志。 在“数据文件”页签可下载加工后的数据文件，可以与原始数据进行比对，查看加工前后的差异。
> 数据标注 > 标注管理” 在“标注管理”页面，单击操作列的“上线”对数据集进行上线。 图2 上线标注后的数据集 对不再使用的数据集可在操作列执行下线操作。若对当前标注数据集已执行发布操作发布文本类数据集，则不可将该标注数据集下线。 父主题： 标注文本类数据集
> 数据标注 > 标注管理” 在“标注管理”页面，单击操作列的“上线”对数据集进行上线。 图2 上线标注后的数据集 对不再使用的数据集可在操作列执行下线操作。若对当前标注数据集已执行发布操作发布视频类数据集，则不可将该标注数据集下线。 父主题： 标注视频类数据集
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入图片、图片+Caption、图片+QA对三种类型的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片：支持jpg
图6 评估数据集质量 在评估页面，可参考评估项对当前数据的问题进行标注，且不满足时需要单击“不通过”，满足则单击“通过”。对于文本类数据集而言，可选择问题内容后，单击鼠标右键进行数据问题的标注。 图7 标记数据集问题 全部数据评估完成后，评估状态显示为“100%”，表示当前数据集已经
创建文本类数据集标注任务 创建文本类数据集标注任务前，请先完成创建文本类数据集加工任务。 创建文本类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”，单击页面右上角“创建标注任务”。
盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本，上传至平台的数据将被创建为原始数据集进行统一管理。 创建原始数据集 上线原始数据集 在正式发布数据集前，需要执行上线操作。 上线原始数据集 加工数据集（可选）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
