检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布数据集 数据集发布场景介绍 发布文本类数据集 发布图片类数据集 发布视频类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 管理发布后的数据集 父主题： 使用数据工程构建数据集
加工数据集 数据集加工场景介绍 数据集清洗算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 管理加工后的数据集 父主题： 使用数据工程构建数据集
配比文本类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts St
> 数据加工 > 加工数据集”中查看。 审核标注后的文本类数据集 如果在创建文本类数据集标注任务时启用了标注审核功能，则在完成标注后可以在“标注审核”页面审核标注结果。 创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。 对于审核
加工视频类数据集 清洗视频类数据集 标注视频类数据集 父主题： 加工数据集
加工气象类数据集 清洗气象类数据集 父主题： 加工数据集
评估标准创建完成后可以在“人工评估标准”页面查看创建的评估标准，并支持编辑与删除操作。 创建文本类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建文本类数据集评估任务前，请参考加工文本类数据集，生成一个“加工数据集”。 创建文本类数据集评估任务步骤如下： 登录ModelArts Studio大模型开
发布文本类数据集 评估文本类数据集 配比文本类数据集 流通文本类数据集 父主题： 发布数据集
在“创建流通任务”页面，选择数据集模态，如“视频 > 仅视频”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前视频类数据集仅支持发布默认格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。 当
合成文本类数据集 当前，数据合成功能支持合成单轮问答、单轮问答（人设）类型的数据。 创建文本类数据集合成任务 合成文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建文本类数据集合成任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
任务管理”页面单击“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 审核标注后的视频类数据集 如果在创建视频类数据集标注任务时启用了标注审核功能，则在完成标注后可以在“标注审核”页面审核标注结果。 创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
在完成数据清洗后，如果无需使用数据合成与数据标注功能，可直接在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工文本类数据集
在“创建流通任务”页面，选择数据集模态，如“文本 > 预训练文本”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。由于数据工程需要支持对接盘古大模型或三方大模型，为了使这些数据集能够被这些大模型正常训练，平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式：
加工文本类数据集 清洗文本类数据集 合成文本类数据集 标注文本类数据集 父主题： 加工数据集
评估标准创建完成后可以在“人工评估标准”页面查看创建的评估标准，并支持编辑与删除操作。 创建视频类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建视频类数据集评估任务前，请参考加工视频类数据集，生成一个“加工数据集”。 创建视频类数据集评估任务步骤如下： 登录ModelArts Studio大模型开
发布视频类数据集 评估视频类数据集 流通视频类数据集 父主题： 发布数据集
在“创建流通任务”页面，选择数据集模态，如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前预测类数据集仅支持发布默认格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。 当任务
数据集清洗算子介绍 文本类清洗算子能力清单 视频类清洗算子能力清单 图片类清洗算子能力清单 气象类清洗算子能力清单 父主题： 加工数据集
清洗气象类数据集 清洗气象类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建气象类数据集清洗任务 创建气象类数据集清洗任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
在完成数据清洗后，如果无需使用数据标注功能，可直接在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工视频类数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
