检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 文本类数据集标注示例 一条数据标注完成后,单击“提交”可继续标注剩余数据。所有数据标注完成后,页面会出现标注任务成功的提示。 在完成数据标注后,如果无需进行标注审核,可直接在“标注任务 > 任务管理”页签单击“生成”,生成加工数据集。
在完成数据标注审核后,需在“数据标注 > 任务管理”页面单击“生成”,生成加工数据集。 生成的加工数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。
在完成数据标注审核后,需在“数据标注 > 任务管理”页面单击“生成”,生成加工数据集。 生成的加工数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。
数据标注 为无标签数据集添加准确的标签,确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 数据配比 数据配比是将多个数据集按特定比例组合为一个加工数据集的过程。
管理加工后的数据集 完成数据加工、数据合成、数据标注或数据配比任务的数据集,在对应任务列表执行“生成”操作,将生成“加工数据集”被平台统一管理,并用于后续的发布任务。
在完成数据加工后,如果无需使用数据标注、数据合成功能,可直接在“加工任务”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工图片类数据集
在完成数据加工后,如果无需使用数据标注、数据合成功能,可直接在“加工任务”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工文本类数据集
在完成数据加工后,如果无需使用数据标注功能,可直接在“加工任务”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工视频类数据集
加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 管理加工后的数据集 父主题: 使用数据工程构建数据集
请检查上传的数据中,使用的数据标注类型、数据标注要求与平台要求的是否一致。 annotate data not exist. 待评测数据不存在,请检查数据是否导入成功,OBS桶是否为空。 obs url invalid. 请检查数据集对应的OBS路径是否有效,是否可正常访问。
数据标注:数据标注旨在为无标签的数据集添加准确的标签,标注数据的质量直接影响模型的训练效果和精度。针对不同数据集平台支持人工标注与AI预标注两种形式。 其中,图片Caption、视频Caption标注项支持AI预标注功能。
数据标注的质量直接影响模型的训练效果和精度。 标注文本类数据集 配比文本类数据集 数据配比是将多个数据集按特定比例组合的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。
数据标注:平台支持对无标签的数据添加标签或对现有的标签进行重新标注,以提升数据集的标注质量。用户可以针对不同的数据集灵活地选择对应的标注项,还可以自定义选择多人标注、审核以及标注任务移交。针对文本和图片类数据集,平台还提供AI预标注功能。
数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据发布和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。
发布数据集 数据集发布场景介绍 发布文本类数据集 发布图片类数据集 发布视频类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 管理发布后的数据集 父主题: 使用数据工程构建数据集
使用数据工程构建数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 数据工程常见报错与解决方案
数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题: 使用数据工程构建数据集
数据标注的质量直接影响模型的训练效果和精度。 配比数据集 数据配比是将多个数据集按特定比例组合并生成为“加工数据集”的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。
数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。
如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用服务的其他功能。 通过IAM,您可以在华为云账号中给员工创建IAM用户(子用户),并授权控制他们对华为云资源的访问范围。