检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图片:图片以tar包格式存储,可以多个tar包。tar包存储原始的图片,每张图片命名要求唯一(如abc.jpg)。
发布文本类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 文本类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。
发布后的数据集会作为当前空间的数据资产同步显示在“空间资产 > 数据”页面。单击数据集名称,可以在“数据血缘”页签查看该数据集所经历的操作,如加工、发布操作。 父主题: 发布数据集
数据集标注场景介绍 数据标注概念 数据标注是数据工程中的关键步骤,旨在为无标签的数据集添加准确的标签,从而为模型训练提供有效的监督信号。标注数据的质量直接影响模型的训练效果和精度,因此高效、准确的标注过程至关重要。
数据集评估场景介绍 数据评估概念 数据评估旨在通过对数据集进行系统的质量检查,评估其准确性、完整性、一致性和代表性等多个维度,发现潜在问题并加以解决。 在构建和使用数据集的过程中,数据评估是确保数据质量的关键步骤,直接影响模型的性能和应用效果。
加工视频类数据集 创建视频类数据集加工任务 上线加工后的视频类数据集 父主题: 加工数据集
加工气象类数据集 创建气象类数据集加工任务 上线加工后的气象类数据集 父主题: 加工数据集
评估视频类数据集 创建视频类数据集评估标准 创建视频类数据集评估任务 获取视频类数据集评估报告 父主题: 评估数据集
评估文本类数据集 创建文本类数据集评估标准 创建文本类数据集评估任务 获取文本类数据集评估报告 父主题: 评估数据集
加工文本类数据集 创建文本类数据集加工任务 上线加工后的文本类数据集 父主题: 加工数据集
数据集加工算子介绍 文本类加工算子能力清单 视频类加工算子能力清单 图片类加工算子能力清单 气象类加工算子能力清单 父主题: 加工数据集
预测类数据集格式要求 平台支持创建预测类数据集,创建时可导入时序数据、回归分类数据。 时序数据:时序预测数据是一种按时间顺序排列的数据序列,每个数据点都有一个时间戳,表示数据在时间上的位置。它用于预测未来事件或趋势,过去的数据会影响未来的预测。
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集,该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。
父主题: 数据集格式要求
标注文本类数据集 创建文本类数据集标注任务 审核文本类数据集标注结果 上线标注后的文本类数据集 父主题: 标注数据集
图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”,单击界面右上角“创建评估任务”。 图2 创建评估任务 在“数据集选择”页签选择需要进行评估的加工数据集,并设置抽样规格,即从数据集中抽取一定比例数据用于评估。
如果数据集未完成全部评估,可以单击右上角“继续评估”,评估剩余的数据。 图3 查看评估报告详情 父主题: 评估视频类数据集
创建视频类数据集标注任务 创建视频类数据集标注任务前,请先完成创建视频类数据集加工任务。 创建视频类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。
图3 移交审核任务 进入审核页面后,可通过单击“通过”或“不通过”逐一对数据进行审核,直至所有数据审核完成,期间可对不满足要求的数据进行驳回,驳回后将分给标注人员重新标注。 父主题: 标注文本类数据集