检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
评估标准创建完成后可以在“人工评估标准”页面查看创建的评估标准,并支持编辑与删除操作。 创建视频类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建视频类数据集评估任务前,请参考加工视频类数据集,生成一个“加工数据集”。 创建视频类数据集评估任务步骤如下: 登录ModelArts Studio大模型开
在完成数据标注后,如果无需进行标注审核,可直接在“数据标注 > 任务管理”页面单击“生成”,生成加工数据集。 生成的加工数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 审核标注后的视频类数据集 如果在创建视频类数据集标注任务时启用了标注审核功能,则在完成标注后可以审核标注结果。对于审核
在完成数据加工后,如果无需使用数据标注功能,可直接在“加工任务”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工视频类数据集
发布图片类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 图片类数据集支持发布的格式为: 标准格式:如图1,平台默认的格式。该格式的数据集可发布到资产中,但下游模型开发不可见。 图1 图片类数据集标准格式示例 盘古格式:如图2,训练盘古大
在“创建发布任务”页面,选择数据集模态,如“气象 > 气象数据”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。当前气象类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。 当
在“创建发布任务”页面,选择数据集模态,如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。当前预测类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。 当任务
在“创建发布任务”页面,选择数据集模态,如“其他 > 自定义”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。当前其他类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。 当任
在完成数据标注后,如果无需进行标注审核,可直接在“数据标注 > 任务管理”页面单击“生成”,生成加工数据集。 生成的加工数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 审核标注后的图片类数据集 如果在创建图片类数据集标注任务时启用了标注审核功能,则在完成标注后可以审核标注结果。对于审核
评估标准创建完成后可以在“人工评估标准”页面查看创建的评估标准,并支持编辑与删除操作。 创建图片类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建图片类数据集评估任务前,请参考加工图片类数据集,生成一个“加工数据集”。 创建图片类数据集评估任务步骤如下: 登录ModelArts Studio大模型开
训练。通过数据加工,用户能够快速构建高质量的数据集,推动大模型的成功开发。 支持数据加工的数据集类型 当前支持数据加工操作的数据集类型见表1。 表1 支持数据加工操作的数据集类型 数据类型 数据加工 数据合成 数据标注 数据配比 文本类 √ √ √ √ 图片类 √ - √ √ 视频类
在完成数据加工后,如果无需使用数据标注、数据合成功能,可直接在“加工任务”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工图片类数据集
数据已经完成加工。 在完成数据加工后,在“加工任务”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工数据集
在“操作记录”页签可以查看数据集所经历的操作及状态等信息。 单击操作列的“删除”,可删除不需要的数据集。 如果需要恢复删除的数据集,可单击右上角“显示已删除数据”,被删除的数据集将在列表显示,可将数据集恢复。 如果需要彻底删除数据集,可单击数据集名称进入详情页,确认数据集内容后彻底删除该数据集。 删
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 仅图片 tar、图片目录 图片:支持jpg、jpeg、png、bmp类型。 ta
数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题: 使用数据工程构建数据集
加工视频类数据集 加工视频类数据集 标注视频类数据集 父主题: 加工数据集
发布视频类数据集 评估视频类数据集 发布视频类数据集 父主题: 发布数据集
在“操作记录”页签可以查看数据集所经历的操作及状态等信息。 单击操作列的“删除”,可删除不需要的数据集。 如果需要恢复删除的数据集,可单击右上角“显示已删除数据”,被删除的数据集将在列表显示,可将数据集恢复。 如果需要彻底删除数据集,可单击数据集名称进入详情页,确认数据集内容后彻底删除该数据集。 删
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集,该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传,所有视频可以放在多个文件夹