检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
视频涉政评分 对视频的涉政程度进行评分，分数越高越危险。评分范围(0, 100)，评分≥90分的视频可视为涉政视频。 运动幅度评分 通过计算每个像素在每一帧中的移动范围进行评分，识别运动幅度过快（如＞100光流）或过慢（如≤2光流）的视频，数值越大表示运动过快。 质量基础评分
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
复杂的业务需求。 增强模型性能：通过合适的数据加工，可以提高数据的可用性，进而提升模型的训练效果，使其具备更高的精度和鲁棒性。 总体而言，数据加工不仅帮助用户提升数据处理效率，还通过优化数据质量，支持高效的模型训练，帮助用户快速构建高质量的数据集，推动大模型的成功开发。 支持数据加工的数据集类型
加工视频类数据集 创建视频类数据集加工任务 上线加工后的视频类数据集 父主题： 加工数据集
加工气象类数据集 创建气象类数据集加工任务 上线加工后的气象类数据集 父主题： 加工数据集
创建气象类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建气象类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工
标注文本类数据集 创建文本类数据集标注任务 审核文本类数据集标注结果 上线标注后的文本类数据集 父主题： 标注数据集
创建图片类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建图片类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工
评估图片类数据集 创建图片类数据集评估标准 创建图片类数据集评估任务 获取图片类数据集评估报告 父主题： 评估数据集
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。
获取视频类数据集评估报告 ModelArts Studio大模型开发平台提供了详细的质量评估报告，帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
加工文本类数据集 创建文本类数据集加工任务 上线加工后的文本类数据集 父主题： 加工数据集
评估文本类数据集 创建文本类数据集评估标准 创建文本类数据集评估任务 获取文本类数据集评估报告 父主题： 评估数据集
数据集加工算子介绍 文本类加工算子能力清单 视频类加工算子能力清单 图片类加工算子能力清单 气象类加工算子能力清单 父主题： 加工数据集
评估视频类数据集 创建视频类数据集评估标准 创建视频类数据集评估任务 获取视频类数据集评估报告 父主题： 评估数据集
创建文本类数据集评估标准 ModelArts Studio大模型开发平台针对文本数据集预设了一套基础评估标准，涵盖了数据准确性、完整性、一致性、格式规范等多个维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建文本类数据集评估任务。
标注视频类数据集 创建视频类数据集标注任务 审核视频类数据集标注结果 上线标注后的视频类数据集 父主题： 标注数据集
创建视频类数据集评估任务前，请先完成创建视频类数据集加工任务。 创建视频类数据集评估任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”，单击界面右上角“创建评估任务”。
创建视频类数据集评估标准 ModelArts Studio大模型开发平台针对视频数据集预设了一套评估标准，涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建视频类数据集评估任务。
上线加工后的气象类数据集 加工后的气象类数据集需要执行上线操作，用于后续的数据发布操作，具体步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，在数据集操作列单击“上线”，执行上线操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
