检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标注视频类数据集 创建视频类数据集标注任务 审核视频类数据集标注结果 上线标注后的视频类数据集 父主题： 标注数据集
数据评估概念 数据评估旨在通过对数据集进行系统的质量检查，评估其准确性、完整性、一致性和代表性等多个维度，发现潜在问题并加以解决。 在构建和使用数据集的过程中，数据评估是确保数据质量的关键步骤，直接影响模型的性能和应用效果。高质量的数据集能够显著提升模型的准确性，并增强模型在实际应
审核文本类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
审核视频类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
数据集标注场景介绍 数据标注概念 数据标注是数据工程中的关键步骤，旨在为无标签的数据集添加准确的标签，从而为模型训练提供有效的监督信号。标注数据的质量直接影响模型的训练效果和精度，因此高效、准确的标注过程至关重要。数据标注不仅仅是人工输入，它还涉及对数据内容的理解和分类，以确保标签精准地反映数据的特征和用途。
图2 标注管理 在“创建标注任务”页面选择需要标注的加工后的文本类数据集，并设置标注项。 设置标注项时，不同类型的数据文件对应的标注项也有所差异，可基于页面提示进行设置。 图3 创建标注任务 单击“下一步”设置标注人员及信息，单击“完成创建”。 分配标注任务时，可以选择是否启用多人标
在“数据集选择”页签选择需要进行评估的加工数据集，并设置抽样规格，即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击“下一步”选择需要使用的评估标准。标准选择完成后，单击“下一步”设置评估人员。 图4 选择评估标注 图5 选择评估人员 评估人员设置完成后，单击“下一步”填写任务名称。
加工图片类数据集 创建图片类数据集加工任务 上线加工后的图片类数据集 父主题： 加工数据集
标注图片类数据集 创建图片类数据集标注任务 审核图片类数据集标注结果 上线标注后的图片类数据集 父主题： 标注数据集
算子编排过程中，可以单击右上角“保存为新模板”将当前算子编排流程保存为模板，后续创建新的数据加工任务时，可以直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。 图4 算子编排 图5 选择加工模板 算子编排完成后，单击“立即执行”，平台会直接启动数据加工
如何评估微调后的盘古大模型是否正常 评估模型效果的方法有很多，通常可以从以下几个方面来评估模型训练效果： Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测
html 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下： {"text":"盘古大模型，是华为推出盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"}
数据集加工场景介绍 数据加工概念 数据加工是数据工程中的核心环节，旨在通过使用数据集加工算子对原始数据进行清洗、转换、提取和过滤等操作，以确保数据符合模型训练的标准和业务需求。 通过这一过程，用户能够优化数据质量，去除噪声和冗余信息，提升数据的准确性和一致性，为后续的模型训练提供
后的图片类数据集，并设置标注项。 当选择“图片Caption”标注项时，可以设置使用AI大模型对数据集进行预标注。启动预标注将会借助AI模型生成标注内容，这些内容不会覆盖原始数据集，仅作为标注人员的参考，以提高标注效率。 图3 创建标注任务 单击“下一步”设置标注人员及信息，单击“完成创建”。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时支持导入mp4或avi格式文件，同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
审核图片类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
算子编排过程中，可以单击右上角“保存为新模板”将当前算子编排流程保存为模板，后续创建新的数据加工任务时，可以直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。 图4 算子编排 图5 选择加工模板 算子编排完成后，单击“立即执行”，平台会直接启动数据加工
算子编排过程中，可以单击右上角“保存为新模板”将当前算子编排流程保存为模板，后续创建新的数据加工任务时，可以直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。 图4 算子编排 图5 选择加工模板 算子编排完成后，单击“立即执行”，平台会直接启动数据加工
{"9.": "⑨|⑼|㊈|⒐|⓽|➒|❾|➈"} {"10.": "⑩|⑽|㊉|⒑|⓾|➓|❿|➉"} 自定义正则替换 数据条目不变下，使用自定义正则表达式替换文本内容。 示例如下： 去除“参考文献”以及之后的内容：\n参考文献[\s\S]* 针对pdf的内容，去除“0 引言”
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
