检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过这些功能，平台不仅降低了标注成本，还为用户提供了灵活的定制化服务，满足不同业务场景的标注需求，确保为后续模型训练和优化提供高质量的数据支持。 数据标注意义 数据标注在数据工程中的作用是不可忽视的。它不仅是模型训练的基础，还直接影响到训练结果的准确性与有效性。通过标注，平台帮助用户提高数据的可用性，确
加工视频类数据集 创建视频类数据集加工任务 上线加工后的视频类数据集 父主题： 加工数据集
加工气象类数据集 创建气象类数据集加工任务 上线加工后的气象类数据集 父主题： 加工数据集
NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提
据，不改变模型结构参数或引入新要素，以适应数据更新需求。 在实际流程中，通过设定训练指标对模型进行监控，以确保效果符合预期。在微调后，评估用户模型，并进行最终优化，确认其满足业务需求后，进行部署和调用，以便实际应用。 科学计算大模型选择建议 科学计算大模型支持训练的模型类型有：中
加工文本类数据集 创建文本类数据集加工任务 上线加工后的文本类数据集 父主题： 加工数据集
评估文本类数据集 创建文本类数据集评估标准 创建文本类数据集评估任务 获取文本类数据集评估报告 父主题： 评估数据集
通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。 灵活的定制化服务：对于文本类、图片类数据集，用户自定义数据格式，用户可以使用脚本灵活调整数据格式，以满足特定业务场景的需求。 提高训练效率：通过发布符合标准的数据集，用户可以大幅提升数据的处理
数据集加工算子介绍 文本类加工算子能力清单 视频类加工算子能力清单 图片类加工算子能力清单 气象类加工算子能力清单 父主题： 加工数据集
评估视频类数据集 创建视频类数据集评估标准 创建视频类数据集评估任务 获取视频类数据集评估报告 父主题： 评估数据集
或缺的一环，帮助用户在数据准备阶段识别并解决数据中的问题，为后续的模型训练和优化奠定坚实基础。 ModelArts Studio大模型开发平台提供了全面的数据集质量评估工具，能够帮助用户从多个维度检测和优化数据集的质量。平台预设了多种数据类型的基础评估标准，用户可以直接使用这些标
标注文本类数据集 创建文本类数据集标注任务 审核文本类数据集标注结果 上线标注后的文本类数据集 父主题： 标注数据集
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件，单
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时支持导入mp4或avi格式文件，同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
评估图片类数据集 创建图片类数据集评估标准 创建图片类数据集评估任务 获取图片类数据集评估报告 父主题： 评估数据集
标注视频类数据集 创建视频类数据集标注任务 审核视频类数据集标注结果 上线标注后的视频类数据集 父主题： 标注数据集
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
增强模型性能：通过合适的数据加工，可以提高数据的可用性，进而提升模型的训练效果，使其具备更高的精度和鲁棒性。 总体而言，数据加工不仅帮助用户提升数据处理效率，还通过优化数据质量，支持高效的模型训练，帮助用户快速构建高质量的数据集，推动大模型的成功开发。 支持数据加工的数据集类型 当前支持加工操作的数据集类型如下：
加工图片类数据集 创建图片类数据集加工任务 上线加工后的图片类数据集 父主题： 加工数据集
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，每个数据点都有一个时间戳，表示数据在时间上的位置。它用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
