检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集清洗算子介绍 文本类清洗算子能力清单 视频类清洗算子能力清单 图片类清洗算子能力清单 气象类清洗算子能力清单 父主题： 加工数据集
”、“盘古格式”，以满足不同训练任务的需求。通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。 提高训练效率 发布符合标准的数据集可以大幅提升数据处理效率，减少后续调整工作，帮助用户快速进入模型训练阶段。 数据集发布是数据工程中的关键环节，通过科
发布文本类数据集 评估文本类数据集 配比文本类数据集 流通文本类数据集 父主题： 发布数据集
发布视频类数据集 评估视频类数据集 流通视频类数据集 父主题： 发布数据集
加工文本类数据集 清洗文本类数据集 合成文本类数据集 标注文本类数据集 父主题： 加工数据集
上进一步训练，使模型能够更有效地应对具体的任务需求。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。 预测大模型选择建议 选择合适的预测大模型类型有助于提升
上进一步训练，使模型能够更有效地应对具体的任务需求。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。 CV大模型选择建议 选择合适的CV大模型类型有助于提升
发布图片类数据集 评估图片类数据集 配比图片类数据集 流通图片类数据集 父主题： 发布数据集
加工图片类数据集 清洗图片类数据集 标注图片类数据集 父主题： 加工数据集
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值，与时序数据不
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作，不支持数据加工操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传，所有视频可以放在多个文件夹
CV大模型训练常见报错与解决方案 CV大模型训练常见报错及解决方案请详见表1。 表1 CV大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空。 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创
NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空。 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请
预测大模型训练常见报错与解决方案 预测大模型训练常见报错及解决方案请详见表1。 表1 预测大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空。 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。
科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
