检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。存储在OBS服务中的数据或本地数据导入ModelArts Studio大模型开发平台后，将以数据集的形式进行统一管理。 用户将数据导入至平台后，这些数据会生成一个“原始数据集”，用于对导入的数据进行集中管理和进一步操作。
应用提示词生成面试题目 应用场景说明：将面试者的简历信息输入给大模型，基于简历生成面试问题，用于辅助人工面试或实现自动化面试。 父主题： 提示词应用示例
发布预测类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 预测类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
平均词长度。 语种过滤 通过语种识别模型得到文档的语言类型，筛选所需语种的文档。 段落结尾不完整句子过滤 删除文本中不完整段落和句子。 广告数据过滤 删除文本中包含广告数据的句子。 全局文本去重 检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。 父主题： 数据集加工算子介绍
应用提示词实现智能客服系统的意图匹配 应用场景说明：智能客服系统中，大模型将客户问题匹配至语义相同的FAQ问题标题，并返回标题内容，系统根据匹配标题调出该FAQ问答对，来解答客户疑问。 父主题： 提示词应用示例
数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的加工操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。 表1
标注数据集 数据集标注场景介绍 标注文本类数据集 标注视频类数据集 标注图片类数据集 父主题： 使用数据工程准备与处理数据集
图片类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类加工算子，算子能力清单见表1、表2。 图文类加工算子能力清单 表1 图文类加工算子能力清单
快速进入模型训练阶段。 数据集发布是数据工程中的重要环节，它通过科学的数据比例调整和格式转换，确保数据集能够满足模型训练的要求。通过平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择和定制数据发布格式，保证数据的兼容性与一致性，从而为后续的模型训练和应用部署奠定坚实基础。
评估数据集 数据集评估场景介绍 评估文本类数据集 评估视频类数据集 评估图片类数据集 父主题： 使用数据工程准备与处理数据集
加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工视频类数据集 加工图片类数据集 加工气象类数据集 父主题： 使用数据工程准备与处理数据集
发布数据集 数据集发布场景介绍 发布文本类数据集 发布视频类数据集 发布图片类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 父主题： 使用数据工程准备与处理数据集
接影响模型的性能和应用效果。高质量的数据集能够显著提升模型的准确性，并增强模型在实际应用中的可靠性与稳定性。因此，数据评估是数据工程中不可或缺的一环，帮助用户在数据准备阶段识别并解决数据中的问题，为后续的模型训练和优化奠定坚实基础。 ModelArts Studio大模型开发平台
发布其他类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 其他类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
数据集格式要求 文本类数据集格式要求 视频类数据集格式要求 图片类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程准备与处理数据集
发布视频类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 视频类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
发布气象类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 气象类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
"target":"你好，请问有什么可以帮助你"},{"context":"请介绍一下盘古大模型","target":"盘古大模型，是华为推出盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"}] 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，用户训练模型时如果使用较特殊的数据集，ModelArts Studio大模型开发平台支持导入用户自定义的数据集。 例如，在训练CV类算法（如图片分类、图片分割、图片检测等任务）时，用户需使用“其他”类型的数据集。 其
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入图片、图片+Caption、图片+QA对三种类型的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片：支持jpg
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
