检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以多种格式进行发布，包括默认格式、盘古格式（适用于训练盘古大模型时）。这些格式支持用户在不同的AI平台和业务场景中使用，确保数据在不同模型训练系统中的兼容性与流畅使用。目前，发布多种数据集格式的功能仅支持文本类和图片类数据集。 数据工程架构图如下： 图1 数据工程架构图 通过集成
使用盘古应用百宝箱生成创意活动方案 场景描述 该示例演示了如何使用盘古应用百宝箱生成创意活动方案。 应用百宝箱是盘古大模型服务为用户提供的便捷AI应用集，用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。 操作流程 使用盘古应用百宝箱生成创意活动方案的步骤如下：
数据集评估场景介绍 数据评估概念 数据评估旨在通过对数据集进行系统的质量检查，评估其准确性、完整性、一致性和代表性等多个维度，发现潜在问题并加以解决。 在构建和使用数据集的过程中，数据评估是确保数据质量的关键步骤，直接影响模型的性能和应用效果。高质量的数据集能够显著提升模型的准确
评估数据集 数据集评估场景介绍 评估文本类数据集 评估视频类数据集 评估图片类数据集 父主题： 使用数据工程准备与处理数据集
加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工视频类数据集 加工图片类数据集 加工气象类数据集 父主题： 使用数据工程准备与处理数据集
数据集发布场景介绍 发布文本类数据集 发布视频类数据集 发布图片类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 父主题： 使用数据工程准备与处理数据集
标注数据集 数据集标注场景介绍 标注文本类数据集 标注视频类数据集 标注图片类数据集 父主题： 使用数据工程准备与处理数据集
文本类数据集格式要求 视频类数据集格式要求 图片类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程准备与处理数据集
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。 Verification
将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下： 上传数据至OBS：将本地数据上传至OBS服务，请详见通过控制台快速使用OBS。 使用数据导入功能：通过平台提供的“数据导入”功能，将数据从OBS导入到平台。 父主题： 大模型使用类问题
据进行集中管理和进一步操作。 创建原始数据集 创建原始数据集前，请先按照数据集格式要求提前准备数据。如果需要使用OBS服务导入数据，请详见通过控制台快速使用OBS。 在使用OBS服务上传数据时，如果遇到网络报错“NET::ERR_CERT_AUTHORITY_INVALID”，是
“默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本，将数据集转化为适用于其他模型的格式。例如盘古数据集中，context、target字段分别表示问题和答案。对于Alpaca格式的数据集，in
合特定任务或模型训练需求的正式数据集。数据发布是数据处理流程中的关键步骤，也是数据集构建的最终环节。 数据发布过程不仅包括将数据转化为适合使用的格式，还要求根据任务需求对数据集的比例进行科学调整，确保数据集在规模、质量和内容上满足模型训练的标准。 通过灵活调整数据集的比例配比，用
骤操作： 进入平台的“空间资产 > 模型 > 预置”页面。 在该页面中，单击所需的模型，即可查看历史版本及相关操作记录。 父主题： 大模型使用类问题
} ], "temperature": 0.9, "max_tokens": 600 } 父主题： 大模型使用类问题
“默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本，将数据集转化为适用于其他模型的格式。例如盘古数据集中，context、target字段分别表示问题和答案。对于Alpaca格式的数据集，in
文本类数据集，加工算子清单详见文本类加工算子能力清单。 视频类数据集，加工算子清单详见视频类加工算子能力清单。 图片类数据集，加工算子清单详见表1、表2。 气象类数据集，加工算子清单详见表1。 父主题： 加工数据集
数据加工任务时，可以直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。 图4 算子编排 图5 选择加工模板 算子编排完成后，单击“立即执行”，平台会直接启动数据加工任务。若单击“保存”，数据集列表页中将新增一个任务状态为“待处理”的数据加工任务，可单击操作列“执行”启动加工。
数据加工任务时，可以直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。 图4 算子编排 图5 选择加工模板 算子编排完成后，单击“立即执行”，平台会直接启动数据加工任务。若单击“保存”，数据集列表页中将新增一个任务状态为“待处理”的数据加工任务，可单击操作列“执行”启动加工。
加工文本类数据集 创建文本类数据集加工任务 上线加工后的文本类数据集 父主题： 加工数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
