检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ERA5数据下载官方指导：https://confluence.ecmwf.int/display/CKB/How+to+download+ERA5 高空变量数据下载链接：https://cds.climate.copernicus.eu/datasets，查找名称中包含ERA5和
数据工程 ModelArts Studio大模型开发平台提供了全面的数据工程功能，支持从数据源导入到数据质量控制的全流程管理。该模块涵盖数据获取、加工、标注、评估和发布等关键环节，帮助用户高效构建高质量的训练数据集，推动AI应用的成功落地。具体功能如下： 数据获取：用户可以轻松将多种类型的数据导入
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
数据保护技术 盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护
数据工程介绍 数据工程简介 数据工程是ModelArts Studio大模型开发平台为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、标注、评估和发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量
约束与限制 受技术等多种因素制约，盘古大模型服务存在一些约束限制。 不同模型请求的最大Token数有所不同，具体信息请参见模型能力与规格。 关于模型支持的训练数据量要求，例如NLP大模型，请参考《用户指南》“开发盘古NLP大模型 > 训练NLP大模型 > NLP大模型训练流程与选择建议
使用数据工程准备与处理数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 标注数据集 评估数据集 发布数据集 数据工程常见报错与解决方案
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤
标注数据集 数据集标注场景介绍 标注文本类数据集 标注视频类数据集 标注图片类数据集 父主题： 使用数据工程准备与处理数据集
评估数据集 数据集评估场景介绍 评估文本类数据集 评估视频类数据集 评估图片类数据集 父主题： 使用数据工程准备与处理数据集
加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工视频类数据集 加工图片类数据集 加工气象类数据集 父主题： 使用数据工程准备与处理数据集
发布数据集 数据集发布场景介绍 发布文本类数据集 发布视频类数据集 发布图片类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 父主题： 使用数据工程准备与处理数据集
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。 登录ModelArts
管理盘古数据资产 数据资产介绍 用户发布的数据集会被纳入数据资产，集中存储在空间资产中。平台为数据资产提供了一系列管理功能，包括查看数据集的详细信息、追踪操作记录、以及数据集的删除管理等。这不仅便于用户对已发布数据集的集中管理，还可帮助用户了解每个数据集的使用情况，从而简化数据资产的维护更新流程
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。存储在OBS服务中的数据或本地数据导入ModelArts Studio大模型开发平台后，将以数据集的形式进行统一管理。 用户将数据导入至平台后，这些数据会生成一个“原始数据集”，用于对导入的数据进行集中管理和进一步操作。
数据集格式要求 文本类数据集格式要求 视频类数据集格式要求 图片类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程准备与处理数据集
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型
发布预测类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 预测类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
加工视频类数据集 创建视频类数据集加工任务 上线加工后的视频类数据集 父主题： 加工数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
