检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何将本地的数据上传至平台 ModelArts Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS（对象存储服务），然后通过平台提供的“数据导入”功能，将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下： 上传数据至OBS：将本地数据上传至OBS服务，请详见通过控制台快速使用OBS。
加工文本类数据集 加工文本类数据集 合成文本类数据集 标注文本类数据集 配比文本类数据集 父主题： 加工数据集
发布文本类数据集 评估文本类数据集 发布文本类数据集 父主题： 发布数据集
发布视频类数据集 评估视频类数据集 发布视频类数据集 父主题： 发布数据集
数据集加工算子介绍 文本类加工算子介绍 视频类加工算子介绍 图片类加工算子介绍 气象类加工算子介绍 父主题： 加工数据集
文本-单轮问答-jsonl格式 上传数据文件后，填写“数据集名称”与“描述”，单击“立即创建”。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面选择数据集模态并选择数据集文件。 单击“下一步”，选择发布格式，填写名称，选择数据集可见性，单击“下一步”。
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至发布图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts St
在左侧导航栏中选择“数据工程 > 数据管理 > 数据集 > 发布数据集”。 单击数据集名称查看发布数据集的基本信息、数据预览、数据血缘以及操作记录。 在“基本信息”页签可查看数据集的详细信息。 在“数据预览”页签可查看发布后的数据内容。 在“数据血缘”页签查看该数据集所经历的操作，如导入、合成、训练等操作。
评估图片类数据集 发布图片类数据集前，ModelArts Studio大模型开发平台支持对数据集进行评估操作，帮助用户优化数据质量，确保数据满足高标准，提升模型性能。 如果无需使用数据评估操作，可跳过此章节至发布图片类数据集。 创建图片类数据集评估标准 ModelArts Stu
上传文件限xlsx格式。 数据行数不小于10行，不大于50行。 数据不允许相同表头，表头数量小于20个。 数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式如下： 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。
在“创建训练任务”页面进行配置。 训练配置：按照图1所示进行配置。 本案例选择的基础模型为“Pangu-AI4S-Ocean_Regional_24h-3.1.0”。 图1 训练配置 数据配置：选择构建微调训练任务数据集中构建的微调训练数据集，参考表1完成配置，配置示例如图2。 表1 训练参数说明
总体而言，数据加工不仅提升了数据处理的效率，还可通过优化数据质量和针对性处理，支持高效的模型训练。通过数据加工，用户能够快速构建高质量的数据集，推动大模型的成功开发。 支持数据加工的数据集类型 当前支持数据加工操作的数据集类型见表1。 表1 支持数据加工操作的数据集类型 数据类型 数据加工
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 仅图片 tar、图片目录 图片：支持jpg、jpeg、png、bmp类型。 ta
构建微调训练任务数据集 获取源数据 科学计算大模型微调训练所需的数据为气象再分析数据。 气象再分析数据集是利用现代数值天气预报模型和数据同化系统，对过去的观测数据进行重新处理后得到的。这些数据集可以是全球范围的，也可以是特定区域的。再分析数据集的目的是通过整合历史观测数据和现代计算技
加工图片类数据集 加工图片类数据集 标注图片类数据集 配比图片类数据集 父主题： 加工数据集
发布图片类数据集 评估图片类数据集 发布图片类数据集 父主题： 发布数据集
变更计费模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费，训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
文本类加工算子介绍 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的加工操作，分为数据提取、数据转换、数据过滤、数据打标四类，文本类加工算子能力清单见表1。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
