检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
性，为大模型的训练提供高质量的基础数据。 数据发布：数据发布是数据工程流程的最后一步。平台支持将经过加工、标注和评估的数据集以多种格式进行发布，包括默认格式、盘古格式（适用于训练盘古大模型时）。这些格式支持用户在不同的AI平台和业务场景中使用，确保数据在不同模型训练系统中的兼容性
能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据
创建科学计算大模型部署任务 模型训练完成后，可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，模型类型选择“科学计算大模型”，参考表1完成部署参数设置，启动模型部署。
盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。 登录ModelArts Studio大模型开发平台首页。 配置OBS访问授权。 方式1：在
发布视频类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 视频类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
发布气象类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 气象类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
发布预测类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 预测类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能，以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品，方便地构建自己的模型和应用。 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据
默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 发布文本类数据集 开发盘古NLP大模型 训练NLP大模型 进行模型的训练，如预训练、微调等训练方式。 训练NLP大模型 压缩NLP大模型 通过模型压
盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别 特征要求 水平分辨率要求 区域范围要求 时间要求 数据获取方式 气象/降水模型
创建NLP大模型部署任务 模型训练完成后，可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，模型类型选择“NLP大模
B3，支持1个训练单元训练及1个推理单元部署。 Pangu-AI4S-Weather_6h-20241030 此版本在Studio上首次发布，用于天气基础要素预测，时间分辨率为6小时，支持预训练、微调、在线推理、能力调测特性，基于Snt9B3，支持1个训练单元训练及1个推理单元部署。
创建数据集质量评估任务，并基于评估标注对数据逐一评估其质量，评估后的数据可以用于模型训练。 获取数据集评估报告 查看数据集评估任务的进展和数据集质量。 发布数据集 创建数据集发布任务 创建数据集发布任务，并进行正式的数据集发布操作，可用于后续的训练任务。 平台支持发布的数据集格式为默认格式、盘古格式、自定义格式，可按需进行数据集格式转换。
加工算子是一种灵活的数据预处理工具，能够帮助您将原始数据转化为所需的格式。通过使用加工算子，您可以提取、转换、过滤原始数据，生成适合大模型训练的数据集。 准备工作 请提前准备数据并上传至OBS服务，上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台，进入所需空间。
数据在进入模型训练阶段之前具备高质量，从而提升模型的效果和可靠性。数据评估的主要意义体现在以下几个方面： 确保数据质量：通过评估数据集的准确性、完整性和一致性，用户可以及时发现并修复数据中的问题，确保数据符合训练标准。 提升模型性能：高质量的数据集直接影响模型的训练效果。通过准确
使用“能力调测”调用科学计算大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海
发布其他类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 其他类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？ 如何调整训练参数，使盘古大模型效果最优？ 如何判断盘古大模型训练状态是否正常？ 为什么微调后的盘古大模型总是重复相同的回答？ 盘古大模型是否可以自定义人设？ 更多 大模型概念类 如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？
后付费，根据服务实际消耗量计费 按实际任务时长，时长精确到秒。 数据托管服务 包周期计费 托管单元 预付费，按照订单的购买周期结算 1个月~1年 训练服务 训练服务 按需计费 训练单元 后付费，根据服务实际消耗量计费 按实际任务时长，时长精确到秒。 推理服务 推理服务 包周期计费 推理单元 预付费，按照订单的购买周期结算
理数据集资源，以便在模型训练和分析时灵活调用，确保数据资产的规范性与安全性。 模型资产：平台提供的模型资产涵盖了预置或训练后发布的模型，所有这些模型将存放于空间资产中进行统一管理。用户可查看预置模型的历史版本和操作记录，还可以执行模型的进一步操作，包括训练、压缩、部署等。此外，平
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
