检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 父主题： 使用数据工程准备与处理数据集
请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。 Verification failed. Please check the content format is consistent with the template requirements. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。
的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用服务的其他功能。 通过IAM，您可以在华为云账号
使用API调用NLP大模型 模型部署成功后，可以通过“文本对话”API调用NLP大模型。 表1 NLP大模型API清单 API分类 API访问路径（URI） 文本对话 /v1/{project_id}/deployments/{deployment_id}/chat/completions
以多种格式进行发布，包括默认格式、盘古格式（适用于训练盘古大模型时）。这些格式支持用户在不同的AI平台和业务场景中使用，确保数据在不同模型训练系统中的兼容性与流畅使用。目前，发布多种数据集格式的功能仅支持文本类和图片类数据集。 数据工程架构图如下： 图1 数据工程架构图 通过集成
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。 登录ModelArts
计费模式 包周期计费模式属于预付费模式，即先付费再使用。按需计费模式属于后付费模式，即费用根据服务实际消耗量计费，系统将每小时自动扣费。 盘古大模型的计费模式见表1。 表1 计费模式表 计费类别 计费项 计费模式 计费量纲 付费方式 计费周期 模型服务 模型订阅服务 包周期计费 套
Transfer）风格的API，支持您通过HTTPS请求调用，调用方法请参见如何调用REST API。 调用API时，需要用户网络可以访问公网。 父主题： 使用前必读
合特定任务或模型训练需求的正式数据集。数据发布是数据处理流程中的关键步骤，也是数据集构建的最终环节。 数据发布过程不仅包括将数据转化为适合使用的格式，还要求根据任务需求对数据集的比例进行科学调整，确保数据集在规模、质量和内容上满足模型训练的标准。 通过灵活调整数据集的比例配比，用
使用“能力调测”调用科学计算大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海
针对Token转换比，平台提供了Token计算器功能，可以根据您输入的文本计算Token数量，您可以通过以下方式使用该功能： 在左侧导航栏选择“能力调测”，单击右下角“Token计算器”使用该功能。 使用API调用Token计算器，详见《API参考》“API > Token计算器”。 NLP大模型训练类型选择建议
南》“开发盘古NLP大模型 > 训练NLP大模型 > NLP大模型训练流程与选择建议”。 关于平台接入的数据格式要求，请参考《用户指南》“使用数据工程准备与处理数据集 > 数据集格式要求”。 平台上单个用户最多可创建和管理2000个模型实例。
数据标注任务。您将学习如何设置任务参数、配置标注要求并进行标注。 准备工作 请提前准备数据并上传至OBS服务，上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台，进入所需空间。 选择左侧“数据工程 > 数据获取”，单击右上角“创建原始数据集”。
} ], "temperature": 0.9, "max_tokens": 600 } 父主题： 大模型使用类问题
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量
使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别
全量升级：新旧版本的服务同时运行，直至新版本完全替代旧版本。在新版本部署完成前，旧版本仍可使用。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时，系统会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 模型更新 图2 修改部署 父主题： 部署NLP大模型
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力，在输入框中输入问题，模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
发布其他类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 其他类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
数据集标注场景介绍 数据标注概念 数据标注是数据工程中的关键步骤，旨在为无标签的数据集添加准确的标签，从而为模型训练提供有效的监督信号。标注数据的质量直接影响模型的训练效果和精度，因此高效、准确的标注过程至关重要。数据标注不仅仅是人工输入，它还涉及对数据内容的理解和分类，以确保标签精准地反映数据的特征和用途。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
