检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发盘古NLP大模型 使用数据工程构建NLP大模型数据集 训练NLP大模型 压缩NLP大模型 部署NLP大模型 评测NLP大模型 调用NLP大模型
130 2024年11月发布的版本，支持4K序列长度推理，支持4个推理单元部署。 Pangu-NLP-BI-32K-20241130 2024年11月发布的版本，支持32K序列长度推理，支持8个推理单元部署。 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模
project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
是 TaskOutputDto object 输出数据的信息。 config 是 TaskConfigDto object 科学计算大模型配置信息。 表4 TaskInputDto 参数 是否必选 参数类型 描述 type 是 String 存储类型，取值为obs。 data 是
基本概念 账号 用户注册华为云时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。
布的模型，所有这些模型将存放于空间资产中进行统一管理。用户可查看预置模型的历史版本和操作记录，还可以执行模型的进一步操作，包括训练、压缩、部署等。此外，平台支持导出和导入盘古大模型的功能，使用户能够将其他局点的盘古大模型迁移到本局点，便于模型资源共享。 父主题： 管理盘古大模型空间资产
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表2 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 1024 温度（temperature） 0.3 核采样（top_p） 0.8 话题重复度控制（presence_penalty） 0 部署推理服务后，可以
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。
通用质量评估 针对文本进行通用质量的评估，例如流畅度、清晰度、丰富度等。 说明： 使用该清洗算子前，请确保有已部署的NLP大模型，具体步骤详见创建NLP大模型部署任务。 父主题： 数据集清洗算子介绍
使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 训练科学计算大模型训练数据要求所需数据量 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求
数据工程介绍 数据工程介绍 数据工程是ModelArts Studio大模型开发平台（下文简称“平台”）为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。 表1
型训练要求。通过平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择数据发布格式，保证数据的兼容性与一致性，从而为后续模型训练和应用部署打下坚实基础。 支持数据发布的数据集类型 支持数据发布的数据集类型见表1。 表1 支持数据发布的数据集类型 数据类型 数据评估 数据配比 数据流通
订购盘古大模型服务 订购模型与资源 ModelArts Studio大模型开发平台支持订购模型资产、数据资源、训练资源、推理资源，支持模型资产的包年/包月订购、资源的包年/包月和按需计费订购。 模型资产：模型资产可用于模型开发、应用开发等模块。当前支持订购NLP大模型、CV大模型
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表3 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以
步处理并最终输出答案，展示在前端界面。 在该框架中，query改写模块、中控模块和问答模块由大模型具体实现，因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Sea
（表示该参数未生效） moderation_config 否 Array of moderation_config objects 内容审核配置项。 enable_search 否 boolean 是否启动搜索增强。 默认值为false，如果开启搜索增强，请赋值为true。 表4 moderation_config
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
