检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后，可以通过API调用推理接口。 表1 API清单 API 功能 操作指导 NLP大模型-文本对话 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。
准备工作 请确保您有预置的NLP大模型，并已完成模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 使用“能力调测”功能 调用API接口 “能力调测”功能支持用户直接调用已部署的预置服务，使用步骤如下： 登录ModelArts
使用“能力调测”调用NLP大模型 能力调测功能支持用户调用预置或训练后的NLP大模型。使用该功能前，请完成模型的部署操作，步骤详见创建NLP大模型部署任务。 使用“能力调测”调用NLP大模型可实现文本对话能力，即在输入框中输入问题，模型将基于问题输出相应的回答，具体步骤如下： 登录ModelArts
大气、陆地和海洋气候变量的估计值。 ERA5数据下载官方指导：https://confluence.ecmwf.int/display/CKB/How+to+download+ERA5 高空变量数据下载链接：https://cds.climate.copernicus.eu/da
可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型
单元默认采用包周期计费，数据智算单元、数据通算单元默认采用按需计费，训练单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
单击画布中的开始节点以打开节点配置页面。 开始节点的参数默认已配置，不支持修改开始节点的参数。 图1 开始节点配置图 步骤3：配置大模型节点 大模型节点提供了使用大模型能力，可在节点中配置已部署的模型，用户可以通过编写Prompt、设置参数让模型处理相应任务。 大模型节点为可选节点，若无需配置，可跳过该步骤。
文本翻译失效 可能原因：如图3，提问器节点的Prompt指令配置有误，指令中的参数与节点配置的输出参数不对应。 图3 提问器节点配置错误示例 解决方法：按照图4，正确配置提问器节点的指令，配置正确后的试运行效果如图5。 图4 提问器节点配置正确示例 图5 试运行效果 父主题： 低代码构建多语言文本翻译工作流
说明 步骤1：创建应用 本样例场景实现应用的创建。 步骤2：配置Prompt 本样例场景实现应用中的提示词配置。 步骤3：添加预置插件 本样例场景实现应用的插件配置。 步骤4：配置对话体验 本样例场景实现应用的对话体验配置。 步骤5：调试应用 本样例场景实现应用的调试。 步骤1：创建应用
2024年11月发布的版本，用于海洋基础要素预测，可支持1个实例部署推理。 Pangu-AI4S-Ocean_Regional_24h-20241130 2024年11月发布的版本，用于区域海洋基础要素预测，1个训练单元起训及1个实例部署。 Pangu-AI4S-Ocean_Ecology_24h-20241130
述，单击“确定”，进入配置合成指令页面。 选择变量标识符为“双大括号{{}}”，输入指令为“请以{{topic}}为主题，写一篇字数不超过{{num}}的散文。” 单击“确定”，再单击“确定”。 图2 配置指令 按照表1进行变量配置。 表1 数据指令变量配置 变量类型 变量名称 变量类型
调试应用的步骤如下： 在页面右上角单击，参考表2配置大模型参数。 表2 大模型参数配置 参数 说明 模型选择 选择要使用的大模型，不同的模型效果存在差异。 该模型需提前部署，步骤请参见创建NLP大模型部署任务。 模式选择 用于配置大模型的输出多样性。 包含取值： 精确的：模型的输
性。 模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平
这个临时响应用来通知客户端，它的部分请求已经被服务器接收，且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如，切换到HTTPS的新版本协议。 200 OK 服务器已成功处理了请求。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求，但未处理完成。
微调之后，才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 4K 2024年10月发布版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。
请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。 112503
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 当前仅支持对NLP大模型进行压缩。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型压缩”，单击界面右上角“创建压缩任务”。
在“创建评测任务”页面，参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务：选择部署至ModelArts Studio平台的模型进行评测。
在“创建训练任务”页面，参考表1完成训练参数设置。 其中，“数据配置”展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表1 科学计算大模型中期天气要素预测微调训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
