检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前必读 概述 调用说明 终端节点 基本概念
使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”，才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言（Java/Python/Go）调用API的方法，仅供测试使用。 前提条件
压缩盘古大模型 模型部署 - 对模型执行部署操作。 部署盘古大模型 模型调用 使用“能力调测”调用模型 使用可视化的“能力调测”页面调用模型。 使用“能力调测”调用模型 使用API调用模型 通过API编写代码方式调用模型。 使用API调用模型 提示词工程 - 利用精心设计的提示词优化和引导大模
使用“能力调测”调用模型 前提条件 使用能力调测调用模型之前，需要进行开通盘古大模型服务操作。 使用“能力调测”调用模型 能力调测通过图形化问答界面，提供了快速访问盘古大模型能力的入口。用户可以通过在“能力调测”页面选择调用基模型或训练后的模型。 训练后的模型需要“在线部署”且状
置的授权项限使用账号中所有的企业项目、区域项目、全局服务资源。也可以选择“指定区域项目资源”，如指定“西南-贵阳一”区域，即用户组内的IAM用户仅可使用该区域项目中的资源。 图4 设置最小授权范围 完成用户组授权。 图5 完成授权 创建IAM用户，并加入用户组 使用主账号登录IAM服务控制台。
可以用来做文本生成、自动写作、代码补全等任务。 NLP-多轮对话 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 父主题： 使用前必读
盘古应用开发SDK使用前准备 使用盘古大模型应用开发SDK时，需要在代码中配置以下信息，请提前收集。 表1 配置项说明及获取方式 类型 资源 是否必选 相关配置项 说明 配置项值获取方式 IAM认证 - 是 sdk.iam.url Token认证调用URL。 示例：POST ht
Transfer）风格的API，支持您通过HTTPS请求调用，调用方法请参见如何调用REST API。 调用API时，需要用户网络可以访问公网。 父主题： 使用前必读
重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查看账号ID和用户ID
服务列表”中选择需要调用的模型，并单击操作列的“调用路径”，在弹窗中可获取对应模型的API请求地址。 图3 服务概览页面 图4 获取API请求地址 父主题： 使用前必读
toolId）将其从内存中取出。一般来说，ToolProvider将由用户自定义，将在后续示例中说明。 此外，上述例子使用的向量数据库配置指定索引名称，以及使用name和description作为向量化字段，因此工具入库时，会将工具的name和description进行向量化，并在后续的检索中生效。
上述例子使用了一个简单的InMemoryToolProvider，InMemoryToolProvider的原理为将完整的工具存入内存，再根据工具检索的结果（tool_id）将其从内存中取出。一般来说，ToolProvider将由用户自定义，后续会有例子说明。 上述例子使用的向量数
的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题答案”，“生成”一词不是很恰当，模型会引入一些外部知识。 例如，在构造泛化问题的任务中，需要基于原问题改写为相同含义的问题，而不是生成相似的问题。当提示词使用“请生成10个跟“手机银行怎么转账”相似的问题”时，模
在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型，单击“申请体验”，填写手机、邮箱和邀请码，单击“下一步”，提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题： 体验盘古大模型功能
在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型，单击“申请体验”，填写手机、邮箱和邀请码，单击“下一步”，提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题： 体验盘古大模型功能
务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。 推理资产 选择“已购资产”。 限时免费：使用免费的推理资源，仅支持部署一个实例。 已购资产：由用户购买的推理资源，实际可用推理单元由购买时的数量决定。 实例数 实例数越大，能够同时处理的请求数量越多。
模型刚开始训练时，如果选择一个较大的学习率，可能导致模型训练不稳定。选择使用warmup热身的方式，可以使开始训练的热身阶段内学习率较小，模型可以慢慢趋于稳定，待模型相对稳定后再逐渐提升至预设的最大学习率进行训练。使用热身可以使得模型收敛速度更快，效果更佳。 当前盘古-NLP-N4-基模型支持自监督训练。
以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时，才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API，仅供测试使用。 前提条件 使用API调用模型前，请先完成盘古大模型服务订购和开通操作。 使用Postman调用API 获取API请求地址。
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同，具体步骤请参考使用API调用模型。 父主题： 部署为边缘服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
