检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”,才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言(Java/Python/Go)调用API的方法,仅供测试使用。 前提条件
调用盘古大模型API 用户可以通过API调用盘古大模型服务的基模型以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时,才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API,仅供测试使用。 前提条件 使用API调用模型前,请先完成盘古大模型服务订购和开通操作。
API NLP大模型 Token计算器
大模型内容审核 盘古大模型支持通过对接内容审核,实现拦截大模型输入、输出的有害信息,保障模型调用安全。用户在开通API后,可依据需求选择是否开通、启用内容审核。 父主题: 如何调用REST API
本示例中,通过使用Postman软件调用AI助手API,API的详细请求参数、响应参数介绍请参见AI助手API参数说明。 打开Postman,新建一个POST请求,在地址栏填写获取AI助手API调用地址获取的调用地址。 在Header中配置IAM Token信息。 请求Header参数名为X-Auth-Toke
在弹窗中可获取对应模型的API请求地址。其中,路径选中部分即为模型的部署ID(deployment_id)。 图3 获取API请求地址 父主题: 附录
如何调用REST API 开通API 构造请求 认证鉴权 返回结果
name、domain name、project id 下载并安装Postman调测工具。 打开Postman,新建一个POST请求,输入“西南-贵阳一”区域的“获取Token”接口,并填写请求Header参数。 接口地址为:https://iam.cn-southwest-2.myhuaweicloud
String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。
配置AI助手工具 各种功能的API经封装后,将形成一个个工具,AI助手通过大模型来调用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。 图1 工具管理 在“
通过结合多种工具并利用大模型的对话问答、规划推理、逻辑判断等能力,来理解和回应用户的需求。 例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助
部署为在线服务 模型训练完成后,即模型处于“已完成”状态时,可以启动模型的部署操作。 基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型支持模型推理,但不支持模型训练。 部署为在线服务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“部署”。
NLP大模型 文本补全 多轮对话 父主题: API
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场景是否一致,质量较差的测试集无法反映模型的真实结果。 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,
对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。 响应消息体 响应消息体通常以结构化格式返回,与响应消息头中Content-Type对应,传递除响应消息头之外的内容。 接口调用成功后将返回如下响应体。
String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。
Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 如果您的华为云账号已升级为华为账
String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务