检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在弹窗中可获取对应模型的API请求地址。其中,路径选中部分即为模型的部署ID(deployment_id)。 图3 获取API请求地址 父主题: 附录
I,API的详细请求参数、响应参数介绍请参见AI助手API参数说明。 打开Postman,新建一个POST请求,在地址栏填写获取AI助手API调用地址获取的调用地址。 在Header中配置IAM Token信息。 请求Header参数名为X-Auth-Token,参数值为获取Token获取的token值。
终端节点 终端节点(endpoint)即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览
在“模型列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中,Token起到了身份验证和权限管理的作用。 在调用盘古API前,需要先使用“获取Token”接口,获取Token值,
使用API调用模型前,请先完成盘古大模型服务订购和开通操作。 使用Postman调用API 获取API请求地址。 在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“服务列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。
--host-ip=192.168.0.150 cluster_install-ascend.sh脚本主要用于安装docker、hdad和k3s,请联系华为工程师获取。 pkg-path是步骤2中整合的安装包文件目录。 host-ip是设备在集群中的ip,一般为内网ip。 no
接口,并填写请求Header参数。 接口地址为:https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens 请求Header参数名为Content-Type,参数值为application/json 图3 填写获取Token接口
资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其他地址,使用GET和POST请求查看。
接口。并填写请求Header参数。 接口地址为:https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens 请求Header参数名为Content-Type,参数值为application/json 图2 填写获取Token接口
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory
在“创建工具”页面参考表1完成工具代码的设置。 表1 创建工具参数说明 参数 是否必选 参数类型 描述 tool_id 是 String 工具ID,必须由英文小写字母和_组成,需要符合实际工具含义。 tool_desc 是 String 工具的描述,尽可能的准确简短描述工具的用途。 说明: 该描述直接影响大
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent; import com.huaweicloud.pangu.dev.sdk.api.llms
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
The requested resource does not exist. 资源不存在。 请检查调用API时projectId和deploymentId是否填写正确。 PANGU.3259 NLP service status is not running or have been deleted
设置页面,创建知识库。 当选择“自定义知识库”时,需要设置名称、英文名称、描述信息。注意英文名称和描述将影响模型检索效果,不可随意填写,需按照知识库中文档的实际内容或知识库目进行填写。设置完成后单击“立即创建”进入知识库详情页,上传文档。在详情页会同步展示与AI助手的绑定关系。 图2
上述代码中custom.llm.url为自定义的url地址(名字由开发者任意指定,或直接传入url地址),可以指向不同的模型,因此llm1为一个大模型;而llm2没有指定config,默认使用sdk.llm.pangu.url,若地址与custom.llm.url,则为另外一个大模型。
在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型,单击“申请体验”,填写手机、邮箱和邀请码,单击“下一步”,提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题: 体验盘古大模型功能
在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型,单击“申请体验”,填写手机、邮箱和邀请码,单击“下一步”,提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题: 体验盘古大模型功能
在“创建边缘节点”页面中,填写节点名称,配置AI加速卡与日志信息,单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”,并选择加速卡类型。 如果节点没有加速卡,则选择“AI加速卡 > 不使用”。 单击“立即下载”,下载设备证书和Agent固件,并将设备证书
池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于N2的模型(盘古-NLP-N2-基模型、盘古-NLP-N2-基础功能模型、盘古-NLP-N2-SQL模型、盘古-NLP-N2-Agent