检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
node-type是集群节点类型。其中,worker表示工作节点,controller表示主控节点。 在服务器执行如下命令,判断docker是否安装成功。 systemctl status docker 在服务器执行如下命令,判断edge agent是否安装成功。 hdactl info 配置hda
在弹窗中可获取对应模型的API请求地址。其中,路径选中部分即为模型的部署ID(deployment_id)。 图3 获取API请求地址 父主题: 附录
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
终端节点 终端节点(endpoint)即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于
调用AI助手API 获取AI助手API调用地址 登录盘古大模型套件平台。 左侧导航栏选择“应用开发 > AI助手”,选择需要运行的AI助手,单击“查看”。 图1 查看AI助手 在详情页面,AI助手API调用地址。 图2 获取调用地址 获取Token 本示例中,通过使用Postman软件获取Token。
使用Postman调用API 获取API请求地址。 在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
使用Postman调用API 获取API请求地址。 在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“服务列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题: 部署盘古大模型
l集群为例,示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge.4镜像 EulerOS 2.9 64bit with
String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用
下载并安装Postman调测工具。 打开Postman,新建一个POST请求,输入“西南-贵阳一”区域的“获取Token”接口,并填写请求Header参数。 接口地址为:https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens 请求Heade
合规度校验规则说明 校验项 说明 个人隐私 校验数据中是否存在个人隐私信息,例如,身份证号、手机号、固定电话、Email地址、护照号、车牌号、军官证、车架号、GPS地址、IP地址、MAC地址和IMEI码等。 敏感关键词 校验数据中是否存在敏感关键字,如涉政信息。 表4 合规度状态说明 合规数据量
上述代码中custom.llm.url为自定义的url地址(名字由开发者任意指定,或直接传入url地址),可以指向不同的模型,因此llm1为一个大模型;而llm2没有指定config,默认使用sdk.llm.pangu.url,若地址与custom.llm.url,则为另外一个大模型。
附录 状态码 错误码 获取项目ID 获取模型调用API地址
载该obs文件,上传到环境B对应的obs桶中。 登录环境B的盘古大模型套件平台,在“模型迁移”页面,选择“导入模型”,输入模型对应的obs地址和模型名称后,单击“确定”,启动导入模型任务。 图4 导入模型
odule-version需要配置为“N2_agent_v2”,模型的相关配置需要改为Pangu-NLP-N2-Agent-L0.C模型的地址。 with_prompt参数配置为True,prompt的拼接由Agent托管处理。 父主题: Agent(智能代理)
leVersion需要配置为“N2_agent_v2”,如上例所示,因此模型的url要配置为Pangu-NLP-N2-Default模型的地址。 支持注册开源模型,开源模型的定义可参考开源模型。 final LLM llm = LLMs.of(LLMs.OPENAI, LLMConfig
name、project id 打开Postman,新建一个POST请求,并输入“西南-贵阳一”区域的“获取Token”接口。并填写请求Header参数。 接口地址为:https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens 请求Heade