正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
largemodel controller ecs-edge-30037210 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge.4镜像 EulerOS 2.9 64bit with ARM for Tenant 20230728 base 2.9.15 公网IP:100.85
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取
信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Regio
images k3s-airgap-images-[arm64|amd64].tar.gz //k3s离线镜像 hilens-agent hilens-agent.tgz // hilens agent固件包
调用AI助手API 获取AI助手API调用地址 登录盘古大模型套件平台。 左侧导航栏选择“应用开发 > AI助手”,选择需要运行的AI助手,单击“查看”。 图1 查看AI助手 在详情页面,AI助手API调用地址。 图2 获取调用地址 获取Token 本示例中,通过使用Postman软件获取Token。
终端节点 终端节点(endpoint)即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”,才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言(Java/Python/Go)调用API的方法,仅供测试使用。 前提条件
调用盘古大模型API 用户可以通过API调用盘古大模型服务的基模型以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时,才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API,仅供测试使用。 前提条件 使用API调用模型前,请先完成盘古大模型服务订购和开通操作。
检测数据集质量 数据集创建成功后,平台将对数据集中的数据进行质量校验,并给出健康度评分、合规度评分与数据长度分布。 检测数据集质量 在“数据工程 > 数据管理”页面,选择“我的数据集”或者“训练数据集”页签。 单击数据集名称,进入数据集详情页,查看详细的数据质量。 其中,数据长度
附录 状态码 错误码 获取项目ID 获取模型调用API地址
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory
迁移盘古大模型 模型训练完成后,可以通过迁移(导入模型、导出模型)功能将本局点训练的模型导出,或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。 图1 模型管理 导入/导出模型 以从环境A迁移模型到环境B为例: 登
LLMs(语言模型) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、开源模型等模型API。 初始化:根据相应模型定义LLM类。例如,使用盘古LLM为: LLMs.of(LLMs.PANGU)。 import com.huaweicloud.pangu
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent; import com.huaweicloud.pangu.dev.sdk.api.llms
获取API认证鉴权信息(获取Token) 登录“我的凭证 > API凭证”页面,获取user name、domain name、project id。 project id参数需要与盘古服务部署区域一致。例如,盘古大模型部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project
状态码 HTTP状态码为三位数,分成五个类别:1xx:相关信息;2xx:操作成功;3xx:重定向;4xx:客户端错误;5xx:服务器错误。 状态码如下所示。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。
配置AI助手工具 各种功能的API经封装后,将形成一个个工具,AI助手通过大模型来调用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。 图1 工具管理
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证 Token在计算机系统中代表令牌
运行Agent 单轮执行 调用run接口运行一个Agent: agent.run("帮我定个下午3点到8点2303会议室") Agent的运行时会进行自我迭代,并且选择合适的工具,在日志中打印最终的执行结果: 用户: 帮我定个下午3点到8点2303会议室 助手: 好的,2023-11-17
文本补全 功能介绍 给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。它可以用来做文本生成、自动写作、代码补全等任务。 URI POST /v1/{project_id}/deployments/{deployment_id}/text/completions 表1