检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区域是一个地理区域的概念。我国地域面积广大,由于带宽的原因,无法仅依靠一个数据中心为全国客户提供服务。因此,根据地理区域的不同将全国划分成不同的支持区域。 盘古大模型当前仅支持西南-贵阳一区域。 图1 盘古大模型服务区域 父主题: 模型能力与规格
优化业务流程,提高工作效率,降低运营成本,并为客户提供更精准、个性化的服务。 模型效果优秀 经过海量数据训练,盘古大模型在各种自然语言处理任务中展现出卓越的性能。无论是文本分类、情感分析、机器翻译,还是问答系统,模型都能以高准确率完成任务,为用户提供高质量的输出结果。 这种卓越的
约束与限制 受技术等多种因素制约,盘古大模型服务存在一些约束限制。 每个模型请求的最大Token数有所差异,详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备盘古大模型训练数据集 > 模型训练所需数据量与数据格式要求”。
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(多轮对话)(/chat/completions)
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
问答模块:准备单轮问答和检索增强的数据集。 {"context": ["请问福田英才荟卫生系统人才与福田英才荟高层次人才是不同的部门受理么?"], "target": "您好,福田英才荟卫生系统人才奖励管理办法只针对福田区属医疗卫生事业单位人员,其他高层次人才申领奖励建议咨询区人力资源局。"}
run_step(session) # 终端用户确认,调用外部系统,进一步确认公司名称和编号,补充信息后,让Agent继续执行 AgentSessionHelper.set_user_feedback(session, "公司改为金财互联数据服务有限公司,nsrsbh为91440101MA59JN5456")
每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token,并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。为了帮助用户更好地管理和优化Token消耗,平台提供
AgentListener的定义如下: public interface AgentListener { /** * Session启动时调用 * * @param agentSession AgentSession */ default
Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类。静态工具需要开发者事先定义好,即在编译期定义与实例化。对于动态工具,开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过注解的方式新增,在run接口中实现工具的功能,例如:
opened API. 账号未开通该API服务。 请确认是否已开通该API服务。 PANGU.3308 The accessed API does not match the existing API. 访问的API与已开通的API服务不匹配。 请确认调用的API是否填写错误。 PANGU
用户可在其中使用盘古大模型预置的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。
在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服务部署区域一致,例如盘古大模型当前部署在“西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时,展开“所
用户可在其中使用盘古大模型预置的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。
Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类,静态工具需要开发者事先定义好,即在编译期定义与实例化;动态工具开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过继承Tool的方式新增,在_run接口中实现工具的功能,例如:
l_version} 参考IAM帮助文档,获取账号相关信息。 文档加载 华为云CSS 否 CSS文档解析服务API调用URL。 华为云IAM账号认证信息。 CSS文档解析服务API参考文档: 申请资源时,可联系客户支持获取。 IAM帮助文档: https://support.huaweicloud
请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。