正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent运行Session,包含历史Action,当前Action,状态 Attributes: messages: 本次session的用户的输入 session_id: UUID,在一个session内唯一 current_action: 当前Action
History History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式,如内存、DCS(Redis)、RDS(Sql)。 import com.huaweicloud.pangu.dev.sdk
多轮对话 支持上下文记忆的多轮对话。 初始化 from pangukitsappdev.skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory import LLMs
期结束。为了说明用户反馈的功能,选择了调用setUserFeedback,进行反馈,第四次printPlan打印的结果为: 用户: 定个2点-4点的会议 助手: 好的,请问您想预定哪一个会议室? - 步骤1: 思考:好的,请问您想预定哪一个会议室? 用户: A01会议室 助手:
rovider的原理为将完整的工具存入内存,再根据工具检索的结果(tool_id)将其从内存中取出。一般来说,ToolProvider将由用户自定义,后续会有例子说明。 上述例子使用的向量数据库配置指定索引名称,以及使用name和description作为向量化字段,因此工具入库
桶”。 图4 OBS页面 创建OBS桶时,桶区域需要与盘古大模型区域保持一致。其余配置参数可以使用默认值,详细OBS桶参数说明请参见OBS用户指南。 图5 创建OBS桶 参数填选完成后,单击“立即创建”。创建好的OBS桶将显示在桶列表中。 图6 OBS页面 在OBS中创建文件目录,并在目录中上传数据文件。
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback
部署边缘模型 进入盘古大模型套件平台,进入“模型开发 > 模型部署 > 边缘部署”,单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产,选择部署方式为边缘部署,输入推理实例数(根据边缘资源池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 >
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
Provider的原理为将完整的工具存入内存,再根据工具检索的结果(toolId)将其从内存中取出。一般来说,ToolProvider将由用户自定义,将在后续示例中说明。 此外,上述例子使用的向量数据库配置指定索引名称,以及使用name和description作为向量化字段,因此
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,区分了文本流与工具流。文本流将输出模型的思考过程和最终结果;工具流将输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调: from pangukitsappdev
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于
更多,更不可预测。 核采样 控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。一般来说,设置较大的参数值可以生成较长和较完整的回复,但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复,但也可能导致生成不完整或不连贯的内容,请避免该值
交工单。 图1 立即购买 图2 新建工单 获取购买权限后,根据需要选择计费模式,基模型需选择“N2 - 基础模型功能 & 应用增强功能”。用户可根据需求自行选择功能模型,输入资源名称,类型选择“边缘部署”,输入需要订购的推理算力,单击“确认订单”。 订购完成后,进入“平台管理 >
实例化Tool Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类。静态工具需要开发者事先定义好,即在编译期定义与实例化。对于动态工具,开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过注
实例化Tool Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类,静态工具需要开发者事先定义好,即在编译期定义与实例化;动态工具开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过继承To
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent; import com.huaweicloud.pangu.dev.sdk.api.llms
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型,如,闭源模型或者裸机部署的自定义推理服务,可以通过继承AbstractLLM自定义一个模型,示例代码如下: @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>