检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例化Tool Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类。静态工具需要开发者事先定义好，即在编译期定义与实例化。对于动态工具，开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过注
实例化Tool Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类，静态工具需要开发者事先定义好，即在编译期定义与实例化；动态工具开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过继承To
Tool Retriever Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题，其原理是在Agent运行前，
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history
多轮对话 支持上下文记忆的多轮对话。 初始化 from pangukitsappdev.skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory import LLMs
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，这样当需要访问这些数据时，就不用再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，当需要访问这些数据时，无需再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 Cache缓存有以下几种操作： 初始化：指定缓存使用哪种存储方式，例如，使用内存型缓存可以设置为memory_cache
Prompt（提示词模板） 提示词模板模块提供模板格式化、自定义配置管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev
文档问答 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import Embeddings
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
基础问答 基础问答（SimpleSkill）提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template
基础问答 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain.prompts
监听Agent 一次Agent的响应如果涉及到多个任务的分解，往往会执行比较长的时间，此时可以对agent的执行过程进行监听，输出中间步骤。 AgentListener的定义如下： class AgentListener(ABC): """Agent监听，允许对Agent的各个阶段进行处理
Agent流式输出 Agent用于工具调用场景，与普通的LLM流式输出相比，提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调： /** * 设置流式接口回调函数 * * @param streamAgentCallback
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk
多轮对话 支持上下文记忆的多轮对话。 初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills; import com
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory
Tool Retriever Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题，其原理是在Agent运行前，
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型，如，闭源模型或者裸机部署的自定义推理服务，可以通过继承AbstractLLM自定义一个模型，示例代码如下： @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
