检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Skill(技能) 基础问答 多轮对话 文档问答 文档摘要 父主题: Java SDK
可以支持多种过滤条件,如时间范围、用户标识、消息类型等,实现对话消息的筛选和分析。 Cache Vector History 父主题: Java SDK
config.MemoryStoreConfig; import org.junit.jupiter.api.Assertions; // 定义存储策略 skill.setMemory(new ConversationBufferMemory(MemoryStoreConfig.builder()
X-Apig-AppCode:your-key 使用APIG简易认证方式添加的Header: Authorization:Bearer your-key 当LLM被定义好之后,使用方式与盘古大模型相同,开源模型也支持Agent调用,可参考实例化Agent。 父主题: LLMs(语言模型)
import com.huaweicloud.pangu.dev.sdk.api.embedings.Embeddings; import java.util.List; Vector cssVector = Vectors.of(Vectors.CSS, VectorStoreConfig
import com.huaweicloud.pangu.dev.sdk.api.embedings.Embeddings; import java.util.List; Vector cssVector = Vectors.of(Vectors.CSS, VectorStoreConfig
agent_v2”,如上例所示,因此模型的url要配置为Pangu-NLP-N2-Default模型的地址。 支持注册开源模型,开源模型的定义可参考开源模型。 final LLM llm = LLMs.of(LLMs.OPENAI, LLMConfig.builder()
rovider, vector_config) 定义一个ToolRetriever包含2个参数,一个ToolProvider,一个向量数据库配置。其中,ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvider,
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback
History History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式,如内存、DCS(Redis)、RDS(Sql)。 import com.huaweicloud.pangu.dev.sdk
模板、记忆、技能、智能代理等功能模块,简化用户的开发工作,帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言: Java Python 开发环境要求 华为云盘古大模型应用开发SDK要求JAVA SDK 1.8及其以上版本,Python 3.9及以上版本。 父主题: 盘古应用开发SDK
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
Agent效果优化 如果Agent出现无法正确调用工具的情况,可以尝试一些prompt优化技术提升效果。 优化System prompt 提示财务报销助手依赖的必要信息,如用户名称等基础信息: final String customSystemPrompt = "你是财务
p/pcx/ico/psd等格式文档。 初始化 根据相应解析接口定义DocSplit类,以使用华为Pangu DocSplit为例。 其中,filePath指的是需要解析的文档路径;mode为分割解析模式,具体定义如下: 0 - 返回文档的原始段落,不做其他处理。 1 - 根据标
规划推理、逻辑判断等能力,来理解和回应用户的需求。 例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助手,将这些工具与大模型进行绑定。当用户向
langchain.prompts import PromptTemplate # 自定义模板 prompt_template = PromptTemplate.from_template("讲一个关于{{subject}}的笑话,字数{{count}}字以内", template_format="jinja2")
"text": "故事标题:《穿越宋朝的奇妙之旅》在一个阴雨绵绵的夜晚,一个名叫李晓的年轻人正在阅读一本关于宋朝的历史书籍。突然,他感到一阵眩晕,当他再次睁开眼睛时,他发现自己身处一个完全陌生的地方。李晓发现自己穿越到了宋朝。他身处一座繁华的城市,人们穿着古
当然,如果您的数据质量较差,也可以采取一些方法来提升数据质量,比如: 数据清洗:您可以通过一些简单基础的规则逻辑来过滤异常数据,比如,去空、去重、字符串过滤等。同时,您也可以采用PPL(困惑度),或训练一个二分类模型等方式过滤脏数据。 数据增强:您可以通过一些规则来提升数据的多样性,比如:同义词替换、语法结构修改、标点符号替换等,保证数据的多样性。
是 List<String> 待统计Token数的字符串。List长度必须为奇数。 with_prompt 否 Boolean 是否仅统计输入字符的Token数 true:仅统计输入字符串的Token数; false:统计输入字符串和推理过程产生字符的总Token数。 响应参数 表4