正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK依赖的配置项主要通过读取llm.properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。 如果需要自定义配置文件名,可以参考以下代码设置。
按照以下目录结构存放下载文件,注意修改下载文件的命名。其中,docker下的certs证书会自动生成,一般无需修改。 pkgs // 包目录,用户自行命名 docker docker.tgz // docker 二进制文件,要求版本>19.0.3
Java SDK 安装SDK 配置SDK LLMs(语言模型) Prompt(提示词模板) Memory(记忆) Skill(技能) Agent(智能代理) 应用示例 父主题: 盘古应用开发SDK
TextSplitter; import org.apache.commons.io.FileUtils; // 加载原始内容, 需根据文件源自行实现读取步骤 // 以txt文件为例; String context = FileUtils.readFileToString(new File("D:/test
<artifactId>pangu-kits-app-dev-java</artifactId> <version>2.4.0</version> </dependency> 本地导入 下载SDK包,将pangu-kits-app*.jar文件放在项目目录lib文件夹下(.jar文件放置路径也可以自定义)。 在项目pom
"给定一个单词:{{word}},返回一个反义词:{{antonym}}"; } import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; // 构造示例 public interface
块中相关的信息以获取最优化任务解决策略。 任务执行:能通过工具与外界发生联系并产生影响,工具可以自定义,包括查询信息、调用服务、网络搜索、文件管理、调用云服务等,通过Agent构建一个让LLM按照特定的规则迭代运行的Prompt,直到任务完成或者达到终止条件(如设置迭代次数)。 实例化Tool
开源模型。例如,用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key,配置项为: sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2
通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url=
Test; import java.text.SimpleDateFormat; import java.util.Date; import java.util.HashMap; import java.util.LinkedHashMap; import java.util.Map;
BulkData; import java.util.ArrayList; import java.util.Arrays; import java.util.Collections; import java.util.HashMap; import java.util.List; import
JSON.toJSONString(JSON.parseObject(requestBody), true)); // 从配置项读取url,构造post消息 String url = ConfigLoadUtil.getStringConf(null, "llm
huaweicloud.pangu.dev.sdk.api.llms.request.Role; import java.util.ArrayList; import java.util.List; // 构造多轮对话:历史问答记录 + 最新问题 private List<ConversationMessage>
可以支持多种过滤条件,如时间范围、用户标识、消息类型等,实现对话消息的筛选和分析。 Cache Vector History 父主题: Java SDK
Skill(技能) 基础问答 多轮对话 文档问答 文档摘要 父主题: Java SDK
应用示例 搜索增强 长文本摘要 父主题: Java SDK
import com.huaweicloud.pangu.dev.sdk.api.embedings.Embeddings; import java.util.List; Vector cssVector = Vectors.of(Vectors.CSS, VectorStoreConfig
基础问答 基础问答(SimpleSkill)提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template
import com.huaweicloud.pangu.dev.sdk.api.embedings.Embeddings; import java.util.List; Vector cssVector = Vectors.of(Vectors.CSS, VectorStoreConfig
Cache Cache缓存是一种临时存储数据的方法,它可以把常用的数据保存在内存或者其他设备中,这样当需要访问这些数据时,就不用再去原始的数据源查找,而是直接从缓存中获取,从而节省时间和资源。 对LLM使用缓存: LLM llm = LLMs.of(LLMs.PANGU, llmConfig);