检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<artifactId>pangu-kits-app-dev-java</artifactId> <version>2.4.0</version> </dependency> 本地导入 下载SDK包,将pangu-kits-app*.jar文件放在项目目录lib文件夹下(.jar文件放置路径也可以自定义)。
###### ## CSS # Examples: https://{endPoint}/v1/{projectId}/applications/{appId}/{modelVersion} ; # sdk.embedding.css.url= ## If necessary,
进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中,选择外部应用,单击“继续前往”,页面将跳转至外部应用页面供用户体验。 图3 外部应用页面 图4 体验外部应用-1 图5 体验外部应用-2 父主题:
Prompt(提示词模板) 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev.sdk
from pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory
进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中,选择外部应用,单击“继续前往”,页面将跳转至外部应用页面供用户体验。 图3 外部应用页面 图4 体验外部应用-1 图5 体验外部应用-2 父主题:
Cache Cache缓存是一种临时存储数据的方法,它可以把常用的数据保存在内存或者其他设备中,这样当需要访问这些数据时,就不用再去原始的数据源查找,而是直接从缓存中获取,从而节省时间和资源。 对LLM使用缓存: LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
模型进行嵌入。 from pangukitsappdev.api.memory.cache.cache_config import CacheStoreConfig, ServerInfoRedis from pangukitsappdev.api.embeddings.factory
langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms.llm_config import LLMConfig, LLMParamConfig
from pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory
Vector Embedding Embedding模块用于对Embedding模型API的适配封装,提供统一的接口快速地调用CSS模型embedding能力。 初始化:根据相应模型定义Embedding类。例如,使用华为CSS Embedding为:Embeddings.of(Embeddings
基础问答 基础问答(SimpleSkill)提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template
基础问答 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain.prompts
History History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式,如内存、DCS(Redis)、RDS(Sql)。 import com.huaweicloud.pangu.dev.sdk
多轮对话 支持上下文记忆的多轮对话。 初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills; import com
文档问答 基于已有的知识库进行回答,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型回答,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
文档摘要 基于已有的知识库进行摘要总结,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调: from pangukitsappdev.callback.StreamCallbackHandler import StreamCallbackHandler # 以下为
监听Agent 一次Agent的响应如果涉及到多个任务的分解,往往会执行比较长的时间,此时可以对agent的执行过程进行监听。 AgentListener的定义如下: public interface AgentListener { /** * Session启动时调用
如内存、DCS(Redis)和RDS(Sql)。 from pangukitsappdev.memory.sql_message_history import SQLMessageHistory from pangukitsappdev.api.memory.cache.cache_config