检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
actual_tokens.append(token) 流式问答：支持skill和agent流式输出。 import sys from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms
管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms.llm_config import
架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2.myhuaweicloud
向量库用于向量数据存储，提供向量数据检索能力。 初始化，以使用华为CSS示例。 from pangukitsappdev.api.memory.vector.factory import Vectors from pangukitsappdev.api.memory.vector.vector_config
###### ## CSS # Examples: https://{endPoint}/v1/{projectId}/applications/{appId}/{modelVersion} ; # sdk.embedding.css.url= ## If necessary,
###### ## CSS # Examples: https://{endPoint}/v1/{projectId}/applications/{appId}/{modelVersion} ; # sdk.embedding.css.url= ## If necessary,
配置Prompt(Java SDK) 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev
<artifactId>pangu-kits-app-dev-java</artifactId> <version>2.4.0</version> </dependency> 本地导入 下载SDK包，将pangu-kits-app*.jar文件放在项目目录lib文件夹下（.jar文件放置路径也可以自定义）。
安装SDK(Python SDK) pip直接安装 执行如下命令： pip install pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境，python版本选择3
模型API的适配封装，提供统一的接口快速地调用CSS模型embedding能力。 初始化：根据相应模型定义Embedding类。例如，使用华为CSS Embedding为：Embeddings.of(Embeddings.CSS);。 import com.huaweicloud
Agent效果优化 如果Agent出现无法正确调用工具的情况，可以尝试一些prompt优化技术提升效果。 优化System prompt 提示财务报销助手依赖的必要信息，如用户名称等基础信息： final String customSystemPrompt = "你是财务
sessionTag(sessionTag).build()); 添加、查找、删除数据。 //更新数据 chatMessage.addAIMessage("i am ai."); chatMessage.addUserMessage("i am tester."); // 查找数据 chatMessage
模型进行嵌入。 from pangukitsappdev.api.memory.cache.cache_config import CacheStoreConfig, ServerInfoRedis from pangukitsappdev.api.embeddings.factory
如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history import SQLMessageHistory from pangukitsappdev.api.memory.cache.cache_config
的持久化： /** * 在生产环境下，agentSession建议在外部持久化，而不是在内存中 * 如果使用AssistantAPI，华为会提供持久化能力，不需要自行实现 */ private static final Map<String, AgentSession> agentSessionMap
通过实现AgentListener定义一个监听器： from pangukitsappdev.agent.agent_session import AgentSession from pangukitsappdev.api.agent.base import AgentListener
配置Cache(Java SDK) Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，这样当需要访问这些数据时，就不用再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs
定义一个Tool Retriever： from pangukitsappdev.tool.in_memory_tool_provider import InMemoryToolProvider from pangukitsappdev.retriever.css_tool_retriever
Agent实例化过程包括注册LLM和注册工具两个部分。 from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory import LLMs agent
实例化Agent(Java SDK) Agent实例化过程包括注册LLM和注册工具两个部分。 import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent; import com.huaweicloud.pangu.dev.sdk
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
