检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
builder().role(Role.USER).content(userMessage).build()); } return agentSession; } 单步执行 有时并不希望Agent完全自主执行,在某些关键节点,让用户先进行确认,确认后再执行,或者用户
Skill(技能) 基础问答 多轮对话 文档问答 文档摘要 父主题: Java SDK
安装SDK pip直接安装 执行如下命令: pip install pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境,python版本选择3.9。
<artifactId>pangu-kits-app-dev-java</artifactId> <version>2.4.0</version> </dependency> 本地导入 下载SDK包,将pangu-kits-app*.jar文件放在项目目录lib文件夹下(.jar文件放置路径也可以自定义)。
###### ## CSS # Examples: https://{endPoint}/v1/{projectId}/applications/{appId}/{modelVersion} ; # sdk.embedding.css.url= ## If necessary,
###### ## CSS # Examples: https://{endPoint}/v1/{projectId}/applications/{appId}/{modelVersion} ; # sdk.embedding.css.url= ## If necessary,
通过一站式流程,完成从数据集准备、模型训练、评估、压缩、部署到调用和迁移,全面掌握盘古大模型的开发过程。同时,结合应用开发的提示词工程、AI助手、智能助理Agent应用、域内知识增强应用以及盘古应用开发SDK,您将能够高效构建智能应用,充分释放盘古大模型的潜力,为业务创新提供强大支持。 模型开发 准备盘古大模型训练数据集
from pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory
根据长度分段,默认按照500字拆分,会尽量保留完整句子。 from pangukitsappdev.api.doc_split.factory import DocSplits from pangukitsappdev.api.doc_split.split_config import SplitConfig
Cache Cache缓存是一种临时存储数据的方法,它可以把常用的数据保存在内存或者其他设备中,这样当需要访问这些数据时,就不用再去原始的数据源查找,而是直接从缓存中获取,从而节省时间和资源。 对LLM使用缓存: LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
模型进行嵌入。 from pangukitsappdev.api.memory.cache.cache_config import CacheStoreConfig, ServerInfoRedis from pangukitsappdev.api.embeddings.factory
from pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory
Vector Embedding Embedding模块用于对Embedding模型API的适配封装,提供统一的接口快速地调用CSS模型embedding能力。 初始化:根据相应模型定义Embedding类。例如,使用华为CSS Embedding为:Embeddings.of(Embeddings
支持区域: 西南-贵阳一 体验盘古预置模型能力 应用百宝箱 应用百宝箱是盘古大模型为用户提供的便捷AI应用集,用户可在其中使用盘古大模型预置的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 支持区域: 西南-贵阳一 体验盘古驱动的应用百宝箱
History History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式,如内存、DCS(Redis)、RDS(Sql)。 import com.huaweicloud.pangu.dev.sdk
多轮对话 支持上下文记忆的多轮对话。 初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills; import com
架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key,配置项为: sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2.myhuaweicloud
文档问答 基于已有的知识库进行回答,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型回答,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
文档摘要 基于已有的知识库进行摘要总结,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调: from pangukitsappdev.callback.StreamCallbackHandler import StreamCallbackHandler # 以下为