正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源模型 SDK支持兼容OpenAI-API规范的开源模型。例如,用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key,配置项为: sdk.llm.openai.url=https:/
安装SDK Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
xxx表示安装成功 # 安装核心库 pip install huaweicloudsdkcore # 安装盘古服务库 pip install huaweicloudsdkpangulargemodels Go 安装华为云Go SDK库。 // 安装华为云 Go SDK 库 go get -u
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型,如,闭源模型或者裸机部署的自定义推理服务,可以通过继承AbstractLLM自定义一个模型,示例代码如下: @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
回答。但如果您的场景涉及以下几种情况,则建议采用微调的手段来解决: 目标任务依赖垂域背景知识:通用模型学习到的知识大部分都是来自互联网上的开源数据,如果目标任务本身属于某个领域(如金融、政务、法律、医疗、工业等),需要依赖很深的领域背景知识,那么通用模型可能无法满足这些要求,需要
2_agent_v2”,如上例所示,因此模型的url要配置为Pangu-NLP-N2-Default模型的地址。 支持注册开源模型,开源模型的定义可参考开源模型。 final LLM llm = LLMs.of(LLMs.OPENAI, LLMConfig.builder()
在左侧导航栏中选择“应用开发 > 知识库管理”,单击页面右上角“创建知识库”。 知识库分为自定义知识库、引用知识库。 自定义知识库:通过盘古大模型套件平台创建的知识库。 引用知识库:引用在KooSearch服务中创建的知识库,KooSearch是基于大模型的文档问答服务,开通该服务请联系云搜索服务(CSS)技术支持。
"长江是中国最长的河流,也是亚洲最长河流,世界第三长河流,仅次于尼罗河和亚马逊河。它发源于青海省的唐古拉山脉,流经中国的多个省份,最终在上海附近注入东海。长江流域覆盖了中国的东部和中部地区,流域面积超过180万平方公里,流域内人口众多,经济活动频繁。长江是中国的母亲河,对中国的农业
ory(k=3, chat_memory=RedisMessageHistory())) answer = skill.execute("中国首都是哪个城市?") print(answer) assert "北京" in answer answer = skill.execute("它有什么好玩的地方?")
messageHistory(new ChatMessageHistory()).build())); String answer = skill.execute("中国首都是哪个城市?"); System.out.println(answer); Assertions.assertTrue(answer.contains("北京"));
LLMs(语言模型) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、开源模型等模型API。 初始化:根据相应模型定义LLM类。例如,使用盘古LLM为: LLMs.of(LLMs.PANGU)。 import com.huaweicloud.pangu
调用检索模块。 检索模块:输入待检索的query,输出从文档检索库中检索出来的文档以及对应的相关性得分score,基于score做阈值判断,是否保留该检索所得问答。由于该场景是打造一个政务问答助手,其中,文档检索库可以放入政务文档数据。 问答模块:针对用户的输入,由问答模块最终输
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
#TXT格式,一行对应1条JSON #PDF、WORD、HTML只需上传对应的文档,文档内容为文本 #JSONL {"text":"《活着》,是中国著名作家余华所写的一部长篇小说。《活着》讲述了一个普通农民徐福贵的人生历程。他的人生充满了苦难和挫折,但他在面对这些困难时,始终保持着坚强和乐观的态度。"}
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
根据每个客户的金牌客服话术,可以对对话模型进行有监督微调,进一步优化其性能。 根据每个客户的实际对话知识,如帮助文档、案例库和FAQ库等,可以使用“先搜后推”的解决方案。客户的文档库可以实时更新,大模型的应答可以无缝实时更新。(搜索+大模型解决方案) 父主题: 大模型概念类问题
常见问题 使用java sdk出现第三方库冲突 当出现第三方库冲突的时,如Jackson,okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后),该包包含所有支持的服务和重定向了SDK依赖的第三方软件,避免和业务自身依赖的库产生冲突: <dependency>
文档摘要 基于已有的知识库,进行摘要总结。有stuff、refine、map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import
文档问答 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型回答,适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import Embeddings
文档问答 基于已有的知识库进行回答,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型回答,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;