检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cn-southwest-2.myhuaweicloud.com/v3/auth/tokens 请求Header参数名为Content-Type,参数值为application/json 图5 填写获取Token接口 填写“获取token”接口的请求体。在Postman中选择“Body > raw
能够保障模型在不同环境中的高效应用。 应用开发套件 应用开发套件是盘古大模型平台的关键模块,支持提示词工程和AI助手创建。该套件提供提示词设计和管理工具,优化大模型的输入提示,提升输出的准确性和相关性。通过丰富的开发SDK,应用开发套件加速大模型应用的开发,满足复杂业务需求。
配置SDK LLMs(语言模型) Prompt(提示词模板) Memory(记忆) Skill(技能) Agent(智能代理) 应用示例 父主题: 盘古应用开发SDK
配置SDK LLMs(语言模型) Prompt(提示词模板) Memory(记忆) Skill(技能) Agent(智能代理) 应用示例 父主题: 盘古应用开发SDK
Skill(技能) 基础问答 多轮对话 文档问答 文档摘要 父主题: Python SDK
Skill(技能) 基础问答 多轮对话 文档问答 文档摘要 父主题: Java SDK
Memory(记忆) Memory(记忆)模块结合外部存储为LLM应用提供长短期记忆能力,用于支持上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存
Memory(记忆) Memory(记忆)模块结合外部存储为LLM应用提供长短期记忆功能,用于支持上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存
LLMs(语言模型) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、开源模型等模型API。 初始化:根据相应模型定义LLM类。例如,使用盘古LLM为: LLMs.of(LLMs.PANGU)。 import com.huaweicloud.pangu
进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中,选择外部应用,单击“继续前往”,页面将跳转至外部应用页面供用户体验。 图3 外部应用页面 图4 体验外部应用-1 图5 体验外部应用-2 父主题:
Prompt(提示词模板) 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev.sdk
进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中,选择外部应用,单击“继续前往”,页面将跳转至外部应用页面供用户体验。 图3 外部应用页面 图4 体验外部应用-1 图5 体验外部应用-2 父主题:
创建AI助手 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”,单击页面右上角“创建助手”。参考表1完成AI助手匹配。 表1 创建AI助手参数说明 参数分类 参数名称 参数说明 基本信息 助手名称 设置AI助手的名称。 描述 填写AI助手的描述,如填写功能介绍。
文档问答 基于已有的知识库进行回答,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型回答,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
文档摘要 基于已有的知识库进行摘要总结,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
Cache Cache缓存是一种临时存储数据的方法,它可以把常用的数据保存在内存或者其他设备中,这样当需要访问这些数据时,就不用再去原始的数据源查找,而是直接从缓存中获取,从而节省时间和资源。 对LLM使用缓存: LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
Vector Embedding Embedding模块用于对Embedding模型API的适配封装,提供统一的接口快速地调用CSS模型embedding能力。 初始化:根据相应模型定义Embedding类。例如,使用华为CSS Embedding为:Embeddings.of(Embeddings
基础问答 基础问答(SimpleSkill)提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template
History History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式,如内存、DCS(Redis)、RDS(Sql)。 import com.huaweicloud.pangu.dev.sdk
多轮对话 支持上下文记忆的多轮对话。 初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills; import com