检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Memory(Java SDK) Memory（记忆）模块结合外部存储为LLM应用提供长短期记忆能力，用于支持上下文记忆的对话、搜索增强等场景。 Memory（记忆）支持多种不同的存储方式和功能。 Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存
盘古应用开发SDK 盘古应用开发SDK概述 盘古应用开发SDK使用前准备 Python Java 盘古应用开发SDK实践
理解），提取检索文档中的有效信息，完成问题的回答。 除了上述提到的四个模块以外，还需要一个编排流程的pipeline，将这些模块提供的API接口进行编排，串联query改写、意图识别模块、检索模块和问答模块。该pipeline负责接收前端用户输入的query和历史问答，逐步处理并最终输出答案，展示在前端界面。
大模型是否可以自定义人设 大模型支持设置人设，在用户调用对话问答（chat/completions）API时，可以将“role”参数设置为system，让模型按预设的人设风格回答问题。例如，以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.api.memory.vector.Vector; import com.huaweicloud.pangu.dev.sdk.api.memory.vector
pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.api.memory.vector.Vector; import com.huaweicloud.pangu.dev.sdk.api.memory.vector
com.huaweicloud.pangu.dev.sdk.api.memory.config.MessageHistoryConfig; import com.huaweicloud.pangu.dev.sdk.api.memory.config.ServerInfoRedis;
dev.sdk.api.embedings.Embeddings; import com.huaweicloud.pangu.dev.sdk.api.llms.response.LLMResp; import com.huaweicloud.pangu.dev.sdk.api.memory
s-app-dev-java-bundle-2.4.0.jar</systemPath> </dependency> API手冊 API手册请参见SDK API 参考。 父主题： Java
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务，有以下两种调用方式： Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（多轮对话）（/chat/completions）
from pangukitsappdev.api.memory.cache.cache_config import CacheStoreConfig, ServerInfoRedis from pangukitsappdev.api.embeddings.factory import
SQLMessageHistory from pangukitsappdev.api.memory.cache.cache_config import ServerInfoSql, ServerInfoRedis from pangukitsappdev.api.memory.message_history_config
主账号（最终租户）默认拥有系统管理员权限，支持给子账号分配角色。 角色包括：推理服务API调用人员、模型开发人员、运营人员、Prompt工程人员、系统管理员。 图9 设置用户角色 表2 角色和功能关系 功能 推理服务API调用人员 模型开发人员 运营人员 Prompt工程人员 系统管理员 总览
部署盘古大模型 模型调用 使用“能力调测”调用模型 使用可视化的“能力调测”页面调用模型。 使用“能力调测”调用模型 使用API调用模型 通过API编写代码方式调用模型。 使用API调用模型 提示词工程 - 利用精心设计的提示词优化和引导大模型生成更加准确和相关的输出，提高模型在特定任务中的表现。
息可以增强模型的理解和回答能力。 该参数需要与工具配合使用，需要填入工具input_schema参数中API的请求参数。例如，在配置AI助手工具的代码示例中，创建预定会议室API的请求参数中有start，设置为start，即将会议的开始相关的信息作为关键信息，带入新轮次的对话中。
aS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措
边缘部署准备工作 本指南的边缘部署操作以largemodel集群为例，示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge
搭建边缘服务器集群 执行如下命令，生成docker证书。注意该命令只需执行一次，如果已有相关证书，请跳过该步骤。 bash cluster_install-ascend.sh generate_docker_cert --pkg-path=/home/hilens/pkgs 基于
huaweicloud.pangu.dev.sdk.template.PromptTemplate; import org.junit.jupiter.api.Assertions; import java.util.HashMap; // 初始化Prompt模板对象 PromptTemplate
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
