检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”，才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言（Java/Python/Go）调用API的方法，仅供测试使用。 前提条件
emodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在您的操作系统中下载并安装Maven，安装完成后您只需要在Java项目的pom.xml文件中加入相应的依赖项即可。 <dependency> <groupId>com
指标适用的任务场景 任务答案是相对比较确定的，例如固定答案的问答任务、NL2SQL、NL2JSON、文本分类等。 指标不适用的任务场景 文案创作、聊天等符合要求即可的场景，该类场景的创作型更强，不存在唯一答案。 指标与模型能力的关系 BLEU指标用于评估模型生成句子（candidate）
Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类。静态工具需要开发者事先定义好，即在编译期定义与实例化。对于动态工具，开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过注解的方式新增，在run接口中实现工具的功能，例如：
AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 Token认证 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。
Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类，静态工具需要开发者事先定义好，即在编译期定义与实例化；动态工具开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过继承Tool的方式新增，在_run接口中实现工具的功能，例如：
部署盘古大模型 部署为在线服务 部署为边缘服务
数据清洗”，单击界面右上角“创建任务”。 图1 数据清洗 依据需要清洗的数据类型，选择对应的数据集和数据集版本，输出路径，设置名称、描述等信息为可选项。 输出路径默认为系统生成，您也可以自定义输出路径，当前支持覆盖和追加两种方式。 覆盖：清洗后数据覆盖和替换原有数据集内容。 追加：清洗后数据增加到原有数据集路径下。
盘古-NLP-N1系列模型支持128K外推。 公测 模型的基础信息 2 模型部署相关 盘古-NLP-N2-基础功能模型-32K模型，LoRA微调后支持4K部署。 公测 部署为在线服务
Agent（智能代理），用于对复杂任务的自动拆解与外部工具调用执行，一般包括任务规划、记忆系统、执行系统： 任务规划：将复杂目标任务分解为小的可执行子任务，通过评估、自我反思等方式提升规划成功率。 记忆系统：通过构建记忆模块去管理历史任务和策略，并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。
Agent（智能代理），用于对复杂任务的自动拆解与外部工具调用执行，一般包括任务规划、记忆系统和执行系统。 任务规划：将复杂目标任务分解为小的可执行子任务，通过评估、自我反思等方式提升规划成功率。 记忆系统：通过构建记忆模块去管理历史任务和策略，并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。
模型安全：通过模型动态混淆技术，使模型在运行过程中保持混淆状态，有效防止结构信息和权重信息在被窃取后暴露。 系统安全：通过网络隔离、身份认证和鉴权、Web安全等技术保护大模型系统安全，增强自身防护能力，以抵御外部安全攻击。 父主题： 大模型概念类问题
主账号（最终租户）默认拥有系统管理员权限，支持给子账号分配角色。 角色包括：推理服务API调用人员、模型开发人员、运营人员、Prompt工程人员、系统管理员。 图9 设置用户角色 表2 角色和功能关系 功能 推理服务API调用人员 模型开发人员 运营人员 Prompt工程人员 系统管理员 总览
网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目为单位进行授权，用户可以访问您账号
拥有用户OBS桶只读权限。 盘古用户角色 盘古大模型的用户可被赋予不同的角色，对平台资源进行精细化的控制。 表2 盘古用户角色 角色 说明 系统管理员 购买平台的用户默认为系统管理员，具有所有操作的权限。 运营人员 具备总览、平台管理（资产管理、权限管理）功能的权限。 模型开发人员 具备总览、服务
about chickens" == format2 自定义prompt # 按约定的格式准备prompt文件； # 文档结构和文件名参考提供的系统预置prompts文件 文档结构示例： …… prompts -- default -- documents
网页搜索 开启网页搜索后，可以通过调用web搜索来解决模型对于事实类问题回答不好的现象。 添加一个工具 用于拓展AI助手功能，使其能够与外部系统进行交互。可以直接创建一个工具，或者从搜索框中选择已经创建好的工具。 知识库 通过知识库提升AI助手在特定领域问题的回答效果。 高级配置 工具召回策略
对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为
ask(buildMultiTurnChatMessages()).getAnswer(); 带人设的问答：支持在LLM配置项中设置人设，在LLM问答时系统会自动加上该人设，同时支持以上问答功能（暂不支持GALLERY三方模型）。 import com.huaweicloud.pangu.dev
fewShotPromptTemplate.format(inputs); 自定义prompt // 按约定的格式准备prompt文件； // 文档结构和文件名参考提供的系统预置prompts文件 文档结构示例： …… prompts -- default -- documents
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
