检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是盘古大模型 盘古大模型致力于深耕行业,打造多领域的行业大模型和能力集。其核心能力依托于盘古大模型套件平台,该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链
概述 盘古大模型整合华为云强大的计算和数据资源,将先进的AI算法集成在预训练大模型中,打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 华为云盘古大模型,以下功能支持API调用。 表1 API清单 API 功能 NLP-文本补全 给定一个提示和一些参数
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据
Agent(智能代理) Agent(智能代理),用于对复杂任务的自动拆解与外部工具调用执行,一般包括任务规划、记忆系统和执行系统。 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent
Agent(智能代理) Agent(智能代理),用于对复杂任务的自动拆解与外部工具调用执行,一般包括任务规划、记忆系统、执行系统: 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent
查看评估任务详情 查看评估任务详情 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述
什么是提示词工程 什么是提示词工程 提示工程是一个较新的学科,应用于开发和优化提示词(Prompt),帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握提示词工程相关技能将有助于用户了解大型语言模型的能力和局限性。 提示工程不仅涉及设计和研发提示词,还包括与大型语言模型的交互和研发中的各种技能和技术
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(多轮对话)(/chat/completions
使用推理SDK 安装SDK 使用SDK前,需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本,替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在您的操作系统中下载并安装
撰写提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息,如主题、风格和格式等。 撰写提示词时,可以设置提示词变量,即在提示词中通过添加占位符{{ }}标识,表示一些动态的信息,让模型根据不同的情况生成不同的文本,增加模型的灵活性和适应性。例如,将提示词设置为
计费说明 计费项 关于盘古大模型的详细费用信息,敬请咨询华为云售前咨询,我们将为您提供专业的解答和支持。 盘古NLP大模型分为模型订阅服务、训练服务和推理服务三个收费项。 模型订阅服务和推理服务按调用时长计费,时长精确到秒。 训练服务按实际消耗的Tokens数量计费,话单周期内的Tokens
创建子用户并授权使用盘古 如果您需要对华为云上购买的盘古资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM
创建有监督训练任务 创建有监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中,训练配置选择LLM(大语言模型),训练类型选择有监督训练
Vector Embedding Emebedding模块用于对Emebedding模型API的适配封装,提供统一的接口快速地调用CSS等模型emebedding能力。 初始化:根据相应模型定义Emebedding类,如使用华为CSS Embedding为:Embeddings.of
LLMs(语言模型) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、GALLERY三方模型等模型API。 初始化:根据相应模型定义LLM类,如使用盘古LLM为: LLMs.of("pangu")。 from pangukitsappdev.api.llms.factory
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com
Vector Embedding Embedding模块用于对Embedding模型API的适配封装,提供统一的接口快速地调用CSS模型embedding能力。 初始化:根据相应模型定义Embedding类。例如,使用华为CSS Embedding为:Embeddings.of(Embeddings.CSS
LLMs(语言模型) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、开源模型等模型API。 初始化:根据相应模型定义LLM类。例如,使用盘古LLM为: LLMs.of(LLMs.PANGU)。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLM
运行Agent 在给出的示例中,Agent中预置了2个工具,分别为: meeting_room_status_query:查询会议室的状态,是否被预定或者正在使用中。 reserve_meeting_room:预定会议室。 单轮执行: 调用run接口运行一个Agent: panguAgent.run