检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
考察模型逻辑 虽然模型的思考过程是个黑盒,但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求,考察模型生成的逻辑,提升模型思维过程的可解释性。 对于模型答案的反问 如果模型给出了错误的答案,可以反问模型回答的逻辑,有时可以发现错误回答的根因,并基于此修正提示词。 在反问时
您可按照需要选择是否开启内容审核。 开启内容审核后,可以有效拦截大模型输入输出的有害信息,保障模型调用安全,推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核,实现拦截大模型输入、输出的有害信息,保障模型调用安全。用户可依据需求选择是否开通、启用内容审核。 推荐用户
LLMs(语言模型) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、GALLERY三方模型等模型API。 初始化:根据相应模型定义LLM类,如使用盘古LLM为: LLMs.of("pangu")。 from pangukitsappdev.api.llms
prompt 是 String 向模型输入的文本信息,单位token。 最小长度:1 最大长度:不同模型支持的token长度请参见《产品介绍》“模型规格 > 模型基础信息”章节。 说明: token是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会
创建模型评估任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击界面右上角“创建评估任务”,进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置: 待评估模型:支持选择多个模
NLP大模型 文本补全 多轮对话 父主题: API
API凭证”页面,获取user name、domain name、project id。 由于盘古大模型当前部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project id。 图1 获取user name、domain name、project id 打开Pos
模型支持的区域 区域是一个地理区域的概念。我国地域面积广大,由于带宽的原因,无法仅依靠一个数据中心为全国客户提供服务。因此,根据地理区域的不同将全国划分成不同的支持区域。 盘古大模型当前仅支持西南-贵阳一区域。 图1 盘古大模型服务区域 父主题: 模型能力与规格
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验,包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验,包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。
产品优势 海量训练数据 盘古大模型依托海量且多样化的训练数据,涵盖从日常对话到专业领域的广泛内容,帮助模型更好地理解和生成自然语言文本,适用于多个领域的业务应用。这些数据不仅丰富多样,还为模型提供了深度和广度的语言学习基础,使其能够生成更加自然、准确且符合语境的文本。 通过对海量
大模型是否可以自定义人设 大模型支持设置人设,在用户调用对话问答(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。例如,以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
多轮对话:基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后,可以有效拦截大模型输入输出的有害信息,保障模型调用安全,推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核,实现拦截大模型输入、输出
部署边缘模型 进入盘古大模型套件平台,进入“模型开发 > 模型部署 > 边缘部署”,单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产,选择部署方式为边缘部署,输入推理实例数(根据边缘资源池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 >
打基础 先制定一个能够明确表达主题的提示词(若模型训练时包含相似任务,可参考模型训练使用的提示词),再由简至繁,逐步增加细节和说明。打好基础是后续提示词优化的前提,基础提示词生成效果差,优化只会事倍功半。 例如,文学创作类可以使用“请创作一个关于{故事主题}的故事”,邮件写作类可
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取
部署盘古大模型 部署为在线服务 部署为边缘服务
具备总览、服务管理、能力调测、数据工程(数据管理、数据清洗)、模型开发(模型管理、模型训练、模型评估、模型压缩、模型部署)、平台管理(资产管理、权限管理)功能的使用权限。 推理服务API调用人员 具备总览、服务管理、能力调测、平台管理(权限管理)、运营面板功能的使用权限。 Prompt工程人员 具
LLMs(语言模型) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、开源模型等模型API。 初始化:根据相应模型定义LLM类。例如,使用盘古LLM为: LLMs.of(LLMs.PANGU)。 import com.huaweicloud.pangu
如何调用REST API 开通API 构造请求 认证鉴权 返回结果