检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开通盘古大模型服务 盘古大模型具备文本补全和多轮对话能力,用户在完成盘古大模型套件的订购操作后,需要开通大模型服务,才可以调用模型,实现与模型对话问答。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本
开通盘古大模型服务 调用模型之前,需要先开通盘古大模型服务。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 多轮对话:提供多轮文本能力,常用于多轮对话、聊天任务。
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验,包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验,包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题: 部署盘古大模型
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
userguide/clusterscheduling/dlug_scheduling_02_000001.html 父主题: 部署为边缘服务
池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 > 边缘部署”,查看边缘部署列表。 单击“服务名称”可进入服务详情界面。 如果服务部署状态为“部署失败”,可单击服务操作列的“启动”按钮,重新部署。 父主题: 部署为边缘服务
注册边缘资源池节点 进入ModelArts服务,选择所需空间。 在左侧列表中单击“边缘资源池”,在“节点”页签中,单击“创建”。 在“创建边缘节点”页面中,填写节点名称,配置AI加速卡与日志信息,单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”,并选择加速卡类型。
终端节点(endpoint)即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览 > 服务列表”中选择需要
/etc/hccn.conf,确保有如下回显网卡信息,则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时,需要有一个节点来提供NFS网盘服务,创建部署时通过NFS挂载的方式访问模型。 父主题: 部署为边缘服务
登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮
检查开发环境要求,确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 通用文本(文本补全):文本补全接口提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。
注册华为账号并开通华为云 在使用华为云服务之前,您需要先注册华为账号并开通华为云。通过此账号,您可以按需付费,灵活使用所有华为云提供的服务。 进入华为云官网,参考账号注册指导及界面提示信息,完成账号注册。 注册成功后即可自动登录华为云,您需要完成“实名认证”才可以正常使用服务。具体认证方式请参见实名认证。
前提条件 使用API调用模型前,需要先开通盘古大模型服务。 使用Postman调用API 获取API请求地址。 在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址
使用Postman调用API 获取API请求地址。 在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“服务列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中,
监控安全风险 盘古提供基于主机防护服务HSS的资源和操作监控能力,同时支持CTS审计日志,帮助用户监控自身企业账号下的管理操作。用户可以实时掌握服务使用过程中所产生的各类监控指标。 父主题: 安全
json解析报错 服务端返回的数据格式不符合json格式,导致sdk侧解析json数据报错。 服务端返回的json数据不符合json反序列化的规则,和sdk定义的数据结构不一致,导致反序列化失败。 sdk json数据解析问题。 建议排查服务端返回的数据是否和服务SDK设计的结构、字段一致。
name、domain name、project id。 project id参数需要与盘古服务部署区域一致。例如,盘古大模型部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project id。 图1 查看盘古服务区域 图2 获取user name、domain name、project