检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权限管理 如果您需要为企业员工设置不同的访问权限,以实现对华为云上购买的盘古大模型资源的权限隔离,可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,可以跳过本章节,不影响您使用服务的其他功能。
如果您需要对华为云上购买的盘古资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用盘古的其他功能。
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云
登录盘古大模型套件平台,在服务“总览”页面,单击“立即购买”,平台将为您提交购买权限申请。如您有加急购买需求,可在页面右上角单击“工单 > 新建工单”,搜索“盘古大模型”产品,选择问题类型并提交工单。 图1 立即购买 图2 新建工单 获取购买权限后,根据需要选择计费模式,基模型需选择“N2 - 基础模型功能
设置背景及人设 背景: 模型基于简单prompt的生成可能是多范围的各方向发散的,如果您需要进行范围约束,或加强模型对已有信息的理解,可以进行提示:“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”,或
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
Token认证 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。
Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理 > 授权管理”,单击右上角“一键授权”进行授权。 图1 一键授权 父主题:
外部知识。 例如,在构造泛化问题的任务中,需要基于原问题改写为相同含义的问题,而不是生成相似的问题。当提示词使用“请生成10个跟“手机银行怎么转账”相似的问题”时,模型会认为实体/关键词/场景一致则是相似(在这个例子里实体为手机银行),而不是任务需要的语义级别的相同含义,所以输出内容会发散。
大模型是否可以自定义人设 大模型支持设置人设,在用户调用对话问答(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。例如,以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,根据实际情况调整训练参数,帮助模型更好学习。
在服务“总览”页面,单击“立即购买”,平台将为您提交购买权限申请。如您有加急购买需求,可在页面右上角单击“工单 > 新建工单”,搜索“盘古大模型”产品,选择问题类型并提交工单。 图1 立即购买 图2 新建工单 获取购买权限后,您可在购买页面选择合适的模型和推理资产,购买盘古大模型套件。
创建AI助手参数说明 参数分类 参数名称 参数说明 基本信息 助手名称 设置AI助手的名称。 描述 填写AI助手的描述,如填写功能介绍。 指令 通过指令可以设定A助手的行为和响应。如设置AI助手可以扮演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。
accessed API's model instance is not public. API模型实例未公开。 请检查是否具备盘古大模型服务的使用权限,或联系服务运维人员协助解决。 PANGU.3316 create agency fail. 创建代理失败。 请联系服务运维人员协助解决。
properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。 如果需要自定义配置文件名,可以参考以下代码设置。 // 建议在业务项目入口处配置 // 不需要添加.properties后缀
调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中,Token起到了身份验证和权限管理的作用。 在调用盘古API前,需要先使用“获取Token”接口,获取Token值,再将Token值传入盘古API的请求header参数
清洗。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 推理参数设置:请检查推理参数中的“温度”或“核采样”等参数的设置,适当减小其中一个
属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成的长度,避免生成异常截断。请注意,该参数值存在上限,请结合目标任务的实际需要以及模型支持的长度限制来调整。
表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体
变量定义区域展示的是整个工程任务下定义的变量信息,候选提示词中关联的变量也会进行展示,候选词相关操作请参见设置候选提示词。 在模型区域单击“设置”,设置提示词输入的模型和模型参数。 图5 设置模型 同一个提示词工程中,定义的变量不能超过20个。 父主题: 撰写提示词