检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
搭建边缘服务器集群 执行如下命令,生成docker证书。注意该命令只需执行一次,如果已有相关证书,请跳过该步骤。 bash cluster_install-ascend.sh generate_docker_cert --pkg-path=/home/hilens/pkgs 基于
在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型,单击“申请体验”,填写手机、邮箱和邀请码,单击“下一步”,提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题: 体验盘古大模型功能
在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型,单击“申请体验”,填写手机、邮箱和邀请码,单击“下一步”,提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题: 体验盘古大模型功能
s继续训练。 在数据配置中,选择训练模型所需的数据集。 图2 数据配置 完成训练任务基本信息。设置模型的名称、描述以及订阅提醒。 设置订阅提醒后,模型训练和部署过程产生的事件可以通过手机或邮箱发送给用户。 图3 基本信息 单击“立即创建”,创建自监督训练任务。 自监督微调训练参数说明
403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 Not Fou 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405
表示数据质量极差,提示需要进行优化。 表3 合规度校验规则说明 校验项 说明 个人隐私 校验数据中是否存在个人隐私信息,例如,身份证号、手机号、固定电话、Email地址、护照号、车牌号、军官证、车架号、GPS地址、IP地址、MAC地址和IMEI码等。 敏感关键词 校验数据中是否存在敏感关键字,如涉政信息。
评估,如果数据超过100条,会取前100条数据。 图2 从训练数据拆分 完成训练任务基本信息。设置模型的名称、描述以及订阅提醒。 设置订阅提醒后,模型训练和部署过程产生的事件可以通过手机或邮箱发送给用户。 图3 基本信息 单击“立即创建”,创建有监督微调训练任务。 有监督微调(全量微调)训练参数说明
设置背景及人设 背景: 模型基于简单prompt的生成可能是多范围的各方向发散的,如果您需要进行范围约束,或加强模型对已有信息的理解,可以进行提示:“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”,或
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
选择盘古-NLP-N4系列模型时显示,配置最大Token长度。 服务名称 在线服务的名称。 描述 在线服务的简要描述。 订阅提醒 勾选订阅提醒,并添加手机号/邮箱,系统将在训练任务完成或重要事件发生时,发送提醒。 表2 部署实例量与推理单元数关系 模型类型 推理资源 盘古-NLP-N1系列模型
例如,在构造泛化问题的任务中,需要基于原问题改写为相同含义的问题,而不是生成相似的问题。当提示词使用“请生成10个跟“手机银行怎么转账”相似的问题”时,模型会认为实体/关键词/场景一致则是相似(在这个例子里实体为手机银行),而不是任务需要的语义级别的相同含义,所以输出内容会发散。 父主题: 进阶技巧
终端节点 终端节点(endpoint)即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览
expired”(证书已过期)或“unable to verify the first certificate”(无法验证第一个证书)等。可以在Postman的设置中关闭“SSL certificate verification”选项。 关于盘古大模型API的详细请求参数、响应参数介绍请参见《API参考》文档。
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于
expired”(证书已过期)或“unable to verify the first certificate”(无法验证第一个证书)等。可以在Postman的设置中关闭“SSL certificate verification”选项。 关于盘古大模型API的详细请求参数、响应参数介绍请参见《API参考》文档。
用户可以在页面右侧进行参数设置,然后在输入框中输入问题,模型就会返回对应的答案内容,具体参数信息见表1。 图1 体验预置模型功能 表1 能力调测参数信息表 参数名称 描述 温度 控制语言模型输出的随机性与创造性。温度设置越低,输出更可预测;温度设置越高,输出种类更多,更不可预测。
用户可以在页面右侧进行参数设置,然后在输入框中输入问题,模型就会返回对应的答案内容,具体参数信息见表1。 图1 体验预置模型功能 表1 能力调测参数信息表 参数名称 描述 温度 控制语言模型输出的随机性与创造性。温度设置越低,输出更可预测;温度设置越高,输出种类更多,更不可预测。
Administrator 统一身份认证服务(除切换角色外)所有权限。 图3 添加用户组权限 设置最小授权范围。 根据授权项策略,系统会自动推荐授权范围方案。例如,可以选择“所有资源”,即用户组内的IAM用户可以基于设置的授权项限使用账号中所有的企业项目、区域项目、全局服务资源。也可以选择“指定区
权限管理 如果您需要为企业员工设置不同的访问权限,以实现对华为云上购买的盘古大模型资源的权限隔离,可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,可以跳过本章节,不影响您使用服务的其他功能。
初始化盘古LLM LLM llm = LLMs.of(LLMs.PANGU); 基础问答:基础的模型文本问答,temperature等参数采用模型默认的设置。 llm.ask("你是谁?").getAnswer(); 同时调用多个不同的LLM。 final LLMConfig config =