检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。 父主题: 安全
权限管理 如果您需要为企业员工设置不同的访问权限,以实现对华为云上购买的盘古大模型资源的权限隔离,可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,可以跳过本章节,不影响您使用服务的其他功能。
ment_id} 图15 JavaSDK 利用SDK编写代码调用API。 图16 调用API 结果响应如图17所示。 图17 结果响应 父主题: 调用盘古大模型
api_name="summary") demo.launch() 终端命令行下执行python3 doc_summary.py运行应用,效果如下。 父主题: 应用实践
图3 高亮差异点 下拉页面至“提示词效果比较”模块,比较提示词的效果,输入相同的变量值,查看两个提示词生成的结果。 图4 比较提示词的效果 父主题: 横向比较提示词效果
"https://host/v1/api", "authType": "OAuth" } } 图2 创建工具 参数填写完成后,单击“确定”。 父主题: AI助手
- √ 盘古-NLP-N2单场景模型-32K - - - - √ 当前支持评估操作的模型需要经过SFT(有监督微调)后方可进行模型评估。 父主题: 模型能力与规格
l(LLMs.of("pangu")) summarize = skill.execute_with_texts(documents) 父主题: 应用示例
125个推理单元。 盘古-NLP-N2 系列模型 部署1实例占用0.5个推理单元。 盘古-NLP-N4 系列模型 部署1实例占用1个推理单元。 父主题: 平台资源管理
为白名单特性,需要联系ModelArts服务技术支持人员进行开通。 创建边缘资源池操作较为复杂,建议联系盘古服务技术支持人员进行协助。 父主题: 部署为边缘服务
的数值越高,表明模型性能越好。 困惑度指标介绍 困惑度用来衡量大语言模型预测一个语言样本的能力。数值越低,准确率越高,表明模型性能越好。 父主题: 训练盘古大模型
Ms.of(LLMs.PANGU)); String summarize= skill.executeWithTexts(docs); 父主题: 应用示例
> 新增访问密钥”来获取。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 AK/SK获取方式请参考获取AK/SK。 父主题: 如何调用REST API
结果和结果评估。 提示词管理 提示词管理支持用户对满意的候选提示词进行保存管理,同时支持提示词的查询、删除。 图1 提示词工程使用流程 父主题: 提示词工程
Authorization:Bearer your-key 当LLM被定义好之后,使用方式与盘古大模型相同,开源模型也支持Agent调用,可参考实例化Agent。 父主题: LLMs(语言模型)
核采样值, 和temperature不同时配置 private double presencePenalty; // 存在惩罚,增加模型谈论新主题的可能性 private double frequencyPenalty; // 频率惩罚,降低模型重复的可能性,提高文本多样性、创造型
执行如下命令查看节点状态。 kubectl get node -o wide 如果所有节点状态STATUS为“Ready”,则说明集群创建成功。 父主题: 部署为边缘服务
核采样值, 和temperature不同时配置 presence_penalty: Optional[float] # 存在惩罚,增加模型谈论新主题的可能性,范围见具体模型API规范 frequency_penalty: Optional[float] # 频率惩罚,降低模型重复的可
query_not="有没有数据?"; Assertions.assertNull(cache.lookup(query_not)); 父主题: Memory(记忆)
null, "self": "https://www.example.com/v3/projects" } } 父主题: 附录