检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型能力与规格 盘古NLP大模型能力与规格 盘古科学计算大模型能力与规格 盘古专业大模型能力与规格
基础知识 大模型开发基本流程介绍 大模型开发基本概念
盘古大模型是否可以自定义人设 大模型支持设置人设,在用户调用文本对话(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。
您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。
图1 文本翻译插件运行失败 可能原因:可能存在调用文本翻译API的Token错误或失效问题,具体原因可在界面右上角单击“调试”,在“调用详情 > 调用链”中查看插件输出的错误信息。 解决方法:若为Token错误问题,可参考创建多语言文本翻译插件,重新获取Token并进行试运行。
本实践将使用华为云文本翻译API,请先完成创建多语言文本翻译插件操作。 为使该实践效果更优,建议部署盘古NLP大模型的N4系列模型。 操作流程 创建盘古多语言文本翻译工作流的流程见表1。
文本翻译插件节点:在翻译意图分支中,文本翻译插件节点负责调用华为云文本翻译API,实现从源语言到目标语言的翻译过程。插件将翻译结果返回,传递给结束节点。 大模型节点:如果用户的意图属于“其他”意图分支(如普通对话),则文本将被引导到大模型节点。
除了上述提到的四个模块以外,还需要一个编排流程的pipeline,将这些模块提供的API接口进行编排,串联query改写、意图识别模块、检索模块和问答模块。该pipeline负责接收前端用户输入的query和历史问答,逐步处理并最终输出答案,展示在前端界面。
插件节点配置说明 将外部API等集成到工作流中,以扩展功能或调用外部接口。 判断节点配置说明 设置条件判断逻辑,根据不同情况分支到不同的流程路径。 代码节点配置说明 配置自定义代码逻辑,用于处理特定的业务需求或复杂运算。 消息节点配置说明 向用户展示中间过程的消息输出能力。
插件节点:用于引入API插件,根据节点的输入,执行用户定义的插件,将插件执行结果作为节点的输出。 判断节点:编排应用时作为分支切换节点,可以根据输入满足的判断条件,指定执行对应的工作流分支。
使用API调用Token计算器,详见《API参考》“API > Token计算器”。 NLP大模型训练类型选择建议 平台针对NLP大模型提供了两种训练类型,包括预训练、微调,二者区别详见表3。
支持开发者将工具、Function或者API通过配置方式快速创建为一个插件,并供Agent调用。 自定义知识库:平台提供了知识库功能来管理和存储数据,支持为AI应用提供自定义数据,并与之进行互动。多种格式的本地文档(支持docx、pptx、pdf等)都可以导入至知识库。
配置用户信息时,需要勾选“编程访问”,如果未勾选此项,会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组,单击“创建用户”,完成IAM用户的创建。