检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址。其中,路径选中部分即
NLP大模型训练方式与流程 除基模型、功能模型这两种模型划分途径外,NLP大模型还提供了多种系列的模型,不同系列模型在能力上有所差异,可执行的训练操作也有所不同。 表1 不同系列模型对训练的支撑情况 训练任务 N1 N2 N4 预训练 × × × 微调 √ √ √ 不同系列的模型
模型和模型导出的obs路径。 图3 导出模型 单击“确定”,导出模型。 模型导出成功后,可以在obs中查看导出后的模型文件。下载该obs文件,上传到环境B对应的obs桶中。 登录环境B的盘古大模型套件平台,在“模型迁移”页面,选择“导入模型”,输入模型对应的obs地址和模型名称后,单击“确定”,启动导入模型任务。
是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
limit:XX,time:1 minute. 发送请求超过了服务的默认配置限流。 通过重试机制,在代码里检查返回值,碰到并发错误可以延时一小段时间(如2-5s)重试请求。 后端检查上一个请求结果,上一个请求返回之后再发送下一个请求,避免请求过于频繁。 父主题: 附录
模型训练列表 在训练配置中,选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中,训练配置选择LLM(大语言模型),训练类型选择有监督训练,根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明 模型类型 选择“LLM”。 训练类型 选择“有监督微调”。 训练方式
词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词 在撰写提示词区域单击“设为候选”按钮,将当前撰写的提示词设置为候选提示词。
在训练配置中,设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中,训练配置选择LLM(大语言模型),训练类型选择自监督训练,根据所选模型配置训练参数。 表1 自监督训练参数说明 参数名称 说明 模型类型 选择“LLM”。 训练类型 选择“自监督训练”。
选择候选提示词进行批量自动化评估。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程名称,跳转工程任务下候选提示词页面。 图1 提示词工程 选中需要评估的候选提示词,单击左上角“创建评估”按钮,跳转评估任务创建页面。
预览提示词效果 提示词撰写完成后,可以通过输入具体的变量值,组成完整的提示词,查看不同提示词在模型中的使用效果。 在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。用户也可以直接选择已创建的变量集填入变量值信息
示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务名称,跳转工程任务下候选提示词页面。 图1 提示词工程 选中两个候选提示词,单击左上角“横向比较”按钮,跳转提示词比较页面。
发布”操作才可以将该数据集用于后续的任务中。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。 对不再使用的数据集可以单击“版本收回”撤销当前版本。 图1 发布数据集 父主题:
值要限定在参数-类型-解释表中\n\n以下是你的思考过程:\n步骤1.根据用户问题从指标-解释表中得到metrics中caption的值,格式为:\"metrics\":[{\"caption\":\"xx\"}],不要超过两个\n步骤2.根据用户问题从参数-类型-解释表中得到d
是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
单击页面右上角“创建提示用例集”,进入创建弹窗。 单击存储位置最右侧的图标,选择数据集文件所对应的obs路径,然后输入数据集名称、描述,创建数据集。 创建数据集前,请先将数据上传至OBS。 图4 创建数据集 父主题: 批量评估提示词效果
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback
工具输入参数。将API封装为工具时,调用该API的请求参数。请求体以json schema的形式进行描述,参数说明请参考官方指导。 output_schema 是 Json Schema 工具输出参数。将API封装为工具时,调用该API的响应参数。请求体以json schema的形式进行描述,参数说明请参考官方指导。
些参数的取值与描述,并将这些信息记录到当前对话中。通过历史关键信息可以增强模型的理解和回答能力。 该参数需要与工具配合使用,需要填入工具input_schema参数中API的请求参数。例如,在配置AI助手工具的代码示例中,创建预定会议室API的请求参数中有start,设置为sta
打开Postman,新建一个POST请求,输入“西南-贵阳一”区域的“获取Token”接口,并填写请求Header参数。 接口地址为:https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens 请求Header参数名为Conte
是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token