检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么微调后的模型,只能回答在训练样本中学过的问题 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘
为什么微调后的模型,输入与训练样本相似的问题,回答与训练样本完全不同 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来
"project": { "name": "cn-southwest-2" //盘古大模型当前部署在“西南-贵阳一”区域,取值为cn-southwest-2 } } } } Python
在Token计算器中选择所需的模型,并输入文本内容后,单击“开始计算”即可统计输入文本的Token数量。 图1 Token计算器 预置模型和已经部署的模型可以使用Token计算器。 父主题: 平台资源管理
描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768 基于NLP-N1-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力,具有32K上下文能力,可外推至128K。
权限。 模型开发人员 具备总览、服务管理、能力调测、数据工程(数据管理、数据清洗)、模型开发(模型管理、模型训练、模型评估、模型压缩、模型部署)、平台管理(资产管理、权限管理)功能的使用权限。 推理服务API调用人员 具备总览、服务管理、能力调测、平台管理(权限管理)、运营面板功能的使用权限。
而提高模型的整理效果。 表2 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768 基于NLP-N1-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力,具有32K上下文能力,可外推至128K。
本场景采用了下表中的推理参数进行解码,您可以在平台部署后参考如下参数调试: 表3 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 4096 温度(temperature) 0.3 核采样(top_p) 1.0 话题重复度控制(presence_penalty) 0 部署推理服务后,可以
描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
本场景采用了下表中的推理参数进行解码,您可以在平台部署后参考如下参数调试: 表2 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 1024 温度(temperature) 0.3 核采样(top_p) 0.8 话题重复度控制(presence_penalty) 0 部署推理服务后,可以
描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
运行Agent 在给出的示例中,Agent中预置了2个工具,分别为: meeting_room_status_query:查询会议室的状态,是否被预定或者正在使用中。 reserve_meeting_room:预定会议室。 单轮执行: 调用run接口运行一个Agent: panguAgent