检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
量差,或学习率设置过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或减小学习率来解决。 图4 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss曲线平缓且保持高位不下降的原因可能是目标任务的难度较大,或模型的学习率设置过小,导致模型
directory”报错,表示当前数据集格式、数据命名、数据存储路径不满足训练要求。 解决方案:请参考数据格式要求校验数据集格式。 请检查数据集路径是否设置正确。 图2 no such file or directory报错 The dataset size is too small报错 报错
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为
SearchTool()); } 静态工具和动态工具的注册方式相同,通过addTool接口进行注册。 通过setMaxIterations可以设置最大迭代次数,控制Agent子规划的最大迭代步数,防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-
Tenant 20230728 base 2.9.15 公网IP:100.85.220.207 root密码: CPU架构:aarch64(登录设备,执行arch命令查看) worker bms-panguXXXX CPU:鲲鹏(4*48Core@2.6GHz) 内存:24*64GB DDR4
服务,该服务为付费项,用户可按需购买。 若不使用,您也可以自行对接第三方内容审核服务。关于大模型生成内容的责任主体,请参考《盘古大模型服务协议》。 启用内容审核服务 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,单击“开启内容审核”,进行授权。 图1 内容审核授权 购
查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时,deployment_id为模型部署ID,可以在盘古大模型套件平台“服务管理”功能中获取。 图3 服务管理 图4
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题: 部署盘古大模型
如果需要模型以某个人设形象回答问题,可以将role参数设置为system。不使用人设时,可设置为user。在一次会话请求中,人设只需要设置一次。 content 是 String 对话的内容,可以是任意文本,单位token。 设置多轮对话时,message中content个数不能超过20。
自监督训练: 不涉及 有监督微调: 本场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表2 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 8 训练轮数(epoch) 4 学习率(learning_rate) 7.5e-05 学
自监督训练: 不涉及 有监督微调: 该场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表1 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 8 训练轮数(epoch) 6 学习率(learning_rate) 7.5e-05 学
标。然而,指标没有一个明确的阈值来指示何时模型效果差。因此,单靠该指标无法直接决定任务的调整策略。 如果指标低是由于提示词(prompt)设置不合理,可以通过在模型训练阶段扩大训练集和验证集来优化模型,从而改善评估结果。另外,还可以将评估数据集设计得更接近训练集的数据,以提升评估结果的准确性。
型的收敛情况动态调整。 学习率衰减比率(learning_rate_decay_ratio) 0~1 0.01~0.1 学习率衰减比率用于设置训练过程中的学习率衰减的最小值。计算公式为:最小学习率=学习率*学习率衰减比率。 参数的选择没有标准答案,您需要根据任务的实际情况进行调整,以上建议值仅供参考。
expired”(证书已过期)或“unable to verify the first certificate”(无法验证第一个证书)等。可以在Postman的设置中关闭“SSL certificate verification”选项。 关于盘古大模型API的详细请求参数、响应参数介绍请参见《API参考》文档。
进入训练数据集页面后,需要进行训练配置、数据配置和基本配置。 训练配置 选择模型类型、训练类型以及基础模型。 数据配置 选择训练数据集和配比类型,设置训练数据集配比,详情请参考数据配比功能介绍。 在训练数据集配比完成后,在单击“创建”或后续修改保存时,会对数据集的有效数据进行统计,确保满足模型训练的要求。
expired”(证书已过期)或“unable to verify the first certificate”(无法验证第一个证书)等。可以在Postman的设置中关闭“SSL certificate verification”选项。 关于盘古大模型API的详细请求参数、响应参数介绍请参见《API参考》文档。
缺省值:0 (表示该参数未生效) stream 否 boolean 流式开关。 默认值为false,如果开启流式,请赋值true,同时n参数只能设置为1。开启流式开关后,API会在生成文本的过程中,实时地将生成的文本发送给客户端,而不是等到生成完成后一次性将所有文本发送给客户端。 响应参数