检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图4 异常的Loss曲线:平缓且保持高位 Loss曲线异常抖动:Loss曲线异常抖动的原因可能是由于训练数据质量差,比如数据存在噪声或者分布不均衡,导致训练过程不稳定。你可以尝试提升数据质量的方式来解决。 图5 异常的Loss曲线:异常抖动 父主题: 典型训练问题和优化策略
盘古-NLP-N2-基模型训练参数推荐 应用场景 参数 推荐值 基础场景(文本分析、文本生成、文本翻译、query生成、开放问答、知识问答、改写、总结聚合、聊天) 数据批量大小 8 训练轮数 4 学习率 0.000075 优化器 adamw 学习率衰减比率 0.067 热身比例 0.01 NL2SQL场景
图5 异常的Loss曲线:平缓且保持高位 Loss曲线异常抖动:Loss曲线异常抖动的原因可能是训练数据质量差,比如数据存在噪声或分布不均衡,导致训练不稳定。您可以尝试提升数据质量来解决。 图6 异常的Loss曲线:异常抖动 模型准确率指标介绍 模型准确率:正确预测(标注与预测