检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
较小的学习率，反之可以使用较大的学习率。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中模型的收敛情况动态调整。 学习率衰减比率（learning_rate_decay_ratio） 0~1 0.01~0.1 学习率衰减比率用于设置训练过程中的学习率衰减
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。
确保数据质量：通过评估数据集的准确性、完整性和一致性，用户可以及时发现并修复数据中的问题，确保数据符合训练标准。 提升模型性能：高质量的数据集直接影响模型的训练效果。通过准确的评估，用户能够确保数据集的高质量，进而提升模型的性能和精度。 减少数据问题带来的风险：数据中潜在的错误和缺陷可能导致模型训练不充分或效果不理
同的数据和业务场景提供定制化的标注方案，满足多样化的需求。 增强模型的准确性与鲁棒性：准确的标注数据能够帮助模型更好地学习数据的潜在模式和规律，进而提高模型的性能、准确性和鲁棒性。 节省时间与成本：AI预标注可以显著减少人工干预，提高标注的效率和一致性，帮助用户节省标注成本和时间，尤其是在大规模数据集的处理过程中。
已选择数据集配比”中，用户可以设置从数据集中抽取指定数量的数据用于训练。进行数据配比的目的是为了确保模型能够更全面地学习和理解数据的多样性，提升模型的泛化能力和性能。 图4 发布方式2 图5 数据集配比 设置发布格式。由于数据工程需要支持对接盘古大模型或三方大模型，为了使这些数据
已选择数据集配比”中，用户可以设置从数据集中抽取指定数量的数据用于训练。进行数据配比的目的是为了确保模型能够更全面地学习和理解数据的多样性，提升模型的泛化能力和性能。 图4 发布方式2 图5 数据集配比 设置发布格式。由于数据工程需要支持对接盘古大模型或三方大模型，为了使这些数据
或者学习率设置得过大，使得模型在最优解附近震荡，甚至跳过最优解，导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线：上升 Loss曲线平缓，保持高位：Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大，或者模型的学习率设置
推理任务中得到更高的准确性，尤其是在涉及多步推理和复杂逻辑关系的任务中。 具体做法如下： 提供相关示例：在提示词中加入类似的示例，帮助模型学习解题的模式和思路。通过这些示例，模型能够理解如何通过不同的推理步骤逐渐得出结论。 例如，在数学问题中，可以通过展示从问题解析到公式应用再到
用来衡量大语言模型预测一个语言样本的能力，数值越低，准确率也就越高，表明模型性能越好。 指标看板 bleu-1：模型生成句子与实际句子在单字层面的匹配度，数值越高，表明模型性能越好。 bleu-2：模型生成句子与实际句子在词组层面的匹配度，数值越高，表明模型性能越好。 bleu-3：模型生成结果和实际句子的加
型架构，并结合不同的训练数据进行精细化训练。平台支持分布式训练，能够处理大规模数据集，从而帮助用户快速提升模型性能。 模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。
均方根误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的平方误差的平均值的平方根。该值越小，代表模型性能越好。 MAE 平均绝对误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的绝对误差的平均值。该值越小，代表模型性能越好。 ACC ACC（异常相关系数，距平相关系数，Anomaly Correlation
数据加工意义 数据加工直接影响到模型训练的质量和效率。通过数据加工，可以确保训练数据具有较高的质量，减少由于数据问题导致的训练误差，从而提高模型的性能。 提升数据质量：数据加工能够去除噪声、修复缺失值和异常值，保证数据的准确性、完整性和一致性，为模型训练提供高质量的输入数据。 提高处理效
进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 父主题： 大模型微调训练类问题
标注效率，还能减少人为错误，提高标注的一致性和准确性。标注质量的提高直接增强了训练数据的有效性，确保训练模型时能获得更高质量的学习数据，从而推动模型性能的提升。 数据评估：数据的质量直接决定了大模型的表现，因此，数据质量评估在整个数据工程中占有重要地位。ModelArts Stu
进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 推理参数设置：请检查推理参数中的“温度”或“核采样”等参数的设置，适当减小其中
表1 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 6 学习率（learning_rate） 7.5e-05 学习率衰减比率（learning_rate_decay_ratio） 0.067 热身比例（warmup） 0.013
大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练，如何进行模型学习 如何调整训练参数，使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数，使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码
训练和推理过程中，通过数据脱敏、隐私计算等技术手段识别并保护敏感数据，有效防止隐私泄露，保障个人隐私数据安全。 内容安全：通过预训练和强化学习价值观提示（prompt），构建正向的意识形态。通过内容审核模块过滤违法及违背社会道德的有害信息。 模型安全：通过模型动态混淆技术，使模型
运营成本：企业可以通过智能客服处理大部分的常规问题，将人工客服释放出来处理更复杂、更个性化的客户需求；个性化服务：基于大模型的智能客服能够学习和适应用户的行为模式和偏好，提供更加个性化的服务。 农业 科学计算大模型包括全球中期天气要素模型和降水模型，可以对未来一段时间的天气和降水
概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根据实际情况调整“学习率”的值，帮助模型更好收敛。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，则会加剧该现象。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
