检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无监督领域知识数据量无法支持增量预训练，如何进行模型学习 一般来说，建议采用增量预训练的方式让模型学习领域知识，但预训练对数据量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习。 这里提供
模型训练实践 盘古科学计算大模型微调训练实践
较小的学习率，反之可以使用较大的学习率。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中模型的收敛情况动态调整。 学习率衰减比率（learning_rate_decay_ratio） 0~1 0.01~0.1 学习率衰减比率用于设置训练过程中的学习率衰减
如何判断盘古大模型训练状态是否正常 判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化
学习率过低，会导致损失下降非常缓慢，训练过程耗时较长，模型可能陷入局部最优等问题。 科学计算大模型的学习率调优策略如下： 学习率太小时，损失曲线几乎是一条水平线，下降非常缓慢，此时可以增大学习率，使用学习率预热（Warm-up）的方法，在训练初期逐步增加学习率，避免初始阶段学习率过小。 学习率太大时，损
Token计算器”。 NLP大模型训练类型选择建议 平台针对NLP大模型提供了两种训练类型，包括预训练、微调，二者区别详见表3。 表3 预训练、微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法
科学计算大模型训练流程与选择建议 科学计算大模型训练流程介绍 科学计算大模型的训练主要分为两个阶段：预训练与微调。 预训练阶段：预训练是模型学习基础知识的过程，基于大规模通用数据集进行。例如，在区域海洋要素预测中，可以重新定义深海变量、海表变量，调整深度层、时间分辨率、水平分辨率
用于控制训练过程中学习率下降的幅度。 计算公式为：最低学习率 = 初始学习率 × 学习率衰减比率。 学习率 学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： 如果学习率过大，模型可能无法收敛。 如果学习率过小，模型的收敛速度将变得非常慢。 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。
选择训练数据中的部分时间数据，训练数据集尽可能多一些。 验证集 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 层次 设置训练数据的层次信息。在“预训练”场景中，可以添加或去除高空层次，训练任务将根据配置的层次信息重新训练模型。 高空变量 设置训练数据的高空变量信息。在“预训练”场景中，
查看科学计算大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
优化训练数据的质量 在数据科学和机器学习领域，数据的质量和多样性对模型的效果至关重要。通过有效的数据预处理和数据优化方法，通过提升训练数据的质量可以显著提升训练所得模型的效果。以下是一些关键的数据优化方法及其具体过程： 数据加工 错误数据过滤 ：在大规模数据集中，噪声和错误数据是
如果学习率过小，模型收敛的速度可能会非常慢。当batch_size减小时，学习率也应相应地线性减小。预训练时，默认值为：0.00001，范围为[0, 0.001]。 学习率调整策略 用于选择学习率调度器的类型。学习率调度器可以在训练过程中动态地调整学习率，以改善模型的训练效果。
表1 典型微调参数说明 训练参数 范围 建议值 说明 训练轮数（epoch） 1~50 2/4/8/10 训练轮数是指需要完成全量训练数据集训练的次数。训练轮数越大，模型学习数据的迭代步数就越多，可以学得更深入，但过高会导致过拟合；训练轮数越小，模型学习数据的迭代步数就越少，过低则会导致欠拟合。
查看NLP大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
盘古科学计算大模型微调训练实践 微调场景介绍 构建微调训练任务数据集 构建微调训练任务 构建部署任务 微调典型问题 父主题： 模型训练实践
训练NLP大模型 NLP大模型训练流程与选择建议 创建NLP大模型训练任务 查看NLP大模型训练状态与指标 发布训练后的NLP大模型 管理NLP大模型训练任务 NLP大模型训练常见报错与解决方案 父主题： 开发盘古NLP大模型
构建微调训练任务数据集 获取源数据 科学计算大模型微调训练所需的数据为气象再分析数据。 气象再分析数据集是利用现代数值天气预报模型和数据同化系统，对过去的观测数据进行重新处理后得到的。这些数据集可以是全球范围的，也可以是特定区域的。再分析数据集的目的是通过整合历史观测数据和现代计
这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。 Prompt设
科学计算大模型微调典型问题见表1。 表1 科学计算大模型微调典型问题 问题 可能原因 解决方法 预训练或微调作业失败，提示训练集数据不足。 训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败，提示验证集数据不足。 验证集选取时间区段是否不足。 验证集
对未来一段时间海洋要素进行预测。可为海上防灾减灾，指导合理开发和保护渔业等方面有着重要作用。 目前，区域海洋要素模型支持微调、预训练两种操作： 预训练：可以在重新指定深海变量、海表变量、以及深海层深、时间分辨率、水平分辨率以及区域范围，适用于想自定义自己的区域模型的场景，需预先准备好区域高精度数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
