检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无监督的领域知识数据，量级无法支持增量预训练，如何让模型学习 一般来说，建议采用增量预训练的方式让模型学习领域知识，但预训练对数据量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习。 这里提供了
查看训练任务详情与训练指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异，训练指标和训练方法的关系如下： 表1 训练指标和训练方法对应关系
其中，训练配置选择LLM（大语言模型），训练类型选择自监督训练，根据所选模型配置训练参数。 表1 自监督训练参数说明 参数名称 说明 模型类型 选择“LLM”。 训练类型 选择“自监督训练”。 训练模型 选择训练所需要的模型，模型详细介绍请参见选择模型与训练方法。 训练参数 指定用于训练模型的超参数。 训练参数说
创建有监督训练任务 创建有监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中，训练配置选择LLM（大语言模型），
案生成、阅读理解和代码生成等任务。 功能模型无需额外训练即可直接用于客户任务，而基模型则需要经过微调训练才能应用。NLP大模型不仅支持预训练和微调，还可以通过如下训练途径来构建满足客户需求的“用户模型”。 图1 NLP大模型训练方式与流程 除基模型、功能模型这两种模型划分途径外，
训练数据集创建流程 数据是大模型训练的基础，提供了模型学习所需的知识和信息。大模型通过对大量数据的学习，能够理解并抽象出其中的复杂模式，从而进行精准的预测和决策。在训练过程中，数据的质量和多样性至关重要。高质量的数据能够提升模型对任务的理解，而多样化的数据则帮助模型更好地应对各种
较小的学习率，反之可以使用较大的学习率。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中模型的收敛情况动态调整。 学习率衰减比率（learning_rate_decay_ratio） 0~1 0.01~0.1 学习率衰减比率用于设置训练过程中的学习率衰减
创建训练任务 创建自监督微调训练任务 创建有监督训练任务 父主题： 训练盘古大模型
常见训练报错与解决方案 read example failed报错 报错原因：模型训练过程中，训练日志出现“read example failed”报错，表示当前数据集格式不满足训练要求。 解决方案：请参考数据格式要求校验数据集格式。 图1 read example failed报错
如何判断训练状态是否正常 判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化趋势。一般
这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根据实际情况调整“学习率”的值，帮助模型更好收敛。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，则会加剧该现象。
查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。 父主题： 典型训练问题和优化策略
模型训练所需数据量与数据格式要求 盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异，请基于数据要求提前准备训练数据。 数据量要求 自监督训练 在单次训练任务中，一个自监督训练数据集内，上传的数据文件数量不得超过1000个，单文件大小不得超过1G
和基本配置。 训练配置 选择模型类型、训练类型以及基础模型。 数据配置 选择训练数据集和配比类型，设置训练数据集配比，详情请参考数据配比功能介绍。 在训练数据集配比完成后，在单击“创建”或后续修改保存时，会对数据集的有效数据进行统计，确保满足模型训练的要求。 图3 数据配置 基本配置
训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 数据质量：请检查训练数据的质量，若训练样本出现了大量重复数据，或者数据多样性很差，则会加剧该现象。
训练盘古大模型 选择模型与训练方法 创建训练任务 查看训练任务详情与训练指标 常见训练报错与解决方案
如果您准备用于微调的数据量很少，无法满足最小的量级要求，那么不建议您直接使用该数据进行微调，否则可能会存在如下问题： 过拟合：当微调数据量很小时，为了能充分学习这些数据的知识，可能会训练较多的轮次，因而模型会过分记住这些数据，导致无法泛化到其他数据上，最终发生过拟合现象。 欠拟合：当微调数据量很小时，模型无法有
典型训练问题和优化策略 什么情况下需要微调 什么情况下不建议微调 数据量很少，可以微调吗 数据量足够，但质量较差，可以微调吗 无监督的领域知识数据，量级无法支持增量预训练，如何让模型学习 如何调整训练参数，使模型效果最优 如何判断训练状态是否正常 如何评估微调后的模型是否正常 如何调整推理参数，使模型效果最优
准备盘古大模型训练数据集 训练数据集创建流程 模型训练所需数据量与数据格式要求 创建一个新的数据集 检测数据集质量 清洗数据集（可选） 发布数据集 创建一个训练数据集
pt工程，通用模型也能给出比较满意的回答。但如果您的场景涉及以下几种情况，则建议采用微调的手段来解决： 目标任务依赖垂域背景知识：通用模型学习到的知识大部分都是来自互联网上的开源数据，如果目标任务本身属于某个领域（如金融、政务、法律、医疗、工业等），需要依赖很深的领域背景知识，那
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
