云服务器内容精选

华为云首页用户手册

典型训练问题和优化策略

盘古大模型 PANGULARGEMODELS-数据量很少，可以微调吗

数据量很少，可以微调吗不同规格的模型对微调的数据量都有相应要求。如果您准备用于微调的数据量很少，无法满足最小的量级要求，那么不建议您直接使用该数据进行微调，否则可能会存在如下问题：过拟合：当微调数据量很小时，为了能充分学习这些数据的知识，可能会训练较多的轮次，因而模型会过分记住这些数据，导致无法泛化到其他数据上，最终发生过拟合现象。欠拟合：当微调数据量很小时，模型无法有效地调整模型的参数，同时也很容易受到数据噪声的干扰，从而影响模型的鲁棒性。当目标任务的难度较大时，该问题将愈加显著。当然，如果您的可用数据很少，也可以采取一些方法来扩充您的数据，从而满足微调要求，比如：数据增强：在传统机器学习中，可以通过简单的重复上采样方式来扩充数据，但该方法不适用于大模型微调的场景，这将导致模型的过拟合。因此可以通过一些规则来扩充数据，比如：同义词替换、语法结构修改、标点符号替换等，保证数据的多样性。基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取目标场景的数据，以此扩充您的数据集。为了能获取更高质量的数据，可以通过CoT（思维链）、self-instruct等方式批量调用大模型，来获取满足您要求的数据。人工标注：如果以上两种方案均无法满足您的要求，您也可以使用“数据标注”功能，采用人工标注方式来获取数据。父主题：典型训练问题和优化策略

盘古大模型 PANGULARGEMODELS 典型训练问题和优化策略