华为云首页用户手册

盘古大模型 PANGULARGEMODELS-NLP大模型训练流程与选择建议:NLP大模型训练类型选择建议

盘古大模型 PANGULARGEMODELS-NLP大模型训练流程与选择建议:NLP大模型训练类型选择建议

时间：2024-12-03 10:25:01

盘古大模型 PANGULARGEMODELS 训练NLP大模型

NLP大模型训练类型选择建议

平台针对NLP大模型提供了两种训练类型，包括预训练和微调，二者区别详见表3。

表3 预训练和微调训练类型区别
训练方式	训练目的	训练数据	模型效果	应用场景举例
预训练	关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法和语义的基础理解。通过大规模的通用数据训练，模型可以掌握丰富的语言模式，如语言结构、词义关系和常见的句型。	使用大规模通用数据：通常使用海量的无监督数据（如文本语料库、百科文章），这些数据覆盖广泛的领域和语言表达方式，帮助模型掌握广泛的知识。	适合广泛应用：经过预训练后，模型可以理解自然语言并具备通用任务的基础能力，但还没有针对特定的业务场景进行优化。预训练后的模型主要用于多个任务的底层支持。	通过使用海量的互联网文本语料对模型进行预训练，使模型理解人类语言的基本结构。
微调	关注专业性：微调是对预训练模型的参数进行调整，使其在特定任务中达到更高的精度和效果。微调的核心在于利用少量的特定任务数据，使模型的表现从通用性向具体任务需求过渡。	使用小规模的特定任务数据：微调通常需要小规模但高质量的标注数据，直接与目标任务相关。通过这些数据，模型可以学习到任务特定的特征和模式。	在特定任务上具有更高的准确性：微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力，微调能使模型更好地解决细分任务的需求。	在一个客户服务问答系统中，可以用特定领域（如电商、保险）的对话数据对预训练模型进行微调，使其更好地理解和回答与该领域相关的问题。

此外，针对微调训练任务，平台提供了两种微调方式：

全量微调：适合有充足数据并关注特定任务性能的场景。在全量微调中，模型的所有参数都会调整，以适应特定任务的需求。这种方式适合样本量较大、对推理效果要求较高的任务。例如，在特定领域（如金融、医疗）中，若拥有大量标注数据，且需要更高的特定任务推理精度，则全量微调是优先选择。
LoRA微调：适用于数据量较小、侧重通用任务的情境。LoRA（Low-Rank Adaptation）微调方法通过调整模型的少量参数，以低资源实现较优结果，适合聚焦于领域通用任务或小样本数据情境。例如，在针对通用客服问答的场景中，样本量少且任务场景广泛，选择LoRA微调既能节省资源，又能获得较好的效果。

微调方式选择建议：

若项目中数据量有限或任务场景较为广泛，可以选择LoRA微调以快速部署并保持较高适用性。
若拥有充足数据且关注特定任务效果，选择全量微调有助于大幅提升在特定任务上的模型精度。

当前平台提供的NLP大模型的训练方式仅支持微调，不支持预训练。

上一篇：盘古大模型 PANGULARGEMODELS-NLP大模型训练流程与选择建议:NLP大模型训练流程介绍

下一篇：盘古大模型 PANGULARGEMODELS-NLP大模型训练流程与选择建议:NLP大模型训练流程介绍

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

盘古大模型 PANGULARGEMODELS-NLP大模型训练流程与选择建议:NLP大模型训练类型选择建议

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题