AI开发平台MODELARTS-场景介绍:操作流程

时间:2024-11-05 09:54:16

操作流程

图1 操作流程图
表1 操作任务流程说明

阶段

任务

说明

准备工作

准备环境

本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。

准备代码

准备AscendSpeed训练代码、分词器Tokenizer和推理代码。

准备数据

准备训练数据,可以用Alpaca数据集,也可以使用自己准备的数据集。

准备镜像

准备训练模型适用的容器镜像。

预训练

预训练

介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、断点续训及性能查看。

微调训练

SFT全参微调

介绍如何进行SFT全参微调。

LoRA微调训练

介绍如何进行LoRA微调训练。

推理前的权重转换

-

模型训练完成后,可以将训练产生的权重文件用于推理。推理前参考本章节,将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。

如果无推理任务或者使用开源Huggingface权重文件进行推理,可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1600.html