AI开发平台MODELARTS-场景介绍:操作流程

时间:2024-11-12 16:42:45

操作流程

图1 操作流程图
表2 操作任务流程说明

阶段

任务

说明

准备工作

准备资源

本教程案例是基于ModelArts Standard运行的,需要购买并开通ModelArts专属资源池和OBS桶。

准备数据

准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。

准备权重

准备所需的权重文件。

准备代码

准备AscendSpeed训练代码。

准备镜像

准备训练模型适用的容器镜像。

准备Notebook

本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。

预训练

预训练

介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。

微调训练

SFT全参微调

介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。

LoRA微调训练

介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。

support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_90991.html