AI开发平台MODELARTS-GP Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理:Step2 单机单卡训练

时间:2024-09-05 08:36:23

Step2 单机单卡训练

本小节使用上文的服务器环境和安装好的模型, 使用GP Ant8裸金属服务器, 完成单机单卡GPT-2 MEDIUM模型的训练。

  1. 创建预训练脚本文件。

    1. 执行以下命令,创建预训练脚本文件。
      vim pretrain_gpt2.sh
    2. 在文件中添加以下信息。
      #! /bin/bash
      
      # Runs the "345M" parameter model
      
      GPUS_PER_NODE=1
      # Change for multinode config
      MASTER_ADDR=localhost
      MASTER_PORT=6000
      NNODES=1
      NODE_RANK=0
      WORLD_SIZE=$(($GPUS_PER_NODE*$NNODES))
      
      DATA_PATH=data/meg-gpt2_text_document
      CHECKPOINT_PATH=checkpoints/gpt2
      
      DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT"
      
      python -m torch.distributed.launch $DISTRIBUTED_ARGS \
             pretrain_gpt.py \
             --tensor-model-parallel-size 1 \
             --pipeline-model-parallel-size 1 \
             --num-layers 24 \
             --hidden-size 1024 \
             --num-attention-heads 16 \
             --micro-batch-size 4 \
             --global-batch-size 8 \
             --seq-length 1024 \
             --max-position-embeddings 1024 \
             --train-iters 5000 \
             --lr-decay-iters 320000 \
             --save $CHECKPOINT_PATH \
             --load $CHECKPOINT_PATH \
             --data-path $DATA_PATH \
             --vocab-file data/gpt2-vocab.json \
             --merge-file data/gpt2-merges.txt \
             --data-impl mmap \
             --split 949,50,1 \
             --distributed-backend nccl \
             --lr 0.00015 \
             --lr-decay-style cosine \
             --min-lr 1.0e-5 \
             --weight-decay 1e-2 \
             --clip-grad 1.0 \
             --lr-warmup-fraction .01 \
             --checkpoint-activations \
             --log-interval 10 \
             --save-interval 500 \
             --eval-interval 100 \
             --eval-iters 10 \
             --fp16

  2. 开始训练。

    本文是单机单卡训练,使用预训练脚本参数控制:

    GPUS_PER_NODE=1
    NNODES=1
    NODE_RANK=0
    1. 执行以下命令,开始预训练。
      nohup sh ./pretrain_gpt2.sh &
      图3 开始预训练
    2. 实时查看训练日志,监控程序。
      tail -f nohup.out

      如果显示如下信息, 表示模型训练完成。

      图4 模型训练完成

      在训练过程中观察单GPU卡的利用率,如下:

      图5 GPU利用率

  3. 查看生成的模型checkpoint。

    本示例生成的模型checkpoint路径设置在“/workspace/Megatron-DeepSpeed/checkpoints/gpt2”

    ll ./checkpoints/gpt2
    图6 模型checkpoint

support.huaweicloud.com/usermanual-modelarts-lite/usermanual-modelarts-lite-0087.html