Server资源使用-华为云

AI开发平台MODELARTS-LLM/AIGC/数字人基于Server适配NPU的训练推理指导:AIGC模型

AIGC模型 SDXL&SD1.5 ComfyUI插件基于Server适配PyTorch NPU推理指导（6.3.906） LLaVA模型基于Server适配PyTorch NPU预训练指导（6.3.906） LLaVA模型基于Server适配PyTorch NPU推理指导（6.3.906） Qwen-VL基于Server适配Pytorch NPU的Finetune训练指导(6.3.906) Qwen-VL基于Server适配Pytorch NPU的推理指导(6.3.906)

AI开发平台MODELARTS Lite Server资源使用

AI开发平台MODELARTS-GP Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理:Step1 安装模型

Step1 安装模型安装Megatron-Deepspeed框架。使用root用户SSH的方式登录GPU裸金属服务器，登录方式在华为云购买页面可以获取。拉取pytorch镜像，可以选择常用的镜像源进行下载。 docker pull nvcr.io/nvidia/pytorch:21.10-py3 启动容器。 docker run -d -t --network=host --gpus all --privileged --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --name megatron-deepspeed -v /etc/localtime:/etc/localtime -v /root/.ssh:/root/.ssh nvcr.io/nvidia/pytorch:21.10-py3 执行以下命令，进入容器终端。 docker exec -it megatron-deepspeed bash 下载Megatron-DeepSpeed框架。 git clone https://github.com/bigscience-workshop/Megatron-DeepSpeed 若git clone失败，可以尝试先下载至本地，然后拷贝至服务器中，在docker cp至容器中。安装Megatron-DeepSpeed框架。 cd Megatron-DeepSpeed pip install -r requirements.txt -i http://mirrors.myhuaweicloud.com/pypi/web/simple --trusted-host mirrors.myhuaweicloud.com pip install mpi4py -i http://mirrors.myhuaweicloud.com/pypi/web/simple --trusted-host mirrors.myhuaweicloud.com 修改测试代码，注释掉以下文件的断言所在行。 vim /workspace/Megatron-DeepSpeed/megatron/model/fused_softmax.py +191 在“assert mask is None, "Mask is silently ignored due to the use of a custom kernel"”前加“#”，即： # assert mask is None, "Mask is silently ignored due to the use of a custom kernel" 数据集下载和预处理。本实践中选择使用1GB 79K-record的JSON格式的OSCAR数据集。下载数据集。 wget https://huggingface.co/bigscience/misc-test-data/resolve/main/stas/oscar-1GB.jsonl.xz wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-vocab.json wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-merges.txt 解压数据集。 xz -d oscar-1GB.jsonl.xz 预处理数据。 python3 tools/preprocess_data.py \ --input oscar-1GB.jsonl \ --output-prefix meg-gpt2 \ --vocab gpt2-vocab.json \ --dataset-impl mmap \ --tokenizer-type GPT2BPETokenizer \ --merge-file gpt2-merges.txt \ --append-eod \ --workers 8 若发生如下“np.float”报错，按照报错提示修改为“float”即可。图1 预处理数据报错数据预处理完成标识。图2 数据预处理完成新建data目录并移动处理好的数据。 mkdir data mv meg-gpt2* ./data mv gpt2* ./data

AI开发平台MODELARTS Server资源使用

AI开发平台MODELARTS-GP Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理:Step2 单机单卡训练

Step2 单机单卡训练本小节使用上文的服务器环境和安装好的模型，使用GP Ant8裸金属服务器，完成单机单卡GPT-2 MEDIUM模型的训练。创建预训练脚本文件。执行以下命令，创建预训练脚本文件。 vim pretrain_gpt2.sh 在文件中添加以下信息。 #! /bin/bash # Runs the "345M" parameter model GPUS_PER_NODE=1 # Change for multinode config MASTER_ADDR=localhost MASTER_PORT=6000 NNODES=1 NODE_RANK=0 WORLD_SIZE=$(($GPUS_PER_NODE*$NNODES)) DATA_PATH=data/meg-gpt2_text_document CHECKPOINT_PATH=checkpoints/gpt2 DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT" python -m torch.distributed.launch $DISTRIBUTED_ARGS \ pretrain_gpt.py \ --tensor-model-parallel-size 1 \ --pipeline-model-parallel-size 1 \ --num-layers 24 \ --hidden-size 1024 \ --num-attention-heads 16 \ --micro-batch-size 4 \ --global-batch-size 8 \ --seq-length 1024 \ --max-position-embeddings 1024 \ --train-iters 5000 \ --lr-decay-iters 320000 \ --save $CHECKPOINT_PATH \ --load $CHECKPOINT_PATH \ --data-path $DATA_PATH \ --vocab-file data/gpt2-vocab.json \ --merge-file data/gpt2-merges.txt \ --data-impl mmap \ --split 949,50,1 \ --distributed-backend nccl \ --lr 0.00015 \ --lr-decay-style cosine \ --min-lr 1.0e-5 \ --weight-decay 1e-2 \ --clip-grad 1.0 \ --lr-warmup-fraction .01 \ --checkpoint-activations \ --log-interval 10 \ --save-interval 500 \ --eval-interval 100 \ --eval-iters 10 \ --fp16 开始训练。本文是单机单卡训练，使用预训练脚本参数控制： GPUS_PER_NODE=1 NNODES=1 NODE_RANK=0 执行以下命令，开始预训练。 nohup sh ./pretrain_gpt2.sh & 图3 开始预训练实时查看训练日志，监控程序。 tail -f nohup.out 如果显示如下信息，表示模型训练完成。图4 模型训练完成在训练过程中观察单GPU卡的利用率，如下：图5 GPU利用率查看生成的模型checkpoint。本示例生成的模型checkpoint路径设置在“/workspace/Megatron-DeepSpeed/checkpoints/gpt2”。 ll ./checkpoints/gpt2 图6 模型checkpoint

AI开发平台MODELARTS Server资源使用

AI开发平台MODELARTS-GP Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理:Step3 单机多卡训练

Step3 单机多卡训练和单机单卡训练相比，单机多卡训练只需在预训练脚本中设置多卡参数相关即可，其余步骤与单机单卡相同。当前选择GPU裸金属服务器是8卡，因此需要调整如下参数： GPUS_PER_NODE=8 调整全局批处理大小（global batch size）、微批处理大小（micro batch size）、数据并行大小（data_parallel_size）参数。三者的关系为：“global_batch_size”可被“micro_batch_size * data_parallel_size”整除。本文设置的参数值如下： global_batch_size = 64 micro_batch_size = 4 data_parallel_size = 8 单机多卡完整的预训练脚本内容如下： #! /bin/bash # Runs the "345M" parameter model GPUS_PER_NODE=8 # Change for multinode config MASTER_ADDR=localhost MASTER_PORT=6000 NNODES=1 NODE_RANK=0 WORLD_SIZE=$(($GPUS_PER_NODE*$NNODES)) DATA_PATH=data/meg-gpt2_text_document CHECKPOINT_PATH=checkpoints/gpt2 DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT" python -m torch.distributed.launch $DISTRIBUTED_ARGS \ pretrain_gpt.py \ --tensor-model-parallel-size 1 \ --pipeline-model-parallel-size 1 \ --num-layers 24 \ --hidden-size 1024 \ --num-attention-heads 16 \ --micro-batch-size 4 \ --global-batch-size 64 \ --seq-length 1024 \ --max-position-embeddings 1024 \ --train-iters 5000 \ --lr-decay-iters 320000 \ --save $CHECKPOINT_PATH \ --load $CHECKPOINT_PATH \ --data-path $DATA_PATH \ --vocab-file data/gpt2-vocab.json \ --merge-file data/gpt2-merges.txt \ --data-impl mmap \ --split 949,50,1 \ --distributed-backend nccl \ --lr 0.00015 \ --lr-decay-style cosine \ --min-lr 1.0e-5 \ --weight-decay 1e-2 \ --clip-grad 1.0 \ --lr-warmup-fraction .01 \ --checkpoint-activations \ --log-interval 10 \ --save-interval 500 \ --eval-interval 100 \ --eval-iters 10 \ --fp16 训练时监控的GPU利用率如下：图7 GPU利用率

AI开发平台MODELARTS Server资源使用

AI开发平台MODELARTS-GP Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理:背景信息

背景信息 Megatron-Deepspeed Megatron-Deepspeed是一个由NVIDIA开发的基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具：Megatron-LM和DeepSpeed，可在具有分布式计算能力的系统上进行训练，并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 Megatron-LM是一个用于大规模语言建模的模型。它基于GPT（Generative Pre-trained Transformer）架构，这是一种基于自注意力机制的神经网络模型，广泛用于自然语言处理任务，如文本生成、机器翻译和对话系统等。 DeepSpeed是NVIDIA开源的加速深度学习训练的库。它针对大规模的模型和分布式训练进行了优化，可以显著提高训练速度和效率。DeepSpeed提供了各种技术和优化策略，包括分布式梯度下降、模型并行化、梯度累积和动态精度缩放等。它还支持优化大模型的内存使用和计算资源分配。 GPT2 GPT2（Generative Pre-trained Transformer 2），是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，是一个基于Transformer且非常庞大的语言模型。它在大量数据集上进行了训练，直接运行一个预训练好的GPT-2模型:给定一个预定好的起始单词或者句子，可以让它自行地随机生成后续的文本。

AI开发平台MODELARTS Server资源使用

AI开发平台MODELARTS-GP Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理:环境准备

环境准备在华为云ModelArts Server预购相关超强算力的GPU裸金属服务器，并选择AIGC场景通用的镜像，完成使用Megatron-Deepspeed训练GPT2模型。本最佳实践使用以下镜像和规格：镜像选择：Ubuntu 20.04 x86 64bit SDI3 for Ant8 BareMetal with RoCE and NVIDIA-525 CUDA-12.0。裸金属规格选择： GP Ant8，包含8张GPU卡以及8张RoCE网卡。关于Ant8裸金属服务器的购买，可以在华为云官网提工单至ModelArts云服务，完成资源的申请。

AI开发平台MODELARTS Server资源使用

云服务器内容精选

Server资源使用

7*24

备案

专业服务

退订

建议反馈

售前咨询热线