华为云用户手册

Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 container_work_dir="/home/ma-user/ws" # 容器内挂载的目录 work_dir="/home/ma-user/ws" # 宿主机挂载目录，存放了代码、数据、权重 container_name="${container_name}" # ${container_name}为启动的容器名称 image_name="${image_name}" # ${image_name}启动的镜像ID或name docker run -itd \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ --cpus 192 \ --memory 1000g \ --shm-size 32g \ --net=host \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ $image_name \ /bin/bash 参数说明： --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如ascendspeed。 -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂载/home/ma-user目录，此目录为ma-user用户家目录。 driver及npu-smi需同时挂载至容器。 ${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。 通过容器名称进入容器中。 docker exec -it ${container_name} bash 启动容器时默认用户为ma-user用户。如果需要切换到root用户可以执行以下命令： sudo su source /home/ma-user/.bashrc 如果继续使用ma-user，在使用其他属组如root用户上传的数据和文件时，可能会存在权限不足的问题，因此需要执行如下命令统一文件属主。 sudo chown -R ma-user:ma-group ${container_work_dir} # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录 例如： sudo chown -R ma-user:ma-group /home/ma-user/ws 安装依赖包。 #进入scriptsscripts目录，xxx为包版本，请按照实际情况替换 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/scripts #执行安装命令 pip install -r requirements.txt

操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。 Step1 准备算法：在AI Gallery中订阅算法。 Step2 准备训练数据：准备训练数据。创建OBS桶和文件夹，并将训练数据上传到OBS中。 Step3 全量微调训练：对算法进行全量微调。 Step4 部署模型并推理预测：训练完成后，部署模型并进行推理预测。 Step5 清理资源：运行完成后，停止服务并删除OBS中的数据，避免不必要的资源浪费。

Step2 准备训练数据 ChatGLM-6B-finetune训练使用的是ADGEN数据集，可以从Tsinghua Cloud下载。下载数据集之后，请参考以下要求创建OBS桶中的文件夹，并上传数据到OBS桶中，用于后续的算法微调训练。 OBS文件夹目录要求如下： {chatglm-mindspore-ma} # OBS对象桶，用户可以自定义名称，例如：chatglm-mindspore-ma -{data} # OBS文件夹，用于存放训练输入数据，用户可以自定义名称，例如：data -{AdvertiseGen} # OBS文件夹，用于存放训练输入数据，用户可以自定义名称，例如：AdvertiseGen - train.json # 训练数据集 - dev.json # 评估数据集 -{OBS文件夹} #训练输出路径，用于存放训练生成的模型文件等，用户可以自定义名称，例如：output -{OBS文件夹} #作业日志路径，用于存放训练日志，用户可以自定义名称，例如：log 本文档中使用的是开源数据集，主要用于跑通流程和体验，客户的实际业务开展需要根据数据集格式要求匹配自己的业务数据来做精细的调参。

LoRA微调超参配置 本章节介绍LoRA微调训练前的超参配置，可以根据实际需要修改。 LoRA微调训练脚本lora-llama2-13b.sh，存放在AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/scripts/llama2/目录下。训练前，可以根据实际需要修改超参配置。 微调任务配置，操作同预训练配置类似，不同点为RUN_TYPE类型不同，以及输入输出路径的配置的不同。 表1 超参配置 参数 值 参数说明 DATA_PATH /home/ma-user/ws/datasets/alpaca-ft/llama2-13b/alpaca-ft 必填。训练时指定的输入数据路径。一般为数据地址/处理后的数据前缀名，不加文件类型后缀。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13b-hf 必填。tokenizer保存地址。 SAVE_PATH $PWD/ckpt 中间保存结果，包含训练日志。 SAVE_CKPT_PATH ${SAVE_PATH}/ckpt-llama2-13b-lora 必填。训练ckpt保存地址。 MODEL_PATH /home/ma-user/ws/weight/llama2-13b-ckpt 必填。加载的权重文件路径。取值二选一： （推荐）上一步LoRA微调权重转换章节中将HuggingFace格式转化为AscendSpeed格式的权重文件。 预训练完成后保存的权重文件，即预训练超参配置中的SAVE_CKPT_PATH值。如果使用此权重文件，需要将权重文件的名称改为release，将latest_checkpointed_iteration.txt的内容文件内容改为release，具体参考1和5.3-2。 MODEL_TYPE 13B 模型加载类型。 TRAIN_ITERS 2000 训练迭代周期。根据实际需要修改。 MBS 4 流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 非必填，默认值4。 GBS 64 训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。建议值单机64，双机128。 TP 8 张量并行。 PP 1 流水线并行。 seq_length 4096 要处理的最大序列长度，默认值2048，建议改为4096。 RUN_TYPE lora 训练脚本类型：pretrain、sft、lora。此处填写lora，表示LoRA微调训练。 父主题： LoRA微调训练

预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本pretrain-llama2-13b.sh，存放在AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/scripts/llama2目录下。训练前，可以根据实际需要修改超参配置。 表1 超参配置 参数 值 参数说明 DATA_PATH /home/ma-user/ws/datasets/alpaca/llama2-13B/alpaca_text_document 必填。训练时指定的输入数据路径。一般为数据地址/处理后的数据前缀名，不加文件类型后缀。 请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13b-hf 必填。tokenizer保存地址。 SAVE_PATH $PWD/ckpt 中间保存结果，包含训练日志。 SAVE_CKPT_PATH ${SAVE_PATH}/ckpt-llama2-13b 必填。训练ckpt保存地址。 MODEL_TYPE 13B 模型加载类型，默认为13B。 TRAIN_ITERS 2000 训练迭代周期。根据实际需要修改。 MBS 4 流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 默认值4。 GBS 64 训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长，建议值单机64，双机128。 TP 8 张量并行。 PP 1 流水线并行。 lr 0.00015 学习率，非必填，默认值3.0e-4 RUN_TYPE pretrain 训练脚本类型：pretrain。 父主题： 预训练

Step1 修改预训练脚本 执行命令如下，进入AscendSpeed代码目录。 cd .. #退出当前目录 cd /home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/ #进入/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/目录 执行如下命令修改Llama2-13b的SFT全参微调脚本sft-llama2-13b.sh。 vim scripts/llama2/sft-llama2-13b.sh 修改脚本内容，与预训练参数保持一致，不同点为RUN_TYPE类型不同，RUN_TYPE=sft；以及输入输出路径的配置的不同。 datasets_PATH #预处理后的数据地址：*注意：一般为数据地址/数据前缀名 TOKENIZER_PATH #tokeneizer地址 SAVE_PATH # 中间保存结果 包含日志 SAVE_CKPT_PATH #训练ckpt保存地址 MODEL_PATH #SFT全参微调权重加载地址 MASTER_ADDR=${1:-localhost} # 主节点的ip地址，默认为localhost，多机多卡训练时需指定主节点IP地址。 MASTER_PORT=12331 #任务运行端口号 NNODES=${2:-1} # 节点总数，默认为1 NODE_RANK=${3:-0} # 当前节点id，默认从0开始 MODEL_TYPE=13B #模型加载类型 TRAIN_ITERS=2000 #训练迭代周期 MBS=4 #流水线并行中一个micro batch所处理的样本量 GBS=64 #训练中所有机器一个step所处理的样本量，建议单机64，双机128。 TP=8 #张量并行 PP=1 #流水线并行 RUN_TYPE=sft #训练类型：pretrain、sft、loral，sft表示训练类型是SFT全参微调 修改完后，保存退出。 :wq

查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量：日志里存在samples per second参数。samples per second*seq_lenth/总卡数得到tokens/s/p，seq_lenth取值在训练脚本中可以查看，本示例中为4096。单机8卡吞吐量一般为1650tokens/s/p；双机16卡吞吐量一般为1625tokens/s/p。 loss收敛情况：日志里存在lm loss参数 ，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练：训练过程中的loss打印在最后一个节点上。 图2 Loss收敛情况

HuggingFace权重转换操作 下载Llama2-13b的预训练权重和词表文件，并上传到/home/ma-user/ws/tokenizers/llama2-13b-hf目录下。具体下载地址请参见表1。如果已下载，忽略此步骤。 创建权重转换后的输出目录/home/ma-user/ws/weight/llama2-13b-ckpt/。 cd /home/ma-user/ws/ #进入/home/ma-user/ws/目录 mkdir -p weight/llama2-13b-ckpt 进入代码目录/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/，在代码目录中执行convert_weights_from_huggingface.py脚本。 export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/ModelLink cd /home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/ModelLink # 权重格式转换 python tools/ckpt_convert/llama/convert_weights_from_huggingface.py \ --input-model-dir /home/ma-user/ws/tokenizers/llama2-13b-hf \ # 输入权重文件夹 --output-model-dir /home/ma-user/ws/weight/llama2-13b-ckpt \ #转换之后的权重输出路径 --tensor-model-parallel-size 8 \ #tp需要与训练脚本中的配置一样 --pipeline-model-parallel-size 1 \ # pp需要与训练脚本中的配置一样 --type 13B \ #模型类型（13B） --merge-mlp 权重转换完成后，在/home/ma-user/ws/weight/llama2-13b-ckpt目录下查看转换后的权重文件。 图1 转换后的权重文件

评测结果 默认情况下，评测结果会按照outputs/default/{timestamp}的目录结果保存到对应的测试工程。 单独的评测结果如下： outputs/default/20240124_155746 # 父目录 ├── configs │ └── 20240124_155746.py # 数据集的一些配置 ├── logs # 运行过程中的日志 │ ├── eval │ └── infer ├── predictions # 各个数据集的原始输入与推理结果 │ └── opencompass.models.vllm_api.VLLM_opencompass_baichuan_13b_npu ├── results # 各个数据集的分数 │ └── opencompass.models.vllm_api.VLLM_opencompass_baichuan_13b_npu └── summary # 评测结果总结 ├── summary_20240124_155746.csv └── summary_20240124_155746.txt

权重合并和转换介绍 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求在训练的环境中进行。 预训练或增量预训练产生的权重文件的合并与转换操作，请参考多卡权重合并进行操作。 LoRA微调训练产生的权重文件的合并与转换操作，请参考LoRA权重合并进行操作。 父主题： 推理前的权重合并转换

增量预训练超参配置 本章节介绍增量预训练前的超参配置，可以根据实际需要修改。 增量预训练脚本sft-llama2-13b.sh，存放在AscendCloud-3rdLLM-6.3.902-xxx/6.3.902-Ascend/llm_train/AscendSpeed/scripts/llama2目录下。训练前，可以根据实际需要修改超参配置。 微调任务配置，操作同预训练配置类似，不同点为RUN_TYPE类型不同，以及输入输出路径的配置的不同。 表1 增量预训练超参配置 参数 值 参数说明 DATA_PATH ${MA_JOB_DIR}/6.3.902-Ascend/datasets/alpaca/alpaca-ft 必填。训练时指定的输入数据路径。一般为数据地址/处理后的数据前缀名， 不加文件类型后缀。 TOKENIZER_PATH ${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf 必填。tokenizer保存地址。 SAVE_PATH $PWD/ckpt 中间保存结果，包含训练日志。 SAVE_CKPT_PATH ${SAVE_PATH}/ckpt-llama2-13b-sft 必填。训练ckpt保存地址。 MODEL_PATH ${MA_JOB_DIR}/6.3.902-Ascend/weight/llama2-13b-ckpt 必填。加载的权重文件路径。取值二选一： （推荐）上一步增量预训练权重转换章节中将HuggingFace格式转化为AscendSpeed格式的权重文件。 预训练完成后保存的权重文件，即预训练超参配置中的SAVE_CKPT_PATH值。 MASTER_ADDR=${1:-localhost} localhost 主节点IP地址，默认为localhost。 多机多卡训练时需指定主节点IP地址。 MODEL_TYPE 13B 模型加载类型。 TRAIN_ITERS 2000 训练迭代周期。根据实际需要修改。 MBS 4 流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 非必填，默认值4。 GBS 64 训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。建议单机64，双机128。 TP 8 张量并行。 PP 1 流水线并行。 seq_length 4096 要处理的最大序列长度，默认值2048，建议改为4096。 RUN_TYPE sft 训练脚本类型：pretrain、sft、loral。此处填写sft，表示增量预训练。 父主题： 增量预训练

LoRA微调超参配置 本章节介绍LoRA微调训练前的超参配置，可以根据实际需要修改。 LoRA微调训练脚本lora-llama2-13b.sh，存放在AscendCloud-3rdLLM-6.3.902-xxx/6.3.902-Ascend/llm_train/AscendSpeed/scripts/llama2/目录下。训练前，可以根据实际需要修改超参配置。 微调任务配置，操作同预训练配置类似，不同点为RUN_TYPE类型不同，以及输入输出路径的配置的不同。 表1 超参配置 参数 值 参数说明 DATA_PATH ${MA_JOB_DIR}/6.3.902-Ascend/datasets/alpaca-ft/alpaca-ft 必填。训练时指定的输入数据路径。一般为数据地址/处理后的数据前缀名，不加文件类型后缀。 TOKENIZER_PATH ${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf 必填。tokenizer保存地址。 SAVE_PATH $PWD/ckpt 中间保存结果，包含训练日志。 SAVE_CKPT_PATH ${SAVE_PATH}/ckpt-llama2-13b-lora 必填。训练ckpt保存地址。 MODEL_PATH ${MA_JOB_DIR}/6.3.902-Ascend/weight/llama2-13b-ckpt 必填。加载的权重文件路径。取值二选一： （推荐）上一步LoRA微调权重转换章节中将HuggingFace格式转化为AscendSpeed格式的权重文件。 预训练完成后保存的权重文件，即预训练超参配置中的SAVE_CKPT_PATH值。 MODEL_TYPE 13B 模型加载类型。 TRAIN_ITERS 2000 训练迭代周期。根据实际需要修改。 MBS 4 流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 非必填，默认值4。 GBS 64 训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。建议值单机64，双机128。 TP 8 张量并行。 PP 1 流水线并行。 seq_length 4096 要处理的最大序列长度，默认值2048，建议改为4096。 RUN_TYPE lora 训练脚本类型：pretrain、sft、lora。此处填写lora，表示LoRA微调训练。 父主题： LoRA微调训练

Step1 合并LoRA微调训练生成的权重文件 此步骤的目的是将LoRA微调训练时生成的SAVE_CKPT_PATH和MODEL_PATH权重文件合并在一起，形成完整的权重文件。SAVE_CKPT_PATH和MODEL_PATH的具体值参考LoRA微调超参配置。 编辑LoRA权重合并脚本文件merge_lora_llama2_ptd_13B.sh，并修改配置。该脚本存放在“${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/scripts/tools/lora”目录下。 把26-31行设置TP、PP、ORIGIN_CHECKPOINT_PATH、LORA_CHECKPOINT_PATH、VOCAB_FILE、MERGED_MODEL_SAVE_PATH移动至else外，同时设置： ORIGIN_CHECKPOINT_PATH=${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf：设置为LoRA微调超参配置章节中的MODEL_PATH值。 LORA_CHECKPOINT_PATH=${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ckpt/ckpt-llama2-13b-lora：设置为LoRA微调任务章节中的SAVE_CKPT_PATH值。 VOCAB_FILE=${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf：tokenizer文件路径。 MERGED_MODEL_SAVE_PATH=${MA_JOB_DIR}/6.3.902-Ascend/weight/llama2_13b_lora_merge/：输出合并后的权重路径。 TP=8：张量并行数，要与LORA微调时设置相同的参数。 PP=1：流水线并行数，要与LORA微调时设置相同的参数，单机建议值为1，双机建议为2。 设置执行命令。 sh scripts/tools/lora/merge_lora_llama2_ptd_13B.sh 并提交做作业。

Step2 将多个权重文件合并为一个文件并转换格式 此步骤的目的是将Step1 合并LoRA微调训练生成的权重文件中生成的多个权重文件进行合并，生成一个权重文件，并转换权重文件的格式为HuggingFace格式。 脚本convert_weights_to_huggingface.py包含了权重文件合并和转换操作，具体的脚本内容和参数解释如下。 该脚本的执行需要在${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/代码目录下进行。 python ${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/scripts/tools/ckpt_convert/llama/convert_weights_to_huggingface.py \ --input-model-dir ${ASCNEDSPEED_CKPT_PATH} \ --output-model-dir ${MERGE_CKPT_PATH} \ --src-tensor-model-parallel-size ${TENSOR-MODEL-PARALLEL-SIZE} \ --src-pipeline-model-parallel-size ${PIPELINE-MODEL-PARALLEL-SIZE} \ --type ${TYPE} \ --org-huggingface-dir ${HUGGINFGFACE_DIR} \ --merge-mlp 参数说明： ${ASCNEDSPEED_CKPT_PATH}：训练生成的AscendSpeed格式权重目录，多机多卡场景下需要把多个节点上的权重文件都放到任意一个节点的这个目录下，需要指定到含有mp_rank_xxxxxxx的目录，一般为iter_xxxxx或release。 ${MERGE_CKPT_PATH}：合并后的权重路径。 ${TENSOR-MODEL-PARALLEL-SIZE}：原始模型的TP配置大小，取值来自训练中的配置，此处需要手动输入。 ${PIPELINE-MODEL-PARALLEL-SIZE}：原始模型的PP配置大小，取值来自训练中的配置，此处需要手动输入。 ${TYPE}：原始模型参数大小，支持参数配置： 7B、13B、70B，按实际模型要求设置。 ${HUGGINFGFACE_DIR}：可选，开源HuggingFace权重目录，用于将开源权重内的配置文件，复制到转换后权重的输出目录中。 下面提供一个convert_weights_to_huggingface.py脚本的实际样例，供参考。 python ${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/scripts/tools/ckpt_convert/llama/convert_weights_to_huggingface.py \ --input-model-dir ${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ckpt/ckpt-llama2-13b-lora/iter_xxxxxxx \ --output-model-dir ${MA_JOB_DIR}/6.3.902-Ascend/weight/ckpt-llama2-13b-lora-hf \ --src-tensor-model-parallel-size 8 \ --src-pipeline-model-parallel-size 1 \ --type 13B \ --org-huggingface-dir ${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf \ --merge-mlp 日志中出现下列提示即表示合并转换完成。 Merging tp pp weight from path: {as_dir} ...... Merging weight complete!!! Converting weight to huggingface...... Converting weight to huggingface complete!!! Saving weight to path: {hf_dir} huggingface weight saved to: {hf_dir}/pytorch_model.bin Generating model index config...... model index config saved in: {hf_dir}/pytorch_model.bin.index.json Generating weight config file from: {org_hf_dir} config file copy from "{org_hf_dir}" complete!!! 转换完成后目录中的release文件夹内至少包含一个bin文件和一个bin.index.json文件，bin文件大小应和huggingface原始权重大小相似： {hf_dir} ├── pytorch_model.bin └── pytorch_model.bin.index.json 以下config文件需要指定org_huggingface_dir参数才会生成。 ├── config.json ├── generation_config.json ├── gitattributes.txt ├── LICENSE.txt ├── README.md ├── special_tokens_map.json ├── tokenizer_config.json ├── tokenizer.json ├── tokenizer.model ├── USE_POLICY.md

预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本pretrain-llama2-13b.sh，存放在AscendCloud-3rdLLM-6.3.902-xxx/llm_train/AscendSpeed/scripts/llama2目录下。训练前，可以根据实际需要修改超参配置。 表1 超参配置 参数 值 参数说明 DATA_PATH ${MA_JOB_DIR}/6.3.902-Ascend/datasets/alpaca/llama2-13B/alpaca_text_document 必填。训练时指定的输入数据路径。一般为数据地址/处理后的数据前缀名，不加文件类型后缀。 请根据实际规划修改。 TOKENIZER_PATH ${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf 必填。tokenizer保存地址。 SAVE_PATH $PWD/ckpt 中间保存结果，包含训练日志。 SAVE_CKPT_PATH ${SAVE_PATH}/ckpt-llama2-13b 必填。训练ckpt保存地址。 MODEL_TYPE 13B 模型加载类型，默认为13B。 TRAIN_ITERS 2000 训练迭代周期。根据实际需要修改。 MBS 4 流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 默认值4。 GBS 64 训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长，建议值单机64，双机128。 TP 8 张量并行。 PP 1 流水线并行。 lr 0.00015 学习率，非必填，默认值3.0e-4 RUN_TYPE pretrain 训练脚本类型：pretrain。 父主题： 预训练

创建LoRA微调训练任务 在VS Code中修改“\6.3.902-Ascend\llm_train\AscendSpeed\scripts\llama2\lora-llama2-13b.sh”脚本，修改脚本内容如下： #!/bin/bash set -ex source /usr/local/Ascend/ascend-toolkit/set_env.sh # The number of parameters is not aligned export LD_LIBRARY_PATH=/usr/local/lib:/usr/local/lib:/root/miniconda3/lib:$LD_LIBRARY_PATH # 以下环境变量和多机网络通信相关，可以在容器内使用ifconfig查看 export HCCL_CONNECT_TIMEOUT=3600 # 多机通信等待时间 export AZUREML_EXPERIMENT_ID=0 # 多机训练时，数据多机编译 export GLOO_SOCKET_IFNAME=${NCCL_SOCKET_IFNAME} # 多机之间使用gloo通信时需要指定网口名称， export TP_SOCKET_IFNAME=${NCCL_SOCKET_IFNAME} # 多机之间使用TP通信时需要指定网口名称 # 以下变量和性能优化相关 export HCCL_OP_BASE_FFTS_MODE_ENABLE=TRUE # FFTS开关 export COMBINED_ENABLE=1 # pytorch Tensor 非连续转连续 export MULTI_STREAM_MEMORY_REUSE=1 # Enable memory reuse in INF_NAN mode can reduce memory usage and achieve lossless performance # export INF_NAN_MODE_ENABLE=1 # 解决算子遇到inf和NAN问题 # model args export MODEL_TYPE=13B # learning rate args export LR=0.00001 export MIN_LR=0.000002 export TRAIN_ITERS=50 export LR_WARMUP_ITERS=2000 #训练周期 export MBS=4 export GBS=64 #训练中所有机器一个step所处理的样本量，建议单机64，双机128。 # data args PWD=`pwd` export DATASET_PATH=${MA_JOB_DIR}/6.3.902-Ascend/datasets/alpaca-ft/alpaca-ft #训练数据输入路径，不加文件类型后缀 export TOKENIZER_PATH=${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf/ #TOKENIZER存放路径 export SAVE_PATH=$PWD/ckpt #训练过程文件保存路径，包括日志 export SAVE_CKPT_PATH=${SAVE_PATH}/ckpt-llama2-13b-loral #续训完成后的权重保存目录 export MODEL_PATH=${MA_JOB_DIR}/6.3.902-Ascend/weight/llama2-13b-ckpt #预训练后的模型生成路径，断点续训时必须要有此参数。 # megatron args export TP=8 export PP=1 export SEED=1234 export RUN_TYPE=lora #表示脚本运行类型是断点续训，表示训练类型是LoRA微调训练 bash $PWD/scripts/llama2/llama2.sh 在“\6.3.902-Ascend\llm_train\AscendSpeed”路径下创建“ckpt/ckpt-llama2-13B-loral”目录，并设置为输出目录。 在“\6.3.902-Ascend\datasets\alpaca-ft”目录挂载4.2.1中的输出目录。 图1 设置输出目录 设置“tokenizers/llama2-13b-hf”目录挂载权重目录“obs://standard-llama2-13b/llama-2-13b-chat-hf/”。设置“weight/llama2-13b-ckpt”目录挂载LoRA微调权重转换的输出路径。 图2 设置输出和挂载目录 设置启动命令。 cd ${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ && bash ./scripts/llama2/lora-llama2-13b.sh 单击“提交作业”完成作业创建。 图3 提交作业

操作流程 图1 操作流程图 表1 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的，需要购买并开通ModelArts专属资源池和OBS桶。 准备数据 准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。 准备权重 准备分词器Tokenizer和推理代码。 准备代码 准备AscendSpeed训练代码。 准备镜像 准备训练和推理模型适用的容器镜像。 配置ModelArts IDE插件 本案例采用VS Code插件完成大语言模型预训练、微调以及权重的合并转化。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。 微调训练 增量预训练 介绍如何进行增量预训练。 LoRA微调训练 介绍如何进行LoRA微调训练。 推理前的权重转换 （二选一） 训练权重合并及转换 推理前，需要将预训练或增量预训练产生的多个权重文件合并为一个，并转换为HuggingFace格式。 LoRA权重合并及转换 推理前，需要将LoRA微调训练产生的多个权重文件合并为一个，并转换为HuggingFace格式。 推理部署 部署推理服务 介绍如何部署并启动推理服务。 推理性能测试 介绍如何验证推理性能，包括静态和动态benchmark。 推理精度测试 介绍如何测试推理精度，并获取评测结果。

查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量：日志里存在samples per second参数。samples per second*seq_lenth/总卡数得到tokens/s/p，seq_lenth取值在训练脚本中可以查看，本示例中为4096。单机8卡吞吐量一般为1650tokens/s/p，双机16卡吞吐量一般为1625tokens/s/p。 loss收敛情况：日志里存在lm loss参数 ，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况，如图3所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练：训练过程中的loss打印在最后一个节点上。 图3 Loss收敛情况

Step3 查看精度测试结果 默认情况下，评测结果会按照result/{service_name}/{eval_dataset}-{timestamp} 的目录结果保存到对应的测试工程。执行多少次，则会在{service_name}下生成多少次结果。 单独的评测结果如下： {eval_dataset}-{timestamp} # 例如: mmlu-20240205093257 ├── accuracy │ ├── evaluation_accuracy.xlsx # 测试的评分结果，包含各个学科数据集的评分和总和评分。 ├── infer_info │ ├── xxx1.csv # 单个数据集的评测结果 │ ├── ...... │ ├── xxxn.csv # 单个数据集的评测结果 ├── summary_result │ ├── answer_correct.xlsx # 回答正确的结果 │ ├── answer_error.xlsx # 保存回答了问题的选项，但是回答结果错误 │ ├── answer_result_unknow.xlsx # 保存未推理出结果的问题，例如超时、系统错误 │ ├── system_error.xlsx # 保存推理结果，但是可能答非所问，无法判断是否正确，需要人工判断进行纠偏。

LoRA微调权重转换 LoRA微调训练前，需要先把训练权重文件转换为AscendSpeed格式。 基于预训练或增量预训练生成的权重文件已经是AscendSpeed格式，进行LoRA微调训练时，不需要再单独做权重转换，可以跳过此章节。 基于原始HuggingFace权重进行LoRA微调训练时，需要将Huggingface格式权重转换为AscendSpeed格式。 LoRA微调训练和增量预训练使用的是同一个HuggingFace权重文件，转换为AscendSpeed格式后的结果也是通用的。如果在增量预训练任务中已经完成了HuggingFace权重转换操作，此处无需重复操作，可以直接使用增量预训练中的权重转换结果。如果前面没有执行HuggingFace权重转换任务，可以参考增量预训练权重转换章节完成。 父主题： LoRA微调训练

自定义数据 如果是用户自己准备的数据集，可以使用Ascendspeed代码仓中的转换工具将json格式数据集转换为训练中使用的.idx + .bin格式。 #示例： #1.将准备好的json格式数据集存放于6.3.902-Ascend/datasets/data目录下: data.json #2.修改转换脚本 python ${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ModelLink/tools/preprocess_data.py \ --input ${MA_JOB_DIR}/6.3.902-Ascend/datasets/data/data.json \ #需要转换的数据集路径 --output-prefix ${MA_JOB_DIR}/6.3.902-Ascend/datasets/alpaca/llama2-13B/alpaca \ #转换后存放的数据集路径 --tokenizer-type PretrainedFromHF \ --tokenizer-name-or-path ${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf \ --tokenizer-not-use-fast \ --json-keys text #3.执行完成后在 datasets文件夹中可以得到 data_text_document.idx 与data_text_document.bin 两个文件

请求服务 使用命令测试推理服务是否正常启动。 curl -X POST http://127.0.0.1:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "baichuan-13b-chat", "messages": [ { "role": "user", "content": "你是谁？" } ], "max_tokens": 100, "top_k": -1, "top_p": 1, "temperature": 0, "ignore_eos": false, "stream": false }' 服务的API与vLLM官网相同：https://github.com/vllm-project/vllm。此处介绍关键参数。 表1 请求服务参数说明 参数 是否必选 默认值 参数类型 描述 model 是 - Str 模型名称，参数--served-model-name的值。 messages 是 - LIst 请求输入的问题。 max_tokens 否 16 Int 每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为 -1 表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为 1 表示考虑所有toekns。 temperature 否 1.0 Float 控制采样的随机性的浮点数。较低的值使模型更加确定性，较高的值使模型更加随机。0表示贪婪采样。 stop 否 None None/Str/List 用于停止生成的字符串列表。返回的输出将不包含停止字符串。 例如：["你", "好"]，生成文本时遇到"你"或者"好"将停止文本生成。 stop_token_ids 否 None List 用于停止生成的token列表。返回的输出将包含停止tokens，除非停止tokens是特殊tokens。 ignore_eos 否 False Bool 是否忽略EOS tokens并继续生成EOS tokens后的tokens。False表示不忽略。 presence_penalty 否 0.0 Float 基于生成文本中新tokens是否已出现来对其进行惩罚的浮点数。大于0的值鼓励模型使用新的tokens，小于0的值鼓励模型重复使用tokens。 取值范围为[-2, 2] frequency_penalty 否 0.0 Float 基于生成文本中新tokens的频率来对其进行惩罚的浮点数。大于0的值鼓励模型使用新的tokens，小于0的值鼓励模型重复使用tokens。 取值范围为[-2, 2] skip_special_tokens 否 True Bool 是否跳过输出中的特殊tokens。默认为True，表示跳过。 stream 否 False Bool 是否开启流式推理。默认为False，表示不开启流式推理。 查看返回是否符合预期

启动服务 启动OpenAI服务器服务，具体操作命令如下，可以根据参数说明修改配置。 export ATB_LAYER_INTERNAL_TENSOR_REUSE=1 python -m vllm.entrypoints.openai.api_server --model ${container_model_path} \ --max-num-seqs=256 \ --max-model-len=4096 \ --max-num-batched-tokens=4096 \ --dtype=float16 \ --tensor-parallel-size=1 \ --block-size=128 \ --host=${docker_ip} \ --port=8080 \ --gpu-memory-utilization=0.9 \ --trust-remote-code \ --served-model-name="baichuan-13b-chat" 具体参数说明如下： --model ${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step4 获取权重文件上传的HuggingFace权重文件存放目录。 --max-num-seqs：最大同时处理的请求数，超过后拒绝访问。 --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。 --max-num-batched-tokens：prefill阶段，最多会使用多少token，必须大于或等于--max-model-len，推荐使用4096或8192。 --dtype：模型推理的数据类型，当前只支持float16。 --tensor-parallel-size：模型并行数，13B模型一般为1即可。 --block-size：PagedAttention的block大小，推荐设置为128。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为容器实际的IP地址。可以在宿主机上通过docker inspect 容器ID |grep IPAddress 命令查询。 --port：服务部署的端口，和Step4 启动容器镜像中设置的端口保持一致，否则不能在容器外访问推理服务。 --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。 --trust-remote-code：是否相信远程代码，baichuan-13b必须增加此项。 --served-model-name：模型名称。

Step5 获取训练镜像 建议使用官方提供的镜像部署训练服务。 镜像地址{image_url}为： 西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/llm_eimodelarts/llama_ascend_pytorch_2_1:0.0.1-standard swr.cn-southwest-2.myhuaweicloud.com/llm_eimodelarts/vllm-npu:0.0.1-standard

HuggingFace权重转换操作 下载Llama2-13b的预训练权重和词表文件，并上传到OBS桶对应目录下。具体下载地址请参见表1。如果已下载，忽略此步骤。 设置“tokenizers/llama2-13b-hf”目录挂载权重目录“obs://standard-llama2-13b/llama-2-13b-chat-hf/”。 图1 挂载权重目录 单击输出目录“weight/llama2-13b-ckpt/”右侧的“设为输出”完成OBS桶中文件夹的挂载。 图2 挂载OBS桶中文件夹 设置启动命令。 export PYTHONPATH=$PYTHONPATH:${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ModelLink/ && python ${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ModelLink/tools/ckpt_convert/llama/convert_weights_from_huggingface.py --input-model-dir ${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf --output-model-dir ${MA_JOB_DIR}/6.3.902-Ascend/weight/llama2-13b-ckpt --tensor-model-parallel-size 8 --pipeline-model-parallel-size 1 --type 13B --merge-mlp 单击“提交作业”完成作业创建。 待作业完成后，“设为输出”的挂载目录下查看转换后的权重文件。

Step1 获取推理代码 根据下表链接下载“ascendcloud-llmframework_6.3.902_*.tar.gz”解压获得ascend-vllm代码包，将文件夹中的vllm-dev文件夹上传至OBS中预训练权重合并及转换或LoRA微调权重合并及转换输出的模型同级目录下。 表1 准备代码 代码包名称 代码说明 下载地址 ascendcloud-llmframework_6.3.902_*.tar.gz Ascend-vllm插件 获取路径：Support网站。 说明： 如果没有下载权限，请您联系所在企业的华为方技术支持购买资源。 创建推理脚本run-vllm.sh，脚本内容如下： source /home/ma-user/.bashrc export ASCEND_RT_VISIBLE_DEVI CES =${ASCEND_RT_VISIBLE_DEVICES} export PYTHONPATH=$PYTHONPATH:/home/mind/model/vllm-dev cd /home/mind/model/vllm-dev/ python /home/mind/model/vllm-dev/vllm/entrypoints/api_server.py --model="${model_path}" --ssl-keyfile="/home/mind/model/key.pem" --ssl-certfile="/home/mind/model/cert.pem" --tensor-parallel-size 1 --gpu-memory-utilization 0.95 --max-model-len=4096 --trust-remote-code --dtype="float16" --host=0.0.0.0 --port=8080 并将推理脚本上传至OBS中预训练权重合并及转换或LoRA微调权重合并及转换输出的模型同级目录下。 参数说明： ${ASCEND_RT_VISIBLE_DEVICES} 使用的NPU卡，单卡设为0即可，4卡可设为：0,1,2,3。 ${model_path} 模型路径，填写为'/home/mind/model/权重文件夹名称'，如：'home/mind/model/llama2-13b-sft-hf'。 --tensor-parallel-size并行卡数。 --hostname服务部署的IP，使用本机IP 0.0.0.0。 --port服务部署的端口。 推理启动脚本必须名为run_vllm.sh，不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 通过openssl创建ssl pem证书，并上传至OBS桶。 以预训练权重合并及转换为例，在转换后的模型目录“obs://standard-llama2-13b/code/outputs/job-name”上传上述文件后，结果如下： 图1 上传ssl pem证书

创建训练任务 在VS Code中修改“\6.3.902-Ascend\llm_train\AscendSpeed\scripts\llama2\sft-llama2-13b.sh”脚本，修改脚本内容如下： #!/bin/bash set -ex source /usr/local/Ascend/ascend-toolkit/set_env.sh # The number of parameters is not aligned export LD_LIBRARY_PATH=/usr/local/lib:/usr/local/lib:/root/miniconda3/lib:$LD_LIBRARY_PATH # 以下环境变量和多机网络通信相关，可以在容器内使用ifconfig查看 export HCCL_CONNECT_TIMEOUT=3600 # 多机通信等待时间 export AZUREML_EXPERIMENT_ID=0 # 多机训练时，数据多机编译 export GLOO_SOCKET_IFNAME=${NCCL_SOCKET_IFNAME} # 多机之间使用gloo通信时需要指定网口名称， export TP_SOCKET_IFNAME=${NCCL_SOCKET_IFNAME} # 多机之间使用TP通信时需要指定网口名称 # 以下变量和性能优化相关 export HCCL_OP_BASE_FFTS_MODE_ENABLE=TRUE export COMBINED_ENABLE=1 export MULTI_STREAM_MEMORY_REUSE=1 # export INF_NAN_MODE_ENABLE=1 # model args export MODEL_TYPE=13B #模型加载类型 # learning rate args export LR=0.00001 export MIN_LR=0.000003 export TRAIN_ITERS=100 #训练迭代周期 export LR_WARMUP_ITERS=2000 export MBS=4 #流水线并行中一个micro batch所处理的样本量 export GBS=64 #训练中所有机器一个step所处理的样本量，建议单机64，双机128。 # data args PWD=`pwd` export DATASET_PATH=${MA_JOB_DIR}/6.3.902-Ascend/datasets/alpaca-ft/alpaca-ft #预处理后的数据地址：*注意：一般为数据地址/数据前缀名 export TOKENIZER_PATH=${MA_JOB_DIR}/6.3.902-Ascend/tokenizers/llama2-13b-hf/ #tokeneizer地址 export SAVE_PATH=$PWD/ckpt #中间保存结果 包含日志 export SAVE_CKPT_PATH=${SAVE_PATH}/ckpt-llama2-13b-sft #训练ckpt保存地址 export MODEL_PATH=${MA_JOB_DIR}/6.3.902-Ascend/weight/llama2-13b-ckpt #增量预训练权重加载地址 # megatron args export TP=8 #张量并行 export PP=1 #流水线并行 export SEED=1234 export RUN_TYPE=sft #训练类型：pretrain、sft、loral，sft表示训练类型是增量预训练 bash $PWD/scripts/llama2/llama2.sh 在“\6.3.902-Ascend\llm_train\AscendSpeed”路径下创建“ckpt/ckpt-llama2-13B-sft”目录，并设置为输出目录。 在“\6.3.902-Ascend\datasets\alpaca-ft”目录挂载4.1.1中的输出目录。 设置“tokenizers/llama2-13b-hf”目录挂载权重目录“obs://standard-llama2-13b/llama-2-13b-chat-hf/”。设置“weight/llama2-13b-ckpt”目录挂载增量预训练权重转换的输出路径。 图1 设置输出和挂载目录 设置启动命令如下。 cd ${MA_JOB_DIR}/6.3.902-Ascend/llm_train/AscendSpeed/ && bash scripts/llama2/sft-llama2-13b.sh 单击“提交作业”完成作业创建。 图2 提交作业

自定义数据 用户也可以自行准备训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称，默认为text。在维基百科数据集中，它有四列，分别是id、url、title和text。可以指定–json-key标志来选择用于训练的列。 { 'id': '1', 'url': 'https://simple.wikipedia.org/wiki/April', 'title': 'April', 'text': 'April is the fourth month...' }

Alpaca数据 Alpaca是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优，使语言模型更好地遵循指令。 预训练数据集下载：https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56.parquet，数据大小：24M左右。 增量预训练、LoRA微调训练数据集下载： http://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json，数据大小：22M左右。

准备数据集 准备数据集，例如根据Alpaca数据部分给出的预训练数据集、增量预训练、LoRA微调训练数据集下载链接下载数据集。 参考OBS文档在准备OBS桶创建的桶下创建文件夹用以存放数据，例如在桶standard-llama2-13b中创建文件夹alpaca。 参考文档利用OBS-Browser-Plus工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构： obs://standard-llama2-13b/alpaca/llama2-13B/ ├── alpaca_data.json ├── train-00000-of-00001-a09b74b3ef9c3b56.parquet