华为云用户手册

数据处理具体操作 SFT全参微调数据处理具体操作步骤如下。 创建处理后的数据存放目录/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/ cd /home/ma-user/ws/ #进入容器工作目录 mkdir -p processed_for_ma_input/Llama2-70B/data/finetune 进入代码目录“/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/”，在代码目录中执行preprocess_data.py脚本处理数据。 此处提供一段实际的数据处理代码示例如下。 #进入到ModelLink目录下，xxx-Ascend请根据实际目录替换。 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/ #加载ascendspeed及megatron模型 export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink #执行以下命令 python ./tools/preprocess_data.py \ --input /home/ma-user/ws/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \ --tokenizer-name-or-path /home/ma-user/ws/tokenizers/Llama2-70B \ --output-prefix /home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/alpaca_ft \ --workers 8 \ --log-interval 1000 \ --tokenizer-type PretrainedFromHF \ --handler-name GeneralInstructionHandler \ --append-eod 数据处理完后，在/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/目录下生成转换后的数据文件。

数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data.py存放在xxx-Ascend/llm_train/AscendSpeed/ModelLink/tools目录中，脚本具体内容如下。xxx-Ascend请根据实际目录替换。 #加载ascendspeed及megatron模型 export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink #进入ModelLink目录 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink python ./tools/preprocess_data.py \ --input /home/ma-user/ws/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \ --tokenizer-name-or-path $TOKENIZER_PATH \ --output-prefix $DATASET_PATH\ --tokenizer-type PretrainedFromHF \ --workers 8 \ --handler-name GeneralInstructionHandler \ --log-interval 1000 \ --append-eod 参数说明： - input：SFT全参微调数据的存放路径。 - output-prefix：处理后的数据集保存路径+数据集名称前缀（例如：alpaca_ft）。 - tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'， 'BertWordPieceCase'，'GPT2BPETokenizer'， 'PretrainedFromHF']，设置为PretrainedFromHF。 - tokenizer-name-or-path：tokenizer的存放路径。 - handler-name：生成数据集的用途，这里是生成的指令数据集，用于微调。 - workers：数据处理线程数。 -append-eod：用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列结束，可以帮助模型更好地理解和处理长序列。 - log-interval：输出处理日志刷新间隔。 输出结果 alpaca_ft_packed_attention_mask_document.bin alpaca_ft_packed_attention_mask_document.idx alpaca_ft_packed_input_ids_document.bin alpaca_ft_packed_input_ids_document.idx alpaca_ft_packed_labels_document.bin alpaca_ft_packed_labels_document.idx

下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56.parquet 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。

查看日志 训练过程中，训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${SAVE_PATH}/logs路径下获取。日志存放路径为{work_dir}/saved_dir_for_ma_output/Llama2-70B/logs，本实例日志路径为/home/ma-user/ws/saved_dir_for_ma_output/Llama2-70B/logs

查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：global batch size*seq_length/（总卡数*elapsed time per iteration）*1000，其参数在日志里可找到，默认seq_len值为4096。Llama2-70B默认global batch size为1024，具体参数查看表1 中GBS值；其global batch size（GBS）、seq_len（SEQ_LEN）为训练时设置的参数。 loss收敛情况：日志里存在lm loss参数 ，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练：训练过程中的loss打印在最后一个节点上。 图2 Loss收敛情况（示意图）

断点续训练操作过程 Llama2-70B的断点续训脚本llama2.sh，存放在“xxx-Ascend/llm_train/AscendSpeed/scripts/llama2”目录下。 执行命令如下，进入AscendSpeed代码目录。xxx-Ascend请根据实际目录替换。 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ 修改断点续训练参数。断点续训前，需要在原有训练参数配置表1中新加“MODEL_PATH”参数，并修改“TRAIN_ITERS”参数和“RUN_TYPE”参数。 表1 断点续训练修改参数 参数 参考值 参数说明 MODEL_PATH /home/ma-user/ws/saved_dir_for_ma_output/Llama2-70B/pretrain 必填。加载上一步预训练后保存的权重文件。 请根据实际规划修改。 TRAIN_ITERS 300 必填。表示训练周期，必须大于上次保存训练的周期次数。 RUN_TYPE retrain 必填。训练脚本类型，retrain表示断点续训练。 在AscendSpeed代码目录下执行断点续训练脚本。 多机启动 以Llama2-70B为例，多台机器执行训练启动命令如下。多机启动需要在每个节点上执行，以8机为例。 #第一台节点 MASTER_ADDR=xx.xx.xx.xx NNODES=8 NODE_RANK=0 MODEL_TYPE=70B RUN_TYPE=retrain DATASET_PATH=/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca_text_document TOKENIZER_PATH=/home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model MODEL_PATH=/home/ma-user/ws/saved_dir_for_ma_output/Llama2-70B/pretrain TRAIN_ITERS=300 MBS=2 GBS=1024 TP=8 PP=8 WORK_DIR=/home/ma-user/ws sh scripts/llama2/llama2.sh # 第二台节点 MASTER_ADDR=xx.xx.xx.xx NNODES=8 NODE_RANK=1 MODEL_TYPE=70B RUN_TYPE=retrain DATASET_PATH=/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca_text_document TOKENIZER_PATH=/home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model MODEL_PATH=/home/ma-user/ws/saved_dir_for_ma_output/Llama2-70B/pretrain TRAIN_ITERS=300 MBS=2 GBS=1024 TP=8 PP=8 WORK_DIR=/home/ma-user/ws sh scripts/llama2/llama2.sh ... ... # 第八台节点 MASTER_ADDR=xx.xx.xx.xx NNODES=8 NODE_RANK=7 MODEL_TYPE=70B RUN_TYPE=retrain DATASET_PATH=/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca_text_document TOKENIZER_PATH=/home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model MODEL_PATH=/home/ma-user/ws/saved_dir_for_ma_output/Llama2-70B/pretrain TRAIN_ITERS=300 MBS=2 GBS=1024 TP=8 PP=8 WORK_DIR=/home/ma-user/ws sh scripts/llama2/llama2.sh 以上命令多台机器执行时，只有NODE_RANK的节点ID不同，其他参数都保持一致。 其中MASTER_ADDR、 NODE_RANK、 NODE_RANK、MODEL_TYPE 、RUN_TYPE、DATASET_PATH、TOKENIZER_PATH、MODEL_PATH为必填；TRAIN_ITERS、MBS、GBS、 TP、PP、WORK_DIR为非必填，有默认值。 单机启动 对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可，可以选用单机启动，以Llama2-13B为例。 进入代码目录/home/ma-user/ws/llm_train/AscendSpeed下执行启动脚本，先修改以下命令中的参数，再复制执行。 #非必填参数，有默认值 MBS=4 \ GBS=64 \ TP=8 \ PP=1 \ TRAIN_ITERS=200 \ WORK_DIR=/home/ma-user/ws \ #必填参数 MODEL_TYPE=13B \ RUN_TYPE=retrain \ DATASET_PATH=/home/ma-user/ws/processed_for_ma_input/Llama2-13B/data/pretrain/alpaca_text_document \ TOKENIZER_PATH=/home/ma-user/ws/tokenizers/Llama2-13B/tokenizer.model \ MODEL_PATH=/home/ma-user/ws/saved_dir_for_ma_output/Llama2-13B/pretrain \ sh scripts/llama2/llama2.sh 图1 保存的ckpt 训练完成后，参考查看日志和性能操作，查看断点续训练日志和性能。

Step2 启动训练脚本 请根据表1修改超参值后，再启动训练脚本。Llama2-70B建议为8机64卡训练。 多机启动 以Llama2-70B为例，多台机器执行训练启动命令如下。多机启动需要在每个节点上执行。 进入代码目录/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed下执行启动脚本。xxx-Ascend请根据实际目录替换。 #第一台节点 MASTER_ADDR=xx.xx.xx.xx NNODES=8 NODE_RANK=0 MODEL_TYPE=70B RUN_TYPE=pretrain DATASET_PATH=/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca_text_document TOKENIZER_PATH=/home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model TRAIN_ITERS=200 MBS=2 GBS=1024 TP=8 PP=8 WORK_DIR=/home/ma-user/ws sh scripts/llama2/llama2.sh # 第二台节点 MASTER_ADDR=xx.xx.xx.xx NNODES=8 NODE_RANK=1 MODEL_TYPE=70B RUN_TYPE=pretrain DATASET_PATH=/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca_text_document TOKENIZER_PATH=/home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model TRAIN_ITERS=200 MBS=2 GBS=1024 TP=8 PP=8 WORK_DIR=/home/ma-user/ws sh scripts/llama2/llama2.sh ... ... # 第八台节点 MASTER_ADDR=xx.xx.xx.xx NNODES=8 NODE_RANK=7 MODEL_TYPE=70B RUN_TYPE=pretrain DATASET_PATH=/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca_text_document TOKENIZER_PATH=/home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model TRAIN_ITERS=200 MBS=2 GBS=1024 TP=8 PP=8 WORK_DIR=/home/ma-user/ws sh scripts/llama2/llama2.sh 以上命令多台机器执行时，只有${NODE_RANK}的节点ID值不同，其他参数都保持一致； 其中MASTER_ADDR、 NODE_RANK、 NODE_RANK、MODEL_TYPE 、RUN_TYPE、DATASET_PATH、TOKENIZER_PATH为必填；TRAIN_ITERS、MBS、GBS、 TP、PP、WORK_DIR为非必填，有默认值。 单机启动 对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可，可以选用单机启动，以Llama2-13B为例。 进入代码目录/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed下，先修改以下命令中的参数，再复制执行。xxx-Ascend请根据实际目录替换。 #必填参数 MODEL_TYPE=13B \ RUN_TYPE=pretrain \ DATASET_PATH=/home/ma-user/ws/processed_for_ma_input/Llama2-13B/data/pretrain/alpaca_text_document \ TOKENIZER_PATH=/home/ma-user/ws/tokenizers/Llama2-13B/tokenizer.model \ #非必填参数，有默认值 MBS=4 \ GBS=64 \ TP=8 \ PP=1 \ TRAIN_ITERS=200 \ WORK_DIR=/home/ma-user/ws \ sh scripts/llama2/llama2.sh 等待模型载入 执行训练启动命令后，等待模型载入，当出现“training”关键字时，表示开始训练。训练过程中，训练日志会在最后的Rank节点打印。 图1 等待模型载入 更多查看训练日志和性能操作，请参考查看日志和性能章节。 如果需要使用断点续训练能力，请参考断点续训练章节修改训练脚本。

Step1 配置预训练超参 预训练脚本llama2.sh，存放在“xxx-Ascend/llm_train/AscendSpeed/scripts/llama2”目录下。训练前，可以根据实际需要修改超参配置。 表1 预训练超参配置 参数 示例值 参数说明 DATASET_PATH /home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca_text_document 必填。训练时指定的输入数据路径。一般为数据地址/处理后的数据前缀名，不加文件类型后缀。 请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model 必填。加载tokenizer时，tokenizer存放地址。 请根据实际规划修改。 MODEL_TYPE 70B 必填。表示模型加载类型，根据实际填写7B、13B或70B。 TRAIN_ITERS 200 非必填。表示训练迭代周期，根据实际需要修改。 MBS 2 非必填。表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。默认值为2。取值默认值如下： Llama2-7B：4 Llama2-13B：4 Llama2-70B：2 GBS 1024 非必填。表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。取值默认值： Llama2-7B：64 Llama2-13B：64 Llama2-70B：1024 TP 8 非必填。表示张量并行。默认值为8，取值建议： Llama2-7B：8 Llama2-13B：8 Llama2-70B：8 PP 8 非必填。表示流水线并行。默认值为8，取值建议： Llama2-7B：1，一般此值与训练节点数相等。 Llama2-13B：1，一般此值与训练节点数相等。 Llama2-70B：大于等于4，建议值为8，一般选用几台机器训练则值为几。 RUN_TYPE pretrain 必填。表示训练类型，根据实际训练任务类型选择。取值说明： pretrain：表示预训练 retrain：表示断点续训 sft：表示SFT微调训练 lora：表示LoRA微调训练 MASTER_ADDR xx.xx.xx.xx 多机必填，单机忽略；指定主节点IP地址，多台机器中需要指定一个节点IP为主节点IP。 一般指定第一个节点IP为主节点IP。 NNODES 8 多机必填，单机忽略；节点总数，单机写1，双机写2，8机写8。 NODE_RANK 0 多机必填，单机忽略；节点序号，当前节点ID，一般从0开始，单机默认是0。以8机训练为例，节点ID依次为（0 1 2 3 4 5 6 7）；一般ID为0的节点设置为主节点IP。 WORK_DIR /home/ma-user/ws 非必填。容器的工作目录。训练的权重文件保存在此路径下。默认值为：/home/ma-user/ws。

Alpaca数据处理操作步骤 Alpaca数据处理具体操作步骤如下： 创建数据处理后的输出目录/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/。 cd /home/ma-user/ws/ #进入容器工作目录 mkdir -p processed_for_ma_input/Llama2-70B/data/pretrain 将获取到的Alpaca预训练数据集传到上一步创建的目录中。如还未下载数据集，请参考准备数据获取。 进入“/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/”目录，在代码目录中执行preprocess_data.py脚本处理数据。 此处提供一段实际的数据处理代码示例如下。 #加载ascendspeed及megatron模型，xxx-Ascend请根据实际目录替换 export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink #进入到ModelLink目录下： cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/ #执行以下命令： python ./tools/preprocess_data.py \ --input /home/ma-user/ws/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \ --tokenizer-name-or-path /home/ma-user/ws/tokenizers/Llama2-70B \ --output-prefix /home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca \ --workers 8 \ --log-interval 1000 \ --tokenizer-type PretrainedFromHF 数据处理完后，在/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/目录下生成alpaca_text_document.bin和alpaca_text_document.idx文件。 图1 处理后的数据

自定义数据 如果是用户自己准备的数据集，可以使用Ascendspeed代码仓中的转换工具将json格式数据集转换为训练中使用的.idx + .bin格式。 #示例： #1.将准备好的json格式数据集存放于/home/ma-user/ws/training_data目录下: 如data.json #2.运行转换脚本 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/ #加载ascendspeed及megatron模型，xxx-Ascend请根据实际目录替换 export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink python ./tools/preprocess_data.py \ --input {work_dir}/training_data/data.json \ --tokenizer-name-or-path {work_dir}/tokenizers/Llama2-70B \ --output-prefix {work_dir}/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca \ --workers 8 \ --log-interval 1000 \ --tokenizer-type PretrainedFromHF #3.执行完成后在 datasets文件夹中可以得到 data_text_document.idx 与data_text_document.bin 两个文件

Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中，以Llama2-70B为例， 脚本具体内容如下。 #进入到ModelLink目录下，xxx-Ascend请根据实际目录替换 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink #加载ascendspeed及megatron模型 export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink #数据预处理 python ./tools/preprocess_data.py \ --input {work_dir}/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \ --tokenizer-name-or-path {work_dir}/tokenizers/Llama2-70B \ --output-prefix {work_dir}/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca \ --workers 8 \ --log-interval 1000 \ --tokenizer-type PretrainedFromHF 参数说明： ${work_dir}的路径指容器工作路径：如/home/ma-user/ws/ 。 - input：原始数据集的存放路径 - output-prefix：处理后的数据集保存路径+数据集名称前缀（例如: alpaca） - tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。 - tokenizer-name-or-path：tokenizer的存放路径 -workers：设置数据处理使用执行卡数量 -log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出 数据预处理后输出的训练数据如下： alpaca_text_document.bin alpaca_text_document.idx 训练的时指定的数据路径为${path}/alpaca/llama2-70B/alpaca_text_document， 不加文件类型后缀。

Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 container_work_dir="/home/ma-user/ws" # 容器内挂载的目录 work_dir="/home/ma-user/ws" # 宿主机挂载目录，存放了代码、数据、权重 container_name="ascendspeed" # 启动的容器名称 image_name="${container_name} " # 启动的镜像ID docker run -itd \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ --cpus 192 \ --memory 1000g \ --shm-size 200g \ --net=host \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ $image_name \ /bin/bash 参数说明： --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如ascendspeed。 -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 ${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。 通过容器名称进入容器中。 docker exec -it ${container_name} bash 启动容器时默认用户为ma-user用户。如果需要切换到root用户可以执行以下命令： sudo su source /home/ma-user/.bashrc 如果继续使用ma-user，在使用其他属组如root用户上传的数据和文件时，可能会存在权限不足的问题，因此需要执行如下命令统一文件属主。 sudo chown -R ma-user:ma-group ${container_work_dir} # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录 例如： sudo chown -R ma-user:ma-group /home/ma-user/ws 安装依赖包。 #进入scripts目录，xxx为包版本，请按照实际情况替换 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/scripts #执行安装命令 pip install -r requirements.txt

镜像地址 本教程中用到的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础镜像地址 镜像用途 镜像地址 基础镜像（训练和推理通用） 西南-贵阳一：swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 本文档兼容cann_7.0.1.1和cann_8.0.rc1的镜像，推荐使用较新版本的cann_8.0.rc1镜像。 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc1 PyTorch pytorch_2.1.0

Step1 检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward

上传数据到指定目录 将下载的原始数据存放在/home/ma-user/ws/training_data目录下。具体步骤如下： 进入到/home/ma-user/ws/目录下。 创建目录“training_data”，并将原始数据放置在此处。 mkdir training_data 数据存放参考目录结构如下： ${workdir} #工作目录，例如/home/ma-user/ws |── training_data |── train-00000-of-00001-a09b74b3ef9c3b56.parquet #训练原始数据集

Alpaca数据 本教程使用到的训练数据集是Alpaca数据集。Alpaca是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优，使语言模型更好地遵循指令。 训练数据集下载：https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56.parquet，数据大小：24M左右。

自定义数据 用户也可以自行准备训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称，默认为text。在维基百科数据集中，它有四列，分别是id、url、title和text。可以指定–json-key 标志来选择用于训练的列。 { 'id': '1', 'url': 'https://simple.wikipedia.org/wiki/April', 'title': 'April', 'text': 'April is the fourth month...' }

权重和词表文件介绍 下载完毕后的HuggingFace原始权重文件包含以下内容，此处以Llama2-70B为例，仅供参考，以实际下载的最新文件为准。 llama2-70B ├── config.json |── generation_config.json |── gitattributes.txt |── LICENSE.txt |── Notice.txt |── pytorch_model-00001-of-00015.bin |── pytorch_model-00002-of-00015.bin |── pytorch_model-00003-of-00015.bin |── ... |── pytorch_model-00015-of-000015.bin |── pytorch_model.bin.index.json |── README.md |── special_tokens_map.json |── tokenizer_config.json |── tokenizer.json |── tokenizer.model └── USE_POLICY.md

上传代码到工作环境 使用root用户以SSH的方式登录DevServer。 将AscendSpeed代码包AscendCloud-3rdLLM-xxx.zip上传到${workdir}目录下并解压缩，如：/home/ma-user/ws目录下，以下都以/home/ma-user/ws为例。 unzip AscendCloud-3rdLLM-*.zip #解压缩 上传tokenizers文件到工作目录中的/home/ma-user/ws/tokenizers/Llama2-{MODEL_TYPE}目录，如Llama2-70B。 具体步骤如下： 进入到${workdir}目录下，如：/home/ma-user/ws，创建tokenizers文件目录将权重和词表文件放置此处，以Llama2-70B为例。 cd /home/ma-user/ws mkdir -p tokenizers/Llama2-70B

代码目录介绍 AscendCloud-3rdLLM代码包结构介绍如下： xxx-Ascend #xxx表示版本号 |──llm_evaluation #推理评测代码包 |──benchmark_eval #精度评测 |──benchmark_tools #性能评测 |──llm_train #模型训练代码包 |──AscendSpeed #基于AscendSpeed的训练代码 |──AscendSpeed #加速库 |──ModelLink #基于ModelLink的训练代码 |──scripts/ #训练需要的启动脚本 本教程需要使用到的训练相关代码存放在llm_train/AscendSpeed目录下，具体文件介绍如下： |──llm_train #模型训练代码包 |──AscendSpeed #基于AscendSpeed的训练代码 |──AscendSpeed #加速库 |──ModelLink #基于ModelLink的训练代码，数据预处理脚本 |──scripts/ #训练需要的启动脚本，调用ModelLink |──llama2 #llama2的训练代码 |──llama2.sh #llama2训练脚本

工作目录介绍 工作目录结构如下，以下样例以Llama2-70B为例，请根据实际模型命名，Llama2-7B、Llama2-13B或Llama2-70B。 ${workdir} #工作目录，例如/home/ma-user/ws |──llm_train |── AscendSpeed #代码目录 |── AscendSpeed #训练依赖的三方模型库 |── ModelLink #AscendSpeed代码目录 |── scripts/ #训练启动脚本 # 数据目录结构 |── processed_for_ma_input |── Llama2-70B |── data #预处理后数据 |── pretrain #预训练加载的数据 |── finetune #微调加载的数据 |──converted_weights #HuggingFace格式转换magatron格式后权重文件 |── saved_dir_for_ma_output #训练输出保存权重，根据实际训练需求设置 |── Llama2-70B |── logs #训练过程中日志（loss、吞吐性能） |── lora #lora微调输出权重 |── sft #增量训练输出权重 |── pretrain #预训练输出权重 |── tokenizers #原始权重及tokenizer目录 |── Llama2-70B |── training_data #原始数据目录 |── train-00000-of-00001-a09b74b3ef9c3b56.parquet #原始数据文件

获取数据及代码 表1 准备代码 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6.3.904-xxx.zip 说明： 包名中的xxx表示具体的时间戳，以包名的实际时间为准。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见代码目录介绍。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E网站。 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 权重和词表文件 包含了本教程使用到的HuggingFace原始权重文件和Tokenizer。 标记器(Tokenizer)是NLP管道的核心组件之一。它们有一个目的：将文本转换为模型可以处理的数据。模型只能处理数字，因此标记器(Tokenizer)需要将文本输入转换为数字数据。 llama-2-7b-hf llama-2-13b-chat-hf llama-2-70b-chat-hf 这个路径下既有权重，也有Tokenizer，全部下载。具体内容参见权重和词表文件介绍。 本文档前向兼容AscendCloud-3rdLLM-6.3.T041版本，获取路径：Support网站。

资源规格要求 计算规格：对于Llama2-7B和Llama2-13B单机训练需要使用单机8卡，多机训练需要使用2机16卡。对于Llama2-70B至少需要4机32卡才能训练，建议使用8机64卡执行训练相关任务。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。 Ascend: 8*ascend-snt9b表示Ascend 8卡。

方案概览 本文档利用训练框架Pytorch_npu+华为自研Ascend Snt9b硬件，为用户提供了开箱即用的预训练和全量微调方案。 本文档以Llama2-70B为例，同时适用于Llama2-7B、Llama2-13B。模型运行环境是ModelArts Lite的DevServer。 本方案目前配套的是AscendCloud-3rdLLM系列版本，仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。

操作流程 图1 操作流程图 表1 操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调。 LoRA微调训练 介绍如何进行LoRA微调训练。 推理前的权重转换 - 模型训练完成后，可以将训练产生的权重文件用于推理。推理前参考本章节，将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 如果无推理任务或者使用开源Huggingface权重文件进行推理，可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。

购买弹性 云服务器ECS 如果您需要在服务器上部署相关业务，较之物理服务器，弹性云服务器的创建成本较低，并且可以在几分钟之内快速获得基于云服务平台的弹性云服务器设施，并且这些基础设施是弹性的，可以根据需求伸缩。下面介绍如何在管理控制台购买弹性云服务器。 购买流程： 步骤一：基础配置 步骤二：网络配置 步骤三：高级配置 步骤四：确认订单 购买时需注意，E CS 需要和SFS买到同一个VPC才能挂载SFS存储。

WAF可以防护使用HSTS策略/NTLM代理认证访问的网站吗？ 可以。WAF支持防护HTTP/HTTPS协议业务。 网站选择使用HSTS（HTTP Strict Transport Security，HTTP严格传输安全协议）策略后，会强制要求客户端（如浏览器）使用HTTPS协议与网站进行通信，以减少会话劫持风险。配置HSTS策略的网站使用的是HTTPS协议，WAF可以防护。 NTLM（New Technology LAN Manager，Windows NT LAN管理器）代理是Windows平台下HTTP代理的一种认证方式，其认证方式与Windows远程登录的认证方式是一样的，客户端（如浏览器）和代理之前需要三次握手才开始传递信息。 对于客户端（如浏览器）和代理之前使用NTLM认证的业务，WAF可以防护。 WAF支持云模式-CNAME接入、云模式-ELB接入和独享模式三种部署模式，各部署模式支持防护的对象说明如下： 云模式-CNAME接入： 域名 ，华为云、非华为云或云下的Web业务 云模式-ELB接入：域名或IP，华为云的Web业务 独享模式：域名或IP，华为云的Web业务 有关云模式、独享模式的应用场景和差异的详细说明，请参见服务版本差异。 父主题： 产品咨询

WAF获取真实IP是从报文中哪个字段获取到的? WAF引擎会根据防护规则确定是否代理转发请求去后端，如果WAF配置了基于IP的规则（比如黑白名单、地理位置、基于IP的精准访问防护规则），那么WAF引擎就会获取真实IP后才能放行或者拦截代理请求。获取真实IP的方法基于以下原则： 在WAF中开启了代理，即添加域名时，“是否已使用代理”选择了“四层代理”或“七层代理”，按以下顺序获取源IP： 优先取“upstream”中配置的源IP头列表，即在域名的基本信息页面配置的“IP标记”，具体的操作请参见配置攻击惩罚的流量标识。如果未取到，执行2。 如果想以TCP连接IP作为客户端IP，“IP标记”应配置为“remote_addr”。 取config中配置的源IP头列表“cdn-src-ip”字段对应的值，未取到，执行3。 取“x-real-ip”字段的值，未取到，执行4。 取“x-forwarded-for”字段左边开始第一个公网IP，未取到，执行5。 取WAF看到的TCP连接IP，“remote_addr”字段对应的值。 在WAF中未开启代理，即添加域名时，“是否已使用代理”选择了“无代理”，直接取“remote_ip”字段的值为真实IP。 获取客户端的真实IP的具体方法，详见获取客户端真实IP。 父主题： 防护日志

Web应用防火墙 支持对哪些对象进行防护？ WAF支持对域名或IP进行防护，相关说明如下： 云模式的CNAME接入只能基于域名进行防护 在WAF中配置的源站IP只支持公网IP。例如，源站服务器部署了华为云弹性负载均衡（Elastic Load Balance，简称ELB）时，只要ELB（经典型、共享型或独享型）有公网IP，云模式就可以对域名进行防护。 独享模式和云模式的ELB接入可以对域名或IP进行防护 父主题： 产品咨询

如何获取拦截的数据？ 通过Web应用防火墙服务可下载5天内的所有防护域名的仅记录和拦截的攻击事件数据，当天的防护事件数据，在次日凌晨生成防护事件数据的CSV文件。 在“安全总览”页面，您可以查看昨天、今天、3天、7天、30天或自定义30天任意时间段内所有防护网站或所有实例以及指定防护网站或实例的防护日志。包括请求与各攻击类型统计次数，QPS、带宽、响应码信息，以及事件分布、受攻击域名 Top5、攻击源IP Top5、受攻击URL Top5、攻击来源区域 Top5和业务异常监控 Top5等防护数据。 可参照下载防护事件数据章节获取拦截数据。 父主题： 防护日志