检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时，生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_ITERS//SAVE_INTERVAL+1
overwrite_output_dir: true ### train per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 2.0e-5 num_train_epochs: 10.0 lr_scheduler_type:
设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数，根据实际需要修改。 SAVE_INTERVAL 1000 【可选】用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时，生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_I
保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_ITERS//SAVE_INTERVAL+1 SN 5120 指定的输入数据集中数据的总数量。更换数据集时，需要修改。
练代码AscendCloud-LLM-xxx.zip，并直接进入到llm_train/AscendFactory文件夹下面 cd ./llm_train/AscendFactory 编辑llm_train/AscendFactory中的Dockerfile文件，修改git命令，填写自己的git账户信息。
loud-LLM/llm_train/AscendSpeed 编辑llm_train/AscendFactoryry中的Dockerfile文件，修改git命令，填写自己的git账户信息。 git config --global user.email "you@example.com"
图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendFactory; sh ./scripts_modellink/install.sh; sh ./scripts_mode
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算，则前向时qkv没有梯度，如果需要关闭重计算，可以在yaml配置 `disable_gradient_checkpointing: true` 关闭，但显存占用会直线上升。 attn
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注
数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/finetune/moss_LossCompare.jsonl
可调整参数：SEQ_LEN要处理的最大的序列长度（seq-length），参数值过大很容易发生显存溢出的错误。 可添加参数：在3_training.sh文件中添加开启重计算的参数。其中recompute-num-layers的值为模型网络中num-layers的参数值。 --
128 24 chatglm3-6b 1 64 1 128 25 glm-4-9b 1 32 1 128 26 baichuan2-7b 1 8 1 32 27 baichuan2-13b 2 4 1 4 28 yi-6b 1 64 1 128 29 yi-9b 1 32 1 64
https://github.com/hpcaitech/ColossalAI.git cd ColossalAI git checkout v0.4.7 cd .. 把Videosys ColossaiAI 需要的代码移到diffusers里面。 cp VideoSys/vide
4096]). 需要在训练开始前，修改llm_train/AscendFactory/yi/3_training.sh文件，并添加--tokenizer-not-use-fast参数。修改后如图1所示。 图1 修改Yi模型3_training.sh文件 ChatGLMv3-6B 在
io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring
RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/llm_train/AscendS
模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/llm_train/AscendSpeed/training_data/pretrain/train-00000-of-00001-a09b74b3ef9c3b56
可调整参数：SEQ_LEN要处理的最大的序列长度（seq-length），参数值过大很容易发生显存溢出的错误。 可添加参数：在3_training.sh文件中添加开启重计算的参数。其中recompute-num-layers的值为模型网络中num-layers的参数值。 --
py脚本进行权重转换生成量化系数，详细参数解释请参见https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/llama#int8-kv-cache。 python convert_checkpoint.py \ --model_dir
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
