检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多模态模型推理性能测试 benchmark方法介绍 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx
多模态模型推理性能测试 benchmark方法介绍 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx
service [Unit] Description=buildkitd After=network.target [Service] ExecStart=/usr/local/buildkit/bin/buildkitd [Install] WantedBy=multi-user
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
/scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
/scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 若镜像使用ECS中构建新镜像和Notebook中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
/scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
/scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
/scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 若镜像使用ECS中构建新镜像和Notebook中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 若镜像使用ECS中构建新镜像和Notebook中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
附录：微调训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
