检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/ 执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone，请确保机器环境可以访问公网。
启动命令：直接运行启动脚本文件diffusers_finetune_train.sh。 sh /home/ma-user/sdxl-train/user-job-dir/code/diffusers_finetune_train.sh 本地代码目录：保持默认即可。
/scripts/v1_5/pretrain_new.sh 运行训练脚本，默认是单机8卡。 bash .
Step3 准备训练脚本并上传至OBS 准备本案例所需的训练脚本mnist.py，并上传至OBS桶的“obs://test-modelarts/tensorflow/code/”文件夹下。
启动命令：将华为侧优化后代码文件复制到工作目录后，运行启动脚本文件diffusers_sdxl_lora_train.sh。
图1 创建训练作业 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh .
图1 创建训练作业 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh .
bash install_on_ubuntu1804.sh 图3 配置成功 source /etc/profile 安装脚本依次执行了如下任务： 安装docker。 如果挂载了GPU，则会安装nvidia-docker2，用以将GPU挂载到docker容器中。
处理方法 如果是运行单卡模式，在训练脚本中加入export ASCEND_RT_VISIBLE_DEVICES=0（指定 0 号卡对当前进程可见）。多卡环境模式需要运行DDP并行模式。 父主题： 常见问题
图1 创建训练作业 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh .
步骤九：进入容器运行Fintune训练 cd ${container_work_dir}/ \cp flux/fintune/* ./ sh prepare.sh cd sd-scripts sh run.sh 需要注意的是，如果报错如下，则重新执行sh run.sh 即可。
Step3 创建服务启动脚本 run_vllm.sh脚本示例如下。
在dockerfile文件中指定cmd，dockerfile指令示例如下： CMD sh /home/mind/run.sh 启动入口文件run.sh需要自定义。示例如下： #!/bin/bash # 自定义脚本内容 ...
图1 创建训练作业 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh .
/scripts/v1_5/eval/mme_8p.sh 运行评估脚本。启动单卡。 ASCEND_RT_VISIBLE_DEVICES=0 bash ./scripts/v1_5/eval/mme_8p.sh 启动8卡。可支持单机八卡推理，可以减短耗时。
图1 创建训练作业 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh .
图1 创建训练作业 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh .
图1 创建训练作业 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh .
解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.907-xxx.zip和算子包AscendCloud-OPP-6.3.907-xxx.zip，并执行build_image.sh脚本制作推理镜像。
推理结果保存的文件名，可不用修改，使用默认的文件名 OUTPUTNAME=pred 步骤11 执行推理脚本 bash scripts/video/eval/msvd_eval.sh 步骤12 查看推理结果 在.
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
