检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# 安装量化模块的脚本 ...
注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题： 推理模型量化
#基于开源autosmoothquant适配过NPU的patch脚本 ├── build.sh #推理构建脚本 ├── requirements.txt # 第三方依赖 父主题： 准备工作
|── dev_pipeline.sh # 系列模型共同调用的多功能的脚本 |── install.sh # 环境部署脚本 |——src/ # 启动命令行封装脚本
图3 修改build_image.sh 执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone，请确保机器环境可以访问公网。
# W4A16量化工具 ├──convert_awq_to_npu.py # awq权重转换脚本 ├──quantize.py # 昇腾适配的量化转换脚本 ├──build.sh # 安装量化模块的脚本 ├─
#进入scripts目录换 cd /home/ma-user/ws/llm_train/AscendSpeed #执行安装命令 sh scripts/install.sh 通过运行install.sh脚本，还会git clone下载Megatron-LM、MindSpeed、ModelLink
# 安装量化模块的脚本 ...
# 安装量化模块的脚本 ...
# 安装量化模块的脚本 ...
# 安装量化模块的脚本 ...
# 安装量化模块的脚本 ...
benchmark_eval ├──opencompass.sh #运行opencompass脚本 ├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──
#进入scripts目录换 cd /home/ma-user/ws/llm_train/AscendSpeed #执行安装命令 sh scripts/install.sh 通过运行install.sh脚本，还会git clone下载Megatron-LM、MindSpeed、ModelLink
注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题： 推理模型量化
注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题： 推理模型量化
在tools目录下新建一个“run.sh”作为启动脚本，“run.sh”内容可参考： #!
训练作业如何调用shell脚本，是否可以执行.sh文件？ 训练代码中，如何获取依赖文件所在的路径？ 自定义python包中如果引用model目录下的文件，文件路径怎么写 父主题： Standard训练作业
onnx_to_mindspore_aoe.sh 否 在打开AOE功能时会生成。 benchmark run_benchmark.sh 是 运行benchmark的脚本，可本地直接运行。
若服务部署在notebook中，该参数为notebook中权重路径；若服务部署在生产环境中，该参数为服务启动脚本run_vllm.sh中${model_path}。 --epochs：测试轮数，默认取值为5。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
