检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Dockerfile中执行如下命令修改默认的模型路径。
方法二：huggingface-cli：huggingface-cli是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。具体步骤可参考：HF-Mirror中的使用教程。
方法二：huggingface-cli：huggingface-cli是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。具体步骤可参考：HF-Mirror中的使用教程。
图1 选择镜像 训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install.sh; sh .
具体操作命令如下，可以根据参数说明修改参数。
图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install.sh; sh .
图1 选择镜像 训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install.sh; sh .
Step3 启动AWQ量化服务 参考Step3 启动推理服务，在启动服务时添加如下命令。 --q awq 或者--quantization awq 父主题： 推理模型量化
图1 选择镜像 训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install.sh; sh .
|── dev_pipeline.sh # 系列模型共同调用的多功能的脚本 |── install.sh # 环境部署脚本 |——src/ # 启动命令行封装脚本
具体操作命令如下，可以根据参数说明修改参数。
Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务，启动推理服务时添加如下命令。
此处执行升级命令： # shell pip install scikit-learn accelerate --upgrade transformers库的training_args.py有部分操作是适配的cuda设备，详情请参见常见问题7。
cd benchmark_tools 多模态模型脚本相对路径是llm_tools/llm_evaluation/benchmark_tools/modal_benchmark/modal_benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。
cd benchmark_tools 多模态模型脚本相对路径是llm_tools/llm_evaluation/benchmark_tools/modal_benchmark/modal_benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。
cd benchmark_tools 多模态模型脚本相对路径是llm_tools/llm_evaluation/benchmark_tools/modal_benchmark/modal_benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。
Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务，启动推理服务时添加如下命令。
Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务，启动推理服务时添加如下命令。
图1 选择镜像 训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install.sh; sh .
# config.ini [ascend_context] input_shape=input.1:[-1,3,224,224] dynamic_dims=[1~4],[8],[16] 在执行convert_lite命令时，指定--configFile=config.ini即可自动编译指定的动态
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
