检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 镜像方案说明 ECS获取基础镜像 ECS中构建新镜像 ECS中上传新镜像 父主题： 准备工作
登录ModelArts控制台，在左侧导航栏中选择“镜像管理”，单击“注册镜像”，进入注册镜像页面。 输入镜像源地址，选择架构和类型后，单击“立即注册”。 “镜像源”：地址为swr.cn-north-4-myhuaweicloud.com/custom_test/tensorflow2
时，同步测试健康检查接口是否可以正常工作，具体参考从0-1制作自定义镜像并创建AI应用中的本地验证镜像方法。 创建模型界面上配置的健康检查地址与实际配置的是否一致 如果使用的是ModelArts提供的基础镜像创建模型，健康检查URL默认必须为/health。 图4 设置健康检查URL
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本
如果元模型来源于容器镜像，显示容器镜像存储路径。 AI引擎 如果元模型来源于训练作业/对象存储服务，显示模型使用的AI引擎。 引擎包地址 如果元模型来源于对象存储服务（AI引擎为Custom），显示引擎包地址。 运行环境 如果元模型来源于训练作业/对象存储服务（AI引擎为预置引擎），显示元模型依赖的运行环境。
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本
[batch size] tmpdir：即为步骤三中的outdir，训练data地址 cpdir：为训练生成权重的地址 configpath：为模型config文件的地址 basepath：为大模型权重地址 bs：为batch大小 其中，要获取模型config文件， 首先到https://github
[batch size] tmpdir：即为步骤三中的outdir，训练data地址 cpdir：为训练生成权重的地址 configpath：为模型config文件的地址 basepath：为大模型权重地址 bs：为batch大小 其中，要获取模型config文件， 首先到https://github
--gpu-memory-utilization=0.9 \ --trust-remote-code 具体参数说明如下： --model ${model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。
通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU设
912版本是第一次发布。 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 框架 1 Qwen-VL 7b https://huggingface.co/Qwen/Qwen-VL-Chat DeepSpeed 操作流程
--max-cpu-loras=32 参数说明如下： --enable-lora表示开启lora挂载。 --lora-modules后面添加挂载的lora列表，要求lora地址权重是Huggingface格式，当前支持QKV-proj、O-proj、gate_up_proj、down_proj模块的挂载。发请求时
表2。 表2 在线服务详情 参数 说明 调用指南 展示API接口公网地址、模型信息、输入参数、输出参数。您可以通过复制API接口公网地址，调用服务。如果您支持APP认证方式，可以在调用指南查看API接口公网地址和授权管理详情，包括“应用名称”、“AppKey”、“AppSecre
--benchmark-csv benchmark_parallel.csv 参数说明 --host：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
本教程中用到的模型软件包如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.912-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ https://huggingface
Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
