Step6 启动推理服务

1. 进入容器。

   docker exec -it -u ma-user ${container-name} /bin/bash

2. 评估推理资源。运行如下命令，返回NPU设备信息可用的卡数。

   npu-smi info       # 启动推理服务之前检查卡是否被占用、端口是否被占用，是否有对应运行的进程

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

   驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。启动后容器默认端口是8080。

3. 配置需要使用的NPU卡为容器中的第几张卡。例如：实际使用的是容器中第1张卡，此处填写“0”。

   export ASCEND_RT_VISIBLE_DEVI CES =0

   如果启动服务需要使用多张卡，则按容器中的卡号依次编排。例如：实际使用的是容器中第1张和第2张卡，此处填写为“0,1”，以此类推。

   export ASCEND_RT_VISIBLE_DEVICES=0,1

   

   通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。

   图1 查询结果
   
4. 配置环境变量。

   export DEFER_DECODE=1
   # 是否使用推理与Token解码并行；默认值为1表示开启并行，取值为0表示关闭并行。开启该功能会略微增加首Token时间，但可以提升推理吞吐量。
   
   export DEFER_MS=10
   # 延迟解码时间，默认值为10，单位为ms。将Token解码延迟进行的毫秒数，使得当次Token解码能与下一次模型推理并行计算，从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。
   
   export USE_VOCAB_PARALLEL=1
   # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。
   
   export USE_PFA_HIGH_PRECISION_MODE=1
   # PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型和Qwen2-57b模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。

5. 如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化或使用SmoothQuant量化章节对模型做量化处理。
6. 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm.ai/en/latest/getting_started/quickstart.html。
   

   以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart.html#offline-batched-inference。

   • 方式一：通过OpenAI服务API接口启动服务

     在llm_inference/ascend_vllm/目录下通OpenAI服务API接口启动服务，具体操作命令如下，可以根据参数说明修改配置。

     python -m vllm.entrypoints.openai.api_server --model ${container_model_path} \
     --max-num-seqs=256 \
     --max-model-len=4096 \
     --max-num-batched-tokens=4096 \
     --tensor-parallel-size=1 \
     --block-size=128 \
     --host=${docker_ip} \
     --port=8080 \
     --gpu-memory-utilization=0.9 \
     --trust-remote-code

   • 方式二：通过vLLM服务API接口启动服务

     在llm_inference/ascend_vllm/目录下通过vLLM服务API接口启动服务，具体操作命令如下，API Server的命令相关参数说明如下，可以根据参数说明修改配置。

     python -m vllm.entrypoints.api_server --model ${container_model_path} \
     --max-num-seqs=256 \
     --max-model-len=4096 \
     --max-num-batched-tokens=4096 \
     --tensor-parallel-size=1 \
     --block-size=128 \
     --host=${docker_ip} \
     --port=8080 \
     --gpu-memory-utilization=0.9 \
     --trust-remote-code

   推理服务基础参数说明如下：

   • --model ${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step3 上传代码包和权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。
   • --max-num-seqs：最大同时处理的请求数，超过后在等待池等候处理。
   • --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config.json文件中的"seq_length"的值，否则推理预测会报错。config.json存在模型对应的路径下，例如：${container_work_dir}/chatglm3-6b/config.json。不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明。
   • --max-num-batched-tokens：prefill阶段，最多会使用多少token，必须大于或等于--max-model-len，推荐使用4096或8192。
   • --dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重，建议不指定dtype，使用开源权重默认的dtype。
   • --tensor-parallel-size：模型并行数。取值需要和启动的NPU卡数保持一致，可以参考3。此处举例为1，表示使用单卡启动服务。
   • --block-size：kv-cache的block大小，推荐设置为128。当前仅支持64和128。
   • --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址，默认为None，举例：参数可以设置为0.0.0.0。
   • --port：服务部署的端口。
   • --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。
   • --trust-remote-code：是否相信远程代码。
   • --distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示使用ray进行启动多卡推理，"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。
   高阶参数说明：

   • --enable-prefix-caching：如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用，不添加表示不使用。
   • --quantization：推理量化参数。当使用量化功能，则在推理服务启动脚本中增加该参数，如果未使用量化功能，则无需配置。根据使用的量化方式配置，可选择awq或smoothquant方式。
   • --speculative-model ${container_draft_model_path}：投机草稿模型地址，模型格式是HuggingFace的目录格式。即Step3 上传代码包和权重文件上传的HuggingFace权重文件存放目录。投机草稿模型为与--model入参同系列，但是权重参数远小于--model指定的模型。如果未使用投机推理功能，则无需配置。
   • --num-speculative-tokens：投机推理小模型每次推理的token数。如果未使用投机推理功能，则无需配置。参数--num-speculative-tokens需要和--speculative-model ${container_draft_model_path}同时使用。
   • --use-v2-block-manager：vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引，如果不使用该功能，则无需配置。注意：如果使用投机推理功能，必须开启此参数。
   服务启动后，会打印如下类似信息。

   server launch time cost: 15.443044185638428 s INFO:     Started server process [2878]INFO:     Waiting for application startup. INFO:     Application startup complete. INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)