AI开发平台MODELARTS-在Notebook调试环境中部署推理服务:Step3 启动推理服务

时间:2024-12-09 20:36:11

Step3 启动推理服务

  1. 配置需要使用的NPU卡为容器中的第几张卡。例如:实际使用的是容器中第1张卡,此处填写“0”。
    export ASCEND_RT_VISIBLE_DEVI CES =0

    如果启动服务需要使用多张卡,则按容器中的卡号依次编排。例如:实际使用的是容器中第1张和第2张卡,此处填写为“0,1”,以此类推。

    export ASCEND_RT_VISIBLE_DEVICES=0,1
    通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡,如果希望使用第一和第二张卡,则“export ASCEND_RT_VISIBLE_DEVICES=0,1”,注意编号不是填4、5。
    图2 查询结果
  2. 配置环境变量。
    export DEFER_DECODE=1 
    # 是否使用推理与Token解码并行;默认值为1表示开启并行,取值为0表示关闭并行。开启该功能会略微增加首Token时间,但可以提升推理吞吐量。
    
    export DEFER_MS=10
    # 延迟解码时间,默认值为10,单位为ms。将Token解码延迟进行的毫秒数,使得当次Token解码能与下一次模型推理并行计算,从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。
    
    export USE_VOCAB_PARALLEL=1
    # 是否使用词表并行;默认值为1表示开启并行,取值为0表示关闭并行。对于词表较小的模型(如llama2系模型),关闭并行可以减少推理时延,对于词表较大的模型(如qwen系模型),开启并行可以减少显存占用,以提升推理吞吐量。
    
    export USE_PFA_HIGH_PRECISION_MODE=1
    # PFA算子是否使用高精度模式;默认值为0表示不开启。针对Qwen2-7B模型,必须开启此配置,否则精度会异常;其他模型不建议开启,因为性能会有损失。
  3. 如果需要增加模型量化功能,启动推理服务前,先参考推理模型量化章节对模型做量化处理。
  4. 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考:https://docs.vllm.ai/en/latest/getting_started/quickstart.html

    以下服务启动介绍的是在线推理方式,离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart.html#offline-batched-inference

    • 通过vLLM服务API接口启动服务

      在ascend_vllm目录下通过vLLM服务API接口启动服务,具体操作命令如下,API Server的命令相关参数说明如下,可以根据参数说明修改配置。

      python -m vllm.entrypoints.api_server --model ${model_path} \
      --max-num-seqs=256 \
      --max-model-len=4096 \
      --max-num-batched-tokens=4096 \
      --dtype=float16 \
      --tensor-parallel-size=1 \
      --block-size=128 \
      --host=${docker_ip} \
      --port=8080 \
      --gpu-memory-utilization=0.9 \
      --trust-remote-code
    • 通过OpenAI服务API接口启动服务

      在ascend_vllm目录下通OpenAI服务API接口启动服务,具体操作命令如下,可以根据参数说明修改配置。

      python -m vllm.entrypoints.openai.api_server --model ${model_path} \
      --max-num-seqs=256 \
      --max-model-len=4096 \
      --max-num-batched-tokens=4096 \
      --dtype=float16 \
      --tensor-parallel-size=1 \
      --block-size=128 \
      --host=${docker_ip} \
      --port=8080 \
      --gpu-memory-utilization=0.9 \
      --trust-remote-code 
    具体参数说明如下:
    • --model ${model_path}:模型地址,模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能,则使用推理模型量化章节转换后的权重。
    • --max-num-seqs:最大同时处理的请求数,超过后拒绝访问。
    • --max-model-len:推理时最大输入+最大输出tokens数量,输入超过该数量会直接返回。max-model-len的值必须小于config.json文件中的"seq_length"的值,否则推理预测会报错。config.json存在模型对应的路径下,例如:/home/ma-user/work/chatglm3-6b/config.json。
    • --max-num-batched-tokens:prefill阶段,最多会使用多少token,必须大于或等于--max-model-len,推荐使用4096或8192。
    • --dtype:模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。
    • --tensor-parallel-size:模型并行数。取值需要和启动的NPU卡数保持一致,可以参考1。此处举例为1,表示使用单卡启动服务。
    • --block-size:PagedAttention的block大小,推荐设置为128。
    • --host=${docker_ip}:服务部署的IP,${docker_ip}替换为宿主机实际的IP地址。
    • --port:服务部署的端口。
    • --gpu-memory-utilization:NPU使用的显存比例,复用原vLLM的入参名称,默认为0.9。
    • --trust-remote-code:是否相信远程代码。
    • --distributed-executor-backend:多卡推理启动后端,可选值为"ray"或者"mp",其中"ray"表示使用ray进行启动多卡推理,"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。
    高阶参数说明:
    • --enable-prefix-caching:如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。
    • --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,若未使用量化功能,则无需配置。根据使用的量化方式配置,可选择awqsmoothquant方式。
    • --speculative-model ${container_draft_model_path}:投机草稿模型地址,模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。投机草稿模型为与--model入参同系列,但是权重参数远小于--model指定的模型。若未使用投机推理功能,则无需配置。
    • --num-speculative-tokens:投机推理小模型每次推理的token数。若未使用投机推理功能,则无需配置。参数--num-speculative-tokens需要和--speculative-model ${container_draft_model_path}同时使用。

    服务启动后,会打印如下类似信息。

    server launch time cost: 15.443044185638428 s
    INFO:     Started server process [2878]
    INFO:     Waiting for application startup.
    INFO:     Application startup complete.
    INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_01988.html