AI开发平台ModelArts-multi-step:multi-step参数设置

时间:2025-02-12 15:14:12

multi-step参数设置

启动推理服务时,使用multi-step调度需要配置的参数如下表所示。

表1 开启multi-step调度参数配置

服务启动方式

配置项

取值类型

配置说明

offline

num_scheduler_steps

int

连续运行模型的步数。

默认为1,推荐设置为8

offline

multi_step_stream_outputs

bool

设置false后,mult-step会关闭流式输出提升性能,一次将返回num_scheduler_steps个token。

默认true

online

--num-scheduler-steps

int

连续运行模型的步数。

默认为1,推荐设置为8

online

--multi-step-stream-outputs

bool

设置false后,mult-step会关闭流式输出提升性能,一次将返回--num-scheduler-steps个token。

默认true

support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91222.html