AI开发平台ModelArts-multi-step:multi-step参数设置
multi-step参数设置
启动推理服务时,使用multi-step调度需要配置的参数如下表所示。
服务启动方式 |
配置项 |
取值类型 |
配置说明 |
---|---|---|---|
offline |
num_scheduler_steps |
int |
连续运行模型的步数。 默认为1,推荐设置为8 |
offline |
multi_step_stream_outputs |
bool |
设置false后,mult-step会关闭流式输出提升性能,一次将返回num_scheduler_steps个token。 默认true |
online |
--num-scheduler-steps |
int |
连续运行模型的步数。 默认为1,推荐设置为8 |
online |
--multi-step-stream-outputs |
bool |
设置false后,mult-step会关闭流式输出提升性能,一次将返回--num-scheduler-steps个token。 默认true |