检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可在ModelArts管理控制台,单击左侧“专属资源池”,在专属资源池列表中查看资源池ID。 --train-instance-type String 否 训练作业选择的资源规格。
--use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,如果不使用该功能,则无需配置。注意:如果使用投机推理功能,必须开启此参数。 --served-model-name:vllm服务后台id。
--use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,如果不使用该功能,则无需配置。注意:如果使用投机推理功能,必须开启此参数。 --served-model-name:vllm服务后台id。
--use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,如果不使用该功能,则无需配置。注意:如果使用投机推理功能,必须开启此参数。 --served-model-name:vllm服务后台id。
--use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,若不使用该功能,则无需配置。注意:若使用投机推理功能,必须开启此参数。 --served-model-name:vllm服务后台id。
--use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,若不使用该功能,则无需配置。注意:若使用投机推理功能,必须开启此参数。 --served-model-name:vllm服务后台id。