检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据集列表 功能介绍 根据指定条件分页查询用户创建的所有数据集。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets
gpu_index 节点上GPU的索引。 gpu_type 节点上GPU的型号。 device_name infiniband或RoCE网络网卡的设备名称。 port IB网卡的端口号。 physical_state IB网卡每个端口的状态。 firmware_version IB网卡的固件版本。
${container_draft_model_path}同时使用。 --use-v2-block-manager：vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引，若不使用该功能，则无需配置。注意：若使用投机推理功能，必须开启此参数。 --s
${container_draft_model_path}同时使用。 --use-v2-block-manager：vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引，如果不使用该功能，则无需配置。注意：如果使用投机推理功能，必须开启此参数。 -
务前，先参考使用AWQ量化、使用SmoothQuant量化或使用GPTQ量化章节对模型做量化处理。 参数定义和使用方式与vLLM0.6.3版本一致，此处介绍关键参数。详细参数解释请参见https://github.com/vllm-project/vllm/blob/main/v
务前，先参考使用AWQ量化、使用SmoothQuant量化或使用GPTQ量化章节对模型做量化处理。 参数定义和使用方式与vLLM0.5.0版本一致，此处介绍关键参数。详细参数解释请参见https://github.com/vllm-project/vllm/blob/main/v
务前，先参考使用AWQ量化、使用SmoothQuant量化或使用GPTQ量化章节对模型做量化处理。 参数定义和使用方式与vLLM0.5.0版本一致，此处介绍关键参数。详细参数解释请参见https://github.com/vllm-project/vllm/blob/main/v
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
