鲲鹏-GPU加速型:推理加速型Pi1

时间:2024-01-02 22:19:48

推理加速型Pi1

概述

Pi1型弹性云服务器采用专为AI推理打造的NVIDIA Tesla P4 GPU,能够提供超强的实时推理能力。Pi1型弹性云服务器借助P4的INT8运算器,能够将推理延时降低15倍。配备硬件解码引擎,能够同时支持35路高清视频流的实时转码与推理。

规格

表13 Pi1型弹性云服务器的规格

规格名称

vCPU

内存

(GiB)

最大带宽/基准带宽

(Gbps)

最大收发包能力

(万PPS)

网卡多队列数

GPU

显存

(GiB)

本地盘

虚拟化类型

pi1.2xlarge.4

8

32

5/1.6

40

2

1 × P4

1 × 8GiB

-

KVM

pi1.4xlarge.4

16

64

8/3.2

70

4

2 × P4

2 × 8GiB

-

KVM

pi1.8xlarge.4

32

128

10/6.5

140

8

4 × P4

4 × 8GiB

-

KVM

Pi1型弹性云服务器功能如下:
  • 处理器:英特尔® 至强® 处理器 E5-2697 v4,主频2.3GHz,睿频3.5GHz。
  • 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程
  • 支持NVIDIA Tesla P4 GPU卡,单实例最大支持4张P4 GPU卡。
  • 提供GPU硬件直通能力。
  • 单GPU单精度计算能力最高5.5 TFLOPS。
  • 单GPU INT8计算能力最高22 TOPS。
  • 单GPU提供8GiB ECC显存,带宽192GiB/s。
  • GPU内置硬件视频编解码引擎,能够同时进行35路高清视频解码与实时推理。

常规支持软件列表

Pi1实例主要用于GPU推理计算场景,例如图片识别、 语音识别 自然语言处理 等场景。

常用的软件支持列表如下:

  • Tensorflow、Caffe、PyTorch、MXNet等深度学习框架
使用须知
  • 规格为pi1.2xlarge.4、pi1.4xlarge.4、pi1.8xlarge.4的Pi1型云服务器,在按需付费的模式下,关机后基础资源(包括vCPU、内存、镜像、GPU)不计费,但系统盘仍会收取容量对应的费用。 如有其他绑定的产品,如云硬盘、弹性公网IP、带宽等,按各自产品的计费方法(“包年/包月”或“按需付费”)进行收费。具体请参见产品价格详情

    规格为pi1.2xlarge.4、pi1.4xlarge.4、pi1.8xlarge.4的Pi1型云服务器,在按需付费的模式下,关机后会释放资源,下次开机时如果后台资源不足,可能会导致云服务器开机失败。如果您需要长期使用该云服务器,建议保持开机状态或者选择“包年/包月”计费模式。

  • Pi1型弹性云服务器不支持规格变更。
  • Pi1型弹性云服务器当前支持如下版本的操作系统:
    • Windows Server 2019 Standard 64bit
    • Windows Server 2016 Standard 64bit
    • CentOS 7.3 64bit
    • Ubuntu Server 16.04 64bit
    • Ubuntu Server 14.04 64bit
  • Pi1型云服务器,所在物理机发生故障时,云服务器支持自动恢复。
  • 使用公共镜像创建的Pi1型云服务器,默认已安装Tesla驱动。
  • 使用私有镜像创建的Pi1型云服务器,请确认在制作私有镜像时已安装Tesla驱动。如果未安装,请在云服务器创建完成后安装驱动,以实现计算加速功能。详细操作请参考安装Tesla驱动及CUDA工具包
support.huaweicloud.com/clilist-kunpeng/ecs_01_0045.html