弹性云服务器 ECS-GPU加速型:推理加速型Pi2

时间:2024-08-30 18:48:36

推理加速型Pi2

概述

Pi2型弹性云服务器采用专为AI推理打造的NVIDIA Tesla T4 GPU,能够提供超强的实时推理能力。Pi2型弹性云服务器借助T4的INT8运算器,能够提供最大130TOPS的INT8算力。Pi2也可以支持轻量级训练场景。

规格

表12 Pi2型弹性云服务器的规格

规格名称

vCPU

内存

(GiB)

最大带宽/基准带宽(Gbps)

最大收发包能力

(万PPS)

网卡多队列数

网卡个数上限

GPU

显存

(GiB)

本地盘

虚拟化类型

pi2.2xlarge.4

8

32

10/4

50

4

4

1 × T4

1 × 16

-

KVM

pi2.4xlarge.4

16

64

15/8

100

8

8

2 × T4

2 × 16

-

KVM

pi2.8xlarge.4

32

128

25/15

200

16

8

4 × T4

4 × 16

-

KVM

Pi2型弹性云服务器功能如下

  • 处理器:第二代英特尔® 至强® 可扩展处理器 6278,主频2.6GHz,睿频3.5GHz,或英特尔® 至强® 可扩展处理器 6151,主频3.0GHz,睿频3.4GHz。
  • 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程
  • 支持NVIDIA Tesla T4 GPU卡,单实例最大支持4张T4 GPU卡。
  • 提供GPU硬件直通能力。
  • 单GPU单精度计算能力最高8.1 TFLOPS。
  • 单GPU INT8计算能力最高130 TOPS。
  • 单GPU提供16GiB GDDR6显存,带宽320GiB/s。
  • 内置1个NVENC和2个NVDEC。

常规支持软件列表

Pi2实例主要用于GPU推理计算场景,例如图片识别、 语音识别 自然语言处理 等场景。也可以支持轻量级训练场景。

常用的软件支持列表如下:

  • Tensorflow、Caffe、PyTorch、MXNet等深度学习框架。

使用须知

  • Pi2型云服务器,关机后基础资源(包括vCPU、内存、镜像、GPU)不计费,但系统盘仍会收取容量对应的费用。 如有其他绑定的产品,如云硬盘、弹性公网IP、带宽等,按各自产品的计费方法进行收费。

    Pi2型云服务器,关机后资源会被释放,下次开机时如果后台资源不足,可能会导致云服务器开机失败。如果您需要长期使用该云服务器,建议保持开机状态或者选择“包年/包月”计费模式。

  • Pi2型云服务器,所在物理机发生故障时,云服务器支持自动恢复。
  • 使用公共镜像创建的Pi2型云服务器,默认已安装Tesla驱动。
  • 使用私有镜像创建的Pi2型云服务器,请确认在制作私有镜像时已安装Tesla驱动。如果未安装,请在云服务器创建完成后安装驱动,以实现计算加速功能。详细操作请参考安装Tesla驱动及CUDA工具包
  • GPU型弹性云服务器因通用算力和异构算力差异大,仅支持变更规格至同类型规格内的细分规格。
  • GPU型弹性云服务器不支持热迁移。
support.huaweicloud.com/productdesc-ecs/ecs_01_0045.html