检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前主流的大数据、AI训练和推理等应用(如Tensorflow、Caffe)均采用容器化方式运行,并需要大量GPU、高性能网络和存储等硬件加速能力,并且都是任务型计算,需要快速申请大量资源,计算任务完成后快速释放。本文将演示在云容器实例中创建GPU类型的负载,以tensorflow的图像分类为示例,演示在容器中直接使用GPU训练一个简单的神经网络。
Toolkit运行VASP任务,为什么概率性运行失败? Intel oneAPI Toolkit(Intel并行计算平台)运行的VASP(用于电子结构计算和量子力学-分子动力学模拟)任务对CPU硬件版本有深度依赖,在小规格Pod场景下概率性运行失败,建议切换oneAPI版本或使用4核以上Pod运行。
Pod规格计算方式 Pod规格的计算步骤如下: Pod 包含的所有 Init 容器上定义的任何特定资源的约束值 (limit) 或 请求值 (request) 的最大值,作为 Pod 有效初始 request/limit。 Pod 对资源的有效 limit/request ,是取如下两项的较大者:
Pod数量:本例中修改Pod数量为1。 Pod规格:选择通用计算型,CPU 0.5核,内存 1GiB。 容器配置 在“我的镜像”选择上传的2048。 图1 容器配置 配置负载访问信息。 选择负载访问方式,有如下3种选项。 不启用:负载不提供外部访问方式,适合一些计算类场景,只需计算完存储结果即可,无需与外部通信。
型计算,同时对成本较敏感,需要低成本、免运维的计算平台。科学计算一般都是任务型计算,快速申请大量资源,完成后快速释放。 云容器实例提供如下特性,能够很好的支持这类场景。 高性能计算:提供高性能计算、网络和高I/O存储,满足密集计算的诉求 极速弹性:秒级资源准备与弹性,减少计算过程中的资源处理环节消耗
CCI应用进行优雅滚动升级 应用场景 用户在CCI中部署工作负载时,应用发布成了LoadBalance类型的Service或Ingress且对接的独享型ELB,经过ELB的访问流量支持直通到容器中;当应用进行滚动升级或者弹性扩缩容,通过配置容器探针,最短就绪时间等可以做到优雅升级
通过控制台、kubectl、Kubernetes API创建和使用容器负载,且只需为容器所使用的资源付费。 支持多种类型计算资源 云容器实例提供了多种类型计算资源运行容器,包括CPU,GPU(提供NVIDIA Tesla V100、NVIDIA Tesla T4显卡)。 支持多种网络访问方式
“通用计算型”和“GPU型”两种类型的资源,创建命名空间时需要选择资源类型,后续创建的负载中容器就运行在此类型的集群上。 通用计算型:支持创建含CPU资源的容器实例及工作负载,适用于通用计算场景。 GPU型:支持创建含GPU资源的容器实例及工作负载,适用于深度学习、科学计算、视频处理等场景。
“通用计算型”和“GPU型”两种类型的资源,创建命名空间时需要选择资源类型,后续创建的负载中容器就运行在此类型的集群上。 通用计算型:支持创建含CPU资源的容器实例及工作负载,适用于通用计算场景。 GPU型:支持创建含GPU资源的容器实例及工作负载,适用于深度学习、科学计算、视频处理等场景。
预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 以下计费项支持按需计费。 表1 适用计费项 Pod规格计费项 说明 通用计算型 包括CPU和内存。 GPU加速型 包括CPU、内存和GPU。 假设您计划购买一台通用计算型云容器实例。在购买云容器实例页面底部,您将看到所需费用的明细,如图所示。
10.1 (10.1.105)及以下 GPU镜像 CUDA和cuDNN都是与GPU相关的技术,用于加速各种计算任务,特别是深度学习任务。在使用NVIDIA GPU进行深度学习时,通常需要安装CUDA和cuDNN。请使用配套关系的基础镜像。 Pod存储空间限制 如果没有挂载EVS等
云容器实例的计费项由Pod规格组成。具体内容如表1所示。 表1 云容器实例计费项 Pod规格计费项 计费项说明 适用的计费模式 计费公式 通用计算型 计费因子:CPU和内存,不同规格的实例类型提供不同的计算和存储能力 按需计费 CPU:Core数量 * Core单价 * 计费时长 内存:GB数量 * GB单价 *
资源的方法。适用于用户中存在多个团队或项目的情况。 当前云容器实例提供“通用计算型”和“GPU加速型”两种类型的资源,创建命名空间时需要选择资源类型,后续创建的负载中容器就运行在此类型的集群上。 通用计算型 支持区域:全部 GPU加速型 支持区域:华北-北京四、华东-上海一 创建命名空间
当前云容器实例提供“通用计算型”和“GPU加速型”两种类型的资源,创建命名空间时需要选择资源类型,后续创建的负载中容器就运行在此类型的集群上。 通用计算型:支持创建含CPU资源的容器实例,适用于通用计算场景。 GPU加速型:支持创建含GPU资源的容器实例,适用于深度学习、科学计算、视频处理等场景。
区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公
套餐包说明 CCI提供的资源包如表1所示,各资源包在不同规格及时长下的具体价格,请参见产品价格详情。你可以通过CCI提供的价格计算器,根据您的业务诉求,来快速计算出购买CCI的参考价格。 表1 套餐包说明 套餐包名称 作用 CPU套餐包 用于抵扣CPU规格产生费用。 内存套餐包 用于抵扣内存规格产生费用。
GPU物理机磁盘为20G。 配额 云容器实例对单个用户的资源数量和容量限定了配额,配额的详细信息请参见关于配额。 Pod规格计算方式 Pod规格的计算方式遵循如下规则: Pod包含的所有InitContainer上定义的任何特定资源的约束值 (limit) 或请求值 (request)
kubernetes.io/flavor字段为如下值。 general-computing:通用计算型,基本水平的计算、存储和网络资源,适用于通用工作负载场景。 gpu-accelerated:GPU加速型,突出的图形计算能力,适用于AI等高性能场景。 Namespace下必须要创建一个Networ
添加基本信息。 负载名称:mysql。 命名空间:选择创建命名空间创建的命名空间。 Pod数量:本例中修改Pod数量为1。 Pod规格:选择通用计算型,CPU 0.5核,内存 1GiB。 容器配置 在开源镜像中心搜索并选择mysql镜像。 配置镜像参数,选择镜像版本为5.7,CPU和内存配置为0
Deployment 在Pod这个章节介绍了Pod,Pod是Kubernetes创建或部署的最小单位,但是Pod是被设计为相对短暂的一次性实体,Pod可以被驱逐(当节点资源不足时)、随着集群的节点fail而消失。同时kubernetes提供了Controller(控制器)来管理P