检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark-submit --version 配置Spark对接OBS 获取华为云OBS jar包。
Caffe分类范例 本实践采用caffe官方的分类例子,地址为https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb。 使用CPU 创建一个普通job,镜像输入第三方镜像bvlc/caffe
Volcano在华为云的应用 Kubeflow和Volcano两个开源项目的结合充分简化和加速了Kubernetes上AI计算进程。当前已经成为越来越多用户的最佳选择,应用于生产环境。Volcano目前已经应用于华为云CCE、CCI产品以及容器批量计算解决方案。
价值 面向AI计算的容器服务,采用高性能GPU计算实例,并支持多容器共享GPU资源,在AI计算性能上比通用方案提升3~5倍以上,并大幅降低了AI计算的成本,同时帮助数据工程师在集群上轻松部署计算应用,您无需关心复杂的部署运维,专注核心业务,快速实现从0到1快速上线。
申请值推荐计算公式: CPU申请值:计算“目标节点数 * 目标Pod规模”的值,并在表1中根据“集群节点数 * Pod规模”的计算值进行插值查找,向上取最接近规格的申请值及限制值。
使用Volcano调度工作负载 Volcano是一个基于Kubernetes的批处理平台,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力,通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户,并针对计算型应用提供了作业调度、作业管理、队列管理等多项功能
秒级弹性伸缩 应用场景 电商客户遇到促销、限时抢购等活动期间,访问量激增,需及时、自动扩展云计算资源。 视频直播客户业务负载变化难以预测,需要根据CPU/内存使用率进行实时扩缩容。 游戏客户每天中午12点及晚上18:00-23:00间需求增长,需要定时扩容。
VPC网络 *控制节点数 3:三个控制节点,容灾性能好,在单个控制节点发生故障后集群可以继续使用,不影响业务功能。 1:单个控制节点,不建议在商用场景使用。
系统委托说明 由于CCE在运行中对计算、存储、网络以及监控等各类云服务资源都存在依赖关系,因此当您首次登录CCE控制台时,CCE将自动请求获取当前区域下的云资源权限,从而更好地为您提供服务。
应用缓存占用非常高,WSS明显大于RSS,导致界面上显示的容器内存使用率小于HPA计算的内存使用率。 Limit与Request配置差异较大时,Request明显小于Limit,导致界面上显示的容器内存使用率小于HPA计算的内存使用率。 父主题: 监控日志
开启该能力后,Volcano agent会周期性采集节点上Pod的CPU和内存利用率,计算每个Pod的CPU和内存用量均值、峰值和标准差,并基于Pod的这些统计特征值,进一步计算节点的CPU和内存用量评估值。
节点可创建的最大Pod数量说明 节点最大Pod数量计算方式 根据集群类型不同,节点可创建的最大Pod数量计算方式如下: 网络模型 节点可创建的最大Pod数量计算方式 建议 “容器隧道网络”集群 仅取决于节点最大实例数 - “VPC网络”集群 取决于节点最大实例数和节点可分配容器IP
性能要求较高:由于没有额外的隧道封装,相比于容器隧道网络模式,VPC网络模型集群的容器网络性能接近于VPC网络性能,所以适用于对性能要求较高的业务场景,比如:AI计算、大数据计算等。
在CCE Turbo集群中使用分布式云资源 CCE Turbo集群支持管理边缘基础设施(智能边缘小站)的能力。启用分布式支持后,一个集群可以统一管理数据中心和边缘的计算资源,用户可以便捷地根据应用的诉求将其部署在对应的区域。
节点可创建的最大Pod数量说明 节点最大Pod数量计算方式 根据集群类型不同,节点可创建的最大Pod数量计算方式如下: 网络模型 节点可创建的最大Pod数量计算方式 建议 “容器隧道网络”集群 仅取决于节点最大实例数 - “VPC网络”集群 取决于节点最大实例数和节点可分配容器IP
安全隔离性 普通容器:Cgroups隔离 安全容器:当前仅物理机支持,提供虚机级别的隔离 普通容器:Cgroups隔离 提供虚机级别的隔离 边缘基础设施管理 不支持 支持管理智能边缘小站 不支持 产品架构 图1 CCE产品架构 计算:全面适配华为云各类计算实例,支持虚拟机和裸机混合部署
NVIDIA Container Toolkit容器逃逸漏洞公告(CVE-2024-0132) NVIDIA Container Toolkit 是一个由 NVIDIA 提供的开源工具包,它允许您在容器化环境中利用 NVIDIA GPU 进行加速计算。
如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。 父主题: 计费类
区别于Kubernetes Job,vcjob提供了更多高级功能,如可指定调度器、支持最小运行Pod数、 支持task、支持生命周期管理、支持指定队列、支持优先级调度等。Volcano Job更加适用于机器学习、大数据、科学计算等高性能计算场景。