检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
未实名认证
已实名认证
该解决方案能帮您快速在华为云云容器引擎 CCE集群上快速部署Volcano批量调度系统,在原生K8s的基础上,补齐了Job调度和设备管理等多方面的短板,为客户提供通用、可扩展、高性能、稳定的原生批量计算平台,方便以Kubeflow 、KubeGene 、Spark 为代表的上层业务组件集成和使用。Volcano是华为自研的基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。
该解决方案能帮您在华为云云容器引擎 CCE集群上快速部署Volcano批量调度系统。
基于CCE快速部署Volcano批量调度系统
版本:1.0.3
上次更新日期:2023年7月
来源:由华为云构建
部署:预计10分钟
卸载:预计10分钟
预估成本 ◥
查看源代码 ◥
架构描述
该解决方案会部署如下资源:
1. 创建三个控制节点的高可用云容器引擎 CCE集群,提供计算节点的纳管和业务系统的管理调度能力。
2. 部署一个弹性云服务器 ECS节点,作为集群的计算节点,用于承载业务系统。
3. 部署一个弹性公网IP EIP并关联计算节点,提供公网访问能力。
4. 部署一个Volcano插件,提供通用、可扩展、高性能、稳定的原生批量计算平台。
通过CRD提供了批量计算任务的通用API,提供丰富的插件及作业生命周期高级管理,支持TensorFlow,MPI,Spark等计算框架容器化运行在Kubernetes上。
面向批量计算、高性能计算场景提供丰富的高级调度能力,包括成组调度,优先级抢占、装箱、资源预留、任务拓扑关系等。
支持分队列调度,提供队列优先级、多级队列等复杂任务调度能力。