检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据作业的场景,可增强集群业务的吞吐量,整体缩短业务执行时间,提高训练性能。 前提条件 已创建v1.19及以上版本的集群,详情请参见购买Standard/Turbo集群。 已安装Volcano插件,详情请参见Volcano调度器。 公平调度介绍 在实际业务中,经常会遇到将集群稀缺资
缩,可以根据容器资源历史使用情况自动调整Pod的CPU、Memory资源申请量。当业务负载急剧飙升时,VPA能够快速地在设定范围内扩大容器的资源申请值(Requests),以满足业务需求。而在业务负载变小时,VPA会根据实际情况适当缩小资源申请量,以节省计算资源。此外,VPA还能
调度,并将业务pod调度到其他节点 节点重启 CCE 节点重启立即触发告警 登录集群查看告警节点状态,并确保节点正常启动可用,关注重启原因 节点kubelet故障 CCE 节点异常立即触发告警 登录集群查看告警节点状态,确认异常后,优先将此节点设置为不可调度,并将业务pod调度到其他节点;重启kubelet
规划总体说明如表1所示。 以下资源规划详情仅为示例,供您参考,您需要根据实际业务情况规划资源。 表1 资源和成本规划 资源 资源说明 虚拟私有云VPC 本示例中共有3个VPC,包括ECS所在VPC和测试集群、生产集群所在的VPC。这些VPC位于同一个区域内,且这些VPC的子网网段不重叠。
目标集群资源规划 CCE支持对集群资源进行自定义选择,以满足您的多种业务需求。表1中列举了集群的主要性能参数,并给出了本示例的规划值,您可根据业务的实际需求大小进行设置,建议与原集群性能配置保持相对一致。 集群创建成功后,表1中带“*”号的资源参数将不可更改,请谨慎选择。 表1 CCE集群规划
GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置,需要您验证两者的兼容性。建议您在测试环境验证安装升级目标版本的GPU插件,并配置当前GPU驱动后,测试创建节点是否正常使用。 您可以执行以下步骤确认GPU插件的升级目标版本与当前驱动配置。 登录CCE控制台,前往“插件中心”处查看CCE
节点运行时检查异常处理 检查项内容 该告警通常发生在低版本集群升级到v1.27及以上集群。CCE不建议您在1.27以上版本集群中继续使用docker,并计划在未来移除对docker的支持。 解决方案 若您的节点的运行时非containerd,您可通过节点重置功能重置节点的运行时为containerd。
行更多数量的应用。 更快速的启动时间。 容器直接运行于宿主机内核,无需启动完整的操作系统,可以做到秒级甚至毫秒级的启动时间。大大节约开发、测试和部署的时间。 一致的运行环境。 容器镜像提供了完整的运行时环境,确保应用运行环境的一致性。从而不会再出现“这段代码在我机器上没问题”这类问题。
集群管理最佳实践 本文将为您介绍与集群相关的最佳实践,包括集群规划、创建、管理和维护等方面,帮助您优化集群的性能、提高可靠性和安全性,从而更好地满足业务需求。 场景分类 相关最佳实践 创建集群实践 CCE集群选型建议 集群网络地址段规划实践 集群网络模型选择及各模型区别 通过CCE搭建IPv4/IPv6双栈集群
扩展集群VPC网段 操作场景 在创建集群时会选择集群位于某个VPC内,如果VPC规划太小出现没有足够可用IP时,您可以采用VPC扩展网段满足业务扩容需求。本文介绍如何使用VPC扩展网段扩充集群网段。 约束与限制 仅支持v1.21及以上版本的CCE Standard集群和CCE Turbo集群。
您扫除上云障碍、顺利高效地完成业务迁移至云容器引擎(CCE),降低因为使用不当导致集群或应用异常的风险。 检查项 表1 系统可用性 类别 评估项目 类型 影响说明 FAQ&样例 集群 创建集群前,根据业务场景提前规划节点网络和容器网络,避免后续业务扩容受限。 网络规划 集群所在子
知到容器崩溃,然后能够重启这个容器。但是有时候例如Java程序内存泄漏了,程序无法正常工作,但是JVM进程却是一直运行的,对于这种应用本身业务出了问题的情况,Kubernetes提供了Liveness Probe机制,通过检测容器响应是否正常来决定是否重启,这是一种很好的健康检查机制。
该操作会通过重置节点的方式升级操作系统,节点上已运行的工作负载业务可能会由于单实例部署、可调度资源不足等原因产生中断,请您合理评估升级风险,并挑选业务低峰期进行,或对关键业务应用设置PDB策略(Pod Disruption Budget,即干扰预算),升级过程中将严格根据PDB规则保障关键业务的可用性。 节点的系统盘
节点池运行时检查异常处理 检查项内容 该告警通常发生在低版本集群升级到v1.27及以上集群。CCE不建议您在1.27以上版本集群中继续使用docker,并计划在未来移除对docker的支持。 解决方案 若您的节点池的运行时非containerd,您可通过更新节点池功能将节点池的运行时修改为containerd。
Kubernetes默认的HPA策略只支持基于CPU和内存的自动伸缩,在复杂的业务场景中,仅使用CPU和内存使用率指标进行弹性伸缩往往无法满足日常运维需求。通过自定义指标配置工作负载HPA策略,可以根据业务自身特点,通过更多指标实现更灵活的弹性配置。 本文介绍如何部署示例Nginx
不会因为一个资源份额较大业务,导致大批资源份额小的业务无法调度。DRF调度算法能够确保在多种类型资源共存的环境下,尽可能满足分配的公平原则。 配置建议: DRF调度算法优先考虑集群中业务的吞吐量,适用单次AI训练、单次大数据计算以及查询等批处理小业务场景。 组调度 将一组Pod
高危操作一览 业务部署或运行过程中,用户可能会触发不同层面的高危操作,导致不同程度上的业务故障。为了能够更好地帮助用户预估及避免操作风险,本文将从集群/节点、网络与负载均衡、日志、云硬盘多个维度出发,为用户展示哪些高危操作会导致怎样的后果,以及为用户提供相应的误操作解决方案。 集群/节点
该操作涉及重置节点,节点上已运行的工作负载业务可能会由于单实例部署、可调度资源不足等原因产生中断,请您合理评估升级风险,并挑选业务低峰期进行,或对关键业务应用设置PDB策略(Pod Disruption Budget,即干扰预算),升级过程中将严格根据PDB规则保障关键业务的可用性。 同步已有节点
nSet的操作步骤详情请参见创建守护进程集(DaemonSet)。 图1 创建守护进程集 建议您使用日常测试的镜像作为基础镜像。您可参照如下YAML部署最小应用Pod。 该测试YAML将DaemonSet部署在default命名空间下,使用ngxin:perl为基础镜像,申请10m
是对Kubernetes API的扩展,当默认的Kubernetes资源无法满足业务需求时,您可以通过CRD对象来定义新的资源类别。 根据CRD的定义,您可以在集群中创建自定义资源(Custom Resource,CR)来满足业务需求。 CRD允许用户创建新的资源类别的同时又不必添加新的Kubernetes