检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
thinpool磁盘空间耗尽导致容器或节点异常时,如何解决? 问题描述 当节点上的thinpool磁盘空间接近写满时,概率性出现以下异常: 在容器内创建文件或目录失败、容器内文件系统只读、节点被标记disk-pressure污点及节点不可用状态等。 用户可手动在节点上执行docker
更新弹性伸缩配置 开启弹性伸缩功能可根据弹性伸缩策略自动伸缩,否则只能手动修改节点池下的节点数量。 约束与限制 为保证节点池弹性伸缩功能的正常使用,需要在集群中安装CCE集群弹性引擎。 更新弹性伸缩配置 登录CCE控制台,单击集群名称进入集群。 单击左侧导航栏的“节点管理”,在目标节点池所在行右上角单击
组调度(Gang) 组调度(Gang)满足了调度过程中“All or nothing”的调度需求,避免Pod的任意调度导致集群资源的浪费,主要应用于AI、大数据等多任务协作场景。启用该能力后,可以解决分布式训练任务之间的资源忙等待和死锁等痛点问题,大幅度提升整体训练性能。 前提条件
CCE集群高可用推荐配置 为了保证应用可以稳定可靠的运行在Kubernetes里,本文介绍构建Kubernetes集群时的推荐配置。 类型 说明 高可靠配置建议 集群控制面 CCE是一项托管式的Kubernetes服务,集群控制面(即控制节点)无需由用户进行运维,您可以通过一些集群配置来提高集群整体的稳定性和可靠性
修改节点进程 ID数量上限kernel.pid_max 背景信息 进程 ID(PID)是节点上的一种基础资源,容易在尚未超出其它资源约束的时候触及进程ID数量上限,进而导致节点不稳定。 您可以根据实际业务需求调整进程ID数量上限。 默认kernel.pid_max说明 CCE在2022
CCE节点故障检测插件版本发布记录 表1 CCE节点故障检测插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.19.16 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 支持CCE v1.31集群 0.8.10 1.19.11
使用配置项 配置项创建后,可在工作负载环境变量、命令行参数和数据卷三个场景使用。 通过配置项设置工作负载环境变量 通过配置项设置命令行参数 使用配置项挂载到工作负载数据卷 本节以下面这个ConfigMap为例,具体介绍ConfigMap的用法。 apiVersion: v1 kind
使用HPA+CA实现工作负载和节点联动弹性伸缩 应用场景 企业应用的流量大小不是每时每刻都一样,有高峰,有低谷,如果每时每刻都要保持能够扛住高峰流量的机器数目,那么成本会很高。通常解决这个问题的办法就是根据流量大小或资源占用率自动调节机器的数量,也就是弹性伸缩。 当使用Pod/容器部署应用时
使用HPA+CA实现工作负载和节点联动弹性伸缩 应用场景 企业应用的流量大小不是每时每刻都一样,有高峰,有低谷,如果每时每刻都要保持能够扛住高峰流量的机器数目,那么成本会很高。通常解决这个问题的办法就是根据流量大小或资源占用率自动调节机器的数量,也就是弹性伸缩。 当使用Pod/容器部署应用时
云原生混部概述 随着云原生技术迅速发展,海量应用正在走向云原生化。从2021年到2022年,Kubernetes集群中的云原生应用总数同比增长30%+,Kubernetes正在成为云时代的“操作系统”。但随着进一步调研发现,应用部署在Kubernetes集群后,大部分用户节点的CPU
在CCE集群中使用容器的安全配置建议 控制Pod调度范围 通过nodeSelector或者nodeAffinity限定应用所能调度的节点范围,防止单个应用异常威胁到整个集群。参考节点亲和性。 在逻辑多租等需强隔离场景,系统插件应该尽量运行在单独的节点或者节点池上,与业务Pod分离,
快照与备份 CCE通过云硬盘EVS服务为您提供快照功能,云硬盘快照简称快照,指云硬盘数据在某个时刻的完整复制或镜像,是一种重要的数据容灾手段,当数据丢失时,可通过快照将数据完整的恢复到快照时间点。 您可以创建快照,从而快速保存指定时刻云硬盘的数据。同时,您还可以通过快照创建新的云硬盘
装箱调度(Binpack) 装箱调度(Binpack)是一种优化算法,以最小化资源使用量为目标,将资源合理地分配给每个任务,使所有资源都可以实现最大化的利用价值。在集群工作负载的调度过程中使用Binpack调度策略,调度器会优先将Pod调度到资源消耗较多的节点,减少各节点空闲资源碎片
通过Helm v3客户端部署应用 前提条件 在CCE中创建的Kubernetes集群已对接kubectl,具体请参见使用kubectl连接集群。 部署Helm时如果需要拉取公网镜像,请提前为节点绑定弹性公网IP。 安装Helm v3 本文以Helm v3.3.0为例进行演示。 如需选择其他合适的版本
网络概述 关于集群的网络,可以从如下两个角度进行了解: 集群网络是什么样的:集群由多个节点构成,集群中又运行着Pod(容器),每个Pod都需要访问,节点与节点、节点与Pod、Pod与Pod都需要访问。那集群中包含有哪些网络,各自的用处是什么,具体请参见集群网络构成。 集群中的Pod
使用CoreDNS实现自定义域名解析 应用现状 在使用CCE时,可能会有解析自定义内部域名的需求,例如: 存量代码配置了用固定域名调用内部其他服务,如果要切换到Kubernetes Service方式,修改配置工作量大。 在集群外自建了一个其他服务,需要将集群中的数据通过固定域名发送到这个服务
修改最大文件句柄数 最大文件句柄数即打开文件数的最大限制,Linux系统中包含两个文件句柄限制:一个是系统级的,即所有用户的进程同时打开文件数的上限;一种是用户级的,即单个用户进程打开文件数的上限。但是在容器中,还有另一个文件句柄限制,即容器内部单进程最大文件句柄数。 修改节点系统参数的命令仅在使用公共镜像时有效
CCE容器存储插件(Everest)版本发布记录 表1 CCE容器存储插件(Everest)版本记录 插件版本 支持的集群版本 更新特性 2.4.105 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 支持CCE v1.31集群 2.4.75 v1.23 v1.25
Kubeflow部署 Kubeflow的诞生背景 基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程,它需要处理很多个环节。如图1所示,除了熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一个
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器,节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例,安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java