检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CCE节点安全配置建议 及时跟踪处理官网发布的漏洞 节点在新的镜像发布前请参考漏洞公告,完成节点漏洞修复。 节点不暴露到公网 如非必需,节点不建议绑定EIP,以减少攻击面。 在必须使用EIP的情况下,应通过合理配置防火墙或者安全组规则,限制非必须的端口和IP访问。 在使用cce集
监控安全风险 结合应用运维管理AOM服务,CCE提供基于Kubernetes原生类型的容器监控能力,可实时监控应用及资源,采集各项指标及事件等数据以分析应用健康状态,提供全面、清晰、多维度数据可视化能力。此外,您还可以根据自己的需求,采集和监控工作负载的自定义指标,实现个性化的监控策略。
负载诉求。 磁盘增强型:该类型实例能提供可使用本地磁盘存储以及更高网络性能的实例,可以用于处理需要高吞吐以及高数据交换处理的工作负载,例如大数据工作负载等场景。 超高I/O型:该类型实例提供超低SSD盘访问延迟和超高IOPS性能,适用于高性能关系型数据库、NoSQL数据库(如Ca
Kubeflow在调度环境使用的是Kubernetes的默认调度器。而Kubernetes默认调度器最初主要是为长期运行的服务设计的,对于AI、大数据等批量和弹性调度方面还有很多的不足。主要存在以下问题: 资源争抢问题 TensorFlow的作业包含Ps和Worker两种不同的角色,这
目标操作系统:该项无需设置,用于展示目标版本的镜像信息。 升级方式:当前支持节点重置方式进行升级。 每批最大升级节点数:节点升级时,允许节点不可用的最大数量。节点重置方式进行同步时节点将不可用,请合理设置该参数,尽量避免出现集群节点不可用数量过多导致Pod无法调度的情况。 节点列表:选择需要升级的节点。
TCP是面向连接的协议。当双方希望通过TCP连接进行通信时,他们通过TCP握手交换某些信息建立连接,例如发起一个TCP请求,通过SYN发送初始序列ID,确认ID,连接使用的最大数据包段大小(MSS),认证信息和处理选择性确认(SACK)等。整体TCP连接通过我们熟知的三次握手最终建立。 TCP通过一个数据段单元发送和接收用户数据包。
集群可用但节点状态为“不可用”如何解决? 当集群状态为“可用”,而集群中部分节点状态为“不可用”时,请参照如下方式来排查解决。 节点不可用检测机制说明 Kubernetes 节点发送的心跳确定每个节点的可用性,并在检测到故障时采取行动。检测的机制和间隔时间详细说明请参见心跳。 使用NPD插件排查故障
AI任务性能增强调度 针对AI、大数据协作调度场景,可使用Volcano公平调度(DRF)、组调度(Gang)来提升训练性能,提高资源使用效率。 公平调度(DRF) DRF(Dominant Resource Fairness)是主资源公平调度策略,应用于大批量提交AI训练和大数据作业的场景,可
Node”,输入节点名称为fixed-agent(该名称可自定义),类型选择固定节点。 配置以下节点信息: Number of executors(并发构建的最大数目):默认为1,可根据实际需求填写。 Remote root directory(远程工作目录):/home/jenkins/agent Launch
在线作业:一般运行时间长,服务流量呈周期性,资源存在潮汐现象,但对服务SLA要求较高,如广告业务、电商业务等。 离线作业:往往运行时间短,计算需求大,可容忍较高的时延,如AI/大数据业务。 功能介绍 功能 描述 参考文档 动态资源超卖 根据在线作业和离线作业类型,通过Volcano调度将集群中申请而未使用的资源(即申
操作系统:该项无需设置,用于展示目标版本的镜像信息。 同步方式:当前支持节点重置方式进行同步。 每批最大同步节点数:节点升级时,允许节点不可用的最大数量。节点重置方式进行同步时节点将不可用,请合理设置该参数,尽量避免出现集群节点不可用数量过多导致Pod无法调度的情况。 节点列表:选择需要同步节点池配置的节点。
创建普通任务(Job) 操作场景 普通任务是一次性运行的短任务,部署完成后即可执行。正常退出(exit 0)后,任务即执行完成。 普通任务是用来控制批处理型任务的资源对象。批处理业务与长期伺服业务(Deployment、Statefulset)的主要区别是: 批处理业务的运行有头
NPU调度 Volcano调度 Volcano是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。 功能
性能要求较高:由于没有额外的隧道封装,相比于容器隧道网络模式,VPC网络模型集群的容器网络性能接近于VPC网络性能,所以适用于对性能要求较高的业务场景,比如:AI计算、大数据计算等。 中小规模组网:由于VPC路由网络受限于VPC路由表条目配额的限制,建议集群规模为1000节点及以下。 性能要求高:由于云原生网络2
数据保护技术 CCE通过多种数据保护手段和特性,保障数据的安全可靠。 表1 CCE的数据保护手段和特性 数据保护手段 简要说明 详细介绍 服务发现支持证书配置 CCE集群中的应用服务支持使用HTTPS传输协议,保证数据传输的安全性,您可以根据需求创建四层或七层的访问方式来对接负载均衡器。
CCE突发弹性引擎(对接CCI) 将Kubernetes API扩展到无服务器的容器平台(如CCI),无需关心节点资源。 适合在线突增流量、CI/CD、大数据作业等场景。 CCE容器实例弹性伸缩到CCI服务 父主题: 弹性伸缩
如果使用Master+Agent模式,建议将Master的并发构建数设置为0,即全部使用Agent进行构建。如果使用单Master模式,则无需修改为0。 修改执行并发构建的最大数目,示例中修改为2,您可根据实际需求并结合节点性能进行修改该值。 父主题: 实施步骤
每秒发送到APIServer的突发请求数量上限。 默认:100 - kubelet管理的Pod上限 max-pods Node能运行的Pod最大数量。 CCE Standard集群:由节点最大实例数设置决定。 CCE Turbo集群:由节点网卡数量决定。 - 限制Pod中的进程数 pod-pids-limit
等。 HPC高性能计算、媒体处理、内容管理和Web服务、大数据和分析应用程序等。 说明: 高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染等。 高性能网站、日志存储、DevOps、企业办公等。 大数据分析、静态网站托管、在线视频点播、基因测序、智能视频监控、备份归档、企业云盘(网盘)等。
通过StorageClass动态创建SFS Turbo子目录 背景信息 SFS Turbo容量最小500G,且不是按使用量计费。SFS Turbo挂载时默认将根目录挂载到容器,而通常情况下负载不需要这么大容量,造成浪费。 everest插件支持一种在SFS Turbo下动态创建子目录的方法,能够在SFS