步骤一:开启对分布式云支持 创建集群过程中,开启对分布式云(cloudpond)支持的功能。开启该功能后,CCE将创建Turbo分布式集群,支持对接CloudPond服务。 登录CCE控制台。 在“集群管理”页面单击“购买集群”。
节点操作系统说明 本文为您提供当前已经发布的集群版本与操作系统版本的对应关系。 操作系统说明 表1 操作系统说明 操作系统类型 说明 Huawei Cloud EulerOS Huawei Cloud EulerOS(简称HCE OS),是基于华为开源社区openEuler构建的Linux
节点操作系统 集群版本与操作系统对应关系 如下为当前已经发布的集群版本与操作系统版本的对应关系,请参考: 表1 弹性云服务器-虚拟机节点操作系统 操作系统 集群版本 CCE Standard集群 CCE Turbo集群 最新内核信息 VPC网络模型 容器隧道网络模型 云原生网络2.0
超节点拓扑亲和调度 在AI大规模训练和推理场景中,随着计算资源的分布式扩展,Pod间网络通信常面临带宽瓶颈和高延迟问题,尤其是关联度高的Pod之间频繁的跨节点通信,会显著降低系统性能和响应速度。为此,Volcano调度器支持使用超节点拓扑亲和调度能力。
在CCE集群中部署使用Flink Flink是一个用于大规模数据处理的分布式流处理框架和计算引擎,可以处理有界(批处理)和无界(流处理)数据,提供低延迟、高吞吐量的实时数据处理能力,同时支持复杂事件处理和数据分析。
通过负载均衡配置实现会话保持 概念 会话保持可以确保用户在访问应用时的连续性和一致性。如果在客户端和服务器之间部署了负载均衡设备,很有可能这多个连接会被转发至不同的服务器进行处理。开启会话保持后,负载均衡会把来自同一客户端的访问请求持续分发到同一台后端云服务器上进行处理。 例如在大多数需要用户身份认证的在线系统中
执行以下命令,创建名为vllm-lws的YAML文件,用于部署vLLM分布式推理服务。
Fluid数据加速引擎概述 Fluid是云原生领域的一款分布式数据集编排与加速引擎,专为大数据和AI应用设计。它旨在通过透明的数据管理和优化调度,帮助AI和大数据应用高效利用任何存储的数据,而无需修改现有应用。
但是在某些场景下,这并不满足需求,比如有些分布式的场景,要求每个Pod都有自己单独的状态时,比如分布式数据库,每个Pod要求有单独的存储,这时Deployment无法满足业务需求。
CCE集群是由多个节点组成的分布式系统,集群内部资源(如Pods、Services、Deployments 等)通常需要通过一些工具和方法进行集中管理和操作。
购买集群 集群类型对比 购买Standard/Turbo集群 在CCE Turbo分布式集群中使用边缘云资源 使用KMS进行Secret落盘加密 iptables与IPVS如何选择 父主题: 集群
Kuberay 插件简介 Kuberay是一个Kubernetes原生插件,用于在Kubernetes集群(包括CCE Standard/Turbo集群)上管理和运行Ray分布式计算框架。Ray是一个高性能的分布式计算库,常用于机器学习、强化学习和数据处理等场景。
使用ASM实现灰度发布和蓝绿发布 应用服务网格(Application Service Mesh,简称ASM)是基于开源Istio推出的服务网格平台,它深度、无缝对接了企业级Kubernetes集群服务云容器引擎(CCE),在易用性、可靠性、可视化等方面进行了一系列增强,可为客户提供开箱即用的上手体验
专属存储概述 专属分布式存储服务(Dedicated Distributed Storage Service,DSS)可以为您提供独享的物理存储资源,通过数据冗余和缓存加速等多项技术,提供高可用性和持久性,以及稳定的低时延性能。CCE支持将使用DSS创建的存储卷挂载到容器。
分布式挂卷策略(enable_node_attacher) 可视化界面配置 开启时,由每个节点上的everest-csi-driver组件负责attach/detach EVS卷。
CoreDNS域名解析 插件简介 CoreDNS域名解析插件是一款通过链式插件的方式为Kubernetes提供域名解析服务的DNS服务器。 CoreDNS是由CNCF孵化的开源软件,用于Cloud-Native环境下的DNS服务器和服务发现解决方案。CoreDNS实现了插件链式架构
示例:某部门权限设计及配置 概述 随着容器技术的快速发展,原有的分布式任务调度模式正在被基于Kubernetes的技术架构所取代。云容器引擎(Cloud Container Engine,简称CCE)是高度可扩展的、高性能的企业级Kubernetes集群,支持社区原生应用和工具。
修改CCE集群配置 集群配置参数是分布式系统中用于定义节点行为、资源分配、通信规则、扩展策略等的底层规则集,会影响集群的性能、稳定性、扩展性和容错能力。通过调整CCE集群的配置参数,您可以对核心组件进行深度配置。集群配置参数主要分为以下几类,您可以根据需求进行调整。
启用该能力后,可以解决分布式训练任务之间的资源忙等待和死锁等痛点问题,大幅度提升整体训练性能。 前提条件 已创建v1.19及以上版本的集群,详情请参见购买Standard/Turbo集群。 已安装Volcano插件,详情请参见Volcano调度器。
随着微服务的大量应用,其构成的分布式应用架构在运维、调试和安全管理等维度变得更加复杂,在管理微服务时,往往需要在业务代码中添加微服务治理相关的代码,导致开发人员不能专注于业务开发,还需要考虑微服务治理的解决方案,并且将解决方案融合到其业务系统中。
您即将访问非华为云网站,请注意账号财产安全