检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
vOps重要性日益显著。 方案架构 该方案使用Gitlab和Jenkins来实现容器应用的自动化构建和持续部署,其中Gitlab提供了源码管理和版本控制的功能,而Jenkins则负责进行容器应用的构建和部署。并且为了保证生产环境和测试环境互不影响,该方案使用了两个独立的Kuber
应用容器化改造方案概述 本手册基于云容器引擎实践所编写,用于指导您已有应用的容器化改造。 什么是容器 容器是操作系统内核自带能力,是基于Linux内核实现的轻量级高性能资源隔离机制。 云容器引擎CCE是基于开源Kubernetes的企业级容器服务,提供高可靠高性能的企业级容器应用
与运维等容器全栈能力,为您提供一站式容器平台服务。借助云容器引擎,您可以在华为云上轻松部署、管理和扩展容器化应用程序。 应用管理与运维平台(ServiceStage) ServiceStage应用管理与运维平台是一个应用托管和微服务管理平台,可以帮助企业简化部署、监控、运维和治理
计算配置 节点池类型 节点池类型。不填写时默认为vm。 参数名 取值范围 默认值 是否允许修改 作用范围 .spec.type vm、ElasticBMS、pm vm 支持初始化时配置,不支持后续修改 CCE Standard/CCE Turbo 匹配实际节点ECS/BMS规格分类
计算配置 节点类型 参数名 取值范围 默认值 是否允许修改 作用范围 type 无 无 允许 CCE Standard/CCE Turbo CCE Standard集群: 弹性云服务器-虚拟机:基于弹性云服务器部署容器服务。 弹性云服务器-物理机:基于擎天架构的服务器部署容器服务。
成本计算模型 工作负载成本计算原理 工作负载成本是由Pod成本聚合而成。 Pod成本:使用监控指标和实际账单作为输入,通过CPU、内存使用量占整体节点资源比例计算出来的成本,结合Pod关联PVC存储的成本。 计算过程中,Pod的使用量为当前采样时刻下申请量(Request)和实际使用量(Real
批量计算 在CCE集群中部署使用Kubeflow 在CCE集群中部署使用Caffe 在CCE集群中部署使用Tensorflow 在CCE集群中部署使用Flink 在CCE集群中部署使用ClickHouse 在CCE集群中部署使用Spark
上,统一流量分发,单云故障后能够自动将业务流量切换到其他云上,并能快速自动解决现网事故。 统一架构,高弹性 云上云下同架构平台,可灵活根据流量峰值实现资源在云上云下的弹性伸缩、平滑迁移和扩容。 计算与数据分离,能力共享 通过云容器引擎,用户可以实现敏感业务数据与一般业务数据的分离
复用等机制减少集群资源的空闲比例。 价值 面向AI计算的容器服务,采用高性能GPU计算实例,并支持多容器共享GPU资源,在AI计算性能上比通用方案提升3~5倍以上,并大幅降低了AI计算的成本,同时帮助数据工程师在集群上轻松部署计算应用,您无需关心复杂的部署运维,专注核心业务,快速实现从0到1快速上线。
基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程,它需要处理很多个环节。如图1所示,除了熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一个AI算法工程师来讲,如果要做模型训练,就不得不搭建一套AI计算平台,这个过程耗时费力,而且需要很多的知识积累。
容器镜像服务,节省运维成本。 如何把已有的镜像仓库平滑地迁移到容器镜像服务?这里将介绍3种常见的方案,您可以根据自己的实际使用场景来选择。 迁移方案 表1 迁移方案及适用场景对比 方案类型 适用场景 注意事项 使用docker命令将镜像迁移至SWR 待迁移的镜像数量较少 依赖磁盘
合理分配容器计算资源 只要节点有足够的内存资源,那容器就可以使用超过其申请的内存,但是不允许容器使用超过其限制的资源。如果容器分配了超过限制的内存,这个容器将会被优先结束。如果容器持续使用超过限制的内存,这个容器就会被终结。如果一个结束的容器允许重启,kubelet就会重启它,但是会出现其他类型的运行错误。
持直接对接GitHub等源代码托管网站。 约束与限制 该实践方案仅支持在CCE集群下部署,不适用专属云场景。 Jenkins系统的维护由开发者自行负责,使用过程中CCE服务不对Jenkins系统提供额外维护与支持。 方案架构 Jenkins部署分为以下两种模式: 一种是直接使用单
服务器解析。 如果是访问华为云内部域名,则直接使用华为云内部域名解析服务器解析 图4 方案二:修改CoreDNS配置 方案比较 方案 优点 缺点 方案一:通过DNS Endpoint做级联解析 支持在CCE集群节点容器与节点同时解析外部域名 解析华为云内部域名时也需要通过外部域名解析服务器转发,存在性能损耗
集群迁移上云的方案和步骤。 上云须知 与自建K8s集群相比,CCE集群具有多种优势,您可参考云容器引擎与自建Kubernetes集群对比进行额外的了解。在CCE集群的使用过程中也存在着部分限制,请参见约束与限制,务必在使用前做好评估。 迁移方案 本文介绍一种集群迁移方案,适合如下几类集群:
用率。 Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能,主要特性包括: 丰富的计算框架支持:通过CRD提供了批量计算任务的通用API,通过提供丰富的插件及作业生命周期高级管理,支持TensorFlow,MPI,Spark等计算框架容器化运行在Kubernetes上。
将Prometheus监控数据上报至第三方监控平台 操作场景 CCE云原生监控插件可以将集群中收集到的Prometheus指标,上报到您指定的监控平台,例如AOM,或者您也可以指定支持Prometheus数据的第三方监控平台。本文以对接第三方Prometheus实例为例,使用CC
Volcano批量调度系统:加速AI计算的利器 Volcano是一款构建于Kubernetes之上的增强型高性能计算任务批量处理系统。作为一个面向高性能计算场景的平台,它弥补了Kubernetes在机器学习、深度学习、HPC、大数据计算等场景下的基本能力缺失,其中包括gang
云原生异构计算插件 CCE AI套件(NVIDIA GPU) CCE AI套件(Ascend NPU) 父主题: 插件
诊断项及修复方案 集群诊断项及修复方案 集群维度 集群诊断场景 诊断项 是否需要开通监控中心 修复方案 集群资源规划能力 集群Master节点是否高可用 是 集群为单控制节点或者存在控制节点异常,当再有控制节点故障时,集群将不可用,进而会影响集群中运行服务的可靠性。提升服务韧性建