检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
EOF 预置镜像到SWR 在K8s内运行Spark任务,需要构建相同版本的Spark容器镜像,并将其上传到SWR。在编译Spark时,会自动生成配套的Dockerfile文件,您可通过此文件制作镜像并上传至SWR。 制作镜像。 cd ~/spark-obs docker build
应用程序完成后,执行程序的Pod将终止并清理,但驱动程序Pod仍然存在并保持在“已停止”状态,直到最终进行垃圾回收或手动清理。在“已停止”状态下,驱动程序Pod不会使用任何计算或内存资源。 图1 提交机制的工作原理 在CCE上运行SparkPi例子 在执行Spark的机器上安装kubectl,详情请参见通过kubectl连接集群。
Caffe分类范例 本实践采用caffe官方的分类例子,地址为https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb。 使用CPU 创建一个普通job,镜像输入第三方镜像bvlc/caffe:cpu,设置对应的容器规格。
整体应用容器化改造 本教程以“整体应用容器化改造”为例,指导您将一个“部署在虚拟机上的ERP企业管理系统”进行容器化改造,部署到容器服务中。 您不需要改动任何代码和架构,仅需将整体应用构建为容器镜像,部署到云容器引擎中。 本例应用简介 本例“企业管理应用”由某企业(简称A企业)开
预置条件 本实践提供在CCE上运行caffe的基础分类例子https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶,并确认以下文件夹已创建,文件已上传至指定位置(需要使用OBS
的CPU和内存利用率,统计Pod资源用量的概率分布特征,进而计算出节点资源用量的概率分布特征,从而在一定的置信度下给出节点资源用量的评估值。基于Pod实例画像的超卖量算法会同时考虑节点资源使用的整体水位和起伏变化,计算出相对稳定的超卖量,减少资源竞争几率,避免业务波动导致Pod频繁驱逐。
丰富的容器成本覆盖范围:支持成本分析的费用包括CCE集群管理费用、CCE集群关联的ECS和EVS资源费用。 基于计费账单的精准成本计算:使用真实账单进行成本分摊计算,精准统计集群成本。 灵活的成本分摊策略:支持集群、命名空间、节点池、应用等多种维度的成本可视化与成本分摊策略。 支持长期的
功能 名称 含义 命名空间估算成本&资源消耗汇总 命名空间名称 命名空间名称 估算成本 命名空间成本,计算方式:根据命名空间资源用量(CPU、Memory)占整体节点资源比例计算出来的成本,结合命名空间中工作负载关联存储的成本 运行总核时 所选时间周期内,命名空间总消耗的核时资源数
myhuaweicloud.com; Unknown error 在节点上ping上一步无法解析的域名,确认节点上能否解析此域名。 ping test.obs.cn-north-4.myhuaweicloud.com 如果不能,则说明DNS无法解析该地址。请确认/etc/resolv.conf文件中的DN
系统委托说明 由于CCE在运行中对计算、存储、网络以及监控等各类云服务资源都存在依赖关系,因此当您首次登录CCE控制台时,CCE将自动请求获取当前区域下的云资源权限,从而更好地为您提供服务。服务权限包括: 计算类服务 CCE集群创建节点时会关联创建云服务器,因此需要获取访问弹性云服务器、裸金属服务器的权限。
成本洞察 成本洞察概述 成本计算模型 开通成本洞察 Region视角的成本洞察 单部门视角的成本洞察 单集群视角的成本洞察 父主题: 云原生成本治理
登录CCE控制台,单击左侧导航栏中的“云原生成本治理”。 图1 云原生成本治理 单击“接入管理”,查看集群接入情况,并对剩余未接入集群进行接入。 图2 接入集群 选中需要接入的集群,单击“批量接入”,可批量将选中的集群进行开通。开通成功后,可以在列表中查看接入状态。集群首次接入云原生成本治理,需要等待2天时间,才可以看到相应成本数据。
能。 Binpack为调度器的多个调度插件之一,与其他插件共同为节点打分,用户可以自定义该插件整体权重和各资源维度打分权重,用以提高或降低Binpack在整体调度中的影响力。调度器在计算Binpack策略得分时,会考虑Pod请求的各种资源,如:CPU、Memory和GPU等扩展资源,并根据各种资源所配置的权重做平均。
您必须确保账户余额充足。 按需计费是一种后付费模式,即先使用再付费,按照实际使用时长计费。 在购买集群或集群内资源后,如果发现当前计费模式无法满足业务需求,您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 云容器引擎的计费项由集群费用和其他云服务资源费用组成。了解每
常见问题:远程镜像仓库使用非知名或不安全的证书 从第三方仓库下载镜像时,若第三方仓库使用了非知名或者不安全的证书,节点上会拉取镜像失败,Pod事件列表中有“实例拉取镜像失败”事件,报错原因为"x509: certificate signed by unknown authority"。 当前EulerOS
DRF(Dominant Resource Fairness)是主资源公平调度策略,应用于大批量提交AI训练和大数据作业的场景,可增强集群业务的吞吐量,整体缩短业务执行时间,提高训练性能。 前提条件 已创建v1.19及以上版本的集群,详情请参见购买Standard/Turbo集群。 已安装Vo
等通用计算能力。 功能 描述 参考文档 使用Volcano调度工作负载 一般情况下,Kubernetes在调度工作负载时会使用自带的默认调度器,若需要使用Volcano调度器的能力,您可以为工作负载指定调度器。 使用Volcano调度工作负载 资源利用率优化调度 针对计算资源进行
Volcano是一个基于Kubernetes的批处理平台,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力,通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户,并针对计算型应用提供了作业调度、作业管理、队列管理等多项功能。 一般情况下,Kubernetes在调度工作负
行正常,否则影响成本洞察中命名空间、工作负载、节点池等相关视图的呈现。 操作入口 登录CCE控制台,单击左侧导航栏中的“云原生成本治理”。 图1 云原生成本治理 查看部门分析模块。 图2 查看部门分析 单击部门成本明细中的某一部门名称,进入对应单部门视角。 图3 查看单部门成本 表1
性能要求较高:由于没有额外的隧道封装,相比于容器隧道网络模式,VPC网络模型集群的容器网络性能接近于VPC网络性能,所以适用于对性能要求较高的业务场景,比如:AI计算、大数据计算等。 中小规模组网:由于VPC路由网络受限于VPC路由表条目配额的限制,建议集群规模为1000节点及以下。 性能要求高:由于云原生网络2