检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
公平调度(DRF) DRF(Dominant Resource Fairness)是主资源公平调度策略,应用于大批量提交AI训练和大数据作业的场景,可增强集群业务的吞吐量,整体缩短业务执行时间,提高训练性能。 前提条件 已创建v1.19及以上版本的集群,详情请参见购买Standard/Turbo集群。
Volcano调度概述 Volcano是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。 Volcano
以选择直接在线安装。 实例(Release):实例是Helm在Kubernetes集群中安装模板包后的运行结果。一个模板包通常可以在一个集群中安装多次,每次安装都会创建一个新的实例。以MySQL模板包为例,如果您想在集群中运行两个数据库,可以安装该模板包两次,每一个数据库都会拥有自己的release
资源,通过数据冗余和缓存加速等多项技术,提供高可用性和持久性,以及稳定的低时延性能。CCE支持将使用DSS创建的存储卷挂载到容器。 专属存储性能规格 存储池性能的主要指标有IO读写延时、IOPS和吞吐量。 IOPS:每秒进行读写的操作次数。 吞吐量:每秒成功传送的数据量,即读取和写入的数据量。
Dockerfile内容如下: # 表示以centos7.1.1503为基础镜像 FROM centos:7.1.1503 # 创建文件夹,存放数据和依赖文件,建议多个命令写成一条,可减少镜像大小 RUN mkdir -p /usr/local/mongodb/data \ &&
的总字节数。 网络发送丢包率:负载的所有Pod的容器在不同的时间段的发送丢失的数据包总量占发送的数据包总量的比例。 网络接收丢包率:负载的所有Pod的容器在不同的时间段的接收丢失的数据包总量占接收的数据包总量的比例。 Pod相关指标 Pod CPU使用率:负载的每个Pod在不同的时间段的CPU使用量除以它们的CPU
CCE集群新增节点时的问题与排查方法? 注意事项 同一集群下的节点镜像保证一致,后续新建/添加/纳管节点时需注意。 新建节点时,数据盘如需分配用户空间,分配目录注意不要设置关键目录,例如:如需放到home下,建议设置为/home/test,不要直接写到/home/下。 请注意“挂
default-secret 在Volume中引用Secret 在Volume中引用Secret,就是通过文件的方式直接将Secret的每条数据填入Volume,每条数据是一个文件,键就是文件名,键值就是文件内容。 如下示例中,创建一个名为vol-secret的Volume,这个Volume引用
挂载路径下的数据会存储在存储卷的tmp文件夹中。不填写时默认为根路径。 权限 只读:只能读容器路径中的数据卷。 读写:可修改容器路径中的数据卷,容器迁移时新写入的数据不会随之迁移,会造成数据丢失。 本例中将该存储卷挂载到容器中/data路径下,在该路径下生成的容器数据会存储到本地持久存储中。
挂载路径下的数据会存储在存储卷的tmp文件夹中。不填写时默认为根路径。 权限 只读:只能读容器路径中的数据卷。 读写:可修改容器路径中的数据卷,容器迁移时新写入的数据不会随之迁移,会造成数据丢失。 本例中将该存储卷挂载到容器中/data路径下,在该路径下生成的容器数据会存储到文件存储中。
od名称、状态、Pod IP和所在节点进行筛选,快速定位所需的Pod。 您也可以单击“导出”按钮来导出全部Pod数据,或者选择部分Pod进行导出,此时仅导出所选中的数据。导出的文件为“.xlsx”格式,文件命名中包含时间戳。 概览 单击Pod名称,您可以方便地查看资源概况,包括P
请勿在节点上手动删除对应的存储池或卸载数据盘,否则会导致数据丢失等异常情况。 本地持久卷不支持被多个工作负载或多个任务同时挂载。 本地临时卷使用约束: 本地临时卷仅在集群版本 >= v1.21.2-r0 时支持,且需要everest插件版本>=1.2.29。 请勿在节点上手动删除对应的存储池或卸载数据盘,否则会导致数据丢失等异常情况。
创建裸盘 在控制台,单击新增数据盘后,在高级配置中默认,则创建磁盘为裸盘。 使用API调用则可以按如下配置。 cceUse selector匹配到一块100G 数据盘。 所选磁盘被cce管理用作数据盘。 dataVolumes中创建的另一块100G 数据盘未被任何selector选
使用CCE密钥管理(对接 DEW)插件 CCE密钥管理(dew-provider)插件用于对接数据加密服务(Data Encryption Workshop, DEW)。该插件允许用户将存储在集群外部(即专门存储敏感信息的数据加密服务)的凭据挂载至业务Pod内,从而将敏感信息与集群环境解耦,有效避免
er节点组件指标监控。 节点数据盘分区及大小 节点第一块数据盘默认供容器运行时及kubelet组件使用,其剩余的容量大小会影响镜像下载和容器启动及运行,数据盘的分配详情请参见数据盘空间分配说明。 该数据盘默认大小为100G,您也可以根据需求调整该数据盘大小。由于镜像、系统日志、应
创建无状态负载(Deployment) 操作场景 在运行中始终不保存任何数据或状态的工作负载称为“无状态负载 Deployment”,例如nginx。您可以通过控制台或kubectl命令行创建无状态负载。 前提条件 在创建容器工作负载前,您需要存在一个可用集群。若没有可用集群 ,
指标免费,其他指标按需收费。关于免费指标详情请参见基础指标-容器指标。 对接第三方监控平台 开启后,支持将普罗数据上报至第三方监控平台,您需要提前获取第三方监控平台的数据上报地址及身份认证凭据。详情请参见CCE云原生监控插件对接第三方监控平台。 日志配置 采集配置 CCE可以帮助您快速采集
区域与可用区 什么是区域、可用区? 区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Re
组调度(Gang) 组调度(Gang)满足了调度过程中“All or nothing”的调度需求,避免Pod的任意调度导致集群资源的浪费,主要应用于AI、大数据等多任务协作场景。启用该能力后,可以解决分布式训练任务之间的资源忙等待和死锁等痛点问题,大幅度提升整体训练性能。 前提条件 已创建v1.1
存量代码配置了用固定域名调用内部其他服务,如果要切换到Kubernetes Service方式,修改配置工作量大。 在集群外自建了一个其他服务,需要将集群中的数据通过固定域名发送到这个服务。 解决方案 使用CoreDNS有以下几种自定义域名解析的方案。 为CoreDNS配置存根域:为特定域名指定域名