检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅适用于监控Kubernetes社区原生的GPU资源(nvidia.com/gpu),不支持监控CCE提供的GPU虚拟化资源。 前提条件 目标集群已创建,且集群中包含GPU节点,并已运行GPU相关业务。 在集群中安装CCE AI 套件 (NVIDIA GPU)和云原生监控插件。 CCE
云原生监控插件 插件简介 云原生监控插件(原名kube-prometheus-stack)通过使用Prometheus-operator和Prometheus,提供简单易用的端到端Kubernetes集群监控能力。 使用云原生监控插件可将监控数据与监控中心对接,在监控中心控制台查看监控数据,配置告警等。
使用AOM监控自定义指标 CCE支持上传自定义指标到AOM,节点上的ICAgent会定期调用负载中配置的监控指标接口读取监控数据,然后上传到AOM上。 图1 ICAgent采集监控指标 负载的自定义指标接口可以在创建时配置。本文将通过一个Nginx应用的示例演示如何上报自定义监控指标到AOM,步骤如下:
VPC网络模型 VPC网络模型说明 扩展集群容器网段 父主题: 容器网络
控策略。 资源监控指标 资源基础监控包含CPU/内存/磁盘等指标数据,您可以全面监控集群的健康状态和负荷程度,具体请参见监控概述。您可以在CCE控制台从集群、节点、工作负载等维度查看这些监控指标数据,也可以在AOM中查看。 自定义指标 CCE支持采集应用程序中的自定义指标并上传到
集群网络配置 扩展集群VPC网段 父主题: 网络
使用云原生监控插件监控自定义指标 CCE提供了云原生监控插件,支持使用Prometheus监控自定义指标。 本文将通过一个Nginx应用的示例演示如何使用Prometheus监控自定义指标,步骤如下: 安装并访问云原生监控插件 CCE提供了集成Prometheus功能的插件,支持一键安装。
用户可以按照上述格式对监控任务进行创建、修改、及删除,当前仅支持最多10个监控任务的创建,且多个监控任务匹配到同一个监控后端时,每一个监控后端将会产生监控任务数量的监控指标。 修改或删除监控任务,都将导致丢失原有监控任务所采集的监控数据,请谨慎操作。 用户卸载插件后,用户之前配置的监控任务Mo
图4 VPC网络-多集群场景示例 容器隧道网络 该模式下容器网络是承载于VPC网络之上的Overlay网络平面,具有少量隧道封装性能损耗,但获得了通用性强、互通性强、高级特性支持全面(例如Network Policy网络隔离)的优势,可以满足大多数应用需求。集群网络地址段规划示意图如图5所示。
容器网络配置 配置管理-容器网络配置 节点池Pod安全组配置 节点池中的节点上运行的 Pod 的安全组配置,可填写安全组 ID。与工作负载详情页面的安全组策略一起实现对集群下负载 Pod 网络访问控制。 参数名 取值范围 默认值 是否允许修改 作用范围 security_groups_for_nodepool
容器监控的内存使用率与实际弹性伸缩现象不一致 问题现象 容器监控的内存使用率与实际弹性伸缩现象不一致,例如容器内存使用率在界面上显示为40%左右,而HPA设置缩容阈值为70%,但界面上显示的内存使用率低于HPA阈值后并没有发生缩容。 问题根因 界面上显示的容器内存使用率与HPA弹
网络管理最佳实践 本文主要为您介绍网络管理相关实践。 场景分类 相关最佳实践 集群网络配置相关实践 集群网络地址段规划实践 集群网络模型选择及各模型区别 CCE Turbo配置容器网卡动态预热 在VPC网络集群中访问集群外地址时使用Pod IP作为客户端源IP 网络环境打通相关实践
监控运维配置 CCE为您提供监控应用及资源的能力,支持采集各项指标及事件等数据以分析应用健康状态,您可以通过“配置中心 > 监控运维配置”统一调整监控运维参数。 您需要开通监控中心,以使用监控运维配置的所有功能。 监控配置 采集配置 系统预置采集:可视化管理云原生监控插件的监控采集任务。详情请参见管理监控采集任务。
容器网络插件 CoreDNS域名解析 NGINX Ingress控制器 节点本地域名解析加速 父主题: 插件
容器隧道网络模型 容器隧道网络模型说明 父主题: 容器网络
集群网络配置 节点最少绑定容器网卡数 节点最少绑定容器网卡数,保障节点最少有多少张容器网卡绑定在节点上,支持数值跟百分比两种配置方式。 参数名 取值范围 默认值 是否允许修改 作用范围 nic-minimum-target 0-256 10 允许 CCE Turbo 节点最少绑定容器网卡数:
GPU监控指标说明 CCE AI套件(NVIDIA GPU)插件提供GPU监控指标,并集成了DCGM-Exporter组件(要求插件版本2.7.32+),引入更丰富的GPU可观测性场景。本文介绍CCE AI套件(NVIDIA GPU)插件指标的详细信息。 计费说明 GPU指标作为
Targets”,可以查看到Prometheus监控了哪些目标。 图2 查看监控目标 监控GPU指标 创建一个使用GPU的工作负载,等工作负载正常运行后,访问Prometheus,在“Graph”页面中,查看GPU指标。 关于GPU指标详情请参见GPU监控指标说明。 图3 查看GPU监控指标 访问Grafana
网络异常问题排查 工作负载网络异常时,如何定位排查? 负载均衡类型Service异常问题排查 集群内部无法使用ELB地址访问负载 集群外部访问Ingress异常 CCE集群中域名解析失败 为什么访问部署的应用时浏览器返回404错误码? 为什么容器无法连接互联网? VPC的子网无法删除,怎么办?
有效率:使用量/请求量;使用率:使用量/总量 CPU Throttling 百分比 CPU节流周期限制率 图2 Pod网络指标 表2 Pod网络指标说明 指标名称 单位 说明 网络接收速 字节/秒 容器每秒接收的字节数 网络发送速率 字节/秒 容器每秒发送的字节数 接收数据包速率 个/秒 容器每秒接收数据包数 发送数据包速率