检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NameNode(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“NameNode内存使用详情”。查看直接内存使用情况。 查看NameNode使用的直接内存是否已达到NameNode设定的最大直接内存的90%(默认阈值)。 是,执行4。 否,执行8。 在FusionInsight
配置 > 全部配置 > NodeManager > 系统”。将“GC_OPTS”参数根据实际情况调大。 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下: 集群中的NodeManager实例数量达到100,NodeManager实例的JVM参数建议配置为:-Xms2G
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下,如果在任务执行过程中,执行NodeManager关闭动作,NodeManager关闭节点上的Executor(s)在空闲超时之后,在driver页面上未被移除。 回答 因为R
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其n
ALM-45448 ClickHouse使用Znode数量增长速率过快 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 Clickhouse中元数据信息会存储在Zookeeper上,因此会占用Znode,但是在业务无大的变动的场景下,Znode占用数出现持续陡增,两小时增长量超过设
ALM-14022 NameNode RPC队列平均时间超过阈值 告警解释 系统每30秒周期性检测NameNode的RPC队列平均时间,并把实际的NameNode的RPC队列平均时间和阈值(默认为200ms)相比较。当检测到NameNode的RPC队列平均时间连续多次(默认为10次)超出阈值范围时,产生该告警。
ConfigNode直接内存使用率超过阈值 告警解释 系统每60秒周期性检测ConfigNode进程直接内存使用状态,当连续5次检测到ConfigNode实例直接内存使用率超出阈值时,产生该告警,即当前ConfigNode设置的直接内存无法满足当前ConfigNode进程所需的直
DataNode(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“DataNode内存使用详情”。查看直接内存使用情况。 查看DataNode使用的直接内存是否已达到DataNode设定的最大直接内存的90%(默认阈值)。 是,执行4。 否,执行8。 在FusionInsight
NameNode非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS NameNode非堆内存使用率,并把实际的HDFS NameNode非堆内存使用率和阈值相比较。HDFS NameNode非堆内存使用率指标默认提供一个阈值范围。当HDFS NameNode非堆内存使用率超出阈值范围时,产生该告警。
ALM-14002 DataNode磁盘空间使用率超过阈值 告警解释 系统每30秒周期性检测DataNode磁盘空间使用率,并把实际磁盘使用率和阈值相比较。DataNode磁盘空间使用率指标默认提供一个阈值范围。当检测到DataNode磁盘空间使用率指标超出阈值范围时产生该告警。
DataNode非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS DataNode非堆内存使用率,并把实际的HDFS DataNode非堆内存使用率和阈值相比较。HDFS DataNode非堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode非堆内存使用率超出阈值范围时,产生该告警。
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下,如果在任务执行过程中,执行NodeManager关闭动作,NodeManager关闭节点上的Executor(s)在空闲超时之后,在driver页面上未被移除。 回答 这是因
如何设置开源Flink中的znode存储目录 问题现象 如何将开源Flink中的znode存储目录设置为自定义目录。 解决方法 如设置目录为/flink_base/flink,在flink-conf.yaml配置文件中将“high-availability.zookeeper.path
ALM-18017 NodeManager非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Yarn NodeManager非堆内存使用率,并把实际的Yarn NodeManager非堆内存使用率和阈值相比较。当Yarn NodeManager非堆内存使用率超出阈值(默认为最大非堆内存的90%)时产生该告警。
击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“NodeManager内存使用率”。查看直接内存使用情况。 图1 定制NodeManager内存使用率 查看NodeManager使用的直接内存是否已达到NodeManager设定的最大直接内存的90%(默认阈值)。 是,执行4。
xml文件后未及时重启NameNode导致产生告警如何处理? 问: 修改hdfs-site.xml文件后未重启NameNode进程却产生了告警如何处理? 答: 用户修改了比如dfs.namenode.checkpoint.period参数后,如果不重启NameNode进程,可能会产生误报的告警,需尽快重启NameNode进程。
HDFS Journalnode数据不同步(2.x及以前版本) 告警解释 在主NameNode节点上,系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步,系统产生该告警。 当Journalnode数据同步5分钟后,告警恢复。
全部配置 > NodeManager > 系统”。将“GC_OPTS”参数的值根据实际情况调大。保存配置,并重启NodeManager实例。 NodeManager重启过程中,提交到该节点的Container可能会重试到其他节点。 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下:
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 故障状态的DataNode节点无法提供HDFS服务。 可能原因 DataNode故障或者负荷过高。 NameNode和DataNode之间的网络断连或者繁忙。 NameNode负荷过高。 处理步骤 查看DataNode是否故障。 在集群节点使用客户端,执行hdfs
ZooKeeper Znode容量使用率超出阈值”所在行的下拉菜单,在定位信息中确认告警上报的Znode。 选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中,单击“按容量”查看顶级Znode目录是否被写入较多数据。