检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看启动线程数最多的进程，案例中进程2346为NameNode进程，启动了5.4万线程，且持续增长。 多次打印对应进程的jstack日志，根据jstack日志信息发现，NameNode存在大量线程处于WAITING，且长期不释放。 结合以上问题分析如下：NameNode存在内置机制，根据WARN日志信
表区域右上角的下拉菜单，选择“定制 > 垃圾回收”，勾选“NameNode垃圾回收（GC）时间”。查看NameNode每分钟的垃圾回收时间统计情况。 图1 NameNode垃圾回收（GC）时间 查看NameNode每分钟的垃圾回收时间统计值是否大于告警阈值（默认12秒）。 是，执行4。
全部配置 > DataNode > 系统”。将“GC_OPTS”参数值根据实际情况调大。 单个DataNode实例平均Block数量和DataNode内存的对应关系参考值如下： 单个DataNode实例平均Block数量达到2,000,000，DataNode的JVM参数参考值为：-Xms6G
ALM-14021 NameNode RPC处理平均时间超过阈值 告警解释 系统每30秒周期性检测NameNode的RPC处理平均时间，并把实际的NameNode的RPC处理平均时间和阈值（默认为100ms）相比较。当检测到NameNode的RPC处理平均时间连续多次（默认为10次）超出阈值范围时，产生该告警。
MRS Presto查询报错“The node may have crashed or be under too much load” 用户问题 用户presto查询语句报错：The node may have crashed or be under too much load，具体如下图所示：
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其n
为什么DataNode无法正常上报数据块 问题 DataNode正常，但无法正常上报数据块，导致存在的数据块无法使用。 回答 当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时，可能会出现该错误。DataNode会产生相应的错误日志记录，如下所示： 2015-11-05
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下，如果在任务执行过程中，执行NodeManager关闭动作，NodeManager关闭节点上的Executor(s)在空闲超时之后，在driver页面上未被移除。 回答 因为R
为什么DataNode无法正常上报数据块 问题 DataNode正常，但无法正常上报数据块，导致存在的数据块无法使用。 回答 当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时，可能会出现该错误。DataNode会产生相应的错误日志记录，如下所示： 2015-11-05
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源（如CPU核数、内存总量）不一样，而NodeManager可用硬件资源设置为相同的值，可能造成性能浪费或状态异常，需要修改各个NodeManager角色实例的配置，使硬件资源得到充分利用。
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源（如CPU核数、内存总量）不一样，而NodeManager可用硬件资源设置为相同的值，可能造成性能浪费或状态异常，需要修改各个NodeManager角色实例的配置，使硬件资源得到充分利用。
ALM-14007 NameNode堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS NameNode堆内存使用率，并把实际的HDFS NameNode堆内存使用率和阈值相比较。HDFS NameNode堆内存使用率指标默认提供一个阈值范围。当HDFS NameNode堆内存使用率超出阈值范围时，产生该告警。
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其n
ALM-14008 DataNode堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS DataNode堆内存使用率，并把实际的HDFS DataNode堆内存使用率和阈值相比较。HDFS DataNode堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode堆内存使用率超出阈值范围时，产生该告警。
ALM-45589 ConfigNode堆内存使用率超过阈值 告警解释 系统每60秒周期性检测ConfigNode进程堆内存使用状态，当检测到ConfigNode进程堆内存使用率超出阈值（最大内存的90%）时产生该告警。当ConfigNode进程堆内存使用率小于阈值时，告警清除。
优化HDFS DataNode RPC的服务质量 配置场景 当客户端写入HDFS的速度大于DataNode的硬盘带宽时，硬盘带宽会被占满，导致DataNode失去响应。客户端只能通过取消或恢复通道进行规避，这会导致写入失败及不必要的通道恢复操作。 本章节适用于MRS 3.x及后续版本。
优化HDFS DataNode RPC的服务质量 配置场景 当客户端写入HDFS的速度大于DataNode的硬盘带宽时，硬盘带宽会被占满，导致DataNode失去响应。客户端只能通过取消或恢复通道进行规避，这会导致写入失败及不必要的通道恢复操作。 本章节适用于MRS 3.x及后续版本。
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下，如果在任务执行过程中，执行NodeManager关闭动作，NodeManager关闭节点上的Executor(s)在空闲超时之后，在driver页面上未被移除。 回答 这是因
nfigNode，在“概览”界面查看“ConfigNode垃圾回收（GC）总时间”图表中的ConfigNode进程的GC时间是否大于阈值。 如果界面未显示ConfigNode垃圾回收时间，需单击图表区域右上角的下拉菜单，选择“定制 > GC”，勾选“ConfigNode垃圾回收（
配置 > 全部配置 > NodeManager > 系统”。将“GC_OPTS”参数根据实际情况调大。 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下： 集群中的NodeManager实例数量达到100，NodeManager实例的JVM参数建议配置为：-Xms2G
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
