云服务器内容精选

华为云首页用户手册

HDFS性能调优

MAPREDUCE服务 MRS-HDFS网络不稳定场景调优:配置描述

配置描述请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。表1 参数说明参数描述默认值 ha.health-monitor.rpc-timeout.ms zkfc对NameNode健康状态检查的超时时间。增大该参数值，可以防止出现双Active NameNode，降低客户端应用运行异常的概率。单位：毫秒。取值范围：30000~3600000 180000 ipc.client.connect.max.retries.on.timeouts 客户端与服务端建立Socket连接超时时，客户端的重试次数。取值范围：1~256 45 ipc.client.connect.timeout 客户端与服务端建立socket连接的超时时间。增大该参数值，可以增加建立连接的超时时间。单位：毫秒。取值范围：1~3600000 20000

MAPREDUCE服务 MRS HDFS性能调优
MAPREDUCE服务 MRS-优化HDFS NameNode RPC的服务质量:配置场景

配置场景本章节适用于 MRS 3.x及后续版本。数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其namespace内协调HDFS的各种操作。这些操作包括获取数据块位置，列出目录及创建文件。NameNode接受HDFS的操作，将其视作RPC调用并置入FIFO调用队列，供读取线程处理。虽然FIFO在先到先服务的情况下足够公平，但如果用户执行的I/O操作较多，相比I/O操作较少的用户，将获得更多的服务。在这种情况下，FIFO有失公平并且会导致延迟增加。图1 基于FIFO调用队列的NameNode请求处理如果将FIFO队列替换为一种被称作FairCallQueue的新型队列，这种情况就能够得到改善。按照这种方法，FAIR队列会根据调用者的调用规模将传入的RPC调用分配至多个队列中。调度模块会跟踪最新的调用，并为调用量较小的用户分配更高的优先级。图2 基于FAIRCallQueue的NameNode请求处理

MAPREDUCE服务 MRS HDFS性能调优
MAPREDUCE服务 MRS-优化HDFS DataNode RPC的服务质量:配置步骤

配置步骤 MRS引入配置参数“dfs.pipeline.ecn”。当该配置启用时，DataNode会在写入通道超出负荷时从其中发出信号。客户端可以基于该阻塞信号进行退避，从而防止系统超出负荷。引入该配置参数的目的是为了使通道更加稳定，并减少不必要的取消或恢复操作。收到信号后，客户端会退避一定的时间（5000ms），然后根据相关过滤器调整退避时间（单次退避最长时间为50000ms）。请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。表1 NameNode ECN配置参数描述缺省值 dfs.pipeline.ecn 进行该配置后，DataNode能够向客户端发送阻塞通知。 false

MAPREDUCE服务 MRS HDFS性能调优