MAPREDUCE服务 MRS-优化HDFS DataNode RPC的服务质量:配置步骤
配置步骤
MRS 引入配置参数“dfs.pipeline.ecn”。当该配置启用时,DataNode会在写入通道超出负荷时从其中发出信号。客户端可以基于该阻塞信号进行退避,从而防止系统超出负荷。引入该配置参数的目的是为了使通道更加稳定,并减少不必要的取消或恢复操作。收到信号后,客户端会退避一定的时间(5000ms),然后根据相关过滤器调整退避时间(单次退避最长时间为50000ms)。
请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
参数 |
描述 |
缺省值 |
---|---|---|
dfs.pipeline.ecn |
进行该配置后,DataNode能够向客户端发送阻塞通知。 |
false |
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是Flink_如何使用Flink
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Flume_如何使用Flume