MAPREDUCE服务 MRS-多CPU内核下的MapReduce调优配置:操作步骤
操作步骤
以下参数有如下两个配置入口:
- 服务器端配置
进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
- 客户端配置
配置 |
参数 |
配置描述 |
---|---|---|
节点容器槽位数 |
yarn.nodemanager.resource.memory-mb
|
|
mapreduce.map.memory.mb
|
||
mapreduce.reduce.memory.mb
|
||
Map输出与压缩 |
mapreduce.map.output.compress
|
|
mapreduce.map.output.compress.codec
|
||
Spills |
mapreduce.map.sort.spill.percent
|
磁盘IO是主要瓶颈,合理配置“mapreduce.task.io.sort.mb”可以使溢出至磁盘的内容最小化。 |
数据包大小 |
dfs.client-write-packet-size
|
|
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 大数据分析是什么_使用MapReduce_创建MRS服务
- GaussDB数据库参数调优_GaussDB版本_高斯数据库参数调优
- MRS优势_什么是MRS_MRS功能
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是Kafka_如何使用Kafka
- 文档数据库服务DDS性能调优_MongoDB性能调优_华为云