华为云首页用户手册

MAPREDUCE服务 MRS-有210000个map和10000个reduce的HBase BulkLoad任务运行失败:回答

MAPREDUCE服务 MRS-有210000个map和10000个reduce的HBase BulkLoad任务运行失败:回答

时间：2024-11-06 14:23:13

MAPREDUCE服务 MRS

回答

ZooKeeper IO瓶颈观测手段：

通过Manager的监控页面查看单个节点上ZooKeeper请求监控，判断是否严重超出规格限制。
通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exception Timeout或者SocketTimeout Exception异常。

调优建议：

将ZooKeeper实例个数调整为5个及以上，可以通过设置peerType=observer来增加observer的数目。
通过控制单个任务并发的map数或减少每个节点下运行task的内存，降低节点负载。
升级ZooKeeper数据磁盘，如SSD等。

上一篇：MAPREDUCE服务 MRS-如何修复长时间处于RIT状态的Region:回答

下一篇：MAPREDUCE服务 MRS-HBase占用网络端口，连接数过大会导致其他服务不稳定:回答

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-有210000个map和10000个reduce的HBase BulkLoad任务运行失败:回答

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题