MAPREDUCE服务 MRS-Consumer消费数据时存在重复消费现象:解决办法

时间:2024-11-04 09:35:09

解决办法

建议用户在Manager页面调整以下服务参数:

  • request.timeout.ms=100000
  • session.timeout.ms=90000
  • max.poll.records=50
  • heartbeat.interval.ms=3000

其中:

  • request.timeout.ms要比session.timeout.ms大10s。
  • session.timeout.ms的大小设置要在服务端参数group.min.session.timeout.ms和group.max.session.timeout.ms之间。

以上参数可以根据实际情况进行适当的调整,特别是max.poll.records,这个参数是为了控制每次poll数据的records量,保证每次的处理时长尽量保持稳定。目的是为了保证poll数据以后的处理时间不要超过session.timeout.ms的时间。

support.huaweicloud.com/trouble-mrs/mrs_03_0125.html