MAPREDUCE服务 MRS-ClickHouse表开发建议:Sink表配置合适的攒批参数

时间:2024-05-20 14:54:49

Sink表配置合适的攒批参数

攒批写参数:

Flink会将数据先放入内存,到达触发条件时再flush到数据库表中。

相关配置如下:

  • sink.buffer-flush.max-rows:攒批写ClickHouse的行数,默认100。
  • sink.buffer-flush.interval:攒批写入的间隔时间,默认1s。

两个条件只要有一个满足,就会触发一次sink,即到达触发条件时再flush到数据库表中。

  • 示例1:60秒sink一次
    'sink.buffer-flush.max-rows' = '0',
    'sink.buffer-flush.interval' = '60s'
  • 示例2:100条sink一次
    'sink.buffer-flush.max-rows' = '100',
    'sink.buffer-flush.interval' = '0s'
  • 示例3:数据不sink
    'sink.buffer-flush.max-rows' = '0',
    'sink.buffer-flush.interval' = '0s'
support.huaweicloud.com/devg-rule-mrs/mrs_07_450146.html