数据治理中心 DATAARTS STUDIO-Apache Kafka同步到MRS Kafka:源端优化

时间：2024-12-03 16:03:19

数据治理中心 DATAARTS STUDIO

Kafka抽取优化

可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。

图1 添加自定义属性
点击放大

可使用的调优参数具体如下：

表1 全量阶段优化参数
参数名	类型	默认值	说明
properties.fetch.max.bytes	int	57671680	消费Kafka时每次fetch请求返回的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。
properties.max.partition.fetch.bytes	int	1048576	消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。
properties.max.poll.records	int	500	消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。