数据湖探索 DLI-Kafka结果表:参数说明

时间:2024-07-01 21:07:20

参数说明

表1 参数说明

参数

是否必选

说明

connector.type

connector类型,对于kafka,需配置为'kafka'。

connector.version

Kafka版本,支持:'0.10'、 '0.11'。0.10或0.11版本号对应kafka版本号2.11-2.4.0及其他历史版本。

format.type

数据序列化格式,支持:'csv'、 'json'及'avro'等。

format.field-delimiter

属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。

connector.topic

kafka topic名。

connector.properties.bootstrap.servers

kafka brokers地址,以逗号分隔。

connector.sink-partitioner

记录分区的方式,支持:'fixed', 'round-robin'及'custom'。

connector.sink-partitioner-class

'sink-partitioner'为'custom'时,需配置,如'org.mycompany.MyPartitioner' 。

update-mode

支持:'append'、'retract'及'upsert'三种写入模式。

connector.properties.*

配置kafka任意原生属性

support.huaweicloud.com/sqlreference-dli/dli_08_0308.html