数据湖探索 DLI-Kafka源表:参数说明
下载数据湖探索 DLI用户手册完整版
参数说明
|
参数 |
是否必选 |
说明 |
|---|---|---|
|
connector.type |
是 |
connector类型，对于kafka，需配置为'kafka'。 |
|
connector.version |
是 |
Kafka版本，支持：'0.10'、 '0.11'。0.10或0.11版本号对应kafka版本号2.11-2.4.0及其他历史版本。 |
|
format.type |
是 |
数据反序列化格式，支持：'csv', 'json'及'avro'等。 |
|
format.field-delimiter |
否 |
属性分隔符，仅当编码格式为csv时，用户可以自定义属性分隔符，默认为“,”英文逗号。 |
|
connector.topic |
是 |
kafka topic名。该参数和“connector.topic-pattern”两个参数只能使用其中一个。 |
|
connector.topic-pattern |
否 |
匹配读取kafka topic名称的正则表达式。该参数和“connector.topic”两个参数只能使用其中一个。 例如： 'topic.*' '(topic-c|topic-d)' '(topic-a|topic-b|topic-\\d*)' '(topic-a|topic-b|topic-[0-9]*)' |
|
connector.properties.bootstrap.servers |
是 |
kafka brokers地址，以逗号分隔。 |
|
connector.properties.group.id |
否 |
消费组名称 |
|
connector.startup-mode |
否 |
consumer启动模式，支持：'earliest-offset', 'latest-offset', 'group-offsets', 'specific-offsets'及'timestamp'。默认值为'group-offsets'。 |
|
connector.specific-offsets |
否 |
指定消费offset，'startup-mode'为'specific-offsets'时需配置，格式为: 'partition:0,offset:42;partition:1,offset:300'。 |
|
connector.startup-timestamp-millis |
否 |
指定起始消费时间戳，'startup-mode'为'timestamp'时需配置。 |
|
connector.properties.* |
否 |
配置kafka任意原生属性。 |
