数据湖探索 DLI-开源Kafka输出流:关键字

时间:2024-11-16 13:21:40

关键字

表1 关键字说明

参数

是否必选

说明

type

输出通道类型,"kafka"表示输出到Kafka中。

kafka_bootstrap_servers

Kafka的连接端口,需要确保能连通(需要通过增强型跨源开通 DLI 队列和Kafka集群的连接)。

kafka_topic

写入的topic

encode

数据编码格式,可选为“csv”“json”“user_defined”

  • 若编码格式为“csv”,则需配置“field_delimiter”属性。
  • 若编码格式为“user_defined”,则需配置“encode_class_name”“encode_class_parameter”属性。

filed_delimiter

当encode为csv时,用于指定各字段分隔符,默认为逗号。

encode_class_name

当encode为user_defined时,需配置该参数,指定用户自实现编码类的类名(包含完整包路径),该类需继承类DeserializationSchema。

encode_class_parameter

当encode为user_defined时,可以通过配置该参数指定用户自实现编码类的入参,仅支持一个string类型的参数。

kafka_properties

可通过该参数配置kafka的原生属性,格式为"key1=value1;key2=value2"

kafka_certificate_name

跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时,该参数有效。

说明:
  • 指定该配置项时,服务仅加载该认证下指定的文件和密码,系统将自动设置到“kafka_properties”属性中。
  • Kafka SSL认证需要的其他配置信息,需要用户手动在“kafka_properties”属性中配置。
support.huaweicloud.com/sqlref-flink-dli/dli_08_0257.html