数据湖探索 DLI-MRS Kafka输出流:关键字

时间：2024-11-16 13:21:40

数据湖探索 DLI

关键字

表1 关键字说明
参数	是否必选	说明
type	是	输出通道类型，"kafka"表示输出到Kafka中。
kafka_bootstrap_servers	是	Kafka的连接端口，需要确保能连通（需要通过增强型跨源开通 DLI 队列和Kafka集群的连接）。
kafka_topic	是	写入的topic。
encode	是	编码格式，当前支持“json”和“user_defined”。若编码格式为“user_defined”，则需配置“encode_class_name”和“encode_class_parameter”属性。
encode_class_name	否	当encode为user_defined时，需配置该参数，指定用户自实现编码类的类名（包含完整包路径），该类需继承类DeserializationSchema。
encode_class_parameter	否	当encode为user_defined时，可以通过配置该参数指定用户自实现编码类的入参，仅支持一个string类型的参数。
krb_auth	否	创建跨源认证的认证名。开启kerberos认证时，需配置该参数。如果创建的 MRS 集群未开启kerb认证的集群，请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。
kafka_properties	否	可通过该参数配置kafka的原生属性，格式为"key1=value1;key2=value2"
kafka_certificate_name	否	跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时，该参数有效。说明：指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。