MAPREDUCE服务 MRS-配置Spark Streaming对接Kafka时数据后进先出功能:配置描述

时间:2024-08-01 19:24:12

配置描述

在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。

表1 参数说明

参数

说明

默认值

spark.streaming.kafka.direct.lifo

配置是否开启Kafka后进先出功能。

false

spark.streaming.kafka010.inputstream.class

获取解耦在 FusionInsight 侧的类。

org.apache.spark.streaming.kafka010.xxDirectKafkaInputDStream

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1959.html