MAPREDUCE服务 MRS-配置Spark Streaming对接Kafka时数据后进先出功能:配置描述
配置描述
在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。
参数 |
说明 |
默认值 |
---|---|---|
spark.streaming.kafka.direct.lifo |
配置是否开启Kafka后进先出功能。 |
false |
spark.streaming.kafka010.inputstream.class |
获取解耦在 FusionInsight 侧的类。 |
org.apache.spark.streaming.kafka010.xxDirectKafkaInputDStream |
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是Kafka_如何使用Kafka
- 数据备份归档在哪里_数据分析存储系统_大数据存储管理
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Flume_如何使用Flume
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper