MAPREDUCE服务 MRS-配置Kafka后进先出:配置描述
配置描述
在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。
参数 |
说明 |
默认值 |
---|---|---|
spark.streaming.kafka.direct.lifo |
配置是否开启Kafka后进先出功能。 |
false |
spark.streaming.kafka010.inputstream.class |
获取解耦在 FusionInsight 侧的类 |
org.apache.spark.streaming.kafka010.HWDirectKafkaInputDStream |
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Kafka_如何使用Kafka
- 大数据分析是什么_使用MapReduce_创建MRS服务
- kafka是什么_kafka介绍_分布式消息服务Kafka版
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 主机安全配置_Windows主机安全配置_Linux主机安全配置
- MapReduce服务_什么是Flume_如何使用Flume
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- Kafka架构_Kafka如何实现负载均衡_Kafka数据存储方式-华为云