MAPREDUCE服务 MRS-配置Kafka高可用和高可靠:配置建议
配置建议
请根据以下业务场景对可靠性和性能要求进行评估,采用合理参数配置。
- 对于价值数据,这两种场景下建议Kafka数据目录磁盘配置raid1或者raid5,从而提高单个磁盘故障情况下数据可靠性。
- 参数配置项均为Topic级别可修改的参数,默认采用服务级配置。
可针对不同Topic可靠性要求对Topic进行单独配置。以root用户登录Kafka客户端节点,在客户端安装目录下配置Topic名称为test的可靠性参数命令:
cd Kafka/kafka/bin
kafka-topics.sh --zookeeper 192.168.1.205:2181/kafka --alter --topic test --config unclean.leader.election.enable=false --config min.insync.replicas=2
其中192.168.1.205为ZooKeeper业务IP地址。
- 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Flume_如何使用Flume
- kafka是什么_kafka介绍_分布式消息服务Kafka版
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 分布式消息服务有哪些_分布式消息服务哪个好_分布式消息-华为云
- 分布式消息系统Kafka_分布式消息系统_分布式消息kafka可以解决什么问题-华为云
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离