MAPREDUCE服务 MRS-配置Kafka高可用和高可靠:配置建议
配置建议
请根据以下业务场景对可靠性和性能要求进行评估,采用合理参数配置。
- 对于价值数据,这两种场景下建议Kafka数据目录磁盘配置raid1或者raid5,从而提高单个磁盘故障情况下数据可靠性。
- 参数配置项均为Topic级别可修改的参数,默认采用服务级配置。
可针对不同Topic可靠性要求对Topic进行单独配置。以root用户登录Kafka客户端节点,在客户端安装目录下配置Topic名称为test的可靠性参数命令:
cd Kafka/kafka/bin
kafka-configs.sh --bootstrap-server 192.168.1.205:21007 --command-config ../config/client.properties --alter --topic test --add-config unclean.leader.election.enable=false --config min.insync.replicas=2
- 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 分布式消息系统Kafka_分布式消息系统_分布式消息kafka可以解决什么问题-华为云
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 基因测序数据安全存储_低成本基因测序数据存储_基因数据存储
- 分布式消息中间件的作用_分布式消息中间件_分布式消息-华为云