MAPREDUCE服务 MRS-配置Kafka高可用和高可靠:配置建议

时间:2024-06-29 16:25:02

配置建议

请根据以下业务场景对可靠性和性能要求进行评估,采用合理参数配置。

  • 对于价值数据,这两种场景下建议Kafka数据目录磁盘配置raid1或者raid5,从而提高单个磁盘故障情况下数据可靠性。
  • 参数配置项均为Topic级别可修改的参数,默认采用服务级配置。

    可针对不同Topic可靠性要求对Topic进行单独配置。以root用户登录Kafka客户端节点,在客户端安装目录下配置Topic名称为test的可靠性参数命令:

    cd Kafka/kafka/bin

    kafka-topics.sh --zookeeper 192.168.1.205:2181/kafka --alter --topic test --config unclean.leader.election.enable=false --config min.insync.replicas=2

    其中192.168.1.205为ZooKeeper业务IP地址。

  • 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。
support.huaweicloud.com/cmpntguide-mrs/mrs_01_1037.html