MAPREDUCE服务 MRS-Kafka高可靠使用说明:配置影响

时间:2024-08-27 10:23:54

配置影响

请根据业务场景对可靠性和性能要求进行评估,采用合理参数配置。

  • 对于价值数据,两种场景下建议Kafka数据目录磁盘配置raid1或者raid5,从而提高单个磁盘故障情况下数据可靠性。
  • 不同Producer API对应的acks参数名称不同
    • 新Producer API

      org.apache.kafka.clients.producer.KafkaProducer中定义的接口,acks配置为acks。

    • 旧Producer API

      kafka.producer.Producer中定义的接口,acks配置名称为request.required.acks。

  • 参数配置项均为Topic级别可修改的参数,默认采用服务级配置。可针对不同Topic可靠性要求对Topic进行单独配置。

    例如,配置Topic名称为test的可靠性参数:

    kafka-topics.sh --zookeeper 192.168.1.205:2181/kafka --alter --topic test --config unclean.leader.election.enable=false --config min.insync.replicas=2

    其中192.168.1.205为ZooKeeper业务IP地址。

  • 如果修改服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。
support.huaweicloud.com/trouble-mrs/mrs_03_0198.html