分布式消息服务KAFKA版-如何选择Kafka实例存储容量阈值策略?

时间:2024-10-21 09:59:36

如何选择Kafka实例存储容量阈值策略?

支持以下两种策略:

  • 生产受限策略

    该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。

  • 自动删除策略

    该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。

以上两种策略的需要基于业务对数据和业务的可靠性来进行选择,只能作为极端场景下的一个种处理方式。建议业务购买时保证有充足的磁盘容量,避免磁盘的使用达到容量阈值

support.huaweicloud.com/kafka_faq/kafka-faq-200426007.html