检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。本章节介绍两个Kafka实例如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因，以及处理措施。
如果follower没有成功备份数据，而此时leader又无法提供服务，则消息会丢失。 acks=all或者-1：这意味着leader需要等待ISR中所有备份都成功写入日志。只要任何一个备份存活，数据都不会丢失。
None 服务介绍 分布式消息服务Kafka版 介绍什么是分布式消息服务 04:19 分布式消息服务介绍 分布式消息服务Kafka版 Kafka-数据流转的桥梁 02:03 Kafka-数据流转的桥梁 特性讲解 分布式消息服务Kafka版 介绍消息积压诊断功能 03:18 消息积压诊断
“容量阈值策略”设置为“生产受限”，表示一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 父主题： 消息问题
升级过程中会逐个节点升级，单个节点的升级包括两部分：升级软件包和数据同步。升级软件包耗时在5分钟左右，数据同步耗时取决于升级软件包过程中其他节点Leader副本的生产数据量，数据量越大，所需时间越久。升级总耗时=每个节点升级软件包耗时+数据同步耗时。
表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时，消息通知服务及时发送告警短信/邮件通知用户。
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL
数据量大的Topic进行分区平衡的时间会比较长。Topic的数据量可以通过监控页面的“队列数据容量”查看，具体步骤请参考查看Kafka监控数据。在不影响业务的前提下，建议适当调小Topic老化时间并等待消息老化，减少迁移数据，加快迁移速度。分区平衡任务结束后可重新调整为初始值。
扩容过程中涉及数据迁移吗？ 扩容/缩容过程中生产消息失败 扩容失败提示资源不足
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书
Smart Connect用于异构系统间的数据同步，开启Smart Connect后，设置Smart Connect任务可以实现Kafka实例和其他云服务之间的数据同步，或者两个Kafka实例之间的数据同步。
deliver_time_interval Integer 根据用户配置的时间，周期性的将数据导入OBS，若某个时间段内无数据，则此时间段不会生成打包文件。 取值范围：30～900，缺省值：300，单位：秒。 说明： 使用OBS通道转储流式数据时该参数为必选配置。
），而不是冷读场景（即从头开始消费历史数据的场景）。
包含以下状态： Dead：消费组内没有任何成员，且没有任何元数据。 Empty：消费组内没有任何成员，存在元数据。 PreparingRebalance：准备开启rebalance。 CompletingRebalance：所有成员加入group。
实例管理 重置密码 重置Manager密码 重启Manager 开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询topic的磁盘存储情况
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致？ Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 为什么JVM堆内存使用率出现明显波动？
每个Kafka代理会预留33GB的磁盘空间，用于存储日志和元数据。 例如：业务消息体积预估100GB，副本数为2，Kafka实例的代理数为1，则磁盘容量最少应为100GB*2+33GB*1=233GB。 Kafka实例支持对存储进行扩容，根据业务增长，随时扩容，节约成本。
direction 否 String 同步方向；pull为把对端Kafka实例数据复制到当前Kafka实例中，push为把当前Kafka实例数据复制到对端Kafka实例中，two-way为对两端Kafka实例数据进行双向复制。
包含以下状态： Dead：消费组内没有任何成员，且没有任何元数据。 Empty：消费组内没有任何成员，存在元数据。 PreparingRebalance：准备开启rebalance。 CompletingRebalance：所有成员加入group。
（仅目标端类型为Redis时会显示） target_db Integer 目标数据库，默认为-1。（仅目标端类型为Redis时会显示） consumer_strategy String 转储启动偏移量，latest为获取最新的数据，earliest为获取最早的数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
