检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致，当网络发生异常或节点故障时，通过冗余副本自动故障切换，并且故障恢复后会从leader副本进行数据同步，保持数据一致性。
>0 Kafka实例节点 1分钟 broker_total_bytes_in_rate 网络入流量 统计Broker节点每秒网络访问流入流量。 单位：Byte/s 2020年6月及以后购买的实例，支持此监控项。
subnet_id：VPC内子网的网络ID。请参考创建实例获取。 available_zones：创建节点到指定的AZ ID，该参数不能为空数组或者数组的值为空，请参考查询可用区信息获取。 product_id：产品标识。请参考查询产品规格列表获取。
消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理，或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。
请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 选择“华北-北京四”。 可用区 可用区指在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 选择“可用区1、可用区2、可用区3”。
表1 关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题： 查看监控指标与配置告警
针对网络闪断场景，生产者建议配置重试能力，推荐重试次数retries=3，重试间隔retry.backoff.ms=1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间（单位为ms），超过这个时间则会抛Timeout异常。
迁移准备 配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址，则消息生成与消费客户端需要有公网访问权限，并配置如下安全组。
扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。
消息处理流程是否有网络行为，如写数据库、调用后端API等，在发生Rebalance的场景下消费者下游系统是否正常。 解决方法：建议在消费者客户端将max.poll.records值减小，如果消息处理时间较长可以适当增加max.poll.interval.ms。 父主题： 消息问题
前提条件 已打通客户端和Kafka实例之间的网络，具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问开启密文接入的Kafka实例时，实例需要配置正确的安全组规则，否则会连接失败。安全组规则的配置请参考表2。 已获取连接Kafka实例的地址。
考虑到网络异常等极端情况，用户除了做好消息生产与消费的确认，还需要配合分布式消息服务Kafka版完成消息发送与消费的重复传输设计。 当无法确认消息是否已发送成功，生产者需要将消息重复发送给分布式消息服务Kafka版。
升级过程中节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。
如果两个Kafka实例处于不同的VPC中，请先打通网络，方法可以参考使用VPCEP实现跨VPC访问Kafka或者对等连接。
租户配置安全组的入方向、出方向规则限制，可以控制连接实例的网络范围，避免DMS for Kafka暴露给不可信第三方，详情请参见配置安全组。安全组入方向规则的“源地址”应避免设置为0.0.0.0/0。
公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本，或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者，因此不能直接归属到某一类别。使用拆分规则，可以在各团队或业务部门之间公平地分配这些成本。详细介绍请参见使用成本分组查看成本分配。
扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制。 若集群实例已创建的分区数总和大于待缩容规格的实例分区数上限，此时无法缩容。
实施步骤 购买一台弹性云服务器，确保弹性云服务器与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云服务器。 登录弹性云服务器，安装Java JDK，并配置JAVA_HOME与PATH环境变量，使用执行用户在用户家目录下修改“.bash_profile”，添加如下行。
操作影响 对数据量大的Topic进行分区平衡会占用大量的网络和存储带宽，业务可能会出现请求超时或者时延增大，建议在业务低峰期时操作。
获取方法如下： 方法1：登录虚拟私有云服务的控制台界面，单击VPC下的子网，进入子网详情页面，查找网络ID。 方法2：通过虚拟私有云服务的API接口查询，具体操作可参考查询子网列表。 available_zones Array 是 创建节点到指定且有资源的可用区ID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
