检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域（Region） 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka（关闭SASL） 使用客户端连接Kafka（开启SASL） 使用控制台连接Kafka
独有的安全加固体系，提供业务操作云端审计，消息传输加密等有效安全措施。 在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化，多副
择。 图2 规格测算 设置网络信息。 表3 实例网络参数说明 参数名称 说明 虚拟私有云 选择已经创建好的或共享的虚拟私有云。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。您可以单击右侧的“管理虚拟私有云”，跳转到网络控制台的“虚拟私有云”页面，查看或创建虚拟私有云。
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致，当网络发生异常或节点故障时，通过冗余副本自动故障切换，并且故障恢复后会从leader副本进行数据同步，保持数据一致性。 创建多副本的Topic 数据持久化
broker_total_bytes_in_rate 网络入流量 统计Broker节点每秒网络访问流入流量。 单位：Byte/s 2020年6月及以后购买的实例，支持此监控项。 0~1000000000 Kafka实例节点 1分钟 broker_total_bytes_out_rate 网络出流量 统计Broker节点每秒网络访问流出流量。
云）的ID。请参考创建实例获取。 security_group_id：安全组ID。请参考创建实例获取。 subnet_id：VPC内子网的网络ID。请参考创建实例获取。 available_zones：创建节点到指定的AZ ID，该参数不能为空数组或者数组的值为空，请参考查询可用区信息获取。
生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理，或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆
按小时结算。 区域 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 选择“华北-北京四”。 可用区 可用区指在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 选择“可用区1、可用区2、可用区3”。
表1 关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题： 查看监控指标与配置告警
据的顺序，如果这两个消息记录都是发送到同一个partition，则第一个消息失败第二个发送成功，则第二条消息会比第一条消息出现要早。 针对网络闪断场景，生产者建议配置重试能力，推荐重试次数retries=3，重试间隔retry.backoff.ms=1000。 request.timeout
检查单条消息的处理时间是多久，处理max.poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为，如写数据库、调用后端API等，在发生Rebalance的场景下消费者下游系统是否正常。 解决方法：建议在消费者客户端将max.poll
IP的连接数，即修改max.connections.per.ip参数值。 前提条件 已打通客户端和Kafka实例之间的网络，具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问开启密文接入的Kafka实例时，实例需要配置正确的安全组规则，否则会连接失败。安全组规则的配置请参考表2。
是消费进度是通过批处理同步的，可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址，则消息生成与消费客户端需要有公网访问权限，并配置如下安全组。 表1 安全组规则 方向
评估业务影响，建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka
息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电，使用消息确认（ACK）机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况，用户除了做好消息生产与消费的确认，还需要配合分布式消息服务Kafka版完成消息发送与消费的重复传输设计。 当无法确认消息是
的控制华为云资源的访问。 通过IAM，您可以在账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DMS for Kafka的使用权限，但是不希望他们拥有删除Kafka实例等高危操作的权限，那么您可以使用IAM
使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先参考使用VPCEP实现跨VPC访问Kafka或者对等连接打通网络。 Smart Connect任务创建成功后，不支持修改任务参数。 2022年7月1日前已开启Smart Connect的实例，如果没有Kafka数据复制，请先关闭Smart
详情请参见权限管理。 建议配置安全组访问控制，保护您的数据不被异常读取和操作。 租户配置安全组的入方向、出方向规则限制，可以控制连接实例的网络范围，避免DMS for Kafka暴露给不可信第三方，详情请参见配置安全组。安全组入方向规则的“源地址”应避免设置为0.0.0.0/0。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
