检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接Kafka网络要求 客户端可以通过公网连接Kafka实例，也可以通过内网连接Kafka实例。使用内网连接时，注意以下几点： 如果客户端和Kafka实例部署在同一个VPC内，网络默认互通。 如果客户端和Kafka实例部署在不同VPC中，由于VPC之间逻辑隔离，客户端和Kafka
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题： 连接实例
单击Kafka实例的名称，进入实例的“基本信息”页面。 在“连接信息”区域，获取并记录“内网连接地址”的IPv6地址。在“网络”中，获取并记录虚拟私有云和子网。 图3 实例详情页 在管理控制台左上角单击，选择“网络 > 弹性公网IP EIP”，进入“弹性公网IP”页面。 在左侧导航栏单击“共享带宽”，进入“共享带宽”页面。
在“基本信息”页面的“连接信息”区域，获取并记录Kafka实例的内网连接地址。在“网络”区域，获取并记录Kafka实例所在的虚拟私有云和子网。 图1 Kafka实例信息 步骤二：购买公网NAT网关 在管理控制台左上角单击，选择“网络 > NAT网关”，进入“公网NAT网关”页面。 单击“购买公网N
如果Kafka实例的子网配置了网络ACL功能，需要在网络ACL的入方向规则中放通198.19.128.0/17网段的地址，以及VPC终端节点涉及的子网。 198.19.128.0/17是为VPC终端节点分配的网段，使用VPC终端节点需要放通此网段。 父主题： 配置Kafka网络连接
开启敏感操作多因子认证保护您的数据不被误删。 DMS for Kafka支持敏感操作保护，开启后执行删除实例等敏感操作时，系统会进行身份验证，进一步对数据的高危操作进行控制，保证DMS for Kafka数据的安全性。详情请参见敏感操作。 SSL链路传输加密方式访问DMS for Kafka 为了确保数
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟，业务对消息时延较为敏感。 分析过程 怀疑是业务堆积，处理慢导致时延。 通过查看监控数据，发现业务请求并不是很多，堆积最多时也只有50条消息，同时每秒新增消息只有10条左右，应该还没有到达处理极限。
以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端 检查网络 在连接Kafka实例前，需要确保客户端与Kafka实例之间可以相互连接，如果无法连接，建议先检查网络连接是否正常。 已开启sasl
为跨AZ？ Kafka实例支持跨AZ容灾，在购买实例时，选择多个可用区即可实现跨AZ容灾。 已购买的实例，在实例详情页“基本信息”页面的“网络”区域，查看可用区数量。多于一个可用区时，表示已实现跨AZ容灾。 图1 实例基本信息 父主题： 实例问题
Java开发环境搭建 基于收集连接信息的介绍，假设您已经获取了实例连接相关的信息，以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例，介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本，可至Maven官方下载页面下载。
Manager地址，无法登录Kafka Manager，报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内，或者安全组配置不正确，导致网络无法连通。 Kafka Manager异常。 问题解决措施 检查Windows服务器和Kafka实例是否在同一个VPC同一个子网内？ 是，执行2。
Kafka实例是否支持跨VPC访问？ Kafka实例支持跨VPC访问，您可以通过以下任意一个方式实现跨VPC访问： 创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kafka客户端通
使用自动平衡修改副本数和使用手动平衡修改副本数。 单机实例不支持修改副本数。 操作影响 对数据量大的Topic进行分区平衡，会占用大量的网络和存储带宽，业务可能会出现请求超时或者时延增大，建议在业务低峰期时操作。对Topic进行分区平衡前，根据Kafka实例规格对比当前实例负载
producer使用建议 同步复制客户端需要配合使用：acks=all 配置发送失败重试：retries=3 发送优化：对于时延敏感的信息，设置linger.ms=0。对于时延不敏感的信息，设置linger.ms在100~1000之间。 生产端的JVM内存要足够，避免内存不足导致发送阻塞。 时间
是消费进度是通过批处理同步的，可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址，则消息生成与消费客户端需要有公网访问权限，并配置如下安全组。 表1 安全组规则 方向
IP的连接数，即修改max.connections.per.ip参数值。 前提条件 已打通客户端和Kafka实例之间的网络，具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问关闭SASL的Kafka实例前，Kafka实例需要配置正确的安全组规则，否则会连接失败。安全组规则的配置请参考表2。
评估业务影响，建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制。 若集群实例已创建的分区数总和大于
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。
9011被外部请求访问。 如果客户端在其他网络环境，或者与Kafka实例处于不同region，则访问实例的公网地址。 公网访问时，注意修改Kafka实例的安全组，允许端口9094（明文接入）/9095（密文接入）被外部网络访问。 不同网络环境，对于客户端配置来说，只是连接地址的差
3~50 250000 2000 200 4000 300GB~1500000GB 750 实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成： 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值（不同类型的磁盘对应的带宽值不同，具体参考：如何选择磁盘类型）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
