检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施：
全部 删除消费组 重置消费进度 查看消费者连接地址 修改配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。 支持区域： 全部 如何修改配置参数？ 标签 标签是Kafka实例的标识，为Kafka
个方式实现跨VPC访问： 创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。
问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间，具体操作请参考变更Kafka实例规格。
个Kafka节点会使用33GB的磁盘作为日志和Zookeeper数据的存储，因而实际可用存储会小于购买存储。 其中，副本数在创建Topic时可以选择，默认为3副本存储。如果开启了Kafka自动创建Topic功能，自动创建的Topic默认为3副本，副本数可以通过“配置参数”页签中的“default
升级过程中会逐个节点升级，单个节点的升级包括两部分：升级软件包和数据同步。升级软件包耗时在5分钟左右，数据同步耗时取决于升级软件包过程中其他节点Leader副本的生产数据量，数据量越大，所需时间越久。升级总耗时=每个节点升级软件包耗时+数据同步耗时。 升级过程中会逐个节点重启监控进程
值如表1所示。 集群实例支持在“配置参数”中修改“log.retention.hours”（老化时间）、“default.replication.factor”（副本数）或“num.partitions”（分区数）的参数值，单机实例不支持修改配置参数。修改参数值后自动创建的Topic，Topic参数值为修改后的值。
选择和配置安全组 Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问，访问实例前，需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服
Java Development Kit 1.8.111及以上版本，可至Oracle官方下载页面下载。 安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA，可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压，有如下文件：
现连接失败问题。您可以通过修改Kafka实例配置参数来修改单IP的连接数，即修改max.connections.per.ip参数值。 前提条件 已打通客户端和Kafka实例之间的网络，具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问关闭SASL的Kaf
hosts文件配置Kafka所有节点IP和主机名映射，避免Kafka client做反向解析，阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍，即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC，否则会阻塞消息的生产和消费。 父主题： 配置Kafka客户端
available_zones Array 是 创建节点到指定且有资源的可用区ID。该参数不能为空数组或者数组的值为空，详情请参考查询可用区信息查询得到。在查询时，请注意查看该可用区是否有资源。 创建Kafka实例，支持节点部署在1个或3个及3个以上的可用区。在为节点指定可用区时，用逗号分隔开。参数设置参考如下示例。
议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制。 若集群实例已创建的分区数总和大于待缩容规格的实例分区数上限，此时无法缩容。
Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下，其中projects下的“id”即为项目ID。 { "projects":
C访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志，检查Consumer和Producer初始化时打印的参数是否符合预期，是否和自己在配置文件中设置的一致。 如果不一致，请检查配置文件的写法。 Java客户端常见报错
具体步骤请参考对等连接。注意修改Kafka实例的安全组，允许端口9092（明文接入）/9093（密文接入）被外部请求访问。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kafka客户端通过内网访问Kafka实例，具体步骤请参考使用VPCEP实现跨VPC访问Kafk
（单机房）部署Kafka实例，或跨可用区（同城灾备）部署，也可以通过数据同步工具（MirrorMaker）进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致，当网络发生异常或节点故障时，通
扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。
实例保持一致，“可用区”为“可用区2”，规格为4U8G，Linux系统的ECS。 购买完成ECS后，需要在ECS中完成以下配置： 安装Java JDK，并配置JAVA_HOME与PATH环境变量。 export JAVA_HOME=/root/jdk1.8.0_231 export
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
