检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例，只适用体验和业务测试场景，无法保证性能和可靠性。如果需要在生产环境使用Kafka实例，建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异，具体如表1所示。 表1 单机实例和集群实例的差异说明
创建的Kafka实例是集群模式么？ Kafka实例分为单机实例和集群实例，单机实例只有一个代理，是单机模式。集群实例由3个及以上代理组成，是集群模式。 父主题： 实例问题
Kafka集群实例 Kafka集群实例规格 Kafka集群实例由三个及以上代理组成，兼容开源Kafka 1.1.0、2.7和3.x。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1
ic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时
变更Kafka集群实例规格 Kafka实例创建成功后，您可以根据业务需要，扩容或者缩容实例规格，Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更，每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容
中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数
查询Kafka集群元数据信息 功能介绍 查询Kafka集群元数据信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/cluster 表1 路径参数 参数 是否必选 参数类型
查询Kafka集群元数据信息 当前页面API为历史版本API，未来可能停止维护。请使用查询Kafka集群元数据信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/cluster 参数说明如下表所示。 表1 参数说明
Manager用户名和密码，即可管理Kafka集群。 查看Kafka Manager 在进入Kafka Manager集群管理页面后，您可以查看Kafka集群的监控、代理等信息。 集群信息页 单击Clusters中的集群列表，即可进入集群信息页。如图3所示。 图中①区域表示功能导航栏。 Cluster：集群，统计集群列表和集群详情。
在连接Kafka实例生产消费消息前，请先获取以下Kafka实例信息。 实例连接地址与端口 实例创建后，从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议配置所有的连接地址，提高可靠性。 如果开启公网访问，还可以使用基本信息页面下方的公网连接地址访问Kafka实例。
Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保
}/instances/{instance_id}/management/groups/{group} 响应示例 状态码：200 查询实例集群的消费组信息成功。 { "group" : { "members" : [ { "host" : "/172.31
选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。Kafka集群中，每个Kafka节点会使用33GB的磁盘作为日志和Zookeeper数据的存储，因而实际可用存储会小于购买存储。 其中，副本数在创建To
ngine}/{project_id}/instances/{instance_id}/groups 响应示例 状态码： 200 查询实例集群的所有消费组成功。 { "groups" : [ { "createdAt" : 1691401194847, "group_id"
Kafka实例的SASL_SSL开关如何修改？ 集群实例的SASL_SSL开关支持修改，具体步骤请参考修改实例的接入方式。 单机实例不支持SASL_SSL功能。 开启IPv6的实例不支持动态修改SASL_SSL开关。 父主题： 实例问题
可能原因：已创建的Topic，分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同，具体请参考Kafka单机实例规格和Kafka集群实例规格。 解决方案：对Kafka实例扩容，或者删除不需要的Topic。 父主题： Topic和分区问题
/groups?offset={offset}&limit={limit}&group={group} 响应示例 状态码：200 查询实例集群的所有消费组成功。 { "groups" : [ { "createdAt" : 1691401194847, "group_id"
修改Kafka分区平衡 分区平衡是指将分区的副本重新分配到不同的代理上，解决代理负载不均衡问题。 需要进行分区平衡的场景如下： 实例扩容代理个数后，新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均衡。通过修改分区平衡，将原有Topic分区的副本迁移到新代理上。
每个Kafka实例包含3个Zookeeper节点，Zookeeper集群用来管理Kafka实例的配置，如果Zookeeper集群出现问题，Kafka实例将无法正常运行。至少2个Zookeeper节点正常运行，才能保证Zookeeper集群正常运行。 假设选择2个可用区，可用区1有1个Zooke
例如：“num.partitions”修改为“5”，自动创建的Topic参数值如表1所示。 表1 Topic参数值 参数名称 单机实例默认值 集群实例默认值 集群实例修改后的值 分区数 1 3 5 副本数 1 3 3 老化时间 72小时 72小时 72小时 同步复制 不开启 不开启 不开启 同步落盘
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
