检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理隔离的方式部署,租户独占Kafka实例。 支持区域: 全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前,需要先连接Kafka实例。 创建Kafka实例时,支持开启或者关闭SASL_SSL。开源Kafka客户端连接开启SASL_S
种情况时,Topic详情页面不显示创建时间。 2023年7月10日以及之前创建的Topic。 自动创建的Topic、在客户端使用命令行创建的Topic、在客户端通过代码创建的Topic、以及使用Kafka Manager创建的Topic。 订阅关系:包含消费组名称、消费组状态、Coordinator(ID)和堆积数。
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
查看Kafka实例各项监控指标和关键指标的Top数据。 前提条件 已创建Kafka实例,且实例中有可消费的消息。 查看Kafka监控数据 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafk
使用内网通过同一个VPC访问Kafka实例的连接地址(内网连接地址) 图2 使用内网通过同一个VPC访问Kafka实例的连接地址(内网明文连接地址) 如果是公网访问,Kafka连接地址如下图所示。 图3 公网访问Kafka实例的连接地址(公网连接地址) 图4 公网访问Kafka实例的连接地址(公网明文连接地址) 如
移到该Broker上的数据量,为了给目标Broker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 使用自动平衡修改副本数 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafk
导出Kafka Topic列表 本章节指导您在控制台导出Topic列表,支持批量导出。 前提条件 已创建Topic。 导出Topic列表 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafk
创建用户 功能介绍 创建Kafka实例的用户,用户可连接开启SASL的Kafka实例。 2023年7月15日前创建的Kafka实例,一个实例最多创建20个用户。2023年7月15日及以后创建的Kafka实例,一个实例最多创建500个用户。 调用方法 请参见如何调用API。 URI
分区平衡,将原有Topic分区的副本迁移到新代理上。 将高负载代理上的Leader分区切换为Follower。 在修改分区平衡过程中,可以配置增加/减少Topic的副本数。 分布式消息服务Kafka版控制台提供两种分区平衡的方法:自动平衡和手动平衡,建议选择自动平衡,确保分区Leader的均匀分布。
Kafka实例是否支持无密码访问? 开启公网访问后,在哪查看公网IP地址? Kafka支持服务端认证客户端吗? 连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗?
</dependency> 准备Kafka配置信息 为了方便,下文分生产与消费两个配置文件介绍。其中涉及SASL认证配置,如果Kafka实例没有开启密文接入,使用的是不加密连接,请注释相关代码;如果Kafka实例开启了密文接入,则必须使用加密方式连接,请设置相关参数。 生产消息配置文件(对应生产消息代码中的dms
重启Kafka实例。 Kafka配置参数修改 修改Kafka的配置参数。 开启/关闭自动创建Topic。 容量阈值策略变更 修改Kafka实例的容量阈值策略。 Kafka动态配置SSL 修改明文接入/密文接入。 配置公网访问 开启/关闭公网访问。 开启Smart Connect 开启Smart Connect功能。
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
[root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费组列表。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_
[root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费者列表。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_
Kafka实例的安全协议包括SASL_SSL和SASL_PLAINTEXT。 未开启IPv6的实例,安全协议支持在控制台修改。先在Kafka实例的详情页的“连接信息”区域,关闭密文接入,然后再开启密文接入,此时可以重新设置安全协议。 已开启IPv6的实例,实例创建后,不支持修改安全协议。 父主题: 实例问题
[root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤删除消费组。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_P
er,否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器,确保弹性云服务器与源集群、目标集群网络互通。具体购买操作,请参考购买弹性云服务器。 登录弹性云服务器,安装Java JDK,并配置JAVA_HOME与PATH环境变量,使用执行用户在用户家目录下修改“
客户端单IP连接的个数为多少? 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。