检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问?
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。
修改Kafka Topic分区数 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的分区数。修改分区数,不会重启实例,不会影响业务。 修改Topic分区数的方法如下: 在控制台修改Topic分区数 在Kafka Manager修改Topic分区数 在客户端修改Topic分区数
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka JKS格式的SSL证书 获取和使用Kafka PEM格式的SSL证书 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
查看消费组中该消费者的连接信息。 约束与限制 Kafka Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager解决。 2023年5月17日及以后创建的实例不提供Kafka Manager功能,不支持在Kafka Manager中查看消费者连接地址。
ic还分布在原有代理上,造成分区分布不均衡。通过修改分区平衡,将原有Topic分区的副本迁移到新代理上。 将高负载代理上的Leader分区切换为Follower。 在修改分区平衡过程中,可以配置增加/减少Topic的副本数。 分布式消息服务Kafka版控制台提供两种分区平衡的方法
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节
PLAINTEXT:表示客户端访问Kafka实例时,无需认证,数据通过明文传输。 SASL_SSL:表示客户端访问Kafka实例时,使用SASL认证,数据通过SSL证书加密传输。 SASL_PLAINTEXT:表示客户端访问Kafka实例时,使用SASL认证,数据通过明文传输。 步骤一:创建终端节点服务
word为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,在文件中增加如下内容。
考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数: 动态参数:动态参数修改成功后,无需重启实例,立即生效。 静态参数:静态参数修改成功后,需要手动重启实例才能生效。 约束与限制 部分老实例不支持修改配置参数,具体以控制台为准,请联系客服解决。 单机实例不支持修改配置参数。
PLAINTEXT”,请注释以下参数。 context.verify_mode = ssl.CERT_REQUIRED ##证书文件,SSL证书参考“收集连接信息”章节获取。如果Kafka安全协议设置为“SASL_PLAINTEXT”,请注释以下参数。 context.load_
修改Topic老化时间 修改Topic分区数 变更实例规格 Kafka实例创建成功后,您可以根据业务需要,扩容基准带宽、代理个数、存储空间、代理规格,或者缩容代理规格。 扩容存储空间有次数限制,只能扩容20次。 支持区域: 全部 变更实例规格 公网访问 您需要通过公网地址访问Ka
cluster*3,kafka.2u4g.cluster*3规格的实例分区数上限为750,此时无法缩容。 变更代理规格的时长和代理数量有关,单个代理的变更时长一般在5~10分钟,代理数量越多,规格变更时间越长。 父主题: 实例规格变更问题
= "username" password = "password" caFile = "phy_ca.crt" //SSL证书参考“收集连接信息”章节获取。如果Kafka安全协议设置为“SASL_PLAINTEXT”,请删除此参数。 ) func main()
Manager中仍可以看到此消费组,是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题: 重启Kafka Manager。 Kafka Manager只显示14天内有消费记录的消费组,如果您不想重启Kafka Manager,可以等待14天后Kafka Manager自动清除此消费组。
如果实例开启密文接入,则需要获得连接实例的用户名与密码、SASL认证机制和Kafka安全协议。Kafka安全协议设置为“SASL_SSL”时,还需要获取SSL证书。 连接实例的用户名在Kafka实例控制台的“用户管理”页面中查看,如果忘记密码,可通过重置密码重新获得。 图2 查看SASL用户名 S
问题现象:正常登录Kafka Manager页面,但是页面无法显示节点信息,如下所示: 问题原因:这是Kafka开源问题,需要联系客服,重启Kafka Manager。 父主题: Kafka Manager问题
algorithm参数必须设置为空,关闭域名校验开关。 ssl.endpoint.identification.algorithm= 加载SSL证书文件失败 出现下图的错误信息: 解决方案: 请检查对应地址的client.jks文件是否存在。 检查进程和文件所属权限。 检查consumer
ic,否则会连接失败。 已下载client.jks证书。如果没有,在控制台单击Kafka实例名称,进入实例详情页面,在“连接信息 > SSL证书”所在行,单击“下载”。下载压缩包后解压,获取压缩包中的客户端证书文件:client.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2
(可选)MirrorMaker开启后,如果在源集群上新建了Topic,如需对此Topic进行数据同步,则需重启MirrorMaker,重启步骤参考6。也可配置自动同步新增Topic,按需增加如表1所示配置后,无需重启MirrorMaker,即可周期性同步新增Topic。其中,“refresh.topics