检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息超过老化时间,消息仍存在的原因 问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
动创建该消费组。 解决办法:关闭自动创建消费组功能,即在Kafka控制台的“配置参数”页面,把“auto.create.groups.enable”设置为“false”,然后再删除消费组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数,具体
实例信息。 实例连接地址与端口 实例创建后,从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议配置所有的连接地址,提高可靠性。 如果开启公网访问,还可以使用基本信息页面下方的公网连接地址访问Kafka实例。 图1
业务上云且不希望业务有中断。 在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 在云上变更业务部署。 单AZ部署的Kafka实例,不具备AZ之间的容灾能力。用户对可靠性要求提升后,需要迁移到多AZ部署的实例上。 约束与限制 使用Smart Connect迁移业务,会对源端Kafka进行消
实例版本在控制台和Kafka Manager上显示不一致? Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置,所以显示的版本是2.2.0,和购买的Kafka实例版本没有关系。 父主题: 实例问题
Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间
Kafka实例创建Topic失败 可能原因:已创建的Topic,分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同,具体请参考产品规格。 解决方案:对Kafka实例扩容,或者删除不需要的Topic。 父主题: Topic和分区问题
Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka实例规格(集群版实例) 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数
障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构 DMS for Kafka部署在3个及以上可用区时,可实现跨AZ容灾。 图1 跨AZ部署架构图 父主题: 安全
apache.kafka.common.serialization.StringDeserializer #======== SASL配置(不开启SASL时将以下配置删除) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl
Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka实例规格(集群版实例) 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数
查询可用区信息 功能介绍 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v2/available-zones 请求参数 无 响应参数 状态码: 200 表1 响应Body参数 参数 参数类型 描述 region_id
Connect任务详情页面。 查看Smart Connect任务的基本信息、源端信息和目标端信息。 如果Smart Connect任务没有配置源端信息/目标端信息,在Smart Connect任务详情页面不显示源端信息/目标端信息。 删除Smart Connect任务 登录管理控制台。
检查安全组是否配置正确?安全组的配置请参考选择和配置安全组。 是,执行3。 否,修改安全组配置。 在Kafka实例控制台,重启Kafka Manager,具体操作请参考重启Kafka Manager。
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
创建关闭实例转储节点的订单 功能介绍 创建关闭实例转储节点的订单。 当前页面API为历史版本API,未来可能停止维护。请使用关闭Smart Connect(按需实例)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instan
0个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。 父主题: 连接问题
编辑消费组 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置 修改用户/客户端流控配置 重置消费组消费进度到指定位置 父主题: API V2(推荐)
查看和修改Kafka实例基本信息 查看Kafka磁盘使用量 查看Kafka实例后台任务 查看Kafka生产消费示例代码 修改Kafka实例配置参数 配置Kafka实例标签 配置Kafka实例回收站策略 升级Kafka实例内核版本 导出Kafka实例列表 重启Kafka实例 删除Kafka实例 管理Kafka
老化时间等。 Topic分区平衡 在“Topic管理”页面,修改分区平衡,支持手动平衡和自动平衡。 更新Topic配置 在“Topic管理”页面,修改Topic配置参数。 查看消费组列表 在“消费组管理”页面,查看消费组列表。 查看消费组详情页 在“消费组管理”页面,单击消费组名