检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Kafka消费组 消费者是从Topic订阅消息的一方,消费组是由一个或多个消费者组成的。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。
管理Kafka Manager 访问Kafka Manager 重置Kafka Manager密码 重启Kafka Manager 关闭Kafka Manager 父主题: 管理实例
升级Kafka实例内核版本 升级Kafka实例内核版本指的是将老的内核版本升级到最新的内核版本,升级后,Kafka实例将支持一些新的特性(例如支持在控制台创建消费组、支持查看Topic详情等),并且修复老版本的一些问题。 升级Kafka实例内核版本并非升级Kafka实例的版本,例如升级前Kafka版本为2
修改Kafka实例配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值,您可以根据实际业务需求,在控制台自行修改参数值。其他在控制台未列出的配置参数,请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数: 动态参数:动
业务过载处理建议 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可
实例状态说明 表1 实例状态说明 状态 说明 CREATING 申请实例后,在实例状态进入运行中之前的状态。 RUNNING 实例正常运行状态。在这个状态的实例可以运行您的业务。 ERROR 实例处于故障的状态。 RESTARTING 实例正在进行重启操作。 STARTING 实例从已冻结到运行中的中间状态。
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致Kafka实例被自动删除。自动续费的规则如下所述: 以Kafka实例的到期日计算第一次自动续费日期和计费周期。 Kafka实例自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。 在Kafka实例到期前均
优化消费者轮询(Polling) 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力
设置Kafka Topic权限 Kafka实例开启密文接入后,支持对Topic进行ACL(Access Control List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何对Topic进行用户授权。
Kafka单机实例 Kafka单机实例规格 Kafka单机实例由一个代理组成,兼容开源Kafka 2.7版本,适用于测试场景,不建议用于生产业务。 TPS(Transaction per second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS
Java开发环境搭建 基于收集连接信息的介绍,假设您已经获取了实例连接相关的信息,以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例,介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本,可至Maven官方下载页面下载。
如何查看堆积消息数? 通过以下任意一种方法,查看堆积消息数。 在Kafka控制台的“消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 >
Kafka体验版使用说明 Kafka体验版实例规格为EXP,为单代理实例,不支持Kafka Manager、Smart Connect和多AZ等功能。 Kafka体验版实例只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买按需或包年包月的Kafka实例。
SASL认证机制如何修改? Kafka实例的SASL认证机制包括SCRAM-SHA-512和PLAIN。 密文接入成功开启后,不支持修改SASL认证机制。如果需要修改,请重新创建实例。 父主题: 实例问题
修改Kafka消费组信息 消费组创建成功后,您可以根据业务需要修改消费组的描述信息。 修改Kafka消费组信息 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
按需转包年/包月 如果您需要长期使用当前按需购买的Kafka实例,可以将该Kafka实例转为包年/包月计费模式,以节省开支。按需计费变更为包年/包月会生成新的订单,用户支付订单后,包年/包月资源将立即生效。 假设用户于2023/04/18 15:29:16购买了一个按需计费的Ka
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动? 为什么JVM堆内存使用率出现明显波动? 生产消息数不为0,为什么生产速率为0?
身份认证与访问控制 身份认证 无论用户通过控制台还是API访问DMS for Kafka,都会要求访问请求方出示身份凭证,并进行身份合法性校验,同时提供登录保护和登录验证策略加固身份认证安全。 DMS for Kafka基于统一身份认证服务(Identity and Access
消息管理 查询消息 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最早消息的位置 查询分区最新消息的位置 Kafka删除消息 父主题: API V2(推荐)