检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接Kafka实例的客户端已开启公网访问功能。 父主题: 配置Kafka网络连接
查看消息堆积的消费组是否有消费者在消费,如果有,让业务方加快消费效率,如果没有,让客户酌情删掉不使用的消费组。 处理方法2: 登录Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。 在左侧导航栏,选择“分析与诊断 > 消息积压诊断”,进入消息积压诊断页面。
从源端同步的offset与目标端的offset并非一致关系,而是映射关系,如果消费进度由消费者客户端自行维护,消费者客户端从消费源端Kafka实例变为消费目标端Kafka实例后,不向目标端Kafka实例获取消费进度,可能会导致offset错误或消费进度重置。
需要客户侧排查自身业务,优化自身业务处理逻辑,提高处理效率,降低阻塞时间。 背景知识介绍 消费组可以简单认为有两种状态REBALANCING和STABILIZED。
message_log_start_offset Integer 消息开始位点 message_log_end_offset Integer 消息结束位点 consumer_id String 消费者Id host String host名称 client_id String 客户端
描述 members Array of GroupMemberEntity objects 成员详情 total Integer 总数 表4 GroupMemberEntity 参数 参数类型 描述 member_id String 成员Id client_id String 客户端
开源Kafka客户端连接开启SASL_SSL的Kafka实例,与连接未开启SASL_SSL的Kafka实例的端口号不同,且开启SASL_SSL的Kafka实例需要配置证书信息。
sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 sync_message_flush Boolean 是否使用同步落盘。同步落盘会导致性能降低。
sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 retention_time Integer 否 消息老化时间。默认值为72。 取值范围1~720,单位小时。
建议将访问Kafka实例方式设置为密码访问(即开启SASL),防止未经认证的客户端误操作实例。 开启敏感操作多因子认证保护您的数据不被误删。
表1 Kafka单机实例规格 规格名称 代理个数 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格(MB/s) kafka.2u4g.single.small 1 20000 100 15 2000 100GB~10000GB
在客户端使用上,推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。
client_id String 客户端ID。 表4 group_message_offsets参数说明 参数 类型 说明 topic String topic名称。 partition Integer 分区编号。
client_id String 客户端ID。 表5 group_message_offsets 参数 参数类型 描述 partition Integer 分区编号。 lag Long 剩余可消费消息数,即消息堆积数。 topic String topic名称。
实践验证 成熟度高 经受电商网站大规模访问考验,并且已经在华为云许多产品中使用,广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本,修复开源bug,持续上线新功能,进行版本升级。
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 回收站计费策略 开启回收站策略的按需实例,删除后会存入回收站中,此时不收取实例费用,按需收取存储空间费用。 父主题: 计费模式
创建时间由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,创建时间会默认为1970。 单击“查看消息正文”,弹出“查看消息正文”对话框,查看消息的内容,包括Topic名称、分区、偏移量、创建时间和消息正文。
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。 回收站计费策略 开启回收站策略的包年/包月实例,退订后会存入回收站中,此时不收取实例费用,但是会按需收取存储空间费用。 从回收站中恢复的包年/包月实例,计费模式会变为按需计费。
重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。本章节介绍如何在控制台查看重平衡日志。 重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。
表2 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999 Kafka客户端所在的IP地址或地址组 访问Kafka Manager。