检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。
提高Kafka消息处理效率 消息发送和消费的可靠性必须由分布式消息服务Kafka版和生产者以及消费者协同工作才能保证。同时开发者需要尽量合理使用分布式消息服务Kafka版的Topic,以提高消息发送和消息消费的效率与准确性。 对使用分布式消息服务Kafka版的生产者和消费者有如下的使用建议: 重视消息生产与消费的确认过程
不同场景下的用户需求。如您需要快速了解分布式消息服务Kafka版的具体计费模式对应的具体价格,请参见分布式消息服务Kafka版价格详情。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于业务需求量长期稳定的成熟业务。
随机后缀。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。 迁移分区,将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间,减少历史数据的容量大小。 在CPU资源情况可控的情况下,使用压缩算法对数据进行压缩。 常用的压缩算法包括:ZIP,
升级Kafka实例内核版本指的是将老的内核版本升级到最新的内核版本,升级后,Kafka实例将支持一些新的特性(例如支持在控制台创建消费组、支持查看Topic详情等),并且修复老版本的一些问题。 升级Kafka实例内核版本并非升级Kafka实例的版本,例如升级前Kafka版本为2.
生产消息数不为0,为什么生产速率为0? 消息生产速率的原始指标数据为每分钟上报一次,但是它的单位为“个/秒”,所以消息生产速率=一分钟内生产的消息数/60,其值向下取整。当一分钟内生产的消息数小于60个时,生产速率会显示为0。 父主题: 监控告警问题
用户管理,包括用户管理接口对应的授权项,如创建用户、查询用户列表、设置用户权限等接口。 消息查询,包括消息查询接口对应的授权项,如查询消息接口。 后台任务管理,包括实例的后台任务管理接口对应的授权项,如查询实例的后台任务列表、查询后台任务管理中的指定记录等接口。 标签管理,包括实例的标签管理接口对
在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。 证书 在Kafka实例详情页的“连接信息”
实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别大的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把消息均衡发送到不同的分区上,确保分区间的数据均衡。 创建Topic时,使分区的Leader副本分散到各个Broker节点中,以保障整体的数据均衡。
在Kafka控制台的“消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名
欠费说明 用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 购买了按需计费Kafka实例,并使用了一段时间后,账户的余额不足。 欠费影响 包年/包月 对于包年/包月Kafka实例,用户已经预先支
Kafka实例开启密文接入后,支持对Topic进行ACL(Access Control List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何对Topic进行用户授权。 约束与限制 如果“allow
Election:强制进行一次队列leader的最优选举(不建议用户操作)。 Reassign Partitions:进行分区副本的重分配(不建议用户操作)。 Consumers:统计集群中的消费组状态。 图中②区域表示集群信息统计,包含集群的Topic数和集群的代理数。 图3 集群信息页 集群所有代理统计页
单击待重置消费进度的消费组名称,进入消费组详情页。 在“消费进度”页签,通过以下方法,重置消费进度。 重置单个Topic所有分区的消费进度:在待重置消费进度的Topic后,单击“重置消费进度”。 重置单个Topic中单个分区的消费进度:在待重置消费进度的Topic分区后,单击“重置消费进度”。
Kafka提供基于云监控服务CES的资源和操作监控能力,帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及如何创建监控告警规则等内容,请参见支持的监控指标。 父主题:
在“通知策略”后,单击,然后在下拉框中选择新创建的通知策略。 图6 设置通知策略 单击“确定”,完成告警规则的设置。 告警规则创建完成后,在云监控服务的“告警 > 告警规则”界面,查看新创建的告警规则。 图7 查看新创建的告警规则
断记录,诊断记录显示消息堆积可能的原因、受影响的分区或者broker,以及解决消息堆积的建议。 前提条件 已创建Kafka实例,并且消费组正在以非assign方式消费消息中。 一个消费组正在诊断中时,无法对其他消费组进行诊断,也无法对此消费组消费的其他Topic进行诊断。 操作流程
Kafka实例创建Topic失败 可能原因:已创建的Topic,分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同,具体请参考Kafka单机实例规格和Kafka集群实例规格。 解决方案:对Kafka实例扩容,或者删除不需要的Topic。 父主题: Topic和分区问题
Kafka实例已开启Kafka SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“Topic管理”页面,在需要设置用户权限的Topic所在行,单击“设置用户权限”,为用户设置不同的权限。 具体操作请参考设置Topic权限。 父主题: Topic和分区问题
List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改用户信息和删除用户。创建用户后,对Topic进行用户授权的操作,请参见设置Kafka Topic权限。 在控制台创建用户的方法有两种,两种方法对应的重置密码的步骤有区别。