检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图说Kafka 立即使用 成长地图 由浅入深,带您玩转Kafka 01 了解 了解分布式消息服务Kafka版的产品特点和业务使用场景,有助于您更准确地匹配实际业务,更快速地选择所需实例。 产品介绍 什么是Kafka Kafka使用场景 与RabbitMQ、RocketMQ的差异 产品规格
修改Kafka Topic分区数 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的分区数。修改分区数,不会重启实例,不会影响业务。 修改Topic分区数的方法如下: 在控制台修改Topic分区数 在Kafka Manager修改Topic分区数 在客户端修改Topic分区数
bytes参数,具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的大小超过此值,建议使用压缩算法或者业务逻辑做切分。 父主题: 消息问题
例内的任何Topic执行其他分区平衡任务。 操作影响 对数据量大的Topic进行分区平衡会占用大量的网络和存储带宽,业务可能会出现请求超时或者时延增大,建议在业务低峰期时操作。对Topic进行分区平衡前,根据Kafka实例规格对比当前实例负载情况,评估是否可以进行分区平衡,建议预
入门实践 当您购买了Kafka实例后,可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控
消息将被删除。已删除的消息,无法被消费。 Topic老化时间默认为72小时,创建Topic成功之后,您可以根据业务需要修改Topic的老化时间。修改老化时间,不会影响业务。 修改老化时间可以通过以下方式实现: 在“Topic管理”中,修改老化时间。 在“配置参数”中,修改“log
为什么删除消费组不生效? 可能原因:您开启了自动创建消费组功能,且您的业务正在连接该消费组消费消息。所以,如果没有停止您的业务,删除了消费组后,消费消息时还是会自动创建该消费组。 解决办法:关闭自动创建消费组功能,即在Kafka控制台的“配置参数”页面,把“auto.create
生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 服务端 合理设置Topic的分区数,在不影响业务处理效率的情况下,调大Topic的分区数量。 当服务端出现消息
/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用华为云分布式消息服务Kafka版,资源按需申请,即买即用,您将有更多精力专注于业务快速开发,不用考虑部署和运维。
变更计费模式概述 在购买Kafka实例后,如果发现当前计费模式无法满足业务需求,您可以变更计费模式。支持变更计费模式的Kafka实例计费项如表1所示。 表1 支持变更计费模式的Kafka实例计费项 计费项 变更说明 相关文档 实例规格 变更Kafka实例的计费模式会同时变更实例规格和存储空间的计费模式。
对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。 以上两种策略需要基于业务对数据和业务的可靠性来进行选
修改Kafka消费组信息 消费组创建成功后,您可以根据业务需要修改消费组的描述信息。 修改Kafka消费组信息 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
DMS for Kafka安全使用建议 安全性是华为云与您的共同责任。华为云负责云服务自身的安全,提供安全的云;作为租户,您需要合理使用云服务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。 本文提供了使用DMS for Kafka过程中的安全最佳实践,旨在为提高
Kafka实例的ZK地址是什么? Kafka实例依赖ZK进行管理,开放ZK可能引发误操作导致业务受损,ZK仅Kafka内部使用,不对外提供服务。 您可使用Kafka开源客户端连接Kafka实例,调用原生API生产与消费消息。 父主题: 实例问题
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
实例网络参数说明 参数名称 说明 虚拟私有云 选择已经创建好的或共享的虚拟私有云。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。您可以单击右侧的“管理虚拟私有云”,跳转到网络控制台的“虚拟私有云”页面,查看或创建虚拟私有云。 虚拟私有云在Kafka实例创建完成后,不支持修改。
在扩容规格或升级Kafka实例内核版本后,可能导致JVM堆内存使用率最大值升高、波动幅度变大,这种波动属于JVM堆内存回收的正常机制,对业务无影响。 父主题: 监控告警问题
经受电商网站大规模访问考验,并且已经在华为云许多产品中使用,广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本,修复开源bug,持续上线新功能,进行版本升级。 使用开源软件成熟度低,无法保证关键业务,商业案例少;自研周期长,并需要长时间进行验证。
Kafka客户端连接数在6000以内,消费组个数在45个以内,业务TPS为60000以内时推荐选用。 kafka.2u4g.cluster,三个代理 Kafka客户端连接数在6000以内,消费组个数在60个以内,业务TPS为90000以内时推荐选用。 kafka.4u8g.cluster,三个代理
参数说明如下: ssl.truststore.location配置为client.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中复制路径时的“\”,否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码