检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考对等连接。注意修改Kafka实例的安全组，允许端口9092（明文接入）/9093（密文接入）被外部请求访问。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kafka客户端通过内网访问Kafka实
本章节介绍Logstash如何对接Kafka实例生产消费消息。 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。本章节介绍两个Kafka实例如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本
afka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时，消息通知服务及时发送告警短信/邮件通知用户。
AMQP-0-9-1版本：支持。 多租户 支持 支持 支持 多协议支持 兼容RocketMQ协议。 只支持Kafka自定义协议。 RabbitMQ基于AMQP协议实现。 跨语言支持 支持多语言的客户端。 采用Scala和Java编写，支持多种语言的客户端。 支持多种语言的客户端。 流量控制 RocketMQ
会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。
利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现客户端通过内网访问Kafka实例。 NAT网关（NAT Gateway） 使用NAT网关的DNAT通过端口映射方式，将弹性IP地址映射到Kafka实例指定端口，实现Kafka实例和客户端通过公网通信。
即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。 分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。 副本（Replica） 消息的备份存储。为了确保消息可
Kafka实例状态为“运行中”。 操作步骤 登录管理控制台。 单击左侧导航栏的图标，选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法，实现按需实例转包周期。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“转包周期”，弹出“转包周期”对话框，单击“是”，跳转到“按需转包年/包月”页面。
请按照表4设置安全组规则。 表4 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9011 198.19.128.0/17 通过VPC终端节点实现跨VPC访问Kafka实例（密文接入和明文接入都适用）。 入方向 TCP 9011 Kafka客户端所在的IP地址或地址组 使用DNAT访
功能不完善，需额外投入进行开发。 稳定可靠 稳定高可用 支持跨AZ部署，提升可靠性。故障自动发现并上报告警，保证用户关键业务的可靠运行。 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 无忧运维 后台运维对租户完全透明，整个服务运行具有完备的监控和告警功能。有异常可以及时通知相关人员。避免7*24小时人工值守。
灵活组合以达到最优效果。 针对长期稳定的成熟业务，使用包年/包月计费模式。 针对不能中断的短期、突增或不可预测的业务，使用按需计费模式。 实现自动化运维 华为云也提供了丰富的运维类产品，帮助您提升运维效率，降低运维的人力成本。例如： 弹性伸缩：持续维护跨计费模式、跨可用区、跨实例
内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达200个，存储空间、代理数量和代理规格支持弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。
总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过修改分区平衡，实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制，只能扩容20次。 扩容存储空间不会影响业务。 代理规格 若T
优化后的多线程消费方案 消费者（Consumer）和消息分区（Partition）并不强制数量相等，Kafka的poll(long)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下，当消息数量不多的时候
示为准。 系统跳转到“后台任务管理”页面，并显示当前任务的操作进度和结果。 跨VPC访问 修改方法请参考使用VPCEP实现跨VPC访问Kafka和使用DNAT实现公网访问Kafka。 页面右上角直接提示修改结果。 父主题： 管理实例
集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数据，然后将消费的
总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过修改分区平衡，实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制，只能扩容20次。 扩容存储空间不会影响业务。 代理规格 若T
重启Kafka Manager 当Kafka Manager无法登录或者无法使用时，例如下图中的报错，可以通过重启Kafka Manager，使Kafka Manager恢复正常。 图1 报错信息 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 约束与限制
生产或消费消息时，报Topic {{topic_name}} not present in metadata after 60000 ms错误 问题现象 多可用区的Kafka实例，在某个可用区故障后，Kafka客户端在生产或消费消息时，可能会报Topic {{topic_name}}
Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户，并授予DMS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
