检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批处理消息最大值 10485760字节 10485760字节 10485760字节 本文主要介绍手动创建Topic的操作,有以下几种方式,您可以根据实际情况选择任意一种方式: 在控制台创建Topic 在Kafka Manager创建Topic 在客户端创建Topic 2023年5月17日及以后创建的实例不提供Kafka
可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异,存在少量重复消费问题。此场景适用于生产端不可停止,端到端有时延要求,但是可以兼容少量重复消费的业务。 创建Kafka数据复制的Smart Connect任务,用于同步两个Kafka的消息。具体步骤请参见配置Kafka间的数据复制。
Manager功能,不支持在Kafka Manager中查看消费者连接地址。 前提条件 消费组中的消费者处于连接Kafka实例时(即消费组状态为“STABLE”),才可以查看消费者列表和消费者连接地址。 查看消费者列表(控制台) 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
参考如下配置安全组规则。 假设客户端和Kafka实例的安全组分别为:sg-53d4、Default_All。以下规则,远端可使用安全组,也可以使用具体的IP地址,本章节以安全组为例介绍。 客户端所在安全组需要增加如下规则,以保证客户端能正常访问Kafka实例。 表2 安全组规则 方向
PREPARING_REBALANCE:准备开启Rebalance。 COMPLETING_REBALANCE:所有成员加入消费组。 STABLE:消费组内成员可以正常消费。 图1 消费组列表 (可选)如果需要搜索某个消费组,在搜索框中,输入消费组名称、消费组状态、Coordinator (ID)、堆
Kafka实例创建后,您需要在弹性云服务器中下载和安装Kafka开源客户端,然后才能进行生产消息和消费消息。 创建Kafka实例 在创建实例时,您可以根据需求选择需要的实例规格和数量,并开启密文接入,安全协议设置为“SASL_SSL”。 连接安全协议为“SASL_SSL”的Kafka实例
新规格的磁盘大小选择更加灵活,磁盘大小不与实例规格进行绑定,仅与Broker数量相关。 新规格选择粒度更细,根据Broker规格和数量进行灵活的规格选择,并且最大规格可以达到10000MB/s以上。 新规格除了原有的磁盘类型,还支持通用型SSD、极速型SSD等多种磁盘类型,客户选择更加灵活。 Kafka实例规格参考
dev/dl/go1.16.5.linux-amd64.tar.gz #解压安装包到“/usr/local”目录,“/usr/local”目录可以根据实际情况修改。 sudo tar -C /usr/local -xzf go1.16.5.linux-amd64.tar.gz #设置环境变量。