检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
显示“Done”,表示分区增加成功。 图3 分区增加成功 在客户端修改Topic分区数 Kafka客户端版本为2.2以上时,支持通过kafka-topics.sh修改Topic分区数。 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令修改Topic分区数。
优化消费者轮询(Polling) 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。
解压zip包,获取PEM格式的SSL证书:client.pem。 使用PEM格式证书访问Kafka实例 以下示例演示在Java客户端使用PEM格式证书访问Kafka实例。 参考Java客户端接入示例,连接Kafka实例生产消费消息。其中,生产消息配置文件和消费消息配置文件中的SASL信息修改为如下内容。
1的规则。 构建生产消费客户端。 本文以Linux系统的弹性云服务器(Elastic Cloud Server,简称ECS)作为生产消费客户端。在创建Kafka实例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算
公网IP地址 根据页面提示信息选择对应数量的公网IP地址。 如果公网IP地址数量不足,请单击“创建弹性IP”跳转到弹性公网IP页面,创建公网IP地址。然后返回Kafka控制台,在“公网IP地址”后单击,刷新公网IP地址。 Kafka实例不支持绑定IPv6的弹性公网IP,只支持绑定IPv4的弹性公网IP。
afka实例名称,进入实例详情页。在“基本信息”页面的“连接信息”区域,关闭“公网访问”,然后重新打开“公网访问”,并选择需要绑定的公网IP地址。 父主题: 实例问题
息生成与消费客户端需要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(明文接入)。 入方向 TCP 9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(密文接入)。
查询topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置 修改用户/客户端流控配置 父主题: API V2(推荐)
fka客户端在生产或消费消息时,可能会报Topic {{topic_name}} not present in metadata after 60000 ms的错误,如下图所示。 问题解决措施 以下三种措施都可以解决此问题,请根据实际情况任意选择一种。 升级Kafka客户端的版本到2
入门 创建Kafka实例之后,您可以通过命令行模式和客户端方式连接实例进行生产消息和消费消息。 命令行模式连接 连接未开启SASL的实例 连接已开启SASL的实例 客户端方式连接 Java客户端 Python客户端 Go客户端 05 实践 Kafka作为一款热门的消息队列中间件,
息。 实例连接地址与端口 实例创建后,从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议配置所有的连接地址,提高可靠性。 如果开启公网访问,还可以使用基本信息页面下方的公网连接地址访问Kafka实例。 图1 查看Kafka实例Broker连接地址与端口
息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。
单击“选择默认”。 流控创建完后,无法修改“用户名”。 客户端ID 输入前提条件中获取的客户端ID,对此客户端进行流控。如果需要对所有客户端进行流控,在“客户端ID”后,单击“选择默认”。 流控创建完后,无法修改“客户端ID”。 生产上限速率 设置生产上限速率,单位为MB/s。为空时,表示不设置速率。
Java开发环境搭建 基于收集连接信息的介绍,假设您已经获取了实例连接相关的信息,以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例,介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本,可至Maven官方下载页面下载。
如果已开启公网访问,在“弹性IP地址”中,选择新扩容代理的公网IP地址。 “子网”保持默认设置。 在“内网IP地址”中,选择“自动分配”或者“手动选择”。 自动分配:系统自动分配子网中可用的IP地址。 手动选择:在下拉框中为新扩容代理勾选指定的IP地址。如果指定的IP地址数量少于代理数量时,系统会自动为剩余代理分配IP地址。
设置带宽使用量的统计方式。 前n个:统计带宽使用量排名前x个的用户/客户端/Topic,x由您自行输入。 带宽速率:统计带宽速率大于x MB/s的用户/客户端/Topic,x由您自行输入。 带宽使用量:统计带宽使用量超过x %的用户/客户端/Topic,x由您自行输入。 统计类型 设置带宽使用量的统计类型。
在“消费者列表”页签,查看消费者列表。 在消费者列表中,可以查看消费者ID、消费者地址和客户端ID。 (可选)如果需要查询某个消费者,在搜索框中,输入消费者ID,按“Enter”。 查看消费者列表(客户端) 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令查询消费者列表。 ./
查询Topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置 修改用户/客户端流控配置 Smart Connect 包括: 开启Smart Connect(按需实例) 关闭Smart
您可以通过明文接入Kafka实例,也可以通过密文接入Kafka实例,本章节指导您在控制台修改接入方式。 明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。 密文接入:表示客户端连接Kafka实例时,需要进行SASL认证。 约束与限制 首次修改接入方式时,部分实例会重启,另一部分实
”,确认删除Topic。 删除Kafka Topic(Kafka客户端) Kafka客户端版本为2.2以上时,支持通过kafka-topics.sh删除Topic。 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令删除Topic。 ./kafka-topics