-
使用DNAT实现公网访问Kafka - 分布式消息服务Kafka版
为获取Kafka实例的信息中记录的其他内网连接地址创建DNAT规则,每个DNAT规则需要设置不同的弹性公网IP。 创建DNAT规则的具体步骤参考2~4。 DNAT规则全部创建成功后,在“DNAT规则”页签,查看已创建的DNAT规则,并记录私网IP对应的弹性公网IP。 图5 DNAT规则列表 步骤四:在Kafka控制台绑定弹性公网IP地址
-
使用客户端连接Kafka(明文接入) - 分布式消息服务Kafka版
PATH=$JAVA_HOME/bin:$PATH 执行source .bash_profile命令使修改生效。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明: 解压Kafka命令行工具。 进入文件压缩包所在目录,然后执行以下命令解压文件。 tar -zxf [kafka_tar]
-
查看Kafka消费组信息 - 分布式消息服务Kafka版
在左侧导航栏选择“消费组管理”,进入消费组列表页面。 消费组列表页面显示消费组名称、消费组状态、Coordinator (ID)和描述。Coordinator (ID)显示的数字表示Coordinator组件所在的代理,消费组的状态如下。 DEAD:消费组内没有任何成员,且没有任何元数据。 E
-
创建转储任务 - 分布式消息服务Kafka版
转储任务名称。 destination_type 是 String 转存的目标类型,当前只支持OBS。 obs_destination_descriptor 是 ObsDestinationDescriptor object 转存目标的描述。 表3 ObsDestinationDescriptor
-
Kafka实例是否支持修改访问端口? - 分布式消息服务Kafka版
支持的访问方式如下:同一VPC内访问、公网访问、跨VPC访问和DNAT访问。 同一VPC内访问,访问端口为9092。 公网访问,访问端口为9094。 使用VPCEP跨VPC访问,访问端口为9011。 使用对等连接跨VPC访问,访问端口为9092。 DNAT访问,访问端口为9011。 如果是访问开启SASL的Kafka实例
-
重启Kafka实例 - 分布式消息服务Kafka版
分布式消息服务Kafka版管理控制台支持重启运行中的Kafka实例,且可实现批量重启Kafka实例。 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例 登录管理控制台。
-
诊断Kafka消息积压 - 分布式消息服务Kafka版
ker,以及解决消息堆积的建议。 前提条件 已创建Kafka实例,并且消费组正在以非assign方式消费消息中。 一个消费组正在诊断中时,无法对其他消费组进行诊断,也无法对此消费组消费的其他Topic进行诊断。 操作流程 图1 消息积压诊断流程图 步骤一:诊断前检查 登录管理控制台。
-
选择和配置安全组 - 分布式消息服务Kafka版
访问。 表3 安全组规则 方向 策略 协议端口 源地址 入方向 允许 全部 sg-53d4 图2 配置Kafka实例安全组 跨VPC访问和通过DNAT访问实例 请按照表4设置安全组规则。 表4 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9011 198.19.128
-
删除Topic失败 - 分布式消息服务Kafka版
删除Topic不生效,删除后该Topic仍然存在。 根因描述 实例开启了自动创建Topic功能,且有消费者正在连接该Topic。如果没有停止业务,删除Topic后,还会有消息生产行为,并自动创建Topic。 问题解决措施 关闭Kafka自动创建Topic功能,才可以正常删除Topic。
-
查询Kafka实例的协调器信息 - 分布式消息服务Kafka版
状态码: 200 表2 响应Body参数 参数 参数类型 描述 coordinators Array of coordinators objects 所有消费组对应的协调器列表。 表3 coordinators 参数 参数类型 描述 group_id String 消费组ID。 id
-
查看Kafka Topic详情 - 分布式消息服务Kafka版
订阅关系 分区信息:包含分区编号、最小偏移量、最大偏移量、消息数和消息更新时间。 图2 分区信息 生产者信息:包含Broker地址、生产者地址和加入时间。 仅当生产者正在往Topic中生产消息时,才显示生产者信息。 2023年7月10日以及之前创建的Topic,在Topic详情页面不显示“生产者”页签。
-
为什么删除Topic不生效?删除后该Topic仍然存在 - 分布式消息服务Kafka版
为什么删除Topic不生效?删除后该Topic仍然存在 可能原因:您开启了自动创建Topic功能,且有消费者正在连接该Topic。所以,如果没有停止您的业务,删除了Topic后,还会有消息生产行为,并自动创建Topic。 解决办法:需要关闭自动创建Topic功能,才可以正常删除Topic。 父主题:
-
使用MirrorMaker跨集群同步数据 - 分布式消息服务Kafka版
使用MirrorMaker跨集群同步数据 应用场景 在以下场景,使用MirrorMaker进行不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上
-
优化消费者轮询(Polling) - 分布式消息服务Kafka版
适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Topic含有多个分区,消费组中有多个消费者同时进行消费,每个线程均为长连接。当Topic中消息较少或者没有时,连接不断开,所有消费者不间断地拉取消息,这样造成了一定的资源浪费。
-
查询Kafka实例所有消费组对应的协调器信息 - 分布式消息服务Kafka版
请求示例 无 响应消息 响应参数 参数说明见表2。 表2 参数说明 参数 类型 说明 coordinators Array 所有消费组对应的协调器列表。参数参见表3。 表3 coordinators参数说明 参数 类型 说明 group_id String 消费组ID。 id Integer
-
查看和修改Kafka实例基本信息 - 分布式消息服务Kafka版
在这个状态的实例可以运行您的业务。 故障 Kafka实例处于故障状态。 启动中 Kafka实例从已冻结到运行中的中间状态。 重启中 Kafka实例正在进行重启操作。 变更中 Kafka实例正在进行规格变更、公网访问变更等操作。 变更失败 Kafka实例处于规格变更、公网访问变更等操作失败的状态。 实例处于变更失败
-
消息堆积处理建议 - 分布式消息服务Kafka版
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
-
使用客户端连接Kafka(密文接入) - 分布式消息服务Kafka版
C连接实例和通过公网连接实例两个场景。如果是跨VPC访问实例,请参考使用VPCEP实现跨VPC访问Kafka。如果是使用DNAT访问实例,请参考使用DNAT实现公网访问Kafka。如果是在业务代码中连接Kafka实例,请参考Kafka实例开发指南。 2020年7月以及之后购买的实
-
消息超过老化时间,消息仍存在的原因 - 分布式消息服务Kafka版
“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。 可能原因1:Topic的每个分区都是由多个大小相同的segment文件组成,每个segment文件的大小为500MB,当segment文件存储的消息大小到达500MB后,才会新建下