-
删除Kafka消费组 - 分布式消息服务Kafka版
方法二:使用命令行工具删除消费组 以下操作命令以Linux系统为例进行说明: 下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 使用
-
Kafka Manager概述 - 分布式消息服务Kafka版
Kafka Manager概述 Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka
-
使用客户端连接Kafka(明文接入) - 分布式消息服务Kafka版
连接实例前,请先创建Topic。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已创建弹性云服务器,如果使用内网通过同一个V
-
使用客户端连接Kafka(密文接入) - 分布式消息服务Kafka版
证书文件:client.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已创建弹性云服务器,如果使用内网通过同一个V
-
测试Kafka实例TPS - 分布式消息服务Kafka版
3 30 topic-04 否 否 3 3 topic-05 否 否 3 12 topic-06 否 否 3 100 获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致
-
查看和重置Kafka消费进度 - 分布式消息服务Kafka版
(可选)如果需要查询某个Topic的消费进度,在搜索框中,输入Topic名称,单击。 查看消费进度(Kafka客户端) 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费进度。 ./kafka-consumer-groups.sh
-
测试Kafka生产速率和CPU消耗 - 分布式消息服务Kafka版
Topic-01:3分区1副本,异步复制 Topic-02:3分区3副本,异步复制 Topic-03:3分区3副本,同步复制 获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器,具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟
-
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? - 分布式消息服务Kafka版
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto
-
实例使用类接口 - 分布式消息服务Kafka版
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
-
查看Kafka消费组信息 - 分布式消息服务Kafka版
单击。 (可选)如果需要刷新消费组列表,在右上角单击。 查看消费组列表(Kafka客户端) 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费组列表。 ./kafka-consumer-groups
-
删除Kafka Topic - 分布式消息服务Kafka版
everyone.if.no.acl.found”设置为“false”时,无法通过客户端删除Topic。 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令删除Topic。 ./kafka-topics.sh --bootstrap-server
-
修改Kafka Topic分区数 - 分布式消息服务Kafka版
if.no.acl.found”设置为“false”时,无法通过客户端修改Topic分区数。 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令修改Topic分区数。 ./kafka-topics.sh --bootstrap-server
-
数据保护技术 - 分布式消息服务Kafka版
容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本
-
查看Kafka消费者信息 - 分布式消息服务Kafka版
(可选)如果需要查询某个消费者,在搜索框中,输入消费者ID,单击。 查看消费者列表(Kafka客户端) 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费者列表。 ./kafka-consumer-groups
-
如何查看堆积消息数? - 分布式消息服务Kafka版
消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看监控数据。 在Kafka客户端,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过kafka-consumer-groups.sh --bootstrap-server
-
测试实例性能 - 分布式消息服务Kafka版
测试实例性能 测试Kafka生产速率和CPU消耗 测试Kafka实例TPS
-
其他接口 - 分布式消息服务Kafka版
其他接口 查询可用区信息 查询产品规格列表 查询维护时间窗时间段 查询实例在CES的监控层级关系 父主题: API V1
-
其他接口 - 分布式消息服务Kafka版
其他接口 查询维护时间窗时间段 查询可用区信息 查询产品规格列表 查询实例在CES的监控层级关系 父主题: API V2(推荐)
-
创建Kafka Topic - 分布式消息服务Kafka版
everyone.if.no.acl.found”设置为“false”时,无法通过客户端创建Topic。 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令创建Topic。 ./kafka-topics.sh --create
-
典型应用场景 - 分布式消息服务Kafka版
op等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具,Hadoop表示大数据分析系统。