-
典型应用场景 - 分布式消息服务Kafka版
将业务中属于非核心或不重要的流程部分,使用消息异步通知的方式发给目标系统,这样主业务流程无需同步等待其他系统的处理结果,从而达到系统快速响应的目的。 如网站的用户注册场景,在用户注册成功后,还需要发送注册邮件与注册短信,这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统,从而提升注册流程的响应速度。
-
与开源Kafka的差异 - 分布式消息服务Kafka版
租户不需要单独采购硬件资源,直接使用就绪的服务,无需额外成本。 需要购买硬件资源,自行搭建整个消息服务,使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验,并且已经在华为云许多产品中使用,广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随
-
Java开发环境搭建 - 分布式消息服务Kafka版
安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA,可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压,有如下文件: 表1 Kafka Demo文件清单 文件名 路径 说明 DmsConsumer
-
使用客户端连接Kafka(明文接入) - 分布式消息服务Kafka版
连接实例前,请先创建Topic。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已创建弹性云服务器,如果使用内网通过同一个V
-
删除Kafka消费组 - 分布式消息服务Kafka版
方法二:使用命令行工具删除消费组 以下操作命令以Linux系统为例进行说明: 下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 使用
-
Kafka Manager概述 - 分布式消息服务Kafka版
Kafka Manager概述 Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka
-
使用客户端连接Kafka(密文接入) - 分布式消息服务Kafka版
证书文件:client.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已创建弹性云服务器,如果使用内网通过同一个V
-
服务韧性 - 分布式消息服务Kafka版
Kafka提供跨AZ类型实例,支持跨AZ容灾,当一个AZ异常时,不影响Kafka实例持续提供服务。 AZ内实例容灾 同一个AZ内,Kafka实例通过副本冗余方式实现实例容灾,当检测到leader副本故障后,快速完成副本选主,保障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 父主题: 安全
-
修改Kafka实例配置参数 - 分布式消息服务Kafka版
ms consumer允许的最大会话超时时间,单位为ms。超时时间越长,consumer就能在心跳探测周期内有更多时间处理消息,但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。
-
查看Kafka消费组信息 - 分布式消息服务Kafka版
单击。 (可选)如果需要刷新消费组列表,在右上角单击。 查看消费组列表(Kafka客户端) 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费组列表。 ./kafka-consumer-groups
-
删除Kafka Topic - 分布式消息服务Kafka版
everyone.if.no.acl.found”设置为“false”时,无法通过客户端删除Topic。 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令删除Topic。 ./kafka-topics.sh --bootstrap-server
-
概述 - 分布式消息服务Kafka版
因此,本手册以同一VPC内子网地址的方式,介绍客户端开发环境搭建。 遇到连接超时或失败时,请注意确认网络是否连通。可使用telnet方式,检测实例连接地址与端口。
-
修改Kafka Topic分区数 - 分布式消息服务Kafka版
if.no.acl.found”设置为“false”时,无法通过客户端修改Topic分区数。 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令修改Topic分区数。 ./kafka-topics.sh --bootstrap-server
-
数据保护技术 - 分布式消息服务Kafka版
容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本
-
查看Kafka消费者信息 - 分布式消息服务Kafka版
(可选)如果需要查询某个消费者,在搜索框中,输入消费者ID,单击。 查看消费者列表(Kafka客户端) 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费者列表。 ./kafka-consumer-groups
-
查看和重置Kafka消费进度 - 分布式消息服务Kafka版
(可选)如果需要查询某个Topic的消费进度,在搜索框中,输入Topic名称,单击。 查看消费进度(Kafka客户端) 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费进度。 ./kafka-consumer-groups.sh
-
如何查看堆积消息数? - 分布式消息服务Kafka版
消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看监控数据。 在Kafka客户端,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过kafka-consumer-groups.sh --bootstrap-server
-
测试Kafka实例TPS - 分布式消息服务Kafka版
3 30 topic-04 否 否 3 3 topic-05 否 否 3 12 topic-06 否 否 3 100 获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,
-
创建Kafka Topic - 分布式消息服务Kafka版
everyone.if.no.acl.found”设置为“false”时,无法通过客户端创建Topic。 未开启密文接入的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令创建Topic。 ./kafka-topics.sh --create
-
配置Kafka间的数据复制 - 分布式消息服务Kafka版
此时会导致数据重复复制,且目标Topic消费进度异常。 图1 复制数据规则配置 (可选)在页面右下角单击“开始检测”,测试两端Kafka实例的连通性。 显示“连通性检测成功”时,表示两端Kafka实例可以正常连接。 单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。