检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Kafka消费者信息 如果消费组中存在正在连接Kafka实例的消费者,可查看消费组中该消费者的连接信息。 在Kafka Manager中查看消费者连接地址须知 Kafka Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager解决。
SDK概述 本文介绍了分布式消息服务Kafka版提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。
单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 通过以下任意一种方法,删除Topic。 勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“删除Topic”。 在待删除Topic所在行,单击“更多 > 删除”。 在“删
KafkaTemplate<String, String> kafkaTemplate; /** * 定时任务每5秒钟生产一条消息 */ @Scheduled(cron = "*/5 * * * * ?") public void send()
单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“消费组管理”,进入消费组列表页面。 通过以下任意一种方法,删除消费组。 勾选消费组名称左侧的方框,可选一个或多个,单击信息栏左上侧的“删除消费组”。 在待删除消费组所在行,单击“删除”。 仅在“消费组状态”为“EMPTY”时,支持删除。
与开源Kafka的差异 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项
Kafka服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DMS for Kafka资源。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就
入门实践 当您购买了Kafka实例后,可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控
单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 通过以下任意一种方法,修改Topic分区数。 勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“编辑Topic”。 在待修改分区数的Topic所在行,单击“编辑”。 在“编
的具体价格,请参见分布式消息服务Kafka版价格详情。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于业务需求量长期稳定的成熟业务。 按需计费:一种后付费模式,即先使用再付费,按照Kafka实例实际使用时长计费,秒
Kafka实例不支持在线重置消费进度,请先将待重置消费进度的消费组停止消费,然后重置消费进度。 停止待重置消费进度的消费者客户端后,需要等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒),服务端才会认为此消费者已下线。
使用VPCEP实现跨VPC访问Kafka Kafka客户端和Kafka实例在同一区域的不同VPC中,由于VPC之间逻辑隔离,Kafka客户端和Kafka实例不能直接通信。您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考对等连接。
查看Kafka消费组信息 消费组创建成功后,可查看消费组配置信息和状态信息。 查看消费组列表(控制台) 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
在消费过程中,如果出现异常,没有提交消费确认,该批消息会在后续的消费请求中再次被获取。 消息生产与消费的幂等传递 分布式消息服务Kafka版设计了一系列可靠性保障措施,确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电,使用消息确认(ACK)机制解决消息传输过程中遇到的异常。
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。通过选择包年/包月的计费模式,您可以预先购买云服务资源并获得一定程度的价格优惠。本文将介绍包年/包月Kafka实例的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用
Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗? 不同实例中,使用的SSL证书是否一样?
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafk
分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。包年/包月是一种预付费模式,即先付费再使用,按照订单的购买周期进行结算,因此在购买之前,您必须确保账户余额充足。按需计费是一种后付费模式,即先使用再付费,按照Kafka实例实际使用时长计费。关于两种计费模式的
计费周期 按需计费Kafka实例按秒计费,每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。计费的起点以Kafka实例创建成功的时间点为准,终点以实例删除时间为准。 例如,您在8:45:30购买了一个按需计费的Kafka实例,然后在8:55:00将其删除,则计费周期为8:00:00