检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出Kafka Topic列表 本章节指导您在控制台导出Topic列表,支持批量导出。 前提条件 已创建Topic。 导出Topic列表 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
迁移数据 Kafka数据迁移概述 使用Smart Connect迁移数据
配置流控 配置Kafka流控 查看Kafka流控统计
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
是可以兼容少量重复消费的业务。 创建Kafka数据复制的Smart Connect任务,用于同步两个Kafka的消息。具体步骤请参见配置Kafka间的数据复制。 在Kafka控制台的“消息查询”页面,查看两个Kafka的最新消息是否一致,确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。
问和公网访问,访问实例前,需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。
不同实例中,使用的SSL证书是否一样? Kafka实例中的SSL证书是通用的,不区分用户或者实例,即不同的用户或者实例,使用的SSL证书是同一个。 获取SSL证书的方法如下: 在Kafka控制台,单击实例名称,进入实例详情页。 在“连接信息 > SSL证书”所在行,单击“下载”。
变更实例规格 变更Kafka集群实例规格
Connect任务列表页面。 在待删除的Smart Connect任务所在行,单击“删除”,弹出“删除任务”对话框。 单击“确定”,完成Smart Connect任务的删除。 启动/暂停Smart Connect任务 暂停任务后,Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。
partition Integer 否 分区编号,默认值为-1,若传入值为-1,则查询所有分区。 start_time Long 否 查询起始时间,为unix时间戳格式,默认值为0。 end_time Long 否 查询结束时间,为unix时间戳格式,默认值为系统当前时间。 limit Integer
在Kafka实例名称后,单击“查看监控数据”,进入云监控该实例的监控指标页面。 单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控与告警 > 监控详情”,进入监控页面。 在实例监控指标页面中,找到需要创建告警的指标项,鼠标移动到指标区域,然后单击指标右上角的,跳转到创建告警规则页面。 在告警规则页面,设置告警信息。
否 Integer 当次查询返回的最大topic个数,默认值为10,取值范围为1~50。 sort_key 否 String 排序规则: topic:按topic名称排序。 partition:按分区数排序。 messages:按消息数量排序,默认方式。 sort_dir 否 String
带宽速率:统计带宽速率大于x MB/s的用户/客户端/Topic,x由您自行输入。 带宽使用量:统计带宽使用量超过x %的用户/客户端/Topic,x由您自行输入。 统计类型 设置带宽使用量的统计类型。 生产:统计生产消息的带宽使用量。 消费:统计消费消息的带宽使用量。 统计维度 设置带宽使用量的统计维度。
取Kafka实例的网卡地址(listeners IP)和对应的Port ID。 图2 Kafka实例的网卡地址(listeners IP)和对应的Port ID 在“基本信息”页面的“网络”区域,查看Kafka实例所在的VPC名称。 图3 查看Kafka实例所在的VPC名称 单击
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka JKS格式的SSL证书 获取和使用Kafka PEM格式的SSL证书 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
Topic详情页面显示Topic的基本信息、订阅关系、分区信息和生产者信息。 基本信息:包含Topic名称、关联代理、分区数和创建时间。 创建Topic的时间或方式满足以下任意一种情况时,Topic详情页面不显示创建时间。 2023年7月10日以及之前创建的Topic。 自动创建的Topic、在客
导出Kafka实例列表 分布式消息服务Kafka版支持在控制台导出实例列表信息,供用户查看和使用。 导出Kafka实例列表 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时,这些数据发送失败后,客户端会重新发送。 注意,这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序,如果这两个消息记录都是发
查看监控指标与配置告警 查看Kafka监控数据 Kafka支持的监控指标 配置Kafka监控告警
图解Kafka、RabbitMQ和RocketMQ的差异