检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
看Topic的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时,通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组,对Topic中的消息进行消费并分析消费过程,这样不会影响其他服务对消息的处理。
连接Kafka网络要求 客户端可以通过公网连接Kafka实例,也可以通过内网连接Kafka实例。使用内网连接时,注意以下几点: 如果客户端和Kafka实例部署在同一个VPC内,网络默认互通。 如果客户端和Kafka实例部署在不同VPC中,由于VPC之间逻辑隔离,客户端和Kafka
Topic(控制台) 删除Kafka Topic(Kafka客户端) 前提条件 已创建Kafka实例,并且已创建Topic。 只有运行中的实例才可以删除Topic。 约束与限制 通过Logstash连接Kafka实例时,请先停止Logstash,然后再删除Topic。在Logstash
查看Kafka审计日志 通过云审计服务(Cloud Trace Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for
连接地址:从前提条件中获取的连接地址。 Topic名称:Kafka实例下创建的Topic名称。如果Kafka实例开启了自动创建Topic功能,此参数值可以填写已创建的Topic名称,也可以填写未创建的Topic名称。 本文以公网连接为例,获取的Kafka实例公网连接地址为“10.xx.xx.45:9094,10
删除Kafka消费组 Kafka实例支持通过以下两种方式删除消费组,您可以根据实际情况选择任意一种方式。 在控制台删除消费组 在Kafka客户端使用命令行工具删除消费组(确保Kafka实例版本与命令行工具版本相同) 约束与限制 若“auto.create.groups.enabl
修改Kafka Topic分区数 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的分区数。分区数只支持增加,不支持减少。 修改分区数,不会重启实例,不会影响业务。 修改Topic分区数的方法如下: 在控制台修改Topic分区数 在Kafka Manager修改Topic分区数
扩容失败提示资源不足 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
动发现和告警,避免7*24小时人工值守。Kafka实例自动上报相关监控指标,如分区数、主题数、堆积消息数等,并支持配置监控数据发送规则,您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术,使得服务具有高度扩展性。分
PREPARING_REBALANCE:准备开启Rebalance。 COMPLETING_REBALANCE:所有成员加入消费组。 STABLE:消费组内成员可以正常消费。 图1 消费组列表 (可选)如果需要搜索某个消费组,在搜索框中,输入消费组名称、消费组状态、Coordinator (ID)、堆
配置Kafka实例的公网访问 客户端可以使用公网通过IPv4地址或者IPv6地址访问Kafka实例。 IPv4地址:在Kafka控制台开启实例的公网访问功能,并设置弹性IP地址,实现公网访问。 IPv6地址:在创建Kafka实例时开启IPv6功能,然后将IPv6地址添加到共享带宽
Manager功能,不支持在Kafka Manager中查看消费者连接地址。 前提条件 消费组中的消费者处于连接Kafka实例时(即消费组状态为“STABLE”),才可以查看消费者列表和消费者连接地址。 查看消费者列表(控制台) 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题
interface)两种管理方式,您可以根据需求购买不同规格的Kafka实例。 Web控制台方式购买 购买Kafka实例 API方式购买 创建Kafka实例 04 使用 根据业务发展需要,您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外,您还可以实时查看监控指标及审计
查看Kafka实例后台任务 对实例的一些操作,如表1所示,会启动一个后台任务,您可以在后台任务页,查看该操作的状态等信息,同时可通过删除操作,清理任务信息。 表1 后台任务列表 任务名 说明 创建实例 创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改
批处理消息最大值 10485760字节 10485760字节 10485760字节 本文主要介绍手动创建Topic的操作,有以下几种方式,您可以根据实际情况选择任意一种方式: 在控制台创建Topic 在Kafka Manager创建Topic 在客户端创建Topic 2023年5月17日及以后创建的实例不提供Kafka
参数说明如下:connection-address表示Kafka实例的连接地址,在Kafka控制台的“基本信息 > 连接信息”中获取。 示例如下: [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
生产消息配置文件(对应生产消息代码中的dms.sdk.producer.properties文件) 以下粗体部分为不同Kafka实例特有的信息,必须修改。客户端其他参数,可以自主添加。 #Topic名称在具体的生产与消费代码中。 ####################### #Kafka实例的broker信息