检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
</dependency> 准备Kafka配置信息 为了方便,下文分生产与消费两个配置文件介绍。其中涉及SASL认证配置,如果Kafka实例没有开启密文接入,使用的是不加密连接,请注释相关代码;如果Kafka实例开启了密文接入,则必须使用加密方式连接,请设置相关参数。 生产消息配置文件(对应生产消息代码中的dms
执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]# go version go version go1.16.5 linux/amd64 如果未安装Go,参考如下步骤安装。 #下载Go安装包。
为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 在pom.xml文件中引入spring-kafka依赖 <dependency>
中手动开启任务,请填true。 topics 否 String SmartConnect任务配置的Topic。 topics_regex 否 String SmartConnect任务配置的Topic正则表达式。 source_type 否 String SmartConnect任务的源端类型。
例需要配置正确的安全组规则,否则会连接失败。安全组规则的配置请参考表2。 已获取连接Kafka实例的地址。 在Kafka控制台的“基本信息 > 连接信息”中获取实例连接地址。Kafka实例连接地址在Kafka控制台存在两种不同的显示,一种为“内网连接地址”/“公网连接地址”,另一
果关闭,在需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。 在“源端配置”中,保持默认设置。 在“Topic配置”中,设置以下参数。 表1 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic,并进行转储。 输入/选择
值如表1所示。 集群实例支持在“配置参数”中修改“log.retention.hours”(老化时间)、“default.replication.factor”(副本数)或“num.partitions”(分区数)的参数值,单机实例不支持修改配置参数。修改参数值后自动创建的Topic,Topic参数值为修改后的值。
变更Kafka实例规格 Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容
Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager解决。 2023年5月17日及以后创建的实例不提供Kafka Manager功能,不支持在Kafka Manager中查看消费者连接地址。 前提条件 消费组中的消费者处于连接K
VPC终端节点在不同VPC间建立跨VPC的连接通道,实现客户端通过内网访问Kafka实例。 NAT网关(NAT Gateway) 使用NAT网关的DNAT通过端口映射方式,将弹性IP地址映射到Kafka实例指定端口,实现Kafka实例和客户端通过公网通信。
Manager地址。 未开启公网访问时,Kafka Manager地址为“Manager内网访问地址”。 图1 Kafka Manager内网访问地址 已开启公网访问时,Kafka Manager地址为“Manager公网访问地址”。 图2 Kafka Manager公网访问地址 在浏览器中输入Kafka
Kafka实例从已冻结到运行中的中间状态。 重启中 Kafka实例正在进行重启操作。 变更中 Kafka实例正在进行规格变更、公网访问变更等操作。 变更失败 Kafka实例处于规格变更、公网访问变更等操作失败的状态。 实例处于变更失败状态时,您无法重启实例、删除实例和修改实例,请联系客服处理。 已冻结
已开启密文接入的Kafka实例,通过以下步骤修改Topic分区数。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此
在Windows主机中,解压Logstash压缩包,进入“config”文件夹,创建“output.conf”配置文件。 图3 创建“output.conf”配置文件 在“output.conf”配置文件中,增加如下内容,连接Kafka实例。 input { stdin {} } output
成分区分布不均衡。通过修改分区平衡,将原有Topic分区的副本迁移到新代理上。 将高负载代理上的Leader分区切换为Follower。 在修改分区平衡过程中,可以配置增加/减少Topic的副本数。 分布式消息服务Kafka版控制台提供两种分区平衡的方法:自动平衡和手动平衡,建议
balance。 CompletingRebalance:所有成员加入group。 Stable:消费组内成员可正常消费。 coordinator_id Integer 协调器编号 members Array of object members 消费者列表。参数参见表3。 group_message_offsets
单位:ms ≥ 0 Kafka实例的Smart Connect任务 1分钟 使用Smart Connect监控指标时,请注意如下几点: Kafka双向数据复制的Smart Connect任务在监控中会被拆分为2个任务,分别为“Smart Connect任务名_source_0”和“Smart
已开启密文接入的Kafka实例,通过以下步骤删除Topic。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此
此特性。 约束与限制 替换证书将重启实例,请谨慎操作。 前提条件 已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一:制作证书 登
转储任务名称。 destination_type String 转储任务类型。 create_time Long 转储任务创建时间戳。 status String 转储任务状态。 topics String 返回任务转存的topics列表或者正则表达式。 obs_destination_descriptor