检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。 replication Integer 否 副本数,配置数据的可靠性 默认值为3,取值范围为1~3。 sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。
ScramLoginModule required \ username="username" \ password="password"; #设置Kafka安全协议。 security.protocol=SASL_SSL #ssl truststore.location为SSL证书的
若“auto.create.groups.enable”设置为“true”,当消费组的状态为“EMPTY”且从未提交过offset,系统将在十分钟后自动删除该消费组。 若“auto.create.groups.enable”设置为“false”,系统不会自动删除消费组。如果需要删除消费组,需要您手动删除。
检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。 Java客户端常见报错 未关闭域名校验 出现下图的错误信息: 解决方案:检查consumer
[root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费者列表。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。
SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“Topic管理”页面,在需要设置用户权限的Topic所在行,单击“设置用户权限”,为用户设置不同的权限。 具体操作请参考设置Topic权限。 父主题: Topic和分区问题
topic-name:Topic名称。 number-of-partitions:Topic的分区数。出于性能考虑,建议单个Topic的分区数设置为200以内。 示例如下: [root@ecs-kafka bin]# ./kafka-topics.sh --bootstrap-server 192.168.xx
l-test [root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费组列表。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。
单击Kafka实例的名称,进入实例的“基本信息”页面。 在“公网访问”后,单击,开启公网访问。在“弹性IP地址”中,为每个代理设置对应的弹性IP地址。 如果没有足够数量的弹性IP地址,参考如下步骤设置弹性IP地址。 单击“创建弹性IP”,跳转到“购买弹性公网IP”页面,购买弹性IP地址,具体操作请参考申请弹性公网IP。
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
serialization.StringDeserializer #======== SASL配置(不开启SASL时将以下配置删除) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl.mechanism为SASL认证机制,us
消息/邮件。 代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。 分区(Partition) 为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。
并发度越大。 该参数设置为1时,消费消息时会按照先入先出的顺序进行消费。 取值范围:1~200 副本数 您可以为每个Topic设置副本的数量,Kafka会自动在每个副本上备份数据,当其中一个Broker故障时数据依然是可用的,副本数越大可靠性越高。 该参数设置为1时,表示只有一份数据。
重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后,实例状态切换为“运行中”。 重启Kafka实例只会重启实例进程,不会重启实例所在虚拟机。 父主题: 管理实例
消息堆积数图表 在“创建告警规则”页面,设置告警名称。告警名称需要符合命名规则:只能由中文、英文字母、数字、下划线、中划线组成。 图3 设置告警名称 在“创建告警规则”页面,设置监控范围。保持当前设置,无需修改。 在“创建告警规则”页面,设置告警策略。 图4 设置告警策略 告警策略:连续1次
Kafka分区平衡 修改Topic的分区平衡。 开启日志 开启Kafka重平衡日志。 关闭日志 关闭Kafka重平衡日志。 设置Topic权限 在Topic中为不同的用户设置不同的权限。 查看Kafka实例后台任务 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
消息超过老化时间,消息仍存在的原因 问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
您需要通过公网地址访问Kafka实例时,可开启实例的公网访问功能,并设置公网带宽。当开启成功后,您还可以根据需要修改公网带宽的大小,当前仅支持带宽扩容,不支持缩容。 部分区域不支持“基准带宽”为“100MB/s”的Kafka实例开启公网访问,具体以控制台为准。 支持区域: 全部 设置实例公网访问 消息查询 您可以查
配置,如果Kafka实例没有开启密文接入,使用的是不加密连接,请注释相关代码;如果Kafka实例开启了密文接入,则必须使用加密方式连接,请设置相关参数。 生产消息配置文件(对应生产消息代码中的dms.sdk.producer.properties文件) 以下粗体部分为不同Kafk