检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 连接信息 参考表1,设置替换SSL证书的参数。
user-default Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。
在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤,执行2。
id String Topic名称 replication Integer 副本数,配置数据的可靠性 partition Integer Topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。
日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度 修改配置参数 设置Topic的ACL权限 运维与监控 支持的监控指标 设置监控指标告警 支持的云审计操作列表 常见问题 了解更多常见问题、案例和解决方案 热门案例
图4 启用的安全协议 如果Kafka安全协议设置为“SASL_SSL”,在Kafka实例控制台的基本信息页面中下载证书。 使用Java语言连接实例时,需要用JKS格式的证书。使用Python语言连接实例时,需要用CRT格式的证书。
user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。
配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
Kafka单机实例Topic数量计算 Kafka实例对Topic分区数之和设置了上限,当达到上限之后,用户无法继续创建Topic。 所以,Topic数量和实例分区数上限、每个Topic的分区数有关,其中,每个Topic分区数可在创建Topic时设置,实例分区数上限参考表1。
设置Topic权限 在Topic中为不同的用户设置不同的权限。 查看Kafka实例后台任务 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
partition Integer 否 topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。 replication Integer 否 副本数,配置数据的可靠性 默认值为3,取值范围为1~3。
user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。
user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。
如果实例负载较低(例如实例规格为300MB/s,当前实例负载为30MB/s),建议不设置带宽限制。如果需要设置带宽限制,建议该参数值不小于待分区平衡Topic的总生产带宽 * 待分区平衡Topic的最大副本数。 带宽限制值的估算方法,请参考带宽限制值估算方法。
服务端 合理设置Topic的分区数,在不影响业务处理效率的情况下,调大Topic的分区数量。 当服务端出现消息堆积时,对生产者进行熔断,或将生产者的消息转发到其他Topic。
Kafka生产者客户端3.0及之后的版本会默认开启幂等,如果不需要使用该功能,请将“enable.idempotence”设置为“false”。 父主题: 消息问题
Kafka Manager问题 登录Kafka Manager的帐号是否可以设置为只读帐号? 登录到Kafka Manager页面,为什么获取不到节点信息? Yikes!
老化时间 如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer #======== SASL配置(不开启SASL时将以下配置删除) ======= ## 设置
请求示例 新规格按需实例的开启Smart Connect,设置Smart Connect节点数量为2。