检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题: 连接实例
Kafka客户端使用建议 consumer使用建议 consumer的owner线程需确保不会异常退出,避免客户端无法发起消费请求,阻塞消费。 确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit,如果对
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
Kafka开源客户端获取 Kafka实例完全兼容开源客户端,如果您使用其他语言,也可以从Kafka官网获取客户端,按照Kafka官网提供的连接说明,与Kafka实例对接。
Kafka支持服务端认证客户端吗? 不支持。 父主题: 连接问题
流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用华为云分布式消息服务Kafka版,资源按需申请,即买即用,您将有更多精力
使用客户端连接Kafka(开启SASL) 本章节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka实例的方法。 在“华北-北京一”、“中东-利雅得”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域,开启SASL表示客户端访问Kafka实例时,需要进行SASL认证且数据加密传输,安全性更高。
“client.truststore.jks”需要存放到客户端中,并记录存放路径,此路径用于客户端连接Kafka实例时,配置文件中“ssl.truststore.location”参数的值。 步骤二:制作服务端验证客户端的证书 登录Linux系统的服务器,执行以下命令,生成client
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单I
objects 客户端流控配置列表。 count Integer 用户/客户端流控配置数目。 表4 Quota 参数 参数类型 描述 user String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client String 客户端ID。 不对全部
是否必选 参数类型 描述 user 否 String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client 否 String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。
是否必选 参数类型 描述 user 否 String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client 否 String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。
是否必选 参数类型 描述 user 否 String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client 否 String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。
连接Kafka网络要求 客户端可以通过公网连接Kafka实例,也可以通过内网连接Kafka实例。使用内网连接时,注意以下几点: 如果客户端和Kafka实例部署在同一个VPC内,网络默认互通。 如果客户端和Kafka实例部署在不同VPC中,由于VPC之间逻辑隔离,客户端和Kafka实例不能直接通信,需要打通VPC之间的网络。
客户端单IP连接的个数为多少? 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。
为什么不建议使用Sarama客户端收发消息? 问题现象 使用Sarama客户端收发消息存在以下问题: Sarama客户端无法感知分区变化,当Topic分区数增加时,需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为10
Java客户端接入示例 本文介绍Maven方式引入Kafka客户端,并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现,请查看Java开发环境搭建。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。
None 服务介绍 分布式消息服务Kafka版 介绍什么是分布式消息服务 04:19 分布式消息服务介绍 特性讲解 分布式消息服务Kafka版 介绍消息积压诊断功能 03:18 消息积压诊断 操作指导 分布式消息服务Kafka版 介绍怎样购买Kafka实例 07:58 购买Kafka实例
支持 消息重试 支持 不支持 3.8.35版本:不支持。 AMQP-0-9-1版本:支持。 消费模式 支持客户端主动拉取和服务端推送两种方式。 客户端主动拉取。 支持客户端主动拉取和服务端推送两种模式。 广播消费 支持 支持 支持 消息回溯 支持 支持。Kafka支持按照offs
客户端删除消费组后,在Kafka Manager中仍可以看到此消费组? 客户端删除消费组后,此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组,是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题: 重启Kafka Manager。 Kafka