检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC,否则会阻塞消息的生产和消费。 父主题: 配置Kafka客户端
DMS Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka M
文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer
配置Kafka实例的明文/密文接入 您可以通过明文接入Kafka实例,也可以通过密文接入Kafka实例,本章节指导您在控制台修改接入方式。 明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。 密文接入:表示客户端连接Kafka实例时,需要进行SASL认证。 约束与限制
连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 可以使用PEM格式。使用PEM格式SSL证书连接Kafka实例的方法请参考获取和使用Kafka PEM格式的SSL证书。 父主题: 连接问题
在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
单击“新建连接”。 选择“Kafka”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 Brokers地址 填写Kafka的Brokers地址。 认证方式 选择Kafka的认证方式。 SSL认证 无认证 SASL鉴权方式 仅当“认证方式”选择“SSL认证”时需要配置。
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在“连接信息 > SSL证书”后,单击“下载”,将SSL证书下载到本地。
登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击待关闭SSL双向认证的实例名称,进入实例详情页面。
制作和替换Kafka JKS格式的SSL证书 SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输,提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时,您可以使用分布式消息服务Kafka版提供的证书
如何访问云连接 通过管理控制台、基于HTTPS请求的API(Application Programming Interface)两种方式访问云连接。 管理控制台方式 管理控制台是网页形式的,您可以使用直观的界面进行相应的操作。登录管理控制台,从主页选择“云连接”。 API方式 如果用
单击“新建连接”。 选择“Kafka”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 Brokers地址 填写Kafka的Brokers地址。 认证方式 选择Kafka的认证方式。 SSL认证 无认证 SASL鉴权方式 仅当“认证方式”选择“SSL认证”时需要配置。
Kafka实例的连接地址默认有多少个? Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限
Kafka实例的内网连接地址可以修改吗? 不支持修改,且不支持指定IP地址。 父主题: 连接问题
更多 Kafka连接 Kafka是否支持kerberos认证? Kafka连接问题排查和解决 客户端单IP连接的个数为多少? 连接Kafka Manager的操作 更多 消息 为什么Console页面上,消息查询查不到消息? Kafka生产消息的最大长度是多少? Kafka消息堆积了怎么办?
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka JKS格式的SSL证书 获取和使用Kafka PEM格式的SSL证书 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
Kafka认证方式 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制
客户端单IP连接的个数为多少? 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。