检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
Kafka Client 功能 通过Kafka Client向Kafka的Topic中发送数据。 您可以参考跨空间进行作业调度,获取Kafka Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接
使用内网通过同一个VPC访问Kafka实例的连接地址(内网连接地址) 图2 使用内网通过同一个VPC访问Kafka实例的连接地址(内网明文连接地址) 如果是公网访问,Kafka连接地址如下图所示。 图3 公网访问Kafka实例的连接地址(公网连接地址) 图4 公网访问Kafka实例的连接地址(公网明文连接地址)
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。 在左侧
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。 在“基本信息”页面的“连接信息”区域,获取并记录Kafka实例的内网连接地址。在“网络
使用内网通过同一个VPC访问Kafka实例的连接地址(内网连接地址) 图2 使用内网通过同一个VPC访问Kafka实例的连接地址(内网密文连接地址) 如果是公网访问,Kafka连接地址如下图所示。 图3 公网访问Kafka实例的连接地址(公网连接地址) 图4 公网访问Kafka实例的连接地址(公网密文连接地址)
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
Kafka实例连接数有限制吗? 不同规格的Kafka实例,连接数限制如下: 表1 老规格Kafka实例的连接数 基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数
VPC之间的网络。 客户端连接Kafka实例的方式如表1所示。 表1 连接方式说明 连接方式 实现方式 参考文档 公网连接 客户端通过IPv4地址访问Kafka实例:在Kafka控制台开启公网访问,配置弹性公网IP,客户端通过弹性公网IP访问Kafka实例。 客户端通过IPv6地
Kafka实例是否支持跨VPC访问? Kafka实例支持跨VPC访问,您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kaf
持的服务,可以被终端节点连接和访问。 终端节点:用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。 图1 跨VPC访问Kafka实例原理图 客户端使用VPCEP跨VPC访问Kafka时,使用的是明文连接还是密文连接? 使用明文连接还是密文连接,取决于“跨VPC访问协议
Kafka是否支持Kerberos认证,如何开启认证? Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证,Kerberos认证目前不支持。 如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka M
在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
Kafka实例是否支持公网访问? Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作,请参考连接实例。 父主题: 连接问题
文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer
Kafka支持哪个版本的TLS? Kafka支持TLS 1.2。 父主题: 连接问题
对等连接概述 对等连接 对等连接是建立在两个VPC之间的网络连接,不同VPC之间网络不通,通过对等连接可以实现不同VPC之间的云上内网通信。对等连接用于连通同一个区域内的VPC,您可以在相同账户下或者不同账户下的VPC之间创建对等连接。 对等连接用于连通同一个区域的VPC,如果您要连通不同区域的VPC,请使用云连接。