检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka客户端所在的IP地址或地址组 通过IPv6地址访问Kafka实例(开启SSL加密)(内网和公网都适用)。 入方向 TCP IPv4 9011 198.19.128.0/17 通过VPC终端节点实现跨VPC访问Kafka实例(密文接入和明文接入都适用)。 入方向 TCP IPv4 9011 Kafka客户端所在的IP地址或地址组
的虚拟私有云。 Kafka实例创建后,您需要在弹性云服务器中下载和安装Kafka开源客户端,然后才能进行生产消息和消费消息。 创建Kafka实例 在创建实例时,您可以根据需求选择需要的实例规格和数量,并开启密文接入,安全协议设置为“SASL_SSL”。 连接安全协议为“SASL_
Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。 例如:业务消息体积预估100GB,副本数
实例是否支持内网PLAINTEXT访问接入方式。 true:实例支持内网PLAINTEXT访问方式接入方式。 false:实例不支持内网PLAINTEXT访问接入方式。 private_plain_address String kafka内网PLAINTEXT接入方式连接地址。 private_plain_domain_name
单击“弹性IP地址”后的,然后在下拉框中选择和代理数量相同的弹性IP地址,单击,跳转到“后台任务管理”页面。 当任务状态显示为“成功”时,表示成功开启公网访问。 图2 开启公网访问 开启公网访问后,需要设置接入方式(明文接入、密文接入)和对应的安全组规则,才能成功连接Kafka。连接Kafka的具体操作请参考连接实例。
创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考对等连接。注意修改Kafka实例的安全组,允许端口9092(明文接入)/9093(密文接入)被外部请求访问。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例,具体
sasl_plain_username/sasl_plain_password:首次开启密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。 context.load_verify_location
实例是否支持内网PLAINTEXT访问接入方式。 true:实例支持内网PLAINTEXT访问方式接入方式。 false:实例不支持内网PLAINTEXT访问接入方式。 private_plain_address String kafka内网PLAINTEXT接入方式连接地址。 private_plain_domain_name
实例是否支持内网PLAINTEXT访问接入方式。 true:实例支持内网PLAINTEXT访问方式接入方式。 false:实例不支持内网PLAINTEXT访问接入方式。 private_plain_address String kafka内网PLAINTEXT接入方式连接地址。 private_plain_domain_name
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
未开启“Kafka自动创建Topic”功能时,必须先创建Topic,然后客户端才可以连接Kafka实例生产消费消息。 密文接入信息 如果实例开启密文接入,则需要获得连接实例的用户名与密码、SASL认证机制和Kafka安全协议。Kafka安全协议设置为“SASL_SSL”时,还需要获取SSL证书。 连接实
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
在左侧导航栏选择“Topic管理”,进入Topic列表页面。 执行以下步骤,弹出“消息删除”对话框。 如果实例未开启密文接入功能,在待删除消息的Topic所在行,单击“消息删除”。 如果实例已开启密文接入功能,在待删除消息的Topic所在行,单击“更多 > 消息删除”。 设置消息删除参数,如表1所示。
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
本章节主要介绍通过VPC终端节点实现跨VPC访问的方法。 VPC终端节点由“终端节点服务”和“终端节点”两种资源实例组成。 终端节点服务:将Kafka实例配置为VPC终端节点支持的服务,可以被终端节点连接和访问。 终端节点:用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。 图1 跨VPC访问Kafka实例原理图
Connect迁移业务,会对源端Kafka进行消费,对目标端Kafka进行生产,会占用源端和目标端Kafka的带宽。 出于性能考虑,Smart Connect实时同步源端和目标端的数据,但是消费进度是通过批处理同步的,可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境。
Java Java客户端接入示例 Java开发环境搭建
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 JKS格式SSL证书转换PEM格式 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例