检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击Kafka实例的名称,进入实例的“基本信息”页面。 在“公网访问”后,单击,开启公网访问。在“弹性IP地址”中,为每个代理设置对应的弹性IP地址。 如果没有足够数量的弹性IP地址,参考如下步骤设置弹性IP地址。 单击“创建弹性IP”,跳转到“购买弹性公网IP”页面,购买弹性IP地址,具体操作请参考申请弹性公网IP。
https://{endpoint}/v1/{project_id}/vpc-endpoint-services 请参考以下说明设置请求参数,其他参数根据实际情况设置。 port_id:输入6中获取的其中一个Port ID。 vpc_id:输入8中获取的VPC ID。 server_type:输入“VM”。
客户端连接Kafka实例前,需要在Kafka实例所属安全组中配置如下安全组规则,否则会连接失败。 创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 表2 安全组规则 方向
步骤三:添加DNAT规则 在“公网NAT网关”页面,在新购买的公网NAT网关后,单击“设置规则”,进入公网NAT网关详情页。 在“DNAT规则”页签,单击“添加DNAT规则”,弹出“添加DNAT规则”对话框。 图3 公网NAT网关详情页 设置如下参数。 使用场景:选择“虚拟私有云” 端口类型:选择“具体端口”
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
设置用户权限 功能介绍 设置用户权限。 Kafka实例开启SASL功能时,才支持多用户管理的功能。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/{instance_id}/topics/accesspolicy 表1 路径参数
2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development Kit 1.8.111或以上版本,并配置JAVA_HOME与PATH环境变量,具体方法如下: 使用执行用户在用户家目录下修改“.bash_profile”,添加
表页面。 在需要设置用户权限的Topic所在行,单击“设置用户权限”,弹出“设置用户权限”对话框。 为用户设置Topic权限。 如果需要为所有用户设置相同的权限,勾选“默认用户”,并设置权限。如下图所示,所有用户都拥有发布此Topic的权限。 图1 为所有用户设置相同的权限 如果
Kafka实例是否支持跨VPC访问? Kafka实例支持跨VPC访问,您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kaf
2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development Kit 1.8.111或以上版本,并配置JAVA_HOME与PATH环境变量,具体方法如下: 使用执行用户在用户家目录下修改“.bash_profile”,添加
登录Kafka Manager的帐号是否可以设置为只读帐号? 不支持设置为只读帐号。 父主题: Kafka Manager问题
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。
Kafka实例连接数有限制吗? 不同规格的Kafka实例,连接数限制如下: 表1 老规格Kafka实例的连接数 基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数
客户端单IP连接的个数为多少? 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。
客户端连接问题-Java客户端 客户端连接问题-Go客户端 检查网络 在连接Kafka实例前,需要确保客户端与Kafka实例之间可以相互连接,如果无法连接,建议先检查网络连接是否正常。 已开启sasl_ssl访问的Kafka实例为例,执行如下命令: curl -kv {ip}:{port} 网络正常,如下: 网络异常/不通,如下:
SSL证书”后,单击“下载”,将SSL证书下载到本地。 解压证书zip包,获取JKS格式的SSL证书。 登录Linux系统的服务器,将JKS格式的SSL证书上传到服务器中。 执行以下命令,将JKS格式证书转换为PKCS12格式。 keytool -importkeystore -srckeystore
密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。 context.load_verify_locations:证书文件。如果Kafka安全协议设置为“SASL_SSL”,需要设置此参数。使用
使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1 安全组规则 方向 协议 类型 端口 源地址
- [root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费进度。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。