检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时,将同时验证客户端和服务端的证书,以确保通信中涉及的双方都是受信任的。 开启SSL双向认证,主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性,需要联系后台管理人员开通后方可使用。 配置SSL双向认证的流程如图1所示。
返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。
Kafka实例是否支持修改访问端口? Kafka实例的访问端口固定,不支持修改。 如果是访问未开启SASL的Kafka实例 支持的访问方式如下:同一VPC内访问、公网访问、跨VPC访问和DNAT访问。 同一VPC内使用IPv4地址访问,访问端口为9092。 同一VPC内使用IPv6地址访问,访问端口为9192。
ka实例信息。 实例连接地址与端口 实例创建后,从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议配置所有的连接地址,提高可靠性。 如果开启公网访问,还可以使用基本信息页面下方的公网连接地址访问Kafka实例。 图1
使用内网通过同一个VPC访问Kafka实例的连接地址(内网密文连接地址) 如果是公网访问,Kafka连接地址如下图所示。 图3 公网访问Kafka实例的连接地址(公网连接地址) 图4 公网访问Kafka实例的连接地址(公网密文连接地址) 已获取开启的SASL认证机制。 在Kafka实例详情页的“连接信息”区
Array 所有消费组对应的协调器列表。参数参见表3。 表3 coordinators参数说明 参数 类型 说明 group_id String 消费组ID。 id Integer 对应协调器的broker id。 host String 对应协调器的地址。 port Integer
SL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用,生产与消费的API集,请参考Kafka官网。 客户端网络环境说明
Kafka实例名称,进入实例详情页。在“基本信息”页面的“连接信息”区域,关闭“公网访问”,然后重新打开“公网访问”,并选择需要绑定的公网IP地址。 父主题: 实例问题
单击“确认”,完成证书的替换。 在“后台任务管理”页面,替换SSL证书任务的“状态”为“成功”时,表示替换证书成功。 证书替换成功后,在实例详情页单击“下载”,下载的证书为分布式消息服务Kafka版提供的证书,并非您自己制作的证书。 步骤三:修改客户端配置文件 替换证书后,需要在客户端的“consumer
与开源Kafka的差异 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项
例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。 使用root用户登录ECS。
不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
单击“确定”,完成DNAT规则的添加。 DNAT规则添加成功后,在DNAT规则列表中查看此规则的状态,若“状态”为“运行中”,表示创建成功。 为获取Kafka实例的信息中记录的其他内网连接地址创建DNAT规则,每个DNAT规则需要设置不同的弹性公网IP。 创建DNAT规则的具体步骤参考2~4。
在“节点”页签,查看服务端节点的CPU使用率。 图7 broker-0的CPU使用率(客户端服务器和实例在相同的AZ中) CPU消耗=58.10% 图8 broker-0的CPU使用率(客户端服务器和实例在不同的AZ中) CPU消耗=17.20% 图9 broker-1的CPU使用率(客户端服务器和实例在相同的AZ中)
Kafka支持的监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”页面来检索Kafka实例产生的监控指标。
“双向”时,当前Kafka实例的别名作为前缀添加到对端Kafka实例的Topic名称前,形成Topic新的名称。例如当前Kafka实例别名为A,对端Kafka实例的Topic名称为test,重命名后的Topic为A.test。 Kafka数据复制的Smart Connect任务创
创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 表2 安全组规则 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka实例(明文接入)。
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题
获取和使用Kafka PEM格式的SSL证书 本章节指导您如何获取PEM格式的SSL证书,并使用PEM格式证书访问Kafka实例。 前提条件 实例已开启Kafka SASL_SSL。 获取PEM格式的SSL证书 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
以下粗体部分为不同Kafka实例特有的信息,必须修改。客户端其他参数,可以自主添加。 #Topic名称在具体的生产与消费代码中。 ####################### #Kafka实例的broker信息,ip:port为实例的连接地址和端口,参考“收集连接信息”章节获取。举例:bootstrap.servers=100