正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
性。 弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。 云硬盘(Elastic Volume Service) 云硬盘为云服务器提供块存
使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1 安全组规则 方向 协议 类型 端口 源地址
前提条件 Kafka实例计费模式为“包年/包月”。 Kafka实例状态为“运行中”。 在云服务控制台转按需 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法,设置包年/包月资源到期后转按需。 在需要更改计费模式的Kafka实例所在行,单击操作列“更多
broker_cpu_core_load CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。 单位:% 0~20 Kafka实例节点 1分钟 broker_disk_usage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 单位:% 0~100% Kafka实例节点
rrorMaker,否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器,确保弹性云服务器与源集群、目标集群网络互通。具体购买操作,请参考购买弹性云服务器。 登录弹性云服务器,安装Java JDK,并配置JAVA_HOME与PATH环境变量,使用执行用户在用户家目录下修改“
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。
您可以随时在Kafka控制台为Kafka实例续费,以延长Kafka实例的使用时间。 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法,为Kafka实例续费。 勾选Kafka实例名称左侧的方框,可
账单管理 > 流水和明细账单 > 流水账单”中,“消费时间”即按需产品的实际使用时间。 查看指定资源的账单 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 复制资源ID。 Kafka实例的实例费用和
费模式。 前提条件 Kafka实例计费模式为“按需计费”。 Kafka实例状态为“运行中”。 操作步骤 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法,实现按需实例转包周期。 勾选Kafka实例名称左侧的方框,可
例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。 使用root用户登录ECS。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章
配置SSL双向认证的流程如图1所示。 图1 配置SSL双向认证流程图 前提条件 已准备一台Linux系统的服务器。 实例已开启Kafka SASL_SSL。 步骤一:制作客户端验证服务端的证书 登录Linux系统的服务器,执行以下命令,生成server.keystore.jks证书的孵化器。 keytool
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器,具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,规格为4U8G,Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保
C访问。 对等连接 客户端连接Kafka实例前,需要放通如下安全组,否则会连接失败。 创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 表2 安全组规则 方向
9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例(开启SSL加密)。 创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 开启IPv4公网访问(支持修改明文/密文接入)
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development Kit 1.8.111或以上版本,并配置JAVA_HOME与PATH环境变量,具体方法如下: 使用执行用户在用户家目录下修改“
过白名单开通此特性。 替换证书将重启实例,请谨慎操作。 前提条件 已准备一台Linux系统的服务器。 实例已开启Kafka SASL_SSL。 步骤一:制作证书 登录Linux系统的服务器,执行以下命令,生成server.keystore.jks证书的孵化器。 keytool -genkey