检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例是否支持无密码访问? 支持,连接明文接入的Kafka实例时,无需密码。具体操作,请参考使用客户端连接Kafka(关闭SASL)。 父主题: 连接问题
单击“选择默认”。 流控创建完后,无法修改“用户名”。 客户端ID 输入前提条件中获取的客户端ID,对此客户端进行流控。如果需要对所有客户端进行流控,在“客户端ID”后,单击“选择默认”。 流控创建完后,无法修改“客户端ID”。 生产上限速率 设置生产上限速率,单位为MB/s。为空时,表示不设置速率。
fka客户端在生产或消费消息时,可能会报Topic {{topic_name}} not present in metadata after 60000 ms的错误,如下图所示。 问题解决措施 以下三种措施都可以解决此问题,请根据实际情况任意选择一种。 升级Kafka客户端的版本到2
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
Kafka实例是否支持不同的子网? 支持。 客户端与实例在相同VPC内,可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 父主题: 连接问题
式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。 解决方法:在生产客户端配置重试机制。建议设置retries=Integer.MAX_VALUE
您可以通过明文接入Kafka实例,也可以通过密文接入Kafka实例,本章节指导您在控制台修改接入方式。 明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。 密文接入:表示客户端连接Kafka实例时,需要进行SASL认证。 约束与限制 首次修改接入方式时,部分实例会重启,另一部分实
AT访问和公网访问,访问实例前,需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。
None 服务介绍 分布式消息服务Kafka版 介绍什么是分布式消息服务 04:19 分布式消息服务介绍 分布式消息服务Kafka版 Kafka-数据流转的桥梁 02:03 Kafka-数据流转的桥梁 特性讲解 分布式消息服务Kafka版 介绍消息积压诊断功能 03:18 消息积压诊断
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章
设置带宽使用量的统计方式。 前n个:统计带宽使用量排名前x个的用户/客户端/Topic,x由您自行输入。 带宽速率:统计带宽速率大于x MB/s的用户/客户端/Topic,x由您自行输入。 带宽使用量:统计带宽使用量超过x %的用户/客户端/Topic,x由您自行输入。 统计类型 设置带宽使用量的统计类型。
查询Topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置 修改用户/客户端流控配置 Smart Connect 包括: 开启Smart Connect(按需实例) 关闭Smart
”,确认删除Topic。 删除Kafka Topic(Kafka客户端) Kafka客户端版本为2.2以上时,支持通过kafka-topics.sh删除Topic。 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令删除Topic。 ./kafka-topics
Kafka实例的SSL证书有效期多长? Kafka实例开启SASL_SSL时,需进行单向认证,证书有效期足够长(超过15年),客户端不需要关注证书过期风险。 查看SSL证书有效期的方法如下: 解压从Kafka实例控制台下载的压缩包,获取压缩包中的“phy_ca.crt”。 双击“phy_ca
例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。 使用root用户登录ECS。
5版本的Kafka客户端连接指导,包括demo代码库的获取,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]#
显示“Done”,表示分区增加成功。 图3 分区增加成功 在客户端修改Topic分区数 Kafka客户端版本为2.2以上时,支持通过kafka-topics.sh修改Topic分区数。 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令修改Topic分区数。
性。 弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。 云硬盘(Elastic Volume Service) 云硬盘为云服务器提供块存
consumer groups ('group-01') was successful. [root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤删除消费组。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两
不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30 20000 100