检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka集群节点内多磁盘数据量占用高 用户问题 Kafka流式集群节点内有多块磁盘的使用量很高。当达到100%时就会造成kafka不可用如何处理？ 问题现象 客户购买的MRS Kafka流式集群节点内有多块磁盘，由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。
如何解决Kafka topic无法删除的问题 问题 删除Kafka topic后发现未成功删除，如何正常删除？ 回答 可能原因一：配置项“delete.topic.enable”未配置为“true”，只有配置为“true”才能执行真正删除。 可能原因二：“auto.create.topics
如何解决Kafka Topic无法删除的问题 问题 删除Kafka Topic后发现未成功删除，如何正常删除？ 回答 可能原因一：配置项“delete.topic.enable”未配置为“true”，只有配置为“true”才能执行真正删除。 可能原因二：“auto.create.topics
步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用“kafka-acl.sh”进行用户授权常用命令如下： 查看某Topic权限控制列表： ./kafka-acls.sh --authorizer-properties
均衡Kafka扩容节点后数据 操作场景 用户可以在Kafka扩容节点后，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载。 本章节内容适用于MRS 3.x之前版本。3.x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求，并准备一个K
使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息，但发现业务执行失败。 具体信息如下： root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1
kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-balancer.sh”进行用户集群均衡，常用命令如下： 使用--run命令执行集群均衡： ./bin/kafka-balancer.sh --run --zookeeper
停机即可扩展系统。 Kafka UI Kafka UI提供Kafka Web服务，通过界面展示Kafka集群中Broker、Topic、Partition、Consumer等功能模块的基本信息，同时提供Kafka服务常用命令的界面操作入口。该功能作为Kafka Manager替代，提供符合安全规范的Kafka
如何获取Kafka Consumer Offset信息 问题背景与现象 使用Kafka Consumer消费数据时，如何获取Kafka Consumer Offset相关信息？ Kafka API简单说明 新Producer API 指org.apache.kafka.clients
）。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况，评估迁移后，不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户，登录已安装Kafka客户端的节点。 执行以下命令，切换到Kafka客户端安装目
Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
Kafka用户权限说明 操作场景 在启用Kerberos认证的集群中，用户使用Kafka前需要拥有对应的权限。MRS集群支持将Kafka的使用权限，授予不同用户。 Kafka默认用户组如表1所示。 Kafka支持两种鉴权插件：“Kafka开源自带鉴权插件”和“Ranger鉴权插件”。
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高
假设集群中部署了K个Kafka节点，每个节点上配置的磁盘个数为N，每块磁盘大小为M，集群共有n个Topic（T1,T2…Tn），并且其中第m个Topic的每秒输入数据总流量为X(Tm) MB/s，配置的副本数为R(Tm)，配置数据保存时间为Y(Tm)小时，那么整体必须满足： 假设单个磁盘大小为
Kafka日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var
执行Kafka Topic删除操作时提示“AdminOperationException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-topics.sh --delete --topic test4 --zookeeper
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。 在指定Topic的“权限”列，勾选“Kafka生产者权限”。 设置用户对Topic的消费权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍
231:2181/kafka 可能原因 客户端命令连接ZooKeeper地址错误。 Kafka服务异常Kafka部分节点处于停止状态。 Kafka服务端配置禁止删除。 Kafka配置自动创建，且Producer未停止。 原因分析 客户端命令，打印ZkTimeoutException异常。 [2016-03-09
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
