检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤）
系统管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。
执行Kafka Topic删除操作时提示“AdminOperationException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-topics.sh --delete --topic test4 --zookeeper
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 启用Kerberos认证的
231:2181/kafka 可能原因 客户端命令连接ZooKeeper地址错误。 Kafka服务异常Kafka部分节点处于停止状态。 Kafka服务端配置禁止删除。 Kafka配置自动创建，且Producer未停止。 原因分析 客户端命令，打印ZkTimeoutException异常。 [2016-03-09
组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用kafka-delegation-tokens.sh对Token进行操作。 为用户生成Token： ./kafka-delegation-tokens.sh --create --bootstrap-server
Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
ation的方式防止数据丢失。 分布式 分布式系统，易于向外扩展。每个集群支持部署多个Producer、Broker和Consumer，从而形成分布式的集群，无需停机即可扩展系统。 Kafka UI Kafka UI提供Kafka Web服务，通过界面展示Kafka集群中Brok
）。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况，评估迁移后，不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户，登录已安装Kafka客户端的节点。 执行以下命令，切换到Kafka客户端安装目
ClickHouseServer（角色） > 引擎”，修改如下参数，配置连接Kafka的用户名和密码。 参数 参数说明 kafka.sasl_mechanisms 指定连接Kafka使用的SASL认证机制，参数值为PLAIN。 kafka.sasl_password 连接Kafka用户的密码，新建的用户ck_user
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 启用Kerberos认证的
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，进行用户认证。
配置名称 说明 默认值 影响分析 connections.max.idle.ms 空闲连接的保留时间。单位：毫秒 600000 空闲连接的保留时间，连接空闲时间大于此时间，则会销毁该连接，有需要时重新创建连接。 request.timeout.ms 消费请求的超时时间。单位：毫秒。 30000
根据吞吐量粗略计算，假设生产者可以达到的吞吐量为P，消费者可以达到的吞吐量为C，预期Kafka吞吐量为T，那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中，分区越多吞吐量越高，但是分区过多也存在潜在影响，例如文件句柄增加、不可用性
properties中配置如表2中参数，producer.properties存放路径为：/opt/client/Kafka/kafka/config/producer.properties，其中/opt/client为Kafka客户端安装目录。 表2 客户端高可用性和高性能参数说明 参数 默认值 说明 acks
sasl_kerberos_principal 连接Kafka的principal，输入1创建的用户名。 kafka.sasl_kerberos_realm 配置为Kafka集群的域名。 kafka.sasl_mechanisms 指定连接Kafka使用的SASL认证机制，参数值为GSSAPI。 kafka_auth_mode
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer
调测Kafka Token认证机制样例程序 Kafka服务端配置Kafka Token认证。 登录FusionInsight Manager管理界面，选择“集群 > 服务 > Kafka > 配置”，打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation
配置名称 说明 默认值 影响分析 connections.max.idle.ms 空闲连接的保留时间。单位：毫秒 600000 空闲连接的保留时间，连接空闲时间大于此时间，则会销毁该连接，有需要时重新创建连接。 request.timeout.ms 消费请求的超时时间。单位：毫秒。 30000
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
