检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Windows通过EIP访问集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。
Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息，但发现业务执行失败。 具体信息如下： root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1
配置Windows通过EIP访问集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。
Broker：“/var/log/Bigdata/kafka/broker”（运行日志） KafkaUI：“/var/log/Bigdata/kafka/ui”（运行日志） 日志归档规则：Kafka的日志启动了自动压缩归档功能，默认情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则
在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。 在指定Topic的“权限”列，勾选“Kafka生产者权限”。 设置用户对Topic的消费权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。
步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用“kafka-acl.sh”进行用户授权常用命令如下： 查看某Topic权限控制列表： ./kafka-acls.sh --authorizer-properties
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（
配置Windows通过EIP访问安全模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍
kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-balancer.sh”进行用户集群均衡，常用命令如下： 使用--run命令执行集群均衡： ./bin/kafka-balancer.sh --run --zookeeper
Kafka用户权限说明 操作场景 在启用Kerberos认证的集群中，用户使用Kafka前需要拥有对应的权限。MRS集群支持将Kafka的使用权限，授予不同用户。 Kafka默认用户组如表1所示。 Kafka支持两种鉴权插件：“Kafka开源自带鉴权插件”和“Ranger鉴权插件”。
sh kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> 查看单个Topic详细信息。 sh kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:2181/kafka>
根据吞吐量粗略计算，假设生产者可以达到的吞吐量为P，消费者可以达到的吞吐量为C，预期Kafka吞吐量为T，那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中，分区越多吞吐量越高，但是分区过多也存在潜在影响，例如文件句柄增加、不可用性
Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
231:2181/kafka 可能原因 客户端命令连接ZooKeeper地址错误。 Kafka服务异常Kafka部分节点处于停止状态。 Kafka服务端配置禁止删除。 Kafka配置自动创建，且Producer未停止。 原因分析 客户端命令，打印ZkTimeoutException异常。 [2016-03-09
均衡Kafka扩容节点后数据 操作场景 用户可以在Kafka扩容节点后，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载。 本章节内容适用于MRS 3.x之前版本。3.x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求，并准备一个K
组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用kafka-delegation-tokens.sh对Token进行操作。 为用户生成Token： ./kafka-delegation-tokens.sh --create --bootstrap-server
connect=<ZooKeeper集群IP:2181/kafka > --add --allow-principal User:<用户名> --producer --topic <Topic名称> shkafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config
connect=<ZooKeeper集群IP:2181/kafka > --add --allow-principal User:<用户名> --producer --topic <Topic名称> shkafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
