检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer
文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 producer.properties Kafka的producer端配置信息。 server
Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 producer.properties Kafka的producer端配置信息。 server
Flume正常连接Kafka后发送消息失败 问题现象 使用MRS版本安装集群，主要安装ZooKeeper、Flume、Kafka。 在使用Flume向Kafka发送数据功能时，发现Flume发送数据到Kafka失败。 可能原因 Kafka服务异常。 Flume连接Kafka地址错误，导致发送失败。
文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer
Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS
Kafka连接ZooKeeper客户端时发生断链 问题现象 Kafka客户端连接ZooKeeper客户端时发生断链。 客户端日志出现报错“ Received event :disconnected::none: with disconnected Writer Zookeeper”。
Kafka Shell命令介绍 前提条件 Kafka的Linux客户端已安装。安装方法可参考安装客户端。 常用的Shell命令指南 Shell命令执行方法： 进入Kafka客户端任意目录。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集
参数说明 表1 Kafka引擎表参数说明 参数名 是否必选 参数说明 kafka_broker_list 是 Kafka集群broker实例的IP和端口列表。例如：kafka集群broker实例IP1:9092,kafka集群broker实例IP2:9092,kafka集群broker实例IP3:9092。
使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息，但发现业务执行失败。 具体信息如下： root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，进行用户认证。
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍
在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。 在指定Topic的“权限”列，勾选“Kafka生产者权限”。 设置用户对Topic的消费权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 启用Kerberos认证的
BOOTSTRAP_SERVERS需根据集群实际情况，配置为Kafka Broker节点的主机名及端口，可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型，在本示例中，配置为“SASL_PLAINTEXT”。
已安装Kafka客户端，客户端安装目录如“/opt/client”。 本示例需创建两个Topic，可参考7，分别命名为“test_2”和“test_3”，并创建“move-kafka-topic.json”文件，创建路径如“/opt/client/Kafka/kafka”，Topic格式内容如下：
组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用kafka-delegation-tokens.sh对Token进行操作。 为用户生成Token： ./kafka-delegation-tokens.sh --create --bootstrap-server
模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命
步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用“kafka-acl.sh”进行用户授权常用命令如下： 查看某Topic权限控制列表： ./kafka-acls.sh --authorizer-properties
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
