检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer
Kafka Java API介绍 Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
参数说明 表1 Kafka引擎表参数说明 参数名 是否必选 参数说明 kafka_broker_list 是 Kafka集群broker实例的IP和端口列表。例如：kafka集群broker实例IP1:9092,kafka集群broker实例IP2:9092,kafka集群broker实例IP3:9092。
增加Kafka Topic分区 操作场景 用户可以通过KafkaUI增加Kafka Topic分区。 安全模式集群下，执行分区迁移操作的用户需属于“kafkaadmin”用户组，否则将会由于鉴权失败导致操作失败。 非安全模式下，KafkaUI对任意操作不作鉴权处理。 增加分区 进入KafkaUI界面。
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
此参数。访问端口仅支持不开启Kerberos模式下的端口，端口说明详见Kafka安全接口介绍 kafka.client.zookeeper.principal kafka集群访问zookeeper的认证和域名 - bootstrap.servers Broker地址列表 通过此参
执行以下命令，进行用户认证。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用kafka-delegation-tokens.sh对Token进行操作 为用户生成Token： ./kafka-delegation-tokens.sh --create
根据吞吐量粗略计算，假设生产者可以达到的吞吐量为P，消费者可以达到的吞吐量为C，预期Kafka吞吐量为T，那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中，分区越多吞吐量越高，但是分区过多也存在潜在影响，例如文件句柄增加、不可用性
Kafka Java API介绍 Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
调测Kafka Consumer样例程序 前提条件 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目
执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-configs.sh”进行Kafka流量控制，常用命令如下。 命令中使用到的部分参数值获取方式如下，具体以实际获取信息为准。 ZooKeeper的任意一个节点的业务IP：登录FusionInsight
Topic每秒的produce请求数 支持查询Broker ID与节点IP的对应关系。在Linux客户端下，使用kafka-broker-info.sh查询Broker ID与节点IP的对应关系。 父主题： Kafka
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker，需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP，Broker绑定在内网IP上，外网
properties文件。没有指定默认值的配置为必选项。 bootstrap.servers：Kafka集群Broker地址列表，格式为ip:port,ip:port,ip:port。 security.protocol：Kafka客户端使用的认证协议，默认值“SASL_PLAINTEXT”，不支持使用SASL_SSL协议。
账号锁定导致启动Kafka组件失败 问题背景与现象 新创建的MRS集群，启动Kafka服务失败。 查看服务启动日志，显示认证失败。 /home/omm/kerberos/bin/kinit -k -t ${BIGDATA_HOME}/etc/2_15_ Broker /kafka.keytab
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目
调测Kafka SpringBoot样例程序 开启Kafka Plain认证。 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“sasl.enabled.mechanisms”，将参数值改为“GSSAPI
增加Kafka Topic分区 操作场景 用户可以通过KafkaUI增加Kafka Topic分区。 安全模式集群下，执行分区迁移操作的用户需属于“kafkaadmin”用户组，否则将会由于鉴权失败导致操作失败。 非安全模式下，KafkaUI对任意操作不作鉴权处理。 本章节内容仅适用于MRS
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令创建Topic时，发现Topic无法被创建。 kafka-topics.sh --create --zookeeper 192.168.234.231:2181/kafka
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
