检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已安装Kafka客户端。 使用Kafka客户端查看当前消费情况 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
properties中配置如表2中参数,producer.properties存放路径为:/opt/client/Kafka/kafka/config/producer.properties,其中/opt/client为Kafka客户端安装目录。 表2 客户端高可用性和高性能参数说明 参数 默认值 说明 acks
根据吞吐量粗略计算,假设生产者可以达到的吞吐量为P,消费者可以达到的吞吐量为C,预期Kafka吞吐量为T,那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中,分区越多吞吐量越高,但是分区过多也存在潜在影响,例如文件句柄增加、不可用性
执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,进行用户认证。
sasl_kerberos_principal 连接Kafka的principal,输入1创建的用户名。 kafka.sasl_kerberos_realm 配置为Kafka集群的域名。 kafka.sasl_mechanisms 指定连接Kafka使用的SASL认证机制,参数值为GSSAPI。 kafka_auth_mode
java -cp /opt/client/lib/*:/opt/client/src/main/resources com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-producer
java -cp /opt/client/lib/*:/opt/client/src/main/resources com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-producer
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口,在使用“kafka-console-producer
执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤)
执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤)
配置名称 说明 默认值 影响分析 connections.max.idle.ms 空闲连接的保留时间。单位:毫秒 600000 空闲连接的保留时间,连接空闲时间大于此时间,则会销毁该连接,有需要时重新创建连接。 request.timeout.ms 消费请求的超时时间。单位:毫秒。 30000
调测Kafka Token认证机制样例程序 Kafka服务端配置Kafka Token认证。 登录FusionInsight Manager管理界面,选择“集群 > 服务 > Kafka > 配置”,打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation
生产者通过此参数值,创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value.serializer
服务 > Kafka > 实例”,勾选所有Broker实例,单击“启动实例”。 给MRS服务集群的Broker节点分别绑定EIP。 在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前,修改样例代码中Kafka的连接串为hostname1:9092
java -cp /opt/client/lib/*:/opt/client/src/main/resources com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-producer
java -cp /opt/client/lib/*:/opt/client/src/main/resources com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-producer
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
开源confluent-kafka-go连接MRS安全集群 用户问题 开源confluent-kafka-go如何连接MRS的安全集群? 问题现象 开源confluent-kafka-go连接MRS的安全集群失败。 原因分析 confluent-kafka-go依赖的库librd
)。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况,评估迁移后,不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户,登录已安装Kafka客户端的节点。 执行以下命令,切换到Kafka客户端安装目