云服务器内容精选

华为云首页用户手册

Kafka开发指南（安全模式）

MAPREDUCE服务 MRS-Kafka应用开发简介:常用概念

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。 Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。

MAPREDUCE服务 MRS Kafka开发指南（安全模式）
MAPREDUCE服务 MRS-Kafka应用开发简介:常用概念

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka Topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。

MAPREDUCE服务 MRS Kafka开发指南（安全模式）
MAPREDUCE服务 MRS-Kafka样例工程介绍

Kafka样例工程介绍 MRS 样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Kafka相关样例工程：表1 Kafka相关样例工程样例工程位置描述 kafka-examples 单线程生产数据，相关样例请参考使用Producer API向安全Topic生产消息。单线程消费数据，相关样例请参考使用Consumer API订阅安全Topic并消费。多线程生产数据，相关样例请参考使用多线程Producer发送消息。多线程消费数据，相关样例请参考使用多线程Consumer消费消息。基于KafkaStreams实现WordCount，相关样例请参考使用KafkaStreams统计数据父主题： Kafka开发指南（安全模式）

MAPREDUCE服务 MRS Kafka开发指南（安全模式）
MAPREDUCE服务 MRS-Kafka应用开发流程介绍

Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。图1 Kafka客户端程序开发流程表1 Kafka客户端开发的流程说明阶段说明参考文档准备开发环境 Kafka的客户端程序当前推荐使用java语言进行开发，可使用IntelliJ IDEA工具开发。 Kafka的运行环境即Kafka客户端，请根据指导完成客户端的安装和配置。准备本地应用开发环境准备连接集群配置文件应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts 域名信息。准备连接Kafka集群配置文件配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。导入并配置Kafka样例工程配置安全认证如果您使用的是开启了Kerberos认证的MRS集群，需要进行安全认证。配置Kafka应用安全认证根据业务场景开发程序提供了Producer和Consumer相关API的使用样例，包含了API和多线程的使用场景，帮助用户快速熟悉Kafka接口。将开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。开发Kafka应用编译与运行程序指导用户将开发好的程序编译并提交运行并查看结果。调测Kafka应用父主题： Kafka开发指南（安全模式）

MAPREDUCE服务 MRS Kafka开发指南（安全模式）