云服务器内容精选

华为云首页用户手册

Kafka开发指南（普通模式）

MAPREDUCE服务 MRS-Kafka应用开发简介:常用概念

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka Topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。

MAPREDUCE服务 MRS Kafka开发指南（普通模式）
MAPREDUCE服务 MRS-Kafka应用开发简介:常用概念

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。 Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。

MAPREDUCE服务 MRS Kafka开发指南（普通模式）
MAPREDUCE服务 MRS-Kafka应用开发流程介绍

Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。图1 Kafka客户端程序开发流程表1 Kafka客户端开发的流程说明阶段说明参考文档准备开发和运行环境 Kafka的客户端程序当前推荐使用java语言进行开发，可使用IntelliJ IDEA工具开发。 Kafka的运行环境即Kafka客户端，请根据指导完成客户端的安装和配置。准备本地应用开发环境准备连接集群配置文件应用程序开发或运行过程中，需通过集群相关配置文件信息连接 MRS 集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts 域名信息。准备连接Kafka集群配置文件配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。导入并配置Kafka样例工程根据业务场景开发工程提供了Producer和Consumer相关API的使用样例，包含了API和多线程的使用场景，帮助用户快速熟悉Kafka接口。开发Kafka应用编译与运行程序指导用户将开发好的程序编译并提交运行。调测Kafka应用父主题： Kafka开发指南（普通模式）

MAPREDUCE服务 MRS Kafka开发指南（普通模式）
MAPREDUCE服务 MRS-Kafka应用开发流程介绍

Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。图1 Kafka客户端程序开发流程表1 Kafka客户端开发的流程说明阶段说明参考文档准备开发环境 Kafka的客户端程序当前推荐使用java语言进行开发，可使用IntelliJ IDEA工具开发。 Kafka的运行环境即Kafka客户端，请根据指导完成客户端的安装和配置。准备本地应用开发环境准备连接集群配置文件应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。准备连接Kafka集群配置文件配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。导入并配置Kafka样例工程根据业务场景开发工程提供了Producer和Consumer相关API的使用样例，包含了API和多线程的使用场景，帮助用户快速熟悉Kafka接口。开发Kafka应用编译与运行程序指导用户将开发好的程序编译并提交运行。调测Kafka应用父主题： Kafka开发指南（普通模式）

MAPREDUCE服务 MRS Kafka开发指南（普通模式）