云服务器内容精选

华为云首页用户手册

Kafka应用开发概述

MAPREDUCE服务 MRS-Kafka应用开发常用概念

Kafka应用开发常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。父主题： Kafka应用开发概述

MAPREDUCE服务 MRS Kafka应用开发概述
MAPREDUCE服务 MRS-Kafka应用开发流程介绍

Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。图1 Kafka客户端程序开发流程表1 Kafka客户端程序开发的流程说明阶段说明参考文档了解基本概念在开始开发客户端前，需要了解Kafka的基本概念，根据实际场景判断，需要开发的角色是Producer还是Consumer。 Kafka应用开发常用概念准备开发环境 Kafka的客户端程序当前推荐使用java语言进行开发，并使用Maven工具构建工程。准备Maven和JDK 准备运行环境 Kafka的样例程序运行环境即 MRS 服务所VPC集群的节点。 - 准备工程 Kafka提供了不同场景下的样例程序，您可以下载样例工程进行程序学习。或者您可以根据指导，新建一个Kafka工程。导入并配置Kafka样例工程根据场景开发工程提供了Producer和Consumer相关API的使用样例，包含了新旧API和多线程的使用场景，帮助用户快速熟悉Kafka接口。 Kafka样例程序开发思路编译并运行程序指导用户将开发好的程序编译并打包，上传到VPC的Linux节点运行。调测Kafka应用查看程序运行结果程序运行结果可以输出到Linux命令行页面。也可通过Linux客户端进行Topic数据消费的方式查看数据是否写入成功。调测Kafka应用父主题： Kafka应用开发概述

MAPREDUCE服务 MRS Kafka应用开发概述