MAPREDUCE服务 MRS-Flink Kafka样例程序开发思路:数据规划

时间：2024-06-13 09:39:19

MAPREDUCE服务 MRS Flink Kafka样例程序

数据规划

Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。

确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。

创建Topic。

创建topic的命令格式：

bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka --partitions {partitionNum} --replication-factor {replicationNum} --topic {Topic}

表1 参数说明
参数名	说明
{zkQuorum}	ZooKeeper集群信息，格式为IP:port。
{partitionNum}	topic的分区数。
{replicationNum}	topic中每个partition数据的副本数。
{Topic}	topic名称。

示例：在Kafka的客户端路径下执行命令，此处以ZooKeeper集群的IP:port是10.96.101.32:2181,10.96.101.251:2181,10.96.101.177:2181,10.91.8.160:2181，Topic名称为topic1的数据为例。

bin/kafka-topics.sh --create --zookeeper 10.96.101.32:2181,10.96.101.251:2181,10.96.101.177:2181,10.91.8.160:2181/kafka --partitions 5 --replication-factor 1 --topic topic1

上一篇：MAPREDUCE服务 MRS-BulkGet接口使用:打包项目

下一篇：MAPREDUCE服务 MRS-MRS组件应用安全认证说明:Kerberos认证代码示例