华为云首页用户手册

MAPREDUCE服务 MRS-Spark Streaming对接Kafka0-10样例程序开发思路:数据规划

MAPREDUCE服务 MRS-Spark Streaming对接Kafka0-10样例程序开发思路:数据规划

时间：2024-06-29 14:10:56

MAPREDUCE服务 MRS Spark Streaming对接Kafka0-10样例程序

数据规划

Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。

确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。
本地新建文件“input_data1.txt”，将“log1.txt”的内容复制保存到“input_data1.txt”。
在客户端安装节点下创建文件目录：“/home/data”。将上述文件上传到此“/home/data”目录下。
将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。
创建Topic。
{zkQuorum}表示ZooKeeper集群信息，格式为IP:port。

$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka --replication-factor 1 --partitions 3 --topic {Topic}
启动Kafka的Producer，向Kafka发送数据。
java -cp {ClassPath} com.huawei.bigdata.spark.examples.StreamingExampleProducer {BrokerList} {Topic}

其中，ClassPath除样例jar包路径外，还应包含Spark客户端Kafka jar包的绝对路径，例如：/opt/client/Spark2x/spark/jars/*:/opt/client/Spark2x/spark/jars/streamingClient010/*:{ClassPath}

上一篇：MAPREDUCE服务 MRS-Spark Streaming对接Kafka0-10样例程序开发思路:打包项目

下一篇：MAPREDUCE服务 MRS-Spark Streaming对接Kafka0-10样例程序开发思路:打包项目

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-Spark Streaming对接Kafka0-10样例程序开发思路:数据规划

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题