华为云首页用户手册

MAPREDUCE服务 MRS-Storm-Kafka开发指引:部署运行及结果查看

时间：2024-06-19 14:14:17

MAPREDUCE服务 MRS

部署运行及结果查看

获取相关配置文件，获取方式如下。
- 安全模式：参见4获取keytab文件。
- 普通模式：无。
在Storm示例代码根目录执行如下命令打包："mvn package"。执行成功后，将会在target目录生成storm-examples-1.0.jar。
使用Kafka客户端创建拓扑中所用到的Topic，执行命令。
./kafka-topics.sh --create --topic input --partitions 2 --replication-factor 2 --zookeeper {ip:port}/kafka

./kafka-topics.sh --create --topic output --partitions 2 --replication-factor 2 --zookeeper {ip:port}/kafka
- “--zookeeper”后面填写的是ZooKeeper地址，需要改为安装集群时配置的ZooKeeper地址。
- 安全模式下，需要kafka管理员用户创建Topic。
在Linux系统中完成拓扑的提交。提交命令示例（拓扑名为kafka-test）。
storm jar /opt/jartarget/storm-examples-1.0.jar com.huawei.storm.example.kafka.NewKafkaTopology kafka-test
- 安全模式下，在提交storm-examples-1.0.jar之前，请确保已经进行kerberos安全登录，并且keytab方式下，登录用户和所上传keytab所属用户必须是同一个用户。
- 安全模式下，kafka需要用户有相应Topic的访问权限，因此首先需要给用户赋权，再提交拓扑。
拓扑提交成功后，可以向Kafka中发送数据，观察是否有相关信息生成。
在Linux系统中进入Kafka客户端所在目录，在Kafka/kafka/bin目录下启动consumer观察数据是否生成。执行命令：

./kafka-console-consumer.sh --bootstrap-server {ip:port} --topic output --new-consumer --consumer.config ../../../Kafka/kafka/config/consumer.properties

同时在Linux系统中进入Kafka客户端所在目录，在Kafka/kafka/bin目录下启动producer，向Kafka中写入数据。执行命令：

./kafka-console-producer.sh --broker-list {ip:port} --topic input --producer.config ../../../Kafka/kafka/config/producer.properties

向input中写入测试数据，可以观察到output中有对应的数据产生，则说明Storm-Kafka拓扑运行成功。