MAPREDUCE服务 MRS-Storm-HDFS开发指引:部署运行及结果查看

时间:2024-06-19 14:14:15

部署运行及结果查看

  1. 在Storm示例代码根目录执行如下命令打包:"mvn package"。执行成功后,将会在target目录生成storm-examples-1.0.jar。
  2. 执行命令提交拓扑。

    keytab方式下,若用户修改了keytab文件名,如修改为“huawei.keytab”,则需要在命令中增加第二个参数进行说明,提交命令示例(拓扑名为hdfs-test):

    storm jar /opt/jartarget/storm-examples-1.0.jar com.huawei.storm.example.hdfs.SimpleHDFSTopology hdfs-test huawei.keytab

    安全模式下在提交source.jar之前,请确保已经进行kerberos安全登录,并且keytab方式下,登录用户和所上传keytab所属用户必须是同一个用户。

  3. 拓扑提交成功后,请登录HDFS集群查看/user/foo目录下是否有文件生成。
  4. 如果使用票据登录,则需要使用命令行定期上传票据,具体周期由票据刷新截止时间而定,步骤如下。

    1. 在安装好的storm客户端目录的Storm/storm-0.10.0/conf/storm.yaml文件尾部新起一行添加如下内容。

      topology.auto-credentials:

      - backtype.storm.security.auth.kerberos.AutoTGT

    2. 执行命令:./storm upload-credentials hdfs-test

support.huaweicloud.com/devg-mrs/mrs_06_0286.html