MAPREDUCE服务 MRS-Storm-HDFS开发指引:部署运行及结果查看

时间:2024-06-29 14:11:33

部署运行及结果查看

  1. 导出本地jar包,请参见打包Storm样例工程应用
  2. 1导出的本地Jar包,5中获取的配置文件和6中获取的jar包合并统一打出完整的业务jar包,请参见打包Storm业务
  3. 执行命令提交拓扑。

    keytab方式下,若用户修改了keytab文件名,如修改为“huawei.keytab”,则需要在命令中增加第二个参数进行说明,提交命令示例(拓扑名为hdfs-test):

    storm jar /opt/jartarget/source.jar com.huawei.storm.example.hdfs.SimpleHDFSTopology hdfs-test huawei.keytab

    安全模式下在提交source.jar之前,请确保已经进行kerberos安全登录,并且keytab方式下,登录用户和所上传keytab所属用户必须是同一个用户。

  4. 拓扑提交成功后请登录HDFS集群查看。
  5. 如果使用票据登录,则需要使用命令行定期上传票据,具体周期由票据刷新截止时间而定,步骤如下:

    1. 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容:

      topology.auto-credentials: - org.apache.storm.security.auth.kerberos.AutoTGT

    2. 执行命令:./storm upload-credentials hdfs-test

support.huaweicloud.com/devg3-mrs/mrs_07_210031.html