MAPREDUCE服务 MRS-Storm-HDFS开发指引:部署运行及结果查看
部署运行及结果查看
- 导出本地jar包,请参见打包Storm样例工程应用。
- 将1导出的本地Jar包,5中获取的配置文件和6中获取的jar包合并统一打出完整的业务jar包,请参见打包Storm业务。
- 执行命令提交拓扑。
keytab方式下,若用户修改了keytab文件名,如修改为“huawei.keytab”,则需要在命令中增加第二个参数进行说明,提交命令示例(拓扑名为hdfs-test):
storm jar /opt/jartarget/source.jar com.huawei.storm.example.hdfs.SimpleHDFSTopology hdfs-test huawei.keytab
安全模式下在提交source.jar之前,请确保已经进行kerberos安全登录,并且keytab方式下,登录用户和所上传keytab所属用户必须是同一个用户。
- 拓扑提交成功后请登录HDFS集群查看。
- 如果使用票据登录,则需要使用命令行定期上传票据,具体周期由票据刷新截止时间而定,步骤如下:
- 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容:
topology.auto-credentials: - org.apache.storm.security.auth.kerberos.AutoTGT
- 执行命令:./storm upload-credentials hdfs-test
- 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容:
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Hue_如何使用Hue
- 软件开发一键式部署平台_软件开发生产线_部署CodeArts Deploy-华为云
- 什么是Manager_Manager的功能_MRS运维管理
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MRS优势_什么是MRS_MRS功能
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 数据备份归档在哪里_数据分析存储系统_大数据存储管理