MAPREDUCE服务 MRS-在Linux环境中调测HDFS应用:操作步骤
操作步骤
- 执行mvn package生成jar包,在工程目录target目录下获取,比如:hdfs-examples-1.0.jar。
- 将导出的Jar包拷贝上传至Linux客户端运行环境的任意目录下,例如“/opt/client”,然后在该目录下创建“conf”目录,将“user.keytab” 和 "krb5.conf"拷贝至“conf”目录。可参考6 。
- 配置环境变量。
source /opt/client/bigdata_env
- 执行如下命令,运行Jar包。
hadoop jar hdfs-examples-1.0.jar com.huawei.bigdata.hdfs.examples.HdfsMain
运行命令时,需保持客户端“Yarn/config/hdfs-site.xml”中的kerberos相关信息和“HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的kerberos相关信息一致。“hdfs-site.xml”中kerberos的配置mapred改为hdfs,需要修改的地方如图1所示。
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_什么是Hue_如何使用Hue