MAPREDUCE服务 MRS-在Linux环境中调测HDFS应用:已安装客户端时编译并运行程序
已安装客户端时编译并运行程序
- 进入样例工程本地根目录,在Windows命令提示符窗口中执行下面命令进行打包。
mvn -s "{maven_setting_path}" clean package
- “{maven_setting_path}”为本地Maven的“settings.xml”文件路径,例如“C:\Users\Developer\settings.xml”。
- 打包成功之后,在工程根目录的“target”子目录下获取打好的jar包,例如“HDFSTest-XXX.jar”,jar包名称以实际打包结果为准。
- 将导出的Jar包上传至集群客户端运行环境的任意目录下,例如“/opt/client”,然后在该目录下创建“conf”目录,将需要的配置文件复制至“conf”目录,具体操作请参考准备运行环境。
- 配置环境变量:
cd /opt/client
source bigdata_env
- 执行如下命令,运行Jar包。
hadoop jar HDFSTest-XXX.jar com.huawei.bigdata.hdfs.examples.HdfsExample
hadoop jar HDFSTest-XXX.jar com.huawei.bigdata.hdfs.examples.ColocationExample
在运行com.huawei.bigdata.hdfs.examples.ColocationExample时,HDFS的配置项“fs.defaultFS”不能配置为“viewfs://ClusterX”。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Hive_如何使用Hive
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是Loader_如何使用Loader