MAPREDUCE服务 MRS-在本地Windows环境中调测MapReduce应用:运行多组件样例程序
运行多组件样例程序
- 将hive-site.xml、hbase-site.xml、hiveclient.properties放入工程的conf目录。
- 确保样例工程依赖的所有Hive、HBase相关jar包已正常获取。
- 打开MultiComponentLocalRunner.java,确认代码中System.setProperty("HADOOP_USER_NAME", "root");设置了用户为root,请确保场景说明中上传的数据的用户为root,或者在代码中将root修改为上传数据的用户名。
- 在IntelliJ IDEA开发环境中,选中“MultiComponentLocalRunner.java”工程,单击运行对应的应用程序工程。或者右键工程,选择
运行应用工程。
如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child.java.opts”是否包含如下内容:
-Dzookeeper.client.secure=true -Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty
如果不包含,将上述内容添加到配置项末尾处。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- 数据备份归档在哪里_数据分析存储系统_大数据存储管理
- MapReduce服务_什么是Flume_如何使用Flume
- MRS优势_什么是MRS_MRS功能