MAPREDUCE服务 MRS-在本地Windows环境中调测MapReduce应用:运行多组件样例程序

时间:2024-11-01 09:29:12

运行多组件样例程序

  1. 将hive-site.xml、hbase-site.xml、hiveclient.properties放入工程的conf目录。
  2. 确保样例工程依赖的所有Hive、HBase相关jar包已正常获取。
  3. 打开MultiComponentLocalRunner.java,确认代码中System.setProperty("HADOOP_USER_NAME", "root");设置了用户为root,请确保场景说明中上传的数据的用户为root,或者在代码中将root修改为上传数据的用户名。
  4. 在IntelliJ IDEA开发环境中,选中“MultiComponentLocalRunner.java”工程,单击运行对应的应用程序工程。或者右键工程,选择Run MultiComponentLocalRunner.main()运行应用工程。

    如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child.java.opts”是否包含如下内容:

     -Dzookeeper.client.secure=true -Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty

    如果不包含,将上述内容添加到配置项末尾处。

support.huaweicloud.com/devg-lts-mrs/mrs_07_360018.html