MAPREDUCE服务 MRS-Hive应用开发规则:使用WebHCat的REST接口以Streaming方式提交MR任务的前置条件

时间：2024-10-22 10:50:54

MAPREDUCE服务 MRS Hive应用开发规范

使用WebHCat的REST接口以Streaming方式提交MR任务的前置条件

本接口需要依赖hadoop的streaming包，在以Streaming方式提交MR任务给WebHCat前，需要将“hadoop-streaming-2.7.0.jar”包上传到HDFS的指定路径下：“hdfs:///apps/templeton/hadoop-streaming-2.7.0.jar”。首先登录到安装有客户端和Hive服务的节点上，以客户端安装路径为“/opt/client”为例：

source /opt/client/bigdata_env

使用kinit登录人机用户或者机机用户。

hdfs dfs -put ${BIGDATA_HOME}/ FusionInsight _HD_8.1.0.1/FusionInsight-Hadoop-*/hadoop/share/hadoop/tools/lib/hadoop-streaming-*.jar /apps/templeton/

其中/apps/templeton/需要根据不同的实例进行修改，默认实例使用/apps/templeton/，Hive1实例使用/apps1/templeton/，以此类推。

上一篇：MAPREDUCE服务 MRS-Hive应用开发规则:Hive JDBC驱动的加载

下一篇：MAPREDUCE服务 MRS-Hive应用开发规则:Hive JDBC驱动的加载