华为云首页用户手册

MAPREDUCE服务 MRS-开源sqoop-shell工具使用指导:sqoop1对接MRS服务

时间：2024-11-28 01:44:17

MAPREDUCE服务 MRS

sqoop1对接 MRS 服务

下载开源Sqoop，http://www.apache.org/dyn/closer.lua/sqoo:p/1.4.7。
将下载好的sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 包放入MRS集群master节点的/opt/sqoop目录下并解压。

tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

进入解压完成的目录，修改配置。

cd /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/conf

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

添加配置：

export HADOOP_COMMON_HOME=/opt/client/HDFS/hadoop
export HADOOP_MAPRED_HOME=/opt/client/HDFS/hadoop
export HIVE_HOME=/opt/Bigdata/MRS_1.9.X/install/ FusionInsight -Hive-3.1.0/hive(请按照实际路径填写)
export HIVE_CONF_DIR=/opt/client/Hive/config
export HCAT_HOME=/opt/client/Hive/HCatalog

添加系统变量，将“SQOOP_HOME”添加到PATH中。

vi /etc/profile

添加以下信息：
```
export SQOOP_HOME=/opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin
```
执行以下命令复制jline-2.12.jar文件到lib文件下。

cp /opt/share/jline-2.12/jline-2.12.jar /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/lib
执行以下命令，在文件中添加下列配置。

vim $JAVA_HOME/jre/lib/security/java.policy
```
permission javax.management.MBeanTrustPermission "register";
```
执行以下命令，实现sqoop1对接MRS服务。

source /etc/profile