客户端工具说明-华为云

MAPREDUCE服务 MRS-使用客户端运行Loader作业:任务实例

任务实例不更新作业参数，直接运行名称为“sftp-hdfs”的作业。 ./submit_job.sh -n sftp-hdfs -u n 更新名称为“sftp-hdfs”导入作业的输入路径、编码类型、后缀、输出路径和启动的map数量参数，并运行作业。 ./submit_job.sh -n sftp-hdfs -u y -jobType import -connectorType sftp -inputPath /opt/tempfile/1 -encodeType UTF-8 -suffixName '' -frameworkType hdfs -outputDirectory /user/user1/tttest -extractors 10 更新名称为“db-hdfs”导入作业的数据库模式、表名、输出路径参数，并运行作业。 ./submit_job.sh -n db-hdfs -u y -jobType import -connectorType rdb -schemaName public -tableName sq_submission -sql '' -partitionColumn sqs_id -frameworkType hdfs -outputDirectory /user/user1/dbdbt

MAPREDUCE服务 MRS 客户端工具说明

MAPREDUCE服务 MRS-开源sqoop-shell工具使用指导:create命令扩展属性

create命令扩展属性针对HDFS与SFTP服务器或RDB进行数据交换场景， MRS 在开源sqoop-shell工具的基础上对create命令属性进行扩展，以达到在创建作业时指定行、列分隔符及转换步骤的目的。表2 create命令扩展属性属性说明 fields-terminated-by 默认的列分割符。 lines-terminated-by 默认的行分割符。 input-fields-terminated-by 输入步骤的列分割符，当不指定时，默认等于fields-terminated-by的值。 input-lines-terminated-by 输入步骤的行分割符，当不指定时，默认等于lines-terminated-by的值。 output-fields-terminated-by 输出步骤的列分割符，当不指定时，默认等于fields-terminated-by的值。 output-lines-terminated-by 输出步骤的行分割符，当不指定时，默认等于lines-terminated-by的值。 trans 指定转换步骤，值为转换步骤文件所在的路径。当指定文件的相对路径时，默认为“sqoop2-shell”脚本所在路径下的文件。当配置了该属性，其他扩展属性都被忽略。

MAPREDUCE服务 MRS 客户端工具说明

MAPREDUCE服务 MRS-开源sqoop-shell工具使用指导:概述

概述本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能：支持创建和更新连接器支持创建和更新作业支持删除连接器和作业支持以同步或异步的方式启动作业支持停止作业支持查询作业状态支持查询作业历史执行记录支持复制连接器和作业支持创建和更新转换步骤支持指定行、列分隔符 sqoop-shell工具支持如下模式：交互模式通过执行不带参数的“sqoop2-shell”脚本，进入Loader特定的交互窗口，用户输入脚本后，工具会返回相应信息到交互窗口。批量模式通过执行“sqoop2-shell”脚本，带一个文件名作为参数，该文件中按行存储了多条命令，sqoop-shell工具将会按顺序执行文件中所有命令；或者在“sqoop2-shell”脚本后面通过“-c”参数附加一条命令，一次只执行一条命令。 sqoop-shell通过表1的命令来实现Loader各种功能。表1 命令一览表命令说明 exit 表示退出交互模式。该命令仅支持交互模式。 history 查看执行过的命令。该命令仅支持交互模式。 help 查看工具帮助信息。 set 设置服务端属性。 show 显示服务属性和Loader所有元数据信息。 create 创建连接器和作业。 update 更新连接器和作业。 delete 删除连接器和作业。 clone 复制连接器和作业。 start 启动作业。 stop 停止作业。 status 查询作业状态。

MAPREDUCE服务 MRS 客户端工具说明

MAPREDUCE服务 MRS-开源sqoop-shell工具使用指导:sqoop1对接MRS服务

sqoop1对接MRS服务下载开源Sqoop，http://www.apache.org/dyn/closer.lua/sqoo:p/1.4.7。将下载好的sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 包放入MRS集群master节点的/opt/sqoop目录下并解压。 tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 进入解压完成的目录，修改配置。 cd /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/conf cp sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh 添加配置： export HADOOP_COMMON_HOME=/opt/client/HDFS/hadoop export HADOOP_MAPRED_HOME=/opt/client/HDFS/hadoop export HIVE_HOME=/opt/Bigdata/MRS_1.9.X/install/ FusionInsight -Hive-3.1.0/hive(请按照实际路径填写) export HIVE_CONF_DIR=/opt/client/Hive/config export HCAT_HOME=/opt/client/Hive/HCatalog 添加系统变量，将“SQOOP_HOME”添加到PATH中。 vi /etc/profile 添加以下信息： export SQOOP_HOME=/opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0 export PATH=$PATH:$SQOOP_HOME/bin 执行以下命令复制jline-2.12.jar文件到lib文件下。 cp /opt/share/jline-2.12/jline-2.12.jar /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/lib 执行以下命令，在文件中添加下列配置。 vim $JAVA_HOME/jre/lib/security/java.policy permission javax.management.MBeanTrustPermission "register"; 执行以下命令，实现sqoop1对接MRS服务。 source /etc/profile

MAPREDUCE服务 MRS 客户端工具说明

云服务器内容精选

客户端工具说明

7*24

备案

专业服务

退订

建议反馈

售前咨询热线