检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL驱动版本建议为5.1.x及之后版本。 将下载的MySQL驱动包上传至所有FE和BE节点的相同目录下,例如“/home/omm”,并修改驱动包的属组为omm:wheel。
驱动重复,集群自带,将其余驱动清除,所有Core节点上的gsjdbc4 jar包去掉,在sqoop/lib目录下添加PgSQL Jar包即可。
执行以下命令,将需要关联的关系型数据库驱动Jar包上传到HDFS目录下。 hdfs dfs -put Jar包所在目录 保存Jar包的HDFS目录 例如将“/opt”目录下ORACLE驱动Jar包上传到HDFS的“/tmp”目录下,则执行如下命令。
解决方案: 在每台MRS NodeManager实例所在节点上移动驱动包“gsjdbc4-*.jar”到“tmp”目录下。
执行以下命令,将需要关联的关系型数据库驱动Jar包上传到HDFS目录下。 hdfs dfs -put Jar包所在目录 保存Jar包的HDFS目录 例如将“/opt”目录下ORACLE驱动Jar包上传到HDFS的“/tmp”目录下,则执行如下命令。
表1 MySQL配置 参数 描述 取值样例 驱动 默认为“mysql”。 mysql 驱动名称 选择2中已提前上传的待使用的MySQL驱动,格式为xxx.jar。
tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-xxx.jar”,具体MySQL jdbc驱动程序选择参见下表。
解决方案: 在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。
设置用户对CDL驱动的信息获取权限 在“driver”右侧选择CDL驱动名。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。 单击“Add Permissions”,勾选“Get”。
准备Oracle驱动 从Oracle官网获取Oracle驱动文件,格式为“ojdbcxxx.jar”,例如“ojdbc8.jar”。
CDL WebUI界面支持以下功能: 驱动管理:可以上传、查看和删除连接数据库对应的驱动文件。 连接管理:可以新建、查看、编辑和删除数据连接。 作业管理:使用作业管理可以新建、查看、启动、暂停、恢复、停止、重启、删除和编辑作业等。
创建CDL作业前准备 开启Kafka高可靠功能 登录CDLService WebUI界面 上传数据库驱动文件 创建CDL数据库连接 管理CDL ENV变量 配置源数据心跳表实现数据判齐功能 父主题: 使用CDL
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
上传PostgreSQL或MySQL对应的开源驱动包到所有MetaStore实例所在节点中,替换集群已有的驱动包: PostgreSQL:将驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点“${BIGDATA_HOME}/third_lib/
图2 数据源配置 驱动:选择“自定义 > 选择自定义驱动”,单击,编辑驱动名称,单击“上传文件”上传已获取的JDBC jar包,单击“确定”。 URL:支持HSFabric方式和HSBroker方式,详情请参考表1。 服务器登录:选择“用户名和密码”并填写相应的用户名及密码。
Loader常用参数 创建Loader角色 Loader连接配置说明 管理Loader连接(MRS 3.x之前版本) 管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动
def executeSql(url: String, sqls: Array[String]): Unit = { //加载Hive JDBC驱动。
客户端目录/Sqoop/sqoop/lib下已有对应驱动包(例mysql驱动包mysql-connector-java-5.1.47.jar),如果没有请参考Sqoop1.4.7适配MRS 3.x集群章节中的步骤3下载对应mysql包。
def executeSql(url: String, sqls: Array[String]): Unit = { //加载Hive JDBC驱动。
<driver_type>:数据库驱动类型。 <ip>:源集群数据库的IP地址。 <port>:源集群数据库的端口号。 <table_name>:待导出的表名称。 <user>:用户名。 <passwd>:用户密码。