华为云首页用户手册

MAPREDUCE服务 MRS-概述:简介

MAPREDUCE服务 MRS-概述:简介

时间：2024-04-22 14:51:47

MAPREDUCE服务 MRS

简介

Loader是实现 MRS 与关系型数据库、文件系统之间交换数据和文件的ETL工具，支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。

Loader支持如下数据导出方式：

从HDFS/OBS中导出数据到SFTP服务器
从HDFS/OBS中导出数据到关系型数据库
从HBase中导出数据到SFTP服务器
从HBase中导出数据到关系型数据库
从Phoenix表导出数据到SFTP服务器
从Phoenix表导出数据到关系型数据库
从Hive中导出数据到SFTP服务器
从Hive中导出数据到关系数据库
从同一集群内HBase导出数据到HDFS/OBS

MRS与外部数据源交换数据和文件时需要连接数据源。系统提供以下连接器，用于配置不同类型数据源的连接参数：

generic-jdbc-connector：关系型数据库连接器。
hdfs-connector：HDFS数据源连接器。
oracle-connector：Oracle数据库专用连接器，使用row_id作为分区列，相对generic-jdbc-connector来说，Map任务分区更均匀，并且不依赖区分列是否有创建索引。
mysql-fastpath-connector：MySQL数据库专用连接器，使用MySQL的mysqldump和mysqlimport工具进行数据的导入导出，相对generic-jdbc-connector来说，导入导出速度更快。
sftp-connector：SFTP数据源连接器。
oracle-partition-connector：支持Oracle分区特性的连接器，专门对Oracle分区表的导入导出进行优化。

建议将SFTP服务器和数据库服务器与Loader部署在独立的子网中，以保障数据安全地导出。
与关系数据库连接时，可以选择通用数据库连接器（generic-jdbc-connector）或者专用数据库连接器（oracle-connector、oracle-partition-connector、mysql-fastpath-connector），专用数据库连接器特别针对具体数据库类型进行优化，相对通用数据库连接器来说，导出、导入速度更快。
使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html，安装MySQL client applications and tools。
使用oracle-connector时，要求给连接用户赋予如下系统表或者视图的select权限：
dba_tab_partitions、dba_constraints、dba_tables 、dba_segments 、v$version、dba_objects、v$instance、dba_extents、 dba_tab_partitions、dba_tab_subpartitions。
使用oracle-partition-connector时，要求给连接用户赋予如下系统表的select权限：dba_objects、dba_extents。

上一篇：MAPREDUCE服务 MRS-从零开始使用Hue:操作步骤

下一篇：MAPREDUCE服务 MRS-Doris权限管理:前提条件

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-概述:简介

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题