MAPREDUCE服务 MRS-使用BulkLoad工具向HBase中批量导入数据:应用场景

时间:2024-08-05 16:12:35

应用场景

经常面临向HBase中导入大量数据的情景,向HBase中批量加载数据的方式有很多种,最直接方式是调用HBase的API使用put方法插入数据;另外一种是用MapReduce的方式从HDFS上加载数据。但是这两种方式效率都不是很高,因为HBase频繁进行flush、compact、split操作需要消耗较大的CPU和网络资源,并且RegionServer压力也比较大。

本实践基于华为云 MapReduce服务 ,用于指导您创建 MRS 集群后,使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。

support.huaweicloud.com/bestpractice-mrs/mrs_05_0033.html