MAPREDUCE服务 MRS-提升HBase BulkLoad工具批量加载效率:操作步骤

时间:2024-11-06 14:23:13

操作步骤

参数入口:执行批量加载任务时,在BulkLoad命令行中加入表1中的参数。

表1 增强BulkLoad效率的配置项

参数

描述

配置的值

-Dimporttsv.mapper.class

用户自定义mapper通过把键值对的构造从mapper移动到reducer以提高性能。mapper只需要把每一行的原始文本发送到reducer,reducer解析每一行的每一条记录并创建键值对。

说明:

当该值配置为“org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper”时,只在执行没有HBASE_CELL_VISIBILITY OR HBASE_CELL_TTL选项的批量加载命令时使用。使用“org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper”时可以得到更好的性能。

org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper

org.apache.hadoop.hbase.mapreduce.TsvImporterTextMapper

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1636.html