MAPREDUCE服务 MRS-提升HBase BulkLoad工具批量加载效率:操作步骤
操作步骤
参数入口:执行批量加载任务时,在BulkLoad命令行中加入表1中的参数。
参数 |
描述 |
配置的值 |
---|---|---|
-Dimporttsv.mapper.class |
用户自定义mapper通过把键值对的构造从mapper移动到reducer以提高性能。mapper只需要把每一行的原始文本发送到reducer,reducer解析每一行的每一条记录并创建键值对。
说明:
当该值配置为“org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper”时,只在执行没有HBASE_CELL_VISIBILITY OR HBASE_CELL_TTL选项的批量加载命令时使用。使用“org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper”时可以得到更好的性能。 |
org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper 和 org.apache.hadoop.hbase.mapreduce.TsvImporterTextMapper |
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Loader_如何使用Loader
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是HDFS_HDFS特性
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_什么是Kafka_如何使用Kafka
- 什么是主机监控_免费云监控_专业监控