MAPREDUCE服务 MRS-MapReduce访问多组件样例代码:功能介绍

时间:2024-06-29 14:11:28

功能介绍

主要分为三个部分:

  • 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。
  • 获取拼接后的数据取最后一条输出到HBase、HDFS,通过类MultiComponentReducer继承Reducer抽象类实现。
  • main方法提供建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。
support.huaweicloud.com/devg3-mrs/mrs_07_150016.html