MAPREDUCE服务 MRS-MapReduce访问多组件样例程序开发思路:功能介绍

时间:2024-06-19 14:14:15

功能介绍

该样例主要分为三个部分。

  • 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。
  • 获取拼接后的数据取最后一条输出到HBase、HDFS,通过类MultiComponentReducer继承Reducer抽象类实现。
  • main方法提供建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。
support.huaweicloud.com/devg-mrs/mrs_06_0098.html