MAPREDUCE服务 MRS-Spark从Hive读取数据再写入HBase样例程序开发思路:场景说明
场景说明
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。
现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。
table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
基于某些业务要求,要求开发Spark应用程序实现如下功能:
根据用户名累计用户的历史消费金额,即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。
上例所示,运行结果table2表用户key=1的总消费金融为cf:cid=1100元。
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Loader_如何使用Loader
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是Hive_如何使用Hive
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_什么是Kafka_如何使用Kafka