MAPREDUCE服务 MRS-数据迁移到MRS前信息收集:数据迁移模型样例

时间:2024-04-16 08:56:37

数据迁移模型样例

  • 一个离线分析平台的客户业务系统,由Spark Streaming消费Kafka数据存入HDFS,HDFS上进行小文件合并后加载到Hive表中,运营人员可以通过Presto进行Hive数据查询。
    图1 源集群业务图
  • 针对大数据离线平台包括HDFS和Hive数据需要迁移,Kafka、Spark Streaming、HDFS、Hive、Presto的业务程序要在目的端集群上部署。
    图2 迁移示意图
support.huaweicloud.com/bestpractice-mrs/mrs_05_0027.html