MapReduce服务 MRS-MapReduce与其他组件的关系:MapReduce和HDFS的关系

时间:2025-02-12 15:03:44

MapReduce和HDFS的关系

  • HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。
  • MapReduce是一种编程模型,用于大数据集(大于1TB)的并行运算。在MapReduce程序中计算的数据可以来自多个数据源,如Local FileSystem、HDFS、数据库等。最常用的是HDFS,利用HDFS的高吞吐性能读取大规模的数据进行计算,同时在计算完成后,也可以将数据存储到HDFS。
support.huaweicloud.com/productdesc-mrs/mrs_08_005002.html