为什么说大数据MapReduce并行计算模型,天然匹配鲲鹏多核架构
鲲鹏多核计算的特点,能够提升MapReduce的IO并发度,加速大数据的计算性能。
大数据的MapReduce并行计算模型,将源数据经过下图的处理。
其中,Map(映射)是将大 数据集 分解若干小数据集分析,各部独立的线程,并行分析计算。而Reduce(汇总)是将小数据集分析结果进行整合,再将处理的结果返回给用户。