MAPREDUCE服务 MRS-使用External Shuffle Service提升Spark Core性能:操作场景
操作场景
Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重,导致触发GC(Garbage Collection)而不能为其他Executor提供shuffle数据时,会影响任务运行。
External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- 大数据应用范围有哪些_大数据技术与应用要学习什么课程
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine