MAPREDUCE服务 MRS-调整Spark Core进程参数:示例

时间:2024-06-29 16:25:11

示例

  • 在执行spark wordcount计算中。1.6T数据,250个executor。

    在默认参数下执行失败,出现Futures timed out和OOM错误。

    因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。当task数多时driver端相应的一些对象就变大了,而且每个task完成时executor和driver都要通信,这就会导致由于内存不足,进程之间通信断连等问题。

    当把Driver的内存设置到4g时,应用成功跑完。

  • 使用JD BCS erver执行TPC-DS测试套,默认参数配置下也报了很多错误:Executor Lost等。而当配置Driver内存为30g,executor核数为2,executor个数为125,executor内存为6g时,所有任务才执行成功。
support.huaweicloud.com/cmpntguide-mrs/mrs_01_1982.html