MAPREDUCE服务 MRS-配置YARN-Client和YARN-Cluster不同模式下的环境变量:配置场景

时间:2024-06-29 16:25:09

配置场景

当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。

为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。

  • YARN-Cluster模式下,优先使用新增配置项的值,即服务端路径和参数。
  • YARN-Client模式下,直接使用原有的三个配置项的值。

    原有的三个配置项为:“spark.driver.extraClassPath”“spark.driver.extraJavaOptions”“spark.driver.extraLibraryPath”

不添加表1中配置项时,使用方式与原有方式一致,程序可正常执行,只是在不同模式下需切换配置。

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1951.html