MAPREDUCE服务 MRS-配置YARN-Client和YARN-Cluster不同模式下的环境变量:配置场景
配置场景
当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。
为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。
- YARN-Cluster模式下,优先使用新增配置项的值,即服务端路径和参数。
- YARN-Client模式下,直接使用原有的三个配置项的值。
原有的三个配置项为:“spark.driver.extraClassPath”、“spark.driver.extraJavaOptions”、“spark.driver.extraLibraryPath”。
不添加表1中配置项时,使用方式与原有方式一致,程序可正常执行,只是在不同模式下需切换配置。