MAPREDUCE服务 MRS-CarbonData常见配置参数:spark-defaults.conf相关参数

时间：2024-06-29 16:25:21

MAPREDUCE服务 MRS 使用CarbonData（MRS 3.x及之后版本）

登录客户端节点，在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表4相关参数。

表4 spark-defaults.conf中的Spark配置参考
参数	默认值	描述
spark.driver.memory	4G	指定用于driver端进程的内存，其中SparkContext已初始化。说明：在客户端模式下，不要使用SparkConf在应用程序中设置该参数，因为驱动程序JVM已经启动。要配置该参数，请在--driver-memory命令行选项或默认属性文件中进行配置。
spark.executor.memory	4GB	指定每个执行程序进程使用的内存。
spark.sql.crossJoin.enabled	true	如果查询包含交叉连接，请启用此属性，以便不会发生错误，此时使用交叉连接而不是连接，可实现更好的性能。