MAPREDUCE服务 MRS-配置Spark Native引擎:配置参数
下载MAPREDUCE服务 MRS用户手册完整版
配置参数
- 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数：
参数
说明
默认值
spark.plugins
Spark用到的插件，参数值设置为io.glutenproject.GlutenPlugin。
说明：如果已经配置了spark.plugins，则可以将
io.glutenproject.GlutenPlugin加到其中，用逗号","隔开。
空
spark.memory.offHeap.enabled
设置为true，Native加速需要用到JVM的off memory。
false
spark.memory.offHeap.size
设置offHeap内存的大小，根据实际情况设置，初始可设置为1G。
-1
spark.yarn.dist.files
此参数用于将libch.so和libjsig.so分发到所有节点上，以便所有节点上的executors使用spark.executorEnv.LD_PRELOAD参数提前加载。
- x86平台上参数值设置为：{客户端安装目录}/Spark/spark/native/libch.so,{客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/amd64/libjsig.so
- arm平台上参数值设置为：{客户端安装目录}/Spark/spark/native/libch.so,{客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/aarch64/libjsig.so
说明：如果已经配置了spark.yarn.dist.files，则可以将上述参数加到其中，用逗号“,”隔开。
此处需要与2中spark-env.sh中export LD_PRELOAD使用同一路径下的libch.so和libjsig.so。
无
spark.executorEnv.LD_PRELOAD
为executor设置环境变量LD_PRELOAD
设置为$PWD/libch.so $PWD/libjsig.so
说明：此参数用于executor提前加载libch.so和libjsig.so，如果已经配置了spark.executorEnv.LD_PRELOAD，则可以将上述参数加到其中，用空格隔开。
无
spark.gluten.sql.columnar.libpath
Native加速库的服务端路径，非镜像场景时该文件并不存在，设置为空。
集群中的spark安装目录下，例如： ${BIGDATA_HOME}/ FusionInsight _Spark_xxx/install/FusionInsight-Spark-*/spark/native/libch.so
spark.sql.orc.impl
native：orc读取使用Spark原生的orc实现。
hive：使用Hive的orc相关实现。
设置为native
hive
spark.gluten.sql.columnar.scanOnly
是否仅开启scan加速。
设置为true，开启scanOnly模式。
false
- 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-env.sh”配置文件中进行设置。
- X86平台参数如下：
export LD_PRELOAD="{客户端安装目录}/Spark/spark/native/libch.so {客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/amd64/libjsig.so"
- ARM平台参数如下：
export LD_PRELOAD="{客户端安装目录}/Spark/spark/native/libch.so {客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/aarch64/libjsig.so"
注意：此处需要与表中spark.yarn.dist.files参数使用同一路径下的libch.so和libjsig.so，多个so间用空格隔开，前后需要加上双引号。
- X86平台参数如下：
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 申请企业邮箱_企业邮箱产品介绍参数配置
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- Nacos引擎_微服务注册配置中心_微服务引擎CSE-华为云
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 主机安全配置_Windows主机安全配置_Linux主机安全配置
