华为云首页用户手册

MAPREDUCE服务 MRS-增强有限内存下的稳定性:配置描述

MAPREDUCE服务 MRS-增强有限内存下的稳定性:配置描述

时间：2024-06-29 16:25:08

MAPREDUCE服务 MRS Spark运维管理

配置描述

参数入口：

在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。

表1 参数说明
参数	场景	描述	默认值
spark.sql.tungsten.enabled	/	类型为Boolean。当设置的值等于true时，表示开启tungsten功能，即逻辑计划等同于开启codegeneration，同时物理计划使用对应的tungsten执行计划。当设置的值等于false时，表示关闭tungsten功能。	true
spark.sql.codegen.wholeStage	/	类型为Boolean。当设置的值等于true时，表示开启codegeneration功能，即运行时对于某些特定的查询将动态生成各逻辑计划代码。当设置的值等于false时，表示关闭codegeneration功能，运行时使用当前已有静态代码。	true

开启ExternalSort除配置spark.sql.planner.externalSort=true外，还需配置spark.sql.unsafe.enabled=false或者spark.sql.codegen.wholeStage =false。
如果您需要开启TungstenAggregate，有如下几种方式：
将spark.sql.codegen.wholeStage 和spark.sql.unsafe.enabled的值都设置为true（通过配置文件或命令行方式设置）。

如果spark.sql.codegen.wholeStage 和spark.sql.unsafe.enabled都不为true或者其中一个不为true，只要spark.sql.tungsten.enabled的值设置为true时，TungstenAggregate会开启。

上一篇：MAPREDUCE服务 MRS-增强有限内存下的稳定性:配置场景

下一篇：MAPREDUCE服务 MRS-增强有限内存下的稳定性:配置场景

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-增强有限内存下的稳定性:配置描述

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题