MAPREDUCE服务 MRS-distinct聚合优化:配置参数

时间:2025-01-09 17:30:18

配置参数

在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置,修改如下参数:

参数

说明

默认值

spark.sql.keep.distinct.expandThreshold

由cube等引起的数据膨胀多少倍时,触发该优化。需要配置一个大于0的数值来启用。例如1024,代表数据膨胀1024倍及以上时,触发该优化。

-1

spark.sql.distinct.aggregator.enabled

是否强制开启distinct聚合优化。开启时,将不再受限于数据膨胀倍数的约束,直接改写distinct聚合。注意:请在确保有收益的情况下,谨慎使用此选项。

false

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493077.html