MAPREDUCE服务 MRS-distinct聚合优化:配置参数
配置参数
参数 |
说明 |
默认值 |
---|---|---|
spark.sql.keep.distinct.expandThreshold |
由cube等引起的数据膨胀多少倍时,触发该优化。需要配置一个大于0的数值来启用。例如1024,代表数据膨胀1024倍及以上时,触发该优化。 |
-1 |
spark.sql.distinct.aggregator.enabled |
是否强制开启distinct聚合优化。开启时,将不再受限于数据膨胀倍数的约束,直接改写distinct聚合。注意:请在确保有收益的情况下,谨慎使用此选项。 |
false |