MAPREDUCE服务 MRS-Flink SQL逻辑开发建议:聚合函数中case when语法改写成filter语法

时间：2024-09-06 10:03:29

MAPREDUCE服务 MRS Flink SQL逻辑开发规范

聚合函数中case when语法改写成filter语法

在聚合函数中，FILTER是更符合SQL标准用于过滤的语法，并且能获得更多的性能提升。FILTER是用于聚合函数的修饰符，用于限制聚合中使用的值。

【示例】在某些场景下需要从不同维度来统计UV，如Android中的UV，iPhone中的UV，Web中的UV和总UV，这时可能会使用如下CASE WHEN语法。

修改前：

SELECT
day,
COUNT(DISTINCT user_id) AS total_uv,
COUNT(DISTINCT CASE WHEN flag IN (android', "iphone'") THEN user_id ELSE NULL END) AS app_uv,
COUNT(DISTINCT CASE WHEN flag IN(wap', 'other') THEN user_id ELSE NULL END) AS web_uv
FROM T
GROUP BY day

修改后：

SELECT
day,
COUNT(DISTINCT user_id) AS total_uv,
COUNT(DISTINCT user_id) FILTER (WHERE flag IN ('android', 'iphone')) AS app_uv,
COUNT(DISTINCT user_id) FILTER(WHERE flag IN ('wap', 'other'))AS web_uv
FROM T
GROUP BY day

Flink SQL优化器可以识别相同的distinct key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一个共享状态实例，而不是三个状态实例，以减少状态访问和状态大小，在某些工作负载下可以获得显著的性能提升。

上一篇：MAPREDUCE服务 MRS-Flink SQL逻辑开发建议:拆分distinct聚合优化聚合中数据倾斜

下一篇：MAPREDUCE服务 MRS-Flink SQL逻辑开发建议:拆分distinct聚合优化聚合中数据倾斜