MAPREDUCE服务 MRS-Hudi支持聚合函数:使用场景

时间:2024-11-28 01:44:55

使用场景

当前开源社区提供了可插拔的Payload机制,用于满足客户各种聚合需求。但Payload的开发有一定的门槛,因此 MRS 内置了一些常见的聚合函数满足客户日常需求。该特性允许用户使用Hudi自带的聚合函数实现相同主键的聚合操作。

当前支持的聚合函数和数据类型如下:

  • sum:求和函数可以跨多行聚合值,支持DECIMAL(小数)、SHORT(小整数)、INTEGER(整数)、BIGINT(大整数)、FLOAT(浮点数)和DOUBLE(双精度浮点数)数据类型。
  • product:乘积函数可以计算多行的乘积值,支持DECIMAL、SHORT、INTEGER、BIGINT、FLOAT和DOUBLE数据类型。
  • count:计数函数可以跨多行计数值,支持INTEGER(整数)和BIGINT(大整数)数据类型。
  • max:最大值函数可以识别并保留最大值,支持STRING、DECIMAL、SHORT、INTEGER、BIGINT、FLOAT、DOUBLE、DATE、TIMESTAMP数据类型。
  • min:最小值函数可以识别并保留最小值,支持STRING、DECIMAL、SHORT、INTEGER、BIGINT、FLOAT、DOUBLE、DATE、TIMESTAMP数据类型。
  • last_value:最后值函数用最近导入的值替换之前的值,支持所有数据类型。
  • last_non_null_value:非空最后值函数用最新的非空值替换之前的值,支持所有数据类型。
  • first_value:第一个值函数检索数据集中的第一个空值,支持所有数据类型。
  • first_non_null_value:非空第一个值函数选择数据集中的第一个非空值,支持所有数据类型。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300425.html