数据湖探索 DLI-MySql CDC:常见问题

时间:2024-04-18 20:33:04

常见问题

Q:MySQL CDC源表不支持定义Watermark,怎么进行窗口聚合?

A:可以采用非窗口聚合的方式,即将时间字段转换成窗口值,然后根据窗口值进行GROUP BY聚合。

例如:基于上述示例,统计每分钟的订单数,脚本如下(其中order_time为string类型,表示订单的时间)。

insert into printSink select DATE_FORMAT(order_time, 'yyyy-MM-dd HH:mm'), count(*) from mysqlCdcSource group by DATE_FORMAT(order_time, 'yyyy-MM-dd HH:mm');
support.huaweicloud.com/sqlref-flink-dli/dli_08_15059.html