数据治理中心 DATAARTS STUDIO-文件增量迁移:时间过滤

时间:2024-09-04 18:27:59

时间过滤

  • 参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业配置下的高级属性中,“时间过滤”参数选择“是”
  • 参数原理:“起始时间”“终止时间”参数中输入时间值后,只有修改时间介于起始时间和终止时间之间(时间区间为左闭右开,即等于起始时间也在区间之内)的文件才会被 CDM 迁移。
  • 配置样例:
    例如需要CDM只同步2021年1月1日~2022年1月1日生成的文件到目的端,则参数配置如下:
    1. 时间过滤器:选择为“是”
    2. 起始时间:配置为2021-01-01 00:00:00(格式要求为yyyy-MM-dd HH:mm:ss)。
    3. 终止时间:配置为2022-01-01 00:00:00(格式要求为yyyy-MM-dd HH:mm:ss)。
    图2 时间过滤

这样CDM作业就只迁移2021年1月1日~2022年1月1日时间段内生成的文件,下次作业再启动时就可以实现增量同步。

support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0004.html