MAPREDUCE服务 MRS-配置源数据心跳表实现数据判齐功能:配置从Postgresql抓取数据到Hudi任务的心跳表

时间:2024-11-06 14:23:32

配置从Postgresql抓取数据到Hudi任务的心跳表

  1. 在需要同步的Postgresql数据库下执行以下命令创建一张心跳表,心跳表归属cdc_cdl Schema,表名为cdc_heartbeat,主键为cdl_job_id

    DROP TABLE IF EXISTS cdc_cdl.cdc_heartbeat;

    CREATE TABLE cdc_cdl.cdc_heartbeat (

    cdl_job_id int8 NOT NULL,

    cdl_last_heartbeat timestamp(6)

    );

    ALTER TABLE cdc_cdl.cdc_heartbeat ADD CONSTRAINT cdc_heartbeat_pkey PRIMARY KEY (cdl_job_id);

  2. 心跳表创建完成后,在CDL WebUI界面创建从Postgresql抓取数据到Hudi的同步任务并启动即可收到心跳数据。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24811.html