MAPREDUCE服务 MRS-配置源数据心跳表实现数据判齐功能:配置从Postgresql抓取数据到Hudi任务的心跳表
配置从Postgresql抓取数据到Hudi任务的心跳表
- 在需要同步的Postgresql数据库下执行以下命令创建一张心跳表,心跳表归属cdc_cdl Schema,表名为cdc_heartbeat,主键为cdl_job_id:
DROP TABLE IF EXISTS cdc_cdl.cdc_heartbeat;
CREATE TABLE cdc_cdl.cdc_heartbeat (
cdl_job_id int8 NOT NULL,
cdl_last_heartbeat timestamp(6)
);
ALTER TABLE cdc_cdl.cdc_heartbeat ADD CONSTRAINT cdc_heartbeat_pkey PRIMARY KEY (cdl_job_id);
- 心跳表创建完成后,在CDL WebUI界面创建从Postgresql抓取数据到Hudi的同步任务并启动即可收到心跳数据。
- 大数据分析是什么_使用MapReduce_创建MRS服务
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Yarn_如何使用Yarn
- GaussDB查询库表_GaussDB查询数据库表_高斯数据库查询库表-华为云
- 云数据库RDS for MySQL数据恢复_数据恢复_表级恢复
- GaussDB查询数据表_GaussDB查看数据库连接数_高斯数据库查询数据表-华为云
- 数据安全-数据库安全-配置数据库sql审计规则
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- GaussDB查询表结构_通配符字段查询表_高斯数据库查询表结构-华为云