MAPREDUCE服务 MRS-配置源数据心跳表实现数据判齐功能:数据判齐消息字段含义

时间：2024-11-06 14:23:32

MAPREDUCE服务 MRS

表1 数据判齐消息字段
字段名	描述
cdl_job_name	本批次数据所属同步任务名称
target_table_schema	本批次数据写入Schema名称
target_table_name	本批次数据写入Hudi表名称
target_table_path	本批次数据保存的Hudi表路径
total_num	本批次数据总数
cdl_original_heartbeat	本批次数据中包含的心跳数据的最大时间，如果本批次不包含心跳数据则值为空
cdl_last_heartbeat	本批次数据中包含的心跳数据的最小时间，如果本批次不包含心跳数据则取“event_time_min”的值
insert_num	本批次数据insert事件总数
update_num	本批次数据update事件总数
delete_num	本批次数据delete事件总数
event_time_min	本批次数据源端最小事务提交时间
event_time_max	本批次数据源端最大事务提交时间
event_time_avg	本批次数据源端平均事务提交时间
kafka_timestamp_min	本批次数据发送到Kafka的最小时间
kafka_timestamp_max	本批次数据发送到Kafka的最大时间
begin_time	本批次数据开始写入Hudi的时间
end_time	本批次数据写入Hudi的结束时间
cdc_partitioned_time	心跳表的时间分区字段
cdc_last_update_date	该条判齐记录写入时间