MAPREDUCE服务 MRS-配置源数据心跳表实现数据判齐功能:数据判齐消息字段含义

时间:2024-11-28 01:44:40

数据判齐消息字段含义

表1 数据判齐消息字段

字段名

描述

cdl_job_name

本批次数据所属同步任务名称

target_table_schema

本批次数据写入Schema名称

target_table_name

本批次数据写入Hudi表名称

target_table_path

本批次数据保存的Hudi表路径

total_num

本批次数据总数

cdl_original_heartbeat

本批次数据中包含的心跳数据的最大时间, 如果本批次不包含心跳数据则值为空

cdl_last_heartbeat

本批次数据中包含的心跳数据的最小时间,如果本批次不包含心跳数据则取“event_time_min”的值

insert_num

本批次数据insert事件总数

update_num

本批次数据update事件总数

delete_num

本批次数据delete事件总数

event_time_min

本批次数据源端最小事务提交时间

event_time_max

本批次数据源端最大事务提交时间

event_time_avg

本批次数据源端平均事务提交时间

kafka_timestamp_min

本批次数据发送到Kafka的最小时间

kafka_timestamp_max

本批次数据发送到Kafka的最大时间

begin_time

本批次数据开始写入Hudi的时间

end_time

本批次数据写入Hudi的结束时间

cdc_partitioned_time

心跳表的时间分区字段

cdc_last_update_date

该条判齐记录写入时间

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24811.html