MAPREDUCE服务 MRS-Hudi Payload操作说明:常用Payload

时间:2024-07-02 16:39:36

常用Payload

  • DefaultHoodieRecordPayload

    Hudi中默认使用DefaultHoodieRecordPayload,该Payload通过比较增量数据与存量数据的preCombineField字段值的大小来决定同主键的存量数据是否能被同主键的增量数据更新。在同主键的增量数据的preCombineField字段值绝对大于同主键的存量数据的preCombineField字段值时,同主键的增量数据将会被更新。

  • OverwriteWithLatestAvroPayload

    该Payload保证同主键的增量数据永远都会更新至同主键的存量数据中。

  • PartialUpdateAvroPayload

    该Payload继承了OverwriteNonDefaultsWithLatestAvroPayload,它可以保证在任何场景下增量数据中的null值不会覆盖存量数据。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249245.html