MAPREDUCE服务 MRS-Hudi支持Partial Update:场景说明

时间:2024-11-28 01:44:47

场景说明

当前开源社区提供了PartialUpdateAvroPayload机制实现部分列更新,但该功能在多流更新,每条流更新不同列场景下会出现数据相互覆盖的问题。

通过引入sequence组的概念,Hudi可以很好的解决该问题,实现真正的部分更新。

按建表时按需求,将表中的列切分成不同的sequence组。每一个sequence组包含的列是否更新,由该sequence组的precombine字段决定,不同sequence组相互不影响。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493101.html