MapReduce服务 MRS-Hudi数据表Archive规范:规则

时间:2025-02-12 15:03:27

规则

Hudi表必须执行Archive。

对于Hudi的MOR类型和COW类型的表,都需要开启Archive。

  • Hudi表在写入数据时会自动判断是否需要执行Archive,因为Archive的开关默认打开(hoodie.archive.automatic默认为true)。
  • Archive操作并不是每次写数据时都会触发,至少需要满足以下两个条件:
    1. Hudi表满足hoodie.keep.max.commits设置的阈值。如果是Flink写hudi至少提交的checkpoint要超过这个阈值;如果是Spark写hudi,写Hudi的次数要超过这个阈值。
    2. Hudi表做过Clean,如果没有做过Clean就不会执行Archive( MRS 3.3.1-LTS及以后版本,忽略此项条件)。
support.huaweicloud.com/devg-rule-mrs/mrs_07_450117.html