MAPREDUCE服务 MRS-Hudi Cleaning操作说明
Hudi Cleaning操作说明
Cleaning用于清理不再需要的版本数据。
Hudi使用Cleaner后台作业,不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
执行cleaning有两种方式:
- 同步clean由参数hoodie.clean.automatic控制,默认自动开启。
datasource写入时可以通过.option("hoodie.clean.automatic", "false")来关闭自动clean。
spark-sql写入时可以通过set hoodie.clean.automatic=false;来关闭自动clean。
- 异步clean可以使用spark-sql来执行,详情可以参考章节CLEAN。
更多clean相关参数请参考compaction&cleaning配置章节。
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MPA遵从性说明通用指南
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是Kafka_如何使用Kafka
- GaussDB操作_GaussDB版本_高斯数据库操作
- ModelArts计费说明_计费简介_ModelArts怎么计费
- 开通企业邮箱快速入门计费说明
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper