华为云首页用户手册

MAPREDUCE服务 MRS-数据表Compaction规范:规则

MAPREDUCE服务 MRS-数据表Compaction规范:规则

时间：2024-05-15 22:32:40

MAPREDUCE服务 MRS 数据表管理操作规范

规则

有数据持续写入的表，24小时内至少执行一次compaction。
对于MOR表，不管是流式写入还是批量写入，需要保证每天至少完成1次Compaction操作。如果长时间不做compaction，Hudi表的log将会越来越大，这必将会出现以下问题：
- Hudi表读取很慢，且需要很大的资源。这是由于读MOR表涉及到log合并，大log合并需要消耗大量的资源并且速度很慢。
- 长时间进行一次Compaction需要耗费很多资源才能完成，且容易出现OOM。
- 阻塞Clean，如果没有Compaction操作来产生新版本的Parquet文件，那旧版本的文件就不能被Clean清理，增加存储压力。
CPU与内存比例为1:4~1:8。
Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并，需要消耗较高的内存资源，按照之前的表设计规范以及实际流量的波动结合考虑，建议Compaction作业CPU与内存的比例按照1:4~1:8配置，保证Compaction作业稳定运行。当Compaction出现OOM问题，可以通过调大内存占比解决。

【建议】通过增加并发数提升Compaction性能。

上一篇：MAPREDUCE服务 MRS-表模型设计规范:规则

下一篇：MAPREDUCE服务 MRS-实时任务接入

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-数据表Compaction规范:规则

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题