华为云首页用户手册

MAPREDUCE服务 MRS-Hudi表索引设计规范:建议

MAPREDUCE服务 MRS-Hudi表索引设计规范:建议

时间：2024-10-22 10:50:54

MAPREDUCE服务 MRS Hudi数据表设计规范

建议

基于Flink的流式写入的表，在数据量超过2亿条记录，采用Bucket索引，2亿以内可以采用Flink状态索引。
参照Flink状态索引的特点，Hudi表超过一定数据量后，Flink作业状态后端压力很大，需要优化状态后端参数才能维持性能；同时由于Flink冷启动的时候需要遍历全表数据，大数据量也会导致Flink作业启动缓慢。因此基于简化使用的角度，针对大数据量的表，可以通过采用Bucket索引来避免状态后端的复杂调优。

如果Bucket索引+分区表的模式无法平衡Bueckt桶过大的问题，还是可以继续采用Flink状态索引，按照规范去优化对应的配置参数即可。
基于Bucket索引的表，按照单个Bucket 2GB数据量进行设计。
为了规避单个Bucket过大，建议单个Bucket的数据量不要超过2GB（该2GB是指数据内容大小，不是指数据行数也不是parquet的数据文件大小），目的是将对应的桶的Parquet文件大小控制在256MB范围内（平衡读写内存消耗和HDFS存储有效利用），因此可以看出2GB的这个限制只是一个经验值，因为不同的业务数据经过列存压缩后大小是不一样的。

为什么建议是2GB？
- 2GB的数据存储成列存Parquet文件后，大概的数据文件大小是150MB ~ 256MB左右。不同业务数据会有出入。而HDFS单个数据块一般会是128MB，这样可以有效的利用存储空间。
- 数据读写占用的内存空间都是原始数据大小（包括空值也是会占用内存的），2GB在大数据计算过程中，处于单task读写可接受范围之内。
如果是单个Bucket的数据量超过了该值范围，可能会有什么影响？
- 读写任务可能会出现OOM的问题，解决方法就是提升单个task的内存占比。
- 读写性能下降，因为单个task的处理的数据量变大，导致处理耗时变大。

上一篇：MAPREDUCE服务 MRS-Hudi表索引设计规范:规则

下一篇：MAPREDUCE服务 MRS-Hudi表索引设计规范:规则

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-Hudi表索引设计规范:建议

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题