MAPREDUCE服务 MRS-添加Hive数据源:性能优化

时间:2024-11-06 14:23:26

性能优化

  • 元数据缓存

    Hive连接器支持元数据缓存,以便更快地提供对各种操作的元数据请求。可参考调整HetuEngine元数据缓存

  • 动态过滤

    开启动态过滤有助于Hive连接器的Join算子的计算优化。可参考调整HetuEngine动态过滤

  • 带分区条件查询

    建立分区表并且查询带分区过滤条件有助于过滤部分分区数据,从而提高性能。

  • Insert优化

    通过设置“task.writer-count”的值为“1”和增大“hive.max-partitions-per-writers”的值有助于提升Insert性能。可参考调整HetuEngine INSERT写入优化

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2348.html