华为云首页用户手册

MapReduce服务 MRS-Spark INSERT SELECT语句调优:操作步骤

MapReduce服务 MRS-Spark INSERT SELECT语句调优:操作步骤

时间：2025-02-12 15:03:49

MapReduce服务 MRS

操作步骤

可对INSERT...SELECT操作做如下的调优操作。

如果建的是Hive表，将存储类型设为Parquet，从而减少执行INSERT...SELECT语句的时间。
建议使用spark-sql或者在Beeline/JD BCS erver模式下使用spark用户来执行INSERT...SELECT操作，避免执行更改文件owner的操作，从而减少执行INSERT...SELECT语句的时间。

在Beeline/JDB CS erver模式下，executor的用户跟driver是一致的，driver是JDBCServer服务的一部分，是由spark用户启动的，因此其用户也是spark用户，且当前无法实现在运行时将Beeline端的用户透传到executor，因此使用非spark用户时需要对文件进行更改owner为Beeline端的用户，即实际用户。
如果查询的数据是大量的小文件将会产生大量map操作，从而导致输出存在大量的小文件，在执行重命名文件操作时将会耗费较多时间，此时可以通过设置“spark.sql.files.maxPartitionBytes”与“spark.files.openCostInBytes”来设置一个partiton读取的最大字节，在一个partition中合并多个小文件来减少输出文件数及执行重命名文件操作的时间，从而减少执行INSERT...SELECT语句的时间。

上述优化操作并不能解决全部的性能问题，对于以下场景仍然需要较多时间：

对于动态分区表，如果其分区数非常多，那么也需要执行较长的时间。

上一篇：MapReduce服务 MRS-Datasource表优化:操作步骤

下一篇：MapReduce服务 MRS-Datasource表优化:操作步骤

开年采购季抽奖赢万元免单

立即前往

续费同价 L实例 2核2G 4M

98元/年

企业专享 X实例 2核4G 5M

198元/年

热门域名 1元随心购

1元/年起

MapReduce服务 MRS-Spark INSERT SELECT语句调优:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题