Spark SQL性能调优-华为云

MAPREDUCE服务 MRS-配置SparkSQL的分块个数:配置场景

配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted frame length exceeds 2147483647: 2717729270 - discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。

MAPREDUCE服务 MRS Spark SQL性能调优

MAPREDUCE服务 MRS-小文件优化:操作场景

操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。针对小文件很多的场景，DataSource在创建RDD时，先将Table中的split生成PartitionedFile，再将这些PartitionedFile进行合并。即将多个PartitionedFile组成一个partition，从而减少partition数量，避免在Shuffle操作时生成过多的hash分桶，如图1所示。图1 小文件合并

MAPREDUCE服务 MRS Spark SQL性能调优

MAPREDUCE服务 MRS-小文件优化:操作步骤

操作步骤要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。表1 参数介绍参数描述默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。单位：byte。 134217728（即128M） spark.files.openCostInBytes 打开文件的预估成本，按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好，这样小文件分区将比大文件分区更先被调度。 4M

MAPREDUCE服务 MRS Spark SQL性能调优

MAPREDUCE服务 MRS-Spark SQL join优化:参考信息

参考信息被广播的表执行超时，导致任务结束。默认情况下，BroadCastJoin只允许被广播的表计算5分钟，超过5分钟该任务会出现超时异常，而这个时候被广播的表的broadcast任务依然在执行，造成资源浪费。这种情况下，有两种方式处理：调整“spark.sql.broadcastTimeout”的数值，加大超时的时间限制。降低“spark.sql.autoBroadcastJoinThreshold”的数值，不使用BroadCastJoin的优化。

MAPREDUCE服务 MRS Spark SQL性能调优

MAPREDUCE服务 MRS-优化数据倾斜场景下的Spark SQL性能:配置描述

配置描述在Spark Driver端的“spark-defaults.conf”配置文件中添加如下表格中的参数。表1 参数说明参数描述默认值 spark.sql.adaptive.enabled 自适应执行特性的总开关。注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执行DPP特性，从而使得AQE特性不生效。集群中DPP特性是默认开启的，因此开启AQE特性的同时，需要将DPP特性关闭。 false spark.sql.optimizer.dynamicPartitionPruning.enabled 动态分区裁剪功能的开关。 true spark.sql.adaptive.skewJoin.enabled 当此配置为true且spark.sql.adaptive.enabled设置为true时，启用运行时自动处理join运算中的数据倾斜功能。 true spark.sql.adaptive.skewJoin.skewedPartitionFactor 此配置为一个倍数因子，用于判定分区是否为数据倾斜分区。单个分区被判定为数据倾斜分区的条件为：当一个分区的数据大小超过除此分区外其他所有分区大小的中值与该配置的乘积，并且大小超过spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes配置值时，此分区被判定为数据倾斜分区 5 spark.sql.adaptive.skewjoin.skewedPartitionThresholdInBytes 分区大小（单位：字节）大于该阈值且大于spark.sql.adaptive.skewJoin.skewedPartitionFactor与分区中值的乘积，则认为该分区存在倾斜。理想情况下，此配置应大于spark.sql.adaptive.advisoryPartitionSizeInBytes. 256MB spark.sql.adaptive.shuffle.targetPostShuffleInputSize 每个task处理的shuffle数据的最小数据量。单位：Byte。 67108864

MAPREDUCE服务 MRS Spark SQL性能调优

MAPREDUCE服务 MRS-优化数据倾斜场景下的Spark SQL性能:配置场景

配置场景在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其它分桶。最终导致部分Task过重，跑得很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性能低；另一方面，数据量少的Task在运行完成后，导致很多CPU空闲，造成CPU资源浪费。通过如下配置项可开启自动进行数据倾斜处理功能，通过将Hash分桶后数据量很大的、且超过数据倾斜阈值的分桶拆散，变成多个task处理一个桶的数据机制，提高CPU资源利用率，提高系统性能。未产生倾斜的数据，将采用原有方式进行分桶并运行。使用约束：只支持两表Join的场景。不支持FULL OUTER JOIN的数据倾斜处理。示例：执行下面SQL语句，a表倾斜或b表倾斜都无法触发该优化。 select aid FROM a FULL OUTER JOIN b ON aid=bid; 不支持LEFT OUTER JOIN的右表倾斜处理。示例：执行下面SQL语句，b表倾斜无法触发该优化。 select aid FROM a LEFT OUTER JOIN b ON aid=bid; 不支持RIGHT OUTER JOIN的左表倾斜处理。示例：执行下面SQL语句，a表倾斜无法触发该优化。 select aid FROM a RIGHT OUTER JOIN b ON aid=bid;

MAPREDUCE服务 MRS Spark SQL性能调优

MAPREDUCE服务 MRS-优化小文件场景下的Spark SQL性能:配置场景

配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响性能。在小文件场景下，您可以通过如下配置手动指定每个Task的数据量（Split Size），确保不会产生过多的Task，提高性能。当SQL逻辑中不包含Shuffle操作时，设置此配置项，不会有明显的性能提升。

MAPREDUCE服务 MRS Spark SQL性能调优

MAPREDUCE服务 MRS-优化小文件场景下的Spark SQL性能:配置描述

配置描述要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。表1 参数说明参数描述默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。单位：byte。 134217728（即128M） spark.files.openCostInBytes 打开文件的预估成本，按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好，这样小文件分区将比大文件分区更先被调度。 4M

MAPREDUCE服务 MRS Spark SQL性能调优

云服务器内容精选

Spark SQL性能调优

7*24

备案

专业服务

退订

建议反馈

售前咨询热线