MAPREDUCE服务 MRS-配置Spark Native引擎:配置场景

时间:2024-11-28 01:44:42

配置场景

Spark Native引擎是通过使用向量化的C++加速库,实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据,通过JVM的codegen来实现查询加速的,由于JVM对生成的java代码存在各种约束,比如方法长度,参数个数等,以及行式数据对内存带宽的利用率不足,因此存在性能提升空间。使用成熟的向量化的c++加速库后,数据采用向量化格式存在内存中,可以提高带宽利用率,并通过批量的列数处理获得加速效果。

通过开启Spark Native引擎特性,获得SparkSQL的性能加速。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249175.html