MAPREDUCE服务 MRS-配置Spark Native引擎:配置场景
配置场景
Spark Native引擎是通过使用向量化的C++加速库,实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据,通过JVM的codegen来实现查询加速的,由于JVM对生成的java代码存在各种约束,比如方法长度,参数个数等,以及行式数据对内存带宽的利用率不足,因此存在性能提升空间。使用成熟的向量化的c++加速库后,数据采用向量化格式存在内存中,可以提高带宽利用率,并通过批量的列数处理获得加速效果。
通过开启Spark Native引擎特性,获得SparkSQL的性能加速。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- 什么是Spark_如何使用Spark_Spark的功能是什么
- Nacos引擎_微服务注册配置中心_微服务引擎CSE-华为云
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是Hue_如何使用Hue
- 主机安全配置_Windows主机安全配置_Linux主机安全配置
- MapReduce服务_什么是Loader_如何使用Loader