MapReduce服务 MRS-Spark2x开源新特性说明

时间:2025-02-12 15:03:44

Spark2x开源新特性说明

Spark2x版本相对于Spark 1.5版本新增了一些开源特性。

具体特性或相关概念如下:

  • DataSet,详见SparkSQL和DataSet原理
  • Spark SQL Native DDL/DML,详见SparkSQL和DataSet原理
  • SparkSession,详见SparkSession原理
  • Structured Streaming,详见Structured Streaming原理
  • 小文件优化。
  • 聚合算法优化。
  • Datasource表优化。
  • 合并CBO优化。
support.huaweicloud.com/productdesc-mrs/mrs_08_007106.html