数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:新增支持Enhance Reuse Exchange
新增支持Enhance Reuse Exchange
- 说明:
Spark3.3.x版本中新增支持Enhance Reuse Exchange,SQL的对应plan存在sort merge join可重用的条件,通过打开相应开关spark.sql.execution.enhanceReuseExchange.enabled,可以实现SMJ plan node重用。
在使用时需配置开启以下功能开关(默认关闭):
spark.sql.execution.enhanceReuseExchange.enabled=true
- 升级引擎版本后是否对作业有影响:
DLI 功能增强。
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是跨源连接-数据湖探索DLI跨源连接
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- kafka是什么_kafka介绍_分布式消息服务Kafka版
- Kafka与其他消息队列的对比_什么是Kafka_分布式消息系统-华为云
- 什么是弹性资源池_数据湖探索DLI弹性资源池
- GaussDB版本_GaussDB数据库版本_高斯数据库版本-华为云
- GaussDB发展计划_GaussDB产品动态_高斯数据库发展计划-华为云
- GaussDB的研发历程_GaussDB产品动态_高斯数据库研发历程-华为云