数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:新增支持Parallel Multi-Insert
新增支持Parallel Multi-Insert
- 说明:
Spark3.3.x版本中新增支持Parallel Multi-Insert,如果SQL存在multi-insert的场景,在同一个SQL里插入到多个表中,这类SQL在Spark开源本身是串行处理的,性能受到制约。针对这类SQL,Spark3.3.x版本中 DLI 新增支持multi-insert并行化的优化处理,可以让所有的insert都并发执行,提升处理性能。
在使用时需配置开启以下功能开关(默认关闭):
spark.sql.lazyExecutionForDDL.enabled=true
spark.sql.parallelMultiInsert.enabled=true
- 升级引擎版本后是否对作业有影响:
DLI功能增强,增强multi-insert并行化特性,提升作业运行的可靠性。
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- 什么是跨源连接-数据湖探索DLI跨源连接
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- GaussDB(for MySQL)并行查询_GaussDB(for MySQL)内核_GaussDB(for MySQL)并行执行_PQ
- kafka是什么_kafka介绍_分布式消息服务Kafka版
- Kafka与其他消息队列的对比_什么是Kafka_分布式消息系统-华为云
- 什么是弹性资源池_数据湖探索DLI弹性资源池
- GaussDB版本_GaussDB数据库版本_高斯数据库版本-华为云
- GaussDB发展计划_GaussDB产品动态_高斯数据库发展计划-华为云