数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比:以command命名DataFrameWriter触发的查询
以command命名DataFrameWriter触发的查询
在Spark 3.2.x版本中,当DataFrameWriter触发的查询执行被发送给QueryExecutionListener时,这些查询的名称总是被设置为command。而在Spark 3.1及更早版本中,这些查询的名称可能是save、insertInto或saveAsTable之一,这取决于具体的操作。
- 说明:
DataFrameWriter触发的查询执行在发送到QueryExecutionListener时,始终以command命名
- Spark2.4.x:名称为save、insertInto、saveAsTable中的一个
- Spark3.3.x:command命名
- 升级引擎版本后是否对作业有影响:
有影响
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 什么是跨源连接-数据湖探索DLI跨源连接
- MapReduce服务_什么是Yarn_如何使用Yarn
- GaussDB版本查询_华为云GaussDB的作用_高斯数据库版本查询_华为云
- Kafka与其他消息队列的对比_什么是Kafka_分布式消息系统-华为云
- Nacos注册配置中心_Nacos的关键特性_微服务引擎CSE-华为云
- 大数据可视化平台是什么_大数据可视化平台有什么优势
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云