华为云首页用户手册

数据湖探索 DLI-Spark 3.1.1版本说明:Spark 3.1.1版本说明

数据湖探索 DLI-Spark 3.1.1版本说明:Spark 3.1.1版本说明

时间：2024-08-07 09:02:48

数据湖探索 DLI 版本支持公告

Spark 3.1.1版本说明

下表列举了Spark 3.1.1 版本主要的功能特性。

更多版本新特性请参考Release Notes - Spark 3.1.1。

【SPARK-33050】：Apache ORC升级到1.5.12。
【SPARK-33092】：增强子表达式消减。
【SPARK-33480】：支持char/varchar数据类型。
【SPARK-32302】: 部分谓词下推优化。
【SPARK-30648】：支持JSON datasource表谓词下推。
【SPARK-32346】：支持avro datasource表谓词下推。
【SPARK-32461】：shuffle hash join优化。
【SPARK-32272】：添加SQL标准命令SET TIME ZONE。
【SPARK-21492】：修复排序合并加入中的内存泄漏。
【SPARK-27812】：K8S客户端版本提升到4.6.1。

DLI 从Spark 3.x版本开始不支持内置地理空间查询函数。

上一篇：数据湖探索 DLI-DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线（EOL）公告:公告说明

下一篇：数据湖探索 DLI-MySQL CDC源表:语法格式

数据湖探索 DLI-Spark 3.1.1版本说明:Spark 3.1.1版本说明

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题