检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发,所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时,多版本保留周期外的数据不会自动清理。可以
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: Spark SQL语法参考(即将下线)
历史版本 Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
版本支持公告 DLI计算引擎版本生命周期 Flink 1.15版本说明 Flink 1.12版本说明 Spark 3.3.1版本说明 Spark 3.1.1版本说明 Spark 2.4.5版本说明 Spark2.4.x与Spark3.3.x版本差异对比
2024年12月31日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Spark 2.4.5 版本说明 表1列举了Spark 2.4.5 版本主要的功能特性。 更多版本新特性请参考Release Notes - Spark 2.4.5。 表1 Spark 2.4.5版本优势 特性 说明
Flink 1.12版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
2026年6月30日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Spark 3.3.1版本说明 表1列举了Spark 3.3.1 版本主要的功能特性。 更多版本新特性及性能优化请参考Release Notes - Spark 3.3.1。 表1 Spark 3.3.1版本优势 特性 说明
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发,所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时,多版本保留周期外的数据不会自动清理。可以
Spark 3.1.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间 状态
SQL1.15版本使用说明。 Flink 1.15版本发布时间 版本名称 发布时间 状态 EOM时间 EOS时间 DLI Flink 1.15 2023年6月 已发布 2025年6月30日 2026年6月30日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Flink 1.15版本说明
DLI计算引擎版本生命周期 版本号说明 DLI计算引擎版本号:格式为计算引擎名称 x.y.z,其中计算引擎分为Flink和Spark,版本号具体含义如图1所示。 图1 DLI计算引擎版本号 版本支持情况 Flink计算引擎推荐版本:Flink 1.15。 Spark计算引擎推荐版本: Spark
Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比 DLI整理了Spark2.4.x与Spark3.3.x版本在SQL队列的差异,便于您了解Spark版本升级后SQL队列上运行的作业在适配新版本引擎时的影响。 histogram_numeric函数的返回值的类型不同
PySpark支持python版本变更 说明: PySpark支持python版本变更。 Spark2.4.x:PySpark支持python版本范围2.6+版本到3.7+版本。 Spark3.3.x:PySpark支持Python版本范围3.6及以上版本。 升级引擎版本后是否对作业有影响:
恢复多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过RESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
其他多版本SQL语法请参考多版本备份恢复数据。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。 语法格式 开启多版本功能 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
其他多版本SQL语法请参考多版本备份恢复数据。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。 语法格式 开启多版本功能 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
恢复多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过RESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后,备份数据默认保留7天,您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。