数据湖探索 DLI-DLI Delta表概述:DLI中Delta的使用限制
DLI 中Delta的使用限制
- 仅Spark 3.3.1(3.0.0)及以上版本支持Delta。
- DLI支持的Delta版本是Delta 2.3.0。
- Spark 3.3.1(3.0.0)版本的SQL仍有部分不支持Delta表的相关开源语法,具体内容请参考表1。
表1 Spark 3.3.1-3.0.0版本SQL不支持的Delta表相关开源语法 不支持的语法
示例
ALTER TABLE REPLACE COLUMNS替换列
alter table table0 replace columns(id1 int,name1 string);
SHOW CREATE TABLE显示建表语句
show create table table1;
INSERT INTO/OVERWRITE指定静态分区插入表
insert into table1 partition(part='part1') select * from table2;
ALTER TABLE ADD/DROP PARTITION管理分区
alter table test_delta_parts1 add partition('2024-10-28');
CONVERT TO DELTA语法暂不支持parquet.`tablePath`格式的表
convert to delta parquet.`obs://bucket0/db0/table0`;