数据湖探索 DLI-DLI Delta表概述:DLI中Delta的使用限制

时间:2025-02-12 15:00:27

DLI 中Delta的使用限制

  • 仅Spark 3.3.1(3.0.0)及以上版本支持Delta。
  • DLI支持的Delta版本是Delta 2.3.0。
  • Spark 3.3.1(3.0.0)版本的SQL仍有部分不支持Delta表的相关开源语法,具体内容请参考表1
    表1 Spark 3.3.1-3.0.0版本SQL不支持的Delta表相关开源语法

    不支持的语法

    示例

    ALTER TABLE REPLACE COLUMNS替换列

    alter table table0 replace columns(id1 int,name1 string);

    SHOW CREATE TABLE显示建表语句

    show create table table1;

    INSERT INTO/OVERWRITE指定静态分区插入表

    insert into table1 partition(part='part1') select * from table2;

    ALTER TABLE ADD/DROP PARTITION管理分区

    alter table test_delta_parts1 add partition('2024-10-28');

    CONVERT TO DELTA语法暂不支持parquet.`tablePath`格式的表

    convert to delta parquet.`obs://bucket0/db0/table0`;

support.huaweicloud.com/sqlref-delta-dli/dli_delta_0001.html